(57)【要約】  本開示は、フレームレートが異なるストリームをシームレスに再生するようにすることができるようにする情報処理装置および方法に関する。低フレームレート化処理部は、入力画像から、複数の異なる低フレームレートの画像を生成する。単一フレームレート変換部は、前記低フレームレート化処理部により生成された複数の異なる低フレームレートの画像を、単一のフレームレートの画像に変換する。圧縮符号化部は、単一フレームレート変換部により変換された単一フレームレートの画像を符号化する。本開示は、例えば、ファイル生成装置、配信サーバ、および再生端末からなる配信システムに適用することができる。
2018142946.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から、複数の異なる低フレームレートの画像を生成する低フレームレート生成部と、
前記低フレームレート生成部により生成された複数の異なる低フレームレートの画像を、単一のフレームレートの画像に変換する単一フレームレート変換部と、
前記単一フレームレート変換部により変換された単一フレームレートの画像を符号化する符号化部と
を備える情報処理装置。
【請求項２】
フレームレートに関連する情報を、前記符号化された画像に対するメタデータとして配置する配置部を
さらに備える請求項１に記載の情報処理装置。
【請求項３】
前記メタデータは、前記低フレームレート生成部により生成された複数の異なる低フレームレートを示す正味のフレームレートを含む
請求項２に記載の情報処理装置。
【請求項４】
前記メタデータは、前記低フレームレート生成部による低フレームレートの生成方法を含む
請求項３に記載の情報処理装置。
【請求項５】
前記メタデータは、前記低フレームレート生成部により低フレームレートの画像が生成される前のオリジナルのフレームレートを含む
請求項３に記載の情報処理装置。
【請求項６】
前記メタデータは、前記単一フレームレート変換部により変換された単一フレームレートの画像から、サムネイルとして使用可能な静止画像を抜き出せるかを示す情報を含む
請求項３に記載の情報処理装置。
【請求項７】
前記配置部は、前記メタデータをMPDファイルに配置する
請求項３に記載の情報処理装置。
【請求項８】
前記配置部は、前記メタデータをMP4ファイルに配置する
請求項３に記載の情報処理装置。
【請求項９】
前記配置部により配置されたメタデータと前記符号化された画像とを含むコンテンツを送信する送信部を
さらに備える請求項３に記載の情報処理装置。
【請求項１０】
情報処理装置が、
入力画像から、複数の異なる低フレームレートの画像を生成し、
生成された複数の異なる低フレームレートの画像を、単一のフレームレートの画像に変換し、
変換された単一フレームレートの画像を符号化する
情報処理方法。
【請求項１１】
入力画像から複数の異なる低フレームレートの画像が生成され、生成された複数の異なる低フレームレートの画像が単一フレームレートに変換されて送信されてくるコンテンツに対するフレームレートに関連する情報であるメタデータを取得する取得部と、
現在の伝送帯域幅に応じて、前記取得部により取得されたメタデータに基づいて、最適な低フレームレートの画像が変換された単一フレームレートの画像からなるコンテンツを選択するコンテンツ選択部と
を備える情報処理装置。
【請求項１２】
前記メタデータは、前記複数の異なる低フレームレートを示す正味のフレームレートを含む
請求項１１に記載の情報処理装置。
【請求項１３】
前記メタデータは、前記低フレームレートの生成方法を含む
請求項１２に記載の情報処理装置。
【請求項１４】
前記メタデータは、前記低フレームレートの画像が生成される前のオリジナルのフレームレートを含む
請求項１２に記載の情報処理装置。
【請求項１５】
前記メタデータは、変換された単一フレームレートの画像から、サムネイルとして使用可能な静止画像を抜き出せるかを示す情報を含む
請求項１２に記載の情報処理装置。
【請求項１６】
前記メタデータは、MPDファイルに配置されて送信されてくる
請求項１２に記載の情報処理装置。
【請求項１７】
前記メタデータは、MP4ファイルに配置されて送信されてくる
請求項１２に記載の情報処理装置。
【請求項１８】
前記コンテンツ選択部により選択されたコンテンツを受信する受信部を
さらに備える請求項１２に記載の情報処理装置。
【請求項１９】
情報処理装置が、
入力画像から複数の異なる低フレームレートの画像が生成され、生成された複数の異なる低フレームレートの画像が単一フレームレートに変換されて送信されてくるコンテンツに対するフレームレートに関連する情報であるメタデータを取得し、
現在の伝送帯域幅に応じて、取得されたメタデータに基づいて、最適な低フレームレートの画像が変換された単一フレームレートの画像からなるコンテンツを選択する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および方法に関し、特に、フレームレートが異なるストリームをシームレスに再生することができるようにした情報処理装置および方法に関する。
【背景技術】
【０００２】
従来、映像や音楽のデータを、インターネットを介したストリーミング配信するために、MPEG-DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）が開発された（例えば、非特許文献１参照）。【０００３】
MPEG-DASHによる配信では、伝送帯域の変動に応じてクライアントがビットレートの異なるコンテンツが選択取得されて再生が継続される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】MPEG−DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg−dash/media−presentation−description−and−segment−formats/text−isoiec−23009−12012−dam−1）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
MPEG-DASHにおける切り替えでは、ビットレートのみが異なるビデオを切り替えることを前提としており、例えば、フレームレートが異なるストリームをシームレスに切り替える方法は規格で提供されていなかった。【０００６】
プレーヤが独自機能で、パラメータの異なるビデオストリームを切り替えることは可能だが、その場合においても、エンコード時に特別な考慮をしていなければ、一般にストリームスイッチング時にデコード不連続が発生し、シームレスな再生は困難であった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、フレームレートが異なるストリームをシームレスに再生することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の第１の側面の情報処理装置は、入力画像から、複数の異なる低フレームレートの画像を生成する低フレームレート生成部と、前記低フレームレート生成部により生成された複数の異なる低フレームレートの画像を、単一のフレームレートの画像に変換する単一フレームレート変換部と、前記単一フレームレート変換部により変換された単一フレームレートの画像を符号化する符号化部とを備える。【０００９】
フレームレートに関連する情報を、前記符号化された画像に対するメタデータとして配置する配置部をさらに備えることができる。【００１０】
前記メタデータは、前記低フレームレート生成部により生成された複数の異なる低フレームレートを示す正味のフレームレートを含むことができる。【００１１】
前記メタデータは、前記低フレームレート生成部による低フレームレートの生成方法を含むことができる。【００１２】
前記メタデータは、前記低フレームレート生成部により低フレームレートの画像が生成される前のオリジナルのフレームレートを含むことができる。【００１３】
前記メタデータは、前記単一フレームレート変換部により変換された単一フレームレートの画像から、サムネイルとして使用可能な静止画像を抜き出せるかを示す情報を含むことができる。【００１４】
前記配置部は、前記メタデータをMPDファイルに配置することができる。【００１５】
前記配置部は、前記メタデータをMP4ファイルに配置することができる。【００１６】
前記配置部により配置されたメタデータと前記符号化された画像とを含むコンテンツを送信する送信部をさらに備えることができる。【００１７】
本技術の第１の側面の情報処理方法は、情報処理装置が、入力画像から、複数の異なる低フレームレートの画像を生成し、生成された複数の異なる低フレームレートの画像を、単一のフレームレートの画像に変換し、変換された単一フレームレートの画像を符号化する。【００１８】
本技術の第２の側面の情報処理装置は、入力画像から複数の異なる低フレームレートの画像が生成され、生成された複数の異なる低フレームレートの画像が単一フレームレートに変換されて送信されてくるコンテンツに対するフレームレートに関連する情報であるメタデータを取得する取得部と、現在の伝送帯域幅に応じて、前記取得部により取得されたメタデータに基づいて、最適な低フレームレートの画像が変換された単一フレームレートの画像からなるコンテンツを選択するコンテンツ選択部とを備える。【００１９】
前記メタデータは、前記複数の異なる低フレームレートを示す正味のフレームレートを含むことができる。【００２０】
前記メタデータは、前記低フレームレートの生成方法を含むことができる。【００２１】
前記メタデータは、前記低フレームレートの画像が生成される前のオリジナルのフレームレートを含むことができる。【００２２】
前記メタデータは、変換された単一フレームレートの画像から、サムネイルとして使用可能な静止画像を抜き出せるかを示す情報を含むことができる。【００２３】
前記メタデータは、MPDファイルに配置されて送信されてくることができる。【００２４】
前記メタデータは、MP4ファイルに配置されて送信されてくることができる。【００２５】
前記コンテンツ選択部により選択されたコンテンツを受信する受信部をさらに備えることができる。【００２６】
本技術の第２の側面の情報処理方法は、情報処理装置が、入力画像から複数の異なる低フレームレートの画像が生成され、生成された複数の異なる低フレームレートの画像が単一フレームレートに変換されて送信されてくるコンテンツに対するフレームレートに関連する情報であるメタデータを取得し、現在の伝送帯域幅に応じて、取得されたメタデータに基づいて、最適な低フレームレートの画像が変換された単一フレームレートの画像からなるコンテンツを選択する。【００２７】
本技術の第１の側面においては、入力画像から、複数の異なる低フレームレートの画像が生成され、生成された複数の異なる低フレームレートの画像が、単一のフレームレートの画像に変換される。そして、変換された単一フレームレートの画像が符号化される。【００２８】
本技術の第２の側面においては、入力画像から複数の異なる低フレームレートの画像が生成され、生成された複数の異なる低フレームレートの画像が単一フレームレートに変換されて送信されてくるコンテンツに対するフレームレートに関連する情報であるメタデータが取得される。そして、現在の伝送帯域幅に応じて、取得されたメタデータに基づいて、最適な低フレームレートの画像が変換された単一フレームレートの画像からなるコンテンツが選択される。
【発明の効果】
【００２９】
本開示によれば、情報を処理することができる。特に、フレームレートが異なるストリームをシームレスに再生することができる。
【図面の簡単な説明】
【００３０】
【図１】MPEG-DASHを用いたデータ伝送の様子の例を説明する図である。
【図２】MPDの構成例を示す図である。
【図３】コンテンツの時間的区切りを説明する図である。
【図４】MPDにおけるPeriod以下の階層構造の例を示す図である。
【図５】MPDファイルの構成例を時間軸上で説明する図である。
【図６】ストリーム切り替えについて説明する図である。
【図７】１つのストリームから生成された異なるフレームレートのストリーム間での切り替えについて説明する図である。
【図８】フレームレートが異なるストリームでの符号化について説明する図である。
【図９】本技術のフレームレート変換について説明する図である。
【図１０】本技術のフレームレート変換の手順について説明する図である。
【図１１】隣接フレームの合成によるフレームレートを変換する方法について説明する図である。
【図１２】単一フレームレート化をしない例を説明する図である。
【図１３】実質（正味）のフレームレートの必要性を説明する図である。
【図１４】本技術を適用した配信システムの構成の一例を示すブロック図である。
【図１５】ファイル生成装置の主な構成例を示すブロック図である。
【図１６】ビデオストリーム生成部の構成例を示すブロック図である。
【図１７】メタデータの例を示す図である。
【図１８】ファイル生成装置の配信用データ生成処理を説明するフローチャートである。
【図１９】ビデオストリーム生成処理について説明するフローチャートである。
【図２０】低フレームレート化処理について説明するフローチャートである。
【図２１】単一フレーム化処理について説明するフローチャートである。
【図２２】MPDファイル生成処理について説明するフローチャートである。
【図２３】再生端末側の動作について説明する図である。
【図２４】再生端末の主な構成例を示すブロック図である。
【図２５】再生端末のコンテンツ取得処理を説明するフローチャートである。
【図２６】再生端末のサムネイル画像生成処理を説明するフローチャートである。
【図２７】メタデータをMPDに格納する場合の例を説明する図である。
【図２８】Representationに付与する場合の例を説明する図である。
【図２９】AdaptationSetに付与する場合の例を説明する図である。
【図３０】Periodに付与する場合の例を説明する図である。
【図３１】MP4のシステム層(moov)に記載する場合の例を説明する図である。
【図３２】MP4のvideo trackに記載する場合の例を説明する図である。
【図３３】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．ビットレートスイッチング
２．第１の実施の形態（配信システム）
３．第２の実施の形態（コンピュータ）
【００３２】
＜１．ビットレートスイッチング＞
＜映像や音声の配信＞
近年、映像と音楽を消費者に届ける手段として、インターネットを介したストリーミング配信が期待されている。しかしながら、伝送手段としてのインターネットは、放送や光ディスクと比べて伝送が不安定である。まずユーザの環境によって伝送帯域の最高レートが大きく変わる。さらに同一ユーザであっても常に一定の伝送帯域が確保されていることはなく、時間の経過で変動する。また伝送帯域が変動するということは、クライアントからの要求に対する応答時間が一定ではないということでもある。
【００３３】
このようなインターネットを介した伝送のための規格として、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が開発されている。サーバ側にデータサイズが異なる複数のファイルを置いておき、クライアントがMPD（Media Presentation Description）を参照して最適なファイルを選択するというプル型のモデルである。特殊なプロトコルを使わずhttpを用いることで、一般的なHTTP（HyperText Transfer Protocol）サーバが利用できる。ファイル形式は、MPEG-TS（Moving Picture Experts Group - Transport Stream）だけでなく、ISOBMFF（International Organization for Standardization Base Media File Format）形式のファイルが使われている。
【００３４】
＜MPEG-DASH＞
MPEG-DASHを用いたデータ伝送の様子の例を図１に示す。図１の情報処理システム１において、ファイル生成装置２は、動画コンテンツとして、ビデオデータやオーディオデータを生成し、符号化し、伝送用のファイルフォーマットでファイル化する。例えば、ファイル生成装置２は、これらのデータを１０秒程度の時間毎にファイル化する（セグメント化する）。ファイル生成装置２は、生成したセグメントファイルを、Webサーバ３にアップロードする。また、ファイル生成装置２は、動画コンテンツを管理するMPDファイル（管理ファイル）を生成し、それをWebサーバ３にアップロードする。
【００３５】
DASHサーバとしてのWebサーバ３は、ファイル生成装置２により生成された動画コンテンツのファイルを、MPEG−DASHに準ずる方式で、インターネット４を介して再生端末５にライブ配信する。例えば、Webサーバ３は、ファイル生成装置２からアップロードされたセグメントファイルやMPDファイルを格納する。また、Webサーバ３は、再生端末５からの要求に応じて、格納しているセグメントファイルやMPDファイルを再生端末５に送信する。
【００３６】
再生端末５（再生装置）は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアとも称する）６、動画再生ソフトウエア７、HTTPアクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)８等を実行する。
【００３７】
制御用ソフトウエア６は、Webサーバ３からストリーミングするデータを制御するソフトウエアである。例えば、制御用ソフトウエア６は、Webサーバ３からMPDファイルを取得する。また、制御用ソフトウエア６は、例えば、そのMPDファイルや動画再生ソフトウエア７により指定される再生時刻等を表す再生時刻情報、およびインターネット４のネットワーク帯域に基づいて、再生対象のセグメントファイルの送信要求を、アクセス用ソフトウエア８に指令する。
【００３８】
動画再生ソフトウエア７は、インターネット４を介してWebサーバ３から取得された符号化ストリームを再生するソフトウエアである。例えば、動画再生ソフトウエア７は、再生時刻情報を制御用ソフトウエア６に指定する。また、動画再生ソフトウエア７は、アクセス用ソフトウエア８から受信開始の通知を取得すると、アクセス用ソフトウエア８から供給される符号化ストリームを復号する。動画再生ソフトウエア７は、復号の結果得られるビデオデータやオーディオデータを出力する。
【００３９】
アクセス用ソフトウエア８は、HTTPを用いたWebサーバ３との通信を制御するソフトウエアである。例えば、アクセス用ソフトウエア８は、受信開始の通知を動画再生ソフトウエア７に供給する。また、アクセス用ソフトウエア８は、制御用ソフトウエア６の指令に応じて、再生対象のセグメントファイルの符号化ストリームの送信要求をWebサーバ３に送信する。さらに、アクセス用ソフトウエア８は、その送信要求に応じてWebサーバ３から送信されてくる、通信環境等に応じたビットレートのセグメントファイルを受信する。そして、アクセス用ソフトウエア８は、その受信したファイルから符号化ストリームを抽出し、動画再生ソフトウエア７に供給する。
【００４０】
＜MPD＞
次に、MPDについて説明する。MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアント（図１の例の場合、再生端末５）は、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。
【００４１】
クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。
【００４２】
なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。
【００４３】
したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
【００４４】
＜再生の継続方法＞
MPEG-DASH配信において、伝送帯域幅が低下した場合でも再生を継続できるよう、低ビットレートのファイルをサーバに用意しておく場合がある。画質の劣化を出来るだけ抑えて低ビットレートする手法としては、画像解像度を落としてから圧縮符号化する方法が有効である。一方、映像のフレームレートを落とすことでエンコード前のデータサイズを削減し、圧縮率を下げることで画質を維持する方法も考えられる。エンコーダへの入力データレートはフレームレートに比例するため、圧縮前の画像の情報量を削減するにはフレームレートを落とすことが非常に効果的である。
【００４５】
映像のフレームレートを下げる最も簡便な方法は、一定周期でフレームを間引くことである。1フレーム毎にフレームを間引けばフレームレートは半分になり、2フレーム毎にフレームを間引けばフレームレートは2/3になる。
【００４６】
図６のＡに示されるように、ストリーム切り替えの際、異なるストリームＡ乃至Ｃのうち、１つのストリームから他のストリームに切り替えようとすると、表示の位相が一致しないため、表示ギャップが生じてしまう恐れがある。なお、図６の例において、矩形は、映像フレームを表している。これは、以降の図においても同様である。
【００４７】
一方、図６のＢに示されるように、ある一つの入力映像(60p)から、複数の低フレームレート(30p,20p,15p)の映像を生成した場合、各フレームの表示位相は維持されるため、ストリーム切り替え時に表示位相が異なることによるギャップは発生しない。よって、ストリーム間をシームレスに切り替えられる可能性がある。
【００４８】
図７の例においては、図６のＢの60pの映像から生成された30pの映像と20pの映像が示されている。30pの映像と20pの映像においては、図７のＡに示されるように、周期的に表示開始時刻が一致するフレームが出現し、そのフレームでのみストリームの切り替えが可能である。しかしながら、図７のＢに示されるように、30pの映像と20pの映像では、フレームの再生時間が異なるため、任意のフレームでシームレスに切り替えることが困難である。
【００４９】
また、フレームレートが異なるストリームは、特別な制約を設けずに圧縮符号化すると、図８のＡに示されるように、デコード開始が可能なピクチャ(IDRピクチャ、Iピクチャ）の周期が一致しない。よってIピクチャの直前で別のフレームレートのストリームに切り替えようとしても、切り替え先がIピクチャから開始していないため、デコードが不連続になってしまう。なお、図８の例において、黒ベタの矩形は、デコード開始が可能なピクチャ（フレーム）を表している。これは、以降の図においても同様である。
【００５０】
MPEG-DASHでは、フレームレートが同一のリプレゼンテーション（Representation）間でのスイッチングは想定されており、segmentの境界でストリーム切り替え(アダプテーションセット（AdaptationSet）内でのRepresentationの切り替え)が可能になる規則を加えている。例えば、図８のＢに示されるように、セグメント（segment）の先頭はIピクチャやIDRピクチャといったデコード開始可能なピクチャであるとする制約である。フレームレートが異なるストリームの間で切り替える場合には、さらにフレームの表示時刻が一致する箇所をsegment境界とする工夫が必要である。
【００５１】
しかしながら、現行のMPEG-DASHではそもそもフレームレートが異なるストリーム(Representation）をシームレスに切り替えることは想定していない。
【００５２】
放送受信機をはじめとする従来の再生機器は、フレームレートが固定された映像を表示することを前提にしている。再生機は番組放送中やコンテンツ再生中にフレームレートが変更されることを想定していないため、フレームレートが異なる映像を入力すると、一般的に映像が途切れて黒画となる、画像が乱れる可能性がある。
【００５３】
このように、通常、表示デバイスはフレームレートが異なるストリームをシームレスに切り替えるのは容易ではなかった。
【００５４】
＜低フレームレート化と単一フレームレート化＞
そこで、例えば、MPEG-DASHコンテンツ作成でのビットレートバリエーションのストリーム作成において、フレームレートが異なるストリームが次の手順で作成される。
【００５５】
(1)ある１つの入力映像から、フレームレートを落とした複数のフレームレートの映像が生成される。
(2)それらが単一のフレームレートに変換される。
(3)圧縮符号化される。
【００５６】
なお、(1)については、一定周期でフレームを間引く（単純間引き）などの方法でフレームレートが下げられる。(2)については、フレームレートを上げる方向への変換が行われる。フレームをある規則に従って繰り返すことでフレームレートを高くし、単一のフレームレートのストリームに変換される。(3)の圧縮符号化の際には、デコード開始点が一致される。例えば、H.264/AVCやH.265/HEVCであれば、IDRピクチャの位置（デコード開始時刻、表示開始時刻）を一致させてエンコードされる。
【００５７】
一方、(1)の低フレームレート化の手法の派生形としては、次の方法が考えられる。すなわち、高フレームレートの映像を間引いて作った低フレームレート画像は、そのフレームレートで撮影した映像よりもカクカク感が強くなる。これは、1フレームの再生時間が長くなることに対して、シャッタースピード（露光時間）が短すぎるために生じる現象である。
【００５８】
そこで、単純間引きではなく、隣接するフレームを合成して情報の欠落を防ぎながらフレームレートを変換する方法もある。
【００５９】
例えば、図９の上段に示されるように、元のストリームがシャッタスピード1/60秒、フレームレート60Hz（フレーム表示時間1/60秒）であったとき、図９の中段に示されるように、60pから単純に間引いて、30pが生成され、そのフレームを繰り返して60pにする。このように変換することで、図９の下段に示されるように、変換後のストリームは、シャッタスピード1/60秒のフレームを1/30秒間表示することになる（2倍の表示時間）。
【００６０】
この場合の作成フローとしては、図１０に示されるように、4K/60pのストリームから、矢印P1に示されるように、低フレームレート化が行われ、複数の低フレームレートのストリームが生成される。その後、矢印P2に示されるように、単一フレームレート化として、生成された複数の低フレームレートのストリームに前のフレームを繰り返すことにより、すべて60pのフレームレートに変換される。なお、図１０の例において、ハッチングされた矩形は、前フレームのコピー（繰り返し）のフレームであることを表している。これは、以降の図においても同様である。
【００６１】
＜フレームレート変換に関するメタデータ＞
上述したように単純にフレームを間引くと、間引かれたフレームの表示時間における映像情報が失われることになり、映像の内容によっては、カクつきや不自然な見え方になる。
【００６２】
そこで、フレームを間引くのではなく、隣接フレームと合成して新たなフレーム列を作り出す手法も考えられる。これにより、フレームレートを下げつつも、カクつきが少ない動きが滑らかな動画にすることが可能になる。一方で、複数のフレームを合成して生成したフレームは、動画としてではなく単一のフレームとして抜き出し静止画として見ると、ブレが大きい静止画として見える場合がある。これは、いわばシャッタスピードが遅い（露光時間が長い）静止画に近い映像になるためである。ブレが大きいと、動画を代表するサムネイルには使うことが難しい。
【００６３】
再生端末側では、送出側でどのような方法で低フレームレート化したかを容易に知ることができない。そこで、送出側で低フレームレート化する際、その方法を示す情報をコンテンツに付与し、再生端末がその情報を取得できるようにする。再生端末はその情報を得てより良いサムネイル作成方法を選択することが可能になる。
【００６４】
例えば、動画からフレームを抜き出して、コンテンツ全体あるいはシーンを代表する静止画サムネイル画像を生成する機能を有した再生端末の場合、サーバから低フレームレート化の方法をメタデータで取得し、ブレが少ない方法で低フレームレート化されたストリームであればサムネイルを生成し、ブレが多い方法で作られた低フレームレートストリームであれば動画から抜き出す方法でサムネイル画像を作り出すことはせず、別の方法（例えば、テキストで表現したり、コンピュータグラフィックスで生成）、といった判断が可能になる。
【００６５】
図１１は、隣接フレームの合成によるフレームレートを変換する方法を説明する図である。
【００６６】
例えば、図１１の上段に示されるように、元のストリームがシャッタスピード1/60秒、フレームレート60Hz（フレーム表示時間1/60秒）であったとき、図１１の中段に示されるように、隣接フレームを合成して、カクカク感を抑えて、30pが生成される。このようにすることで、これらのフレームは、シャッタスピード1/30秒、30pで撮影された映像に近い見栄えになる。
【００６７】
そして、生成されたそれぞれのフレームを繰り返して60pにする。このように変換することで、図１１の下段に示されるように、変換後のストリームは、シャッタスピード1/30秒のフレームを1/30秒間表示することになる（2倍の表示時間）。
【００６８】
なお、図１０の右側に示された単一フレームレート化を行わずに、様々なフレームレートのコンテンツを符号化して送信するようにしてもよい。その際、符号化するときの符号化の規則としては、フレームレートによらず、フレームグリッド(frame grid)を一致させ、また、シンクサンプル(Sync sample)の表示時刻を一致させる。フレームグリッドの規則の例としては、フレームレートを下げる場合、オリジナルフレームレート×(1/正の偶数)、オリジナルフレームレート×(正の偶数／正の奇数)とするとよい。
【００６９】
このようにすることで、再生端末側でスイッチする際、シームレスに接続できる可能性が高まる。
【００７０】
以上により、本技術においては、送出側により、ある入力映像から、複数の低フレームレート映像が生成され、さらにそれらを単一のフレームレートに変換して、圧縮符号化される。
【００７１】
なお、単一のフレームレートは、必ずしも入力画像と同じでなくてもよい。他のコンテンツとフレームレートを合わせるため、入力映像よりも高くする可能性もある。また、圧縮符号化の際には、デコード開始点を一致させる、セグメント境界を一致させるなどの工夫が必要である。
【００７２】
また、本技術においては、送出側により、低フレームレート化の際の方法とフレームレートに関する情報をメタデータとしてコンテンツに付与する。すなわち、MPDかMP4のレイヤにメタデータが設けられる。なお、この詳細については、図２７以降に後述される。
【００７３】
メタデータは、オリジナルフレームレート、実質（正味）のフレームレート、フレームレートの変換方法（規則的複製、規則的間引き、合成など）、また、静止画として抜き出し可能な映像であるか（サムネイルとして使用可能であるか）の情報である。
【００７４】
さらに、本技術においては、再生端末側により、伝送路の帯域に応じて、低フレームレートのストリームが選択される。また、サーバから取得されたメタデータが参照されて、再生端末での表示フレームレートやサムネイル生成方法が決定される。
【００７５】
以上により、フレームレートが異なるストリームをスイッチする際、外形上は単一の固定フレームレートであるため、ストリームスイッチが容易になる。
【００７６】
フレームレートを上げて単一フレームレート化しても、同一のフレームが繰り返されるであるため、エンコードの工夫（スライスデータの省略）により、ビットレート上昇は抑えられる。
【００７７】
静止画と動画の間の切り替えが可能になる。通常静止画は動画とは別の符号化方式で作られる。時間軸の概念が無い画像フォーマットで作成されるため、プレーヤが静止画と動画をシームレスに切り替えることは容易ではない。しかし、「静止画を繰り返している動画」であれば、動画どうしのスイッチングとして扱うことが可能になる。
【００７８】
作成されたコンテンツは単一フレームレートになっているため、それらを区別するためにはメタデータが必要であるが、正味のフレームレート等のメタデータは、スイッチングの際に最適なストリームを選択するパラメータとして有用である。
【００７９】
例えば、コンテンツが固定60フレームレートで表示環境が30フレームレートであっても、正味のフレームレートが30フレームレートであれば表示が可能である。
【００８０】
フレームレートが異なるストリームをスイッチング可能にする場合と比較して。セグメント（segment）境界やデコード開始可能フレームの配置に自由度ができる。
【００８１】
メタデータにより、ユーザに真のフレームレートを提示することが可能になる。
【００８２】
なお、より一般的に考えると、将来の映像表示は環境によってはコンテンツの真のフレームレートと、表示のフレームレートが一致しなくなる。この差を扱うための仕組みとしても次のメタデータが必要であろう。
【００８３】
図１３の例においては、上から順に、最も高画質なストリームである4k/60p 30Mbpsのストリーム、ビットレートだけを下げたストリームである4k/60p 15Mbpsのストリーム、実質30pに間引かれてから60pに変換されたストリームである4k/60p 15Mbps(実質30p)のストリーム、実質20pに間引かれてから60pに変換されたストリームである4k/60p 15Mbps(実質20p)のストリームが示されている。なお、図１３のフレームにおいては、上述してきた図と同様に、矩形はフレームを表し、黒ベタの矩形は、デコード開始が可能なピクチャ（フレーム）を表し、ハッチングされた矩形は、前フレームのコピー（繰り返し）のフレームであることを表している。実質とは、正味のことであり、実質のフレームレートは、正味のフレームレートとも称する。
【００８４】
すなわち、図１３に示されるように、4k/60pから、30p,20pの低レートフレームを生成したとする。しかしながら、最終的には、すべて4k/60pとして圧縮符号化されるため、外形上は区別がつかない。そのため、実質（正味）のフレームレート（この例では、30pや20p）の情報をメタデータとして付加する必要がある。
【００８５】
＜２．第１の実施の形態（配信システム）＞
＜配信システム＞
次に、以上のような本技術を適用するシステムについて説明する。図１４は、本技術を適用した情報処理システムの一態様である配信システムの構成の一例を示すブロック図である。図１４に示される配信システム１００は、画像や音声などのデータ（コンテンツ）を配信するシステムである。配信システム１００において、ファイル生成装置１０１、配信サーバ１０２、および再生端末１０３は、ネットワーク１０４を介して互いに通信可能に接続されている。
【００８６】
ファイル生成装置１０１は、本技術を適用した情報処理装置の一態様であり、画像データおよび音声データを格納するMP4ファイルやMPDのファイル（MPDファイルとも称する）の生成に関する処理を行う装置である。例えば、ファイル生成装置１０１は、画像データおよび音声データを生成し、生成した画像データおよび生成した音声データを格納するMP4ファイルやそのMP4ファイルを管理するMPDファイルを生成し、生成したそれらのファイルを配信サーバ１０２に供給する。
【００８７】
配信サーバ１０２は、本技術を適用した情報処理装置の一態様であり、MPEG-DASHを用いたコンテンツデータの配信サービス（すなわち、MPDファイルを用いたMP4ファイルの配信サービス）に関する処理を行うサーバである。例えば、配信サーバ１０２は、ファイル生成装置１０１から供給されたMPDファイルやMP4ファイルを取得して管理し、MPEG-DASHを用いた配信サービスを提供する。例えば、配信サーバ１０２は、再生端末１０３からの要求に応じて、MPDファイルを再生端末１０３提供する。また、配信サーバ１０２は、そのMPDファイルに基づく再生端末１０３からの要求に応じて、要求されたMP4ファイルを再生端末１０３に供給する。
【００８８】
再生端末１０３は、本技術を適用した情報処理装置の一態様であり、画像データおよび音声データの再生に関する処理を行う装置である。例えば、再生端末１０３は、MPEG-DASHに従って配信サーバ１０２に対してMP4ファイルの配信を要求し、その要求に応じて供給されたMP4ファイルを取得する。より具体的には、再生端末１０３は、配信サーバ１０２からMPDファイルを取得し、そのMPDファイルの情報に従って、所望のコンテンツデータを格納するMP4ファイルを配信サーバ１０２から取得する。再生端末１０３は、その取得したMP4ファイルをデコードし、画像データおよび音声データを再生する。
【００８９】
ネットワーク１０４は、任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク１０４が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク１０４に含まれるようにしてもよい。
【００９０】
ファイル生成装置１０１、配信サーバ１０２、再生端末１０３は、それぞれ、ネットワーク１０４に通信可能に接続されており、このネットワーク１０４を介して互いに情報の授受を行うことができる。ファイル生成装置１０１、配信サーバ１０２、再生端末１０３は、ネットワーク１０４に対して、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよいし、その両方により接続されるようにしてもよい。
【００９１】
なお、図１４において、配信システム１００の構成として、ファイル生成装置１０１、配信サーバ１０２、および再生端末１０３は、１台ずつ示されているが、これらの数は、それぞれ任意であり、互いに同一でなくてもよい。例えば、配信システム１００において、ファイル生成装置１０１、配信サーバ１０２、再生端末１０３は、それぞれ、単数であってもよいし、複数であってもよい。
【００９２】
＜ファイル生成装置＞
図１５は、ファイル生成装置１０１の主な構成例を示すブロック図である。図１５に示されるように、ファイル生成装置１０１は、ビデオストリーム生成部１１０、オーディオストリーム生成部１１１、コンテンツファイル生成部１１２、MPD生成部１１３、および通信部１１４を有する。
【００９３】
ビデオストリーム生成部１１０とオーディオストリーム生成部１１１は、コンテンツデータのストリームの生成に関する処理を行う。また、ビデオストリーム生成部１１０は、ビデオに関するビデオメタデータを生成し、オーディオストリーム生成部１１１は、オーディオに関するオーディオメタデータを生成する。
【００９４】
例えば、ビデオストリーム生成部１１０は、入力されたビデオアナログ信号（画像信号とも称する）をA/D変換したり、フレームレート変換したり、符号化したりして、ビデオデジタルデータ（画像データとも称する）のストリームであるビデオストリームを生成し、それをコンテンツファイル生成部１１２に供給する。なお、ビデオストリーム生成部１１０は、フレームレート変換においては、上述した本技術を適用し、低フレームレート化処理と、単一フレームレート化処理を行う。
【００９５】
例えば、オーディオストリーム生成部１１１は、入力されたオーディオアナログ信号（音声信号とも称する）を変調したり、A/D変換したり、符号化したりして、オーディオデジタルデータ（音声データとも称する）のストリームであるオーディオストリームを生成し、それをコンテンツファイル生成部１１２に供給する。
【００９６】
なお、このビデオストリーム生成部１１０によるビデオアナログ信号に対する信号処理の内容は任意である。このオーディオストリーム生成部１１１によるオーディオアナログ信号に対する信号処理の内容は任意である。例えば、変調や符号化を採用する場合、その変調方式や符号化方式は任意である。例えば、ビデオストリーム生成部１１０は、ビデオアナログ信号から、MPEG2ストリーム、AVCストリーム、HEVCのストリーム等を生成することができる。例えば、オーディオストリーム生成部１１１は、オーディオアナログ信号から、DSDロスレスストリーム、AACストリーム、LPCMのストリーム等を生成することができる。
【００９７】
コンテンツファイル生成部１１２は、ビデオストリーム生成部１１０およびオーディオストリーム生成部１１１から供給されるコンテンツデータを格納するファイル（コンテンツファイル）の生成に関する処理を行う。例えば、コンテンツファイル生成部１１２は、ビデオストリーム生成部１１０からコンテンツデータとして供給されるビデオストリームと、オーディオストリーム生成部１１１からコンテンツデータとして供給されるオーディオストリームを格納するコンテンツファイルであるMP4ファイルを生成し、それをMPD生成部１１３や通信部１１４に供給する。
【００９８】
なお、このコンテンツファイル生成部１１２が生成するコンテンツファイルの仕様は任意である。例えば、コンテンツファイル生成部１１２は、MPEG2ストリーム、AVCストリーム、HEVCのストリーム等や、DSDロスレスストリーム、AACストリーム、LPCMのストリーム等を格納するMP4ファイルを生成することができる。もちろん、コンテンツファイル生成部１１２がMP4ファイル以外のコンテンツファイルを生成するようにしてもよい。ここで、DSDはDirect Stream Digitalの略称で、高音質オーディオ符号化方法の１つである。
【００９９】
MPD生成部１１３は、コンテンツファイル生成部１１２が生成したコンテンツファイルの管理情報の生成に関する処理を行う。例えば、MPD生成部１１３は、ビデオストリーム生成部１１０により生成されたビデオメタデータおよびオーディオストリーム生成部１１１により生成されたオーディオメタデータを所定の位置に配置して、コンテンツファイル生成部１１２から供給されるMP4ファイルについてのMPDファイルを生成し、それを通信部１１４に供給する。
【０１００】
通信部１１４は、ネットワーク１０４を介した他の装置との通信に関する処理を行う。例えば、通信部１１４は、供給されたMPDファイルやMP4ファイルを配信サーバ１０２に供給する。
【０１０１】
図１５に示されるように、MPD生成部１１３は、ビデオメタデータ取得部１２１、オーディオメタデータ取得部１２２、ファイル生成部１２３を有する。
【０１０２】
ビデオメタデータ取得部１２１は、ビデオストリーム生成部１１０により生成されたビデオメタデータを取得する。オーディオメタデータ取得部１２２は、オーディオストリーム生成部１１１により生成されたオーディオメタデータを取得する。ファイル生成部１２３は、ビデオメタデータ取得部１２１およびオーディオメタデータ取得部１２２により取得されたメタデータを含めて、MPDファイルの生成に関する処理を行う。
【０１０３】
図１６は、ビデオストリーム生成部１１０の構成例を示すブロック図である。
【０１０４】
図１６の例において、ビデオストリーム生成部１１０は、A/D変換部１３１、低フレームレート化処理部１３２、単一フレームレート化処理部１３３、圧縮符号化部１３４、およびビデオメタデータ生成部１３５により構成されている。
【０１０５】
A/D変換部１３１は、ビデオアナログ信号をA/D変換し、ビデオストリームを生成する。生成されたビデオストリームは、低フレームレート化処理部１３２に供給される。
【０１０６】
低フレームレート化処理部１３２は、高フレームレートのストリーム（例えば、4K/60pのストリーム）から、低フレームレート化を行い、複数の低フレームレートのストリームを生成する。
【０１０７】
単一フレームレート化処理部１３３は、単一フレームレート化処理を行う。すなわち、低フレームレート化処理部１３２により生成された複数の低フレームレートのストリームに前のフレームを繰り返すことにより、すべての低フレームレートのストリームを、例えば単一の60pのフレームレートに変換する。
【０１０８】
圧縮符号化部１３４は、単一フレームレート化されたストリームを、例えば、H.264/AVCやH.265/HEVCであれば、IDRピクチャの位置（デコード開始時刻、表示開始時刻）を一致させて符号化処理（エンコード）を行う。
【０１０９】
ビデオメタデータ生成部１３５は、低フレームレート化処理および単一フレームレート化処理において、それぞれ、低フレームレート化処理または単一フレームレート化処理、すなわち、フレームレート（変換）に関するメタデータを生成する。メタデータは、例えば、上述したように、オリジナルフレームレート(fps)の値、フレームレート変換方法（規則的複製、規則的間引き、キーフレーム検出適応間引き、シャッタスピード変換フレーム合成）、静止画として抜き出せるフレームであるか（ブレが少なく、サムネイルとして使用可能であるか）などである。
【０１１０】
図１７は、メタデータの構造として、シンタックスとそのフィールドのセマンテックスの例を示す図である。なお、これは、ビデオメタデータを構成する１メタデータである、フレームレート変換メタデータであるので、以下、これらを、ビデオメタデータまたはフレームレート変換メタデータと称する。
【０１１１】
メタデータのシンタックスとしては、上から順に、
frame_rate_conversion_parameters：フレームレート変換に関するパラメータ
orignal_fps_numerator：変換前のフレームレートorignal_fpsを表す分子
orignal_fps_denominator：変換前のフレームレートorignal_fpsを表す分母
net_fps_numerator：変換後の正味のフレームレートnet_fpsを表す分子
net_fps_denominator：変換後の正味のフレームレートnet_fpsを表す分母
conversion_type：低フレームレートへの変換の方法
thumbnail_available：静止画サムネイルとして利用可能かを示すフラグ
reserved：予約領域
が記述されている。
【０１１２】
フィールドのセマンテックスとしては、
・変換前のフレームレート
original_fps = original_fps_numerator/original_fps_denominator
*単一フレームレート化した時のフレームレートは、この変換前のフレームレートと同じとは限らないため、このフィールドで変換前のフレームレートを知る。外形上のフレームレートはISOBMFF(ISO/IEC 14496-12)のシステム層にあるsample_durationやMPDの@frameRateで知ることが出来る。
・net(正味の）フレームレート
net_fps = net_fps_numerator/net_fps_denominator
・coversion_type
0:情報なし、不明、  1:等間隔単純間引き  2:隣接フレーム合成  3:フレーム繰り返し
4-255: reserved (user defined conversion)
user defined conversionとしては、2フレーム間引きと3フレーム間引きを交互に行うといった間引き方法を示す。
・thumbnail_available
このコンテンツから抜き出したフレームは静止画サムネイルとして表示可能か、ブレが多くてサムネイルとして使えないか、を示すフラグ。送出側の意図を示す。
0:情報なし、不明、  1:サムネイルに使用可能  2:サムネイルに使用すべきではない
【０１１３】
なお、メタデータの格納位置については、図２７乃至図３２を参照して後述されるが、例えば、これらのメタデータが、MPDファイルの所定の位置に格納される場合は、MPD生成部１１３により所定の位置に配置される。一方、例えば、これらのメタデータがMP4ファイルの所定の位置に格納される場合は、コンテンツファイル生成部１１２により所定の位置に配置される。
【０１１４】
＜配信用データ生成処理の流れ＞
次に、配信システム１００のファイル生成装置１０１において実行される配信用データ生成処理の流れの例を、図１８のフローチャートを参照して説明する。ファイル生成装置１０１は、コンテンツデータのMP4ファイルやMPDファイルを生成する際に、この配信用データ生成処理を行う。
【０１１５】
配信用データ生成処理が開始されると、ファイル生成装置１０１のビデオストリーム生成部１１０は、ステップＳ１０１において、ビデオアナログ信号からのビデオストリームを生成する。また、このとき、ビデオストリーム生成部１１０は、ビデオに関するビデオメタデータも生成する。このビデオストリーム生成処理の詳細については、図１９を参照して後述される。
【０１１６】
オーディオストリーム生成部１１１は、ステップＳ１０２において、オーディオアナログ信号から複数種類のオーディオストリームを生成する。また、このとき、オーディオストリーム生成部１１１は、オーディオに関するオーディオメタデータも生成する。
【０１１７】
ステップＳ１０３において、コンテンツファイル生成部１１２は、ステップＳ１０１において生成されたビデオストリームおよびステップＳ１０２において生成されたオーディオストリームを格納するコンテンツファイル（例えばMP4ファイル）を生成する。
【０１１８】
ステップＳ１０４において、MPD生成部１１３は、MPDファイル生成処理を実行し、ステップＳ１０３において生成されたコンテンツファイル（MP4ファイル）を管理するMPDファイルを生成する。このMPDファイル生成処理の詳細は、図２２を参照して後述される。
【０１１９】
ステップＳ１０５において、通信部１１４は、ステップＳ１０３において生成されたコンテンツファイルや、ステップＳ１０４において生成されたMPDファイルを配信サーバ１０２に供給（アップロード）する。
【０１２０】
ステップＳ１０５の処理が終了すると、配信用データ生成処理が終了する。
【０１２１】
＜ビデオストリーム生成処理の流れ＞
次に、図１９のフローチャートを参照して、図１８のステップＳ１０１において実行されるビデオストリーム生成処理の流れの例を説明する。
【０１２２】
A/D変換部１３１は、ステップＳ１２１において、ビデオアナログ信号をA/D変換し、ビデオストリーム（映像信号とも称する）を生成する。生成されたビデオストリームは、低フレームレート化処理部１３２に供給される。
【０１２３】
ステップＳ１２２において、低フレームレート化処理部１３２は、ステップＳ１２１によりA/D変換されたビデオストリームに対して、低フレームレート化処理を行う。この低フレームレート化処理の詳細は、図２０を参照して後述される。ステップＳ１２２により、高フレームレートのストリーム（例えば、4K/60pのストリーム）から、低フレームレート化が行われ、複数の低フレームレートのストリームが生成される。
【０１２４】
ステップＳ１２３において、単一フレームレート化処理部１３３は、ステップＳ１２２により低フレームレート化されたストリームに対して、単一フレームレート化処理を行う。この単一フレームレート化処理の詳細については、図２１を参照して後述される。ステップＳ１２３により、複数の低フレームレートのストリームに前のフレームを繰り返すことにより、すべての低フレームレートのストリームが、60pのフレームレートに変換される。
【０１２５】
ステップＳ１２４において、圧縮符号化部１３４は、単一フレームレート化されたストリームを、例えば、H.264/AVCやH.265/HEVCであれば、IDRピクチャの位置（デコード開始時刻、表示開始時刻）を一致させて符号化処理を行う。
【０１２６】
＜低フレームレート化処理の流れ＞
次に、図２０のフローチャートを参照して、図１９のステップＳ１２２において実行される低フレームレート化処理の流れの例を説明する。
【０１２７】
ステップＳ１４１において、低フレームレート化処理部１３２は、変換先のフレームレート値をセットする。このとき、ビデオメタデータ生成部１３５は、変換先のフレームレート値をメタデータnet_fpsにセットする。
【０１２８】
ステップＳ１４２において、低フレームレート化処理部１３２は、A/D変換部１３１から映像信号を入力する。
【０１２９】
ステップＳ１４３において、低フレームレート化処理部１３２は、入力映像信号のフレームレート値を取得する。このとき、ビデオメタデータ生成部１３５は、取得したその値（フレームレート値）を、メタデータoriginal_fpsにセットする。
【０１３０】
低フレームレート化処理部１３２は、ステップＳ１４４において、フレームレート変換の方法が、単純間引きか否かを判定する。ステップＳ１４４において、単純間引きであると判定された場合、処理は、ステップＳ１４５に進む。低フレームレート化処理部１３２は、ステップＳ１４５において、入力映像のフレームレート値と変換先のフレームレート値から、フレーム間引き規則を定め、それに従ってフレームを間引く。その後、処理は、ステップＳ１４９に進む。
【０１３１】
ステップＳ１４４において、単純間引きではないと判定された場合、処理は、ステップＳ１４６に進む。ステップＳ１４６において、低フレームレート化処理部１３２は、フレームレート変換の方法が、隣接フレーム合成か否かを判定する。ステップＳ１４６において、隣接フレーム合成ではないと判定された場合、処理は、ステップＳ１４７に進む。ステップＳ１４７において、低フレームレート化処理部１３２は、入力映像のフレームレート値と変換先のフレームレート値から、フレーム合成の規則を定め、隣接フレームを合成して、新たなフレームを生成する。その後、処理は、ステップＳ１４９に進む。
【０１３２】
ステップＳ１４６において、隣接フレーム合成ではないと判定された場合、処理は、ステップＳ１４８に進む。ステップＳ１４８において、低フレームレート化処理部１３２は、その他の方法で、フレームレートを下げる。その後、処理は、ステップＳ１４９に進む。
【０１３３】
ステップＳ１４９において、ビデオメタデータ生成部１３５は、フレームレート変換の方法をメタデータconversion_typeに格納し、フレームレート変換の方法から、メタデータthumbnail_availableの値を決定し、ビデオメタデータをセットする。その後、低フレームレート化処理は終了し、処理は、図１９のビデオストリーム生成処理に戻る。
【０１３４】
＜単一フレームレート化処理の流れ＞
次に、図２１のフローチャートを参照して、図１９のステップＳ１２３において実行される単一フレームレート化処理の流れの例を説明する。
【０１３５】
ステップＳ１６１において、単一フレームレート化処理部１３３は、変換先のフレームレート値をセットする。
【０１３６】
ステップＳ１６２において、単一フレームレート化処理部１３３は、低フレームレート化処理部１３２により低フレームレート化された映像信号を入力する。ステップＳ１６３において、単一フレームレート化処理部１３３は、入力映像信号のフレームレート値を取得する。ステップＳ１６４において、単一フレームレート化処理部１３３は、入力映像のフレームレート値と変換先のフレームレート値から、フレームレート変換規則を定め、フレーム列を変換する。
【０１３７】
ステップＳ１６５において、ビデオメタデータ生成部１３５は、定められた箇所にメタデータframe_rate_conversion_parametersを格納する。その後、単一フレームレート化処理は終了し、処理は、図１９のビデオストリーム生成処理に戻る。
【０１３８】
＜MPDファイル生成処理の流れ＞
次に、図２２のフローチャートを参照して、図１８のステップＳ１０４において実行されるMPDファイル生成処理について説明する。
【０１３９】
ステップＳ１８１において、ビデオメタデータ取得部１２１は、ステップＳ１０１のビデオストリーム生成時に生成されたビデオメタデータ（特に、以下、本技術のメタデータは、フレームレート変換メタデータとも称する）を、ビデオストリーム生成部１１０から取得する。
【０１４０】
ステップＳ１８２において、オーディオメタデータ取得部１２２は、ステップＳ１０２のオーディオストリーム生成時に生成されたオーディオメタデータを、オーディオストリーム生成部１１１から取得する。
【０１４１】
ステップＳ１８３において、ファイル生成部１２３は、ステップＳ１８１により取得されたビデオメタデータと、ステップＳ１８２により取得されたオーディオメタデータとが含まれたMPDファイルを生成する。
【０１４２】
その後、MPDファイル生成処理は終了し、図１８の配信データ生成処理に戻る。
【０１４３】
次に、図２３を参照して、クライアントである再生端末１０３側の動作について説明する。
【０１４４】
図２３の例においては、配信サーバ１０２上には、4K/60pの複数ストリームが用意されている。4K/60pの複数ストリームは、id=1の4K/60p 30Mbps、id=2の4K/60p 15Mbps、id=3の4K/60p 15Mbps（単純間引き、正味30p）、id=4の4K/60p 15Mbps（単純間引き、正味20p）の４種類のストリームである。
【０１４５】
再生端末１０３は、伝送帯域が十分あれば、id=1の4K/60p 30Mbpsのストリームを取得するが、表示性能上、4Kは30pまでしか表示できないとする。id=1は間引いて表示している。
【０１４６】
ここで、伝送帯域幅が狭くなり15Mbps以下のストリームしか伝送できない状況になったとする。再生端末１０３は配信サーバ１０２から取得したフレームレート変換に関するメタデータを参照し、表示可能なストリームの中で最も高画質なストリームを選択する。仮にid=2のストリームを取得しても60p表示できないので、クライアント側で30pに間引く必要がある。すなわち、情報を捨てることになり無駄である。一方、id=3は正味(net)のfpsが30pであるから、デコード後に30p変換しても、実質的には情報を捨てずに済む。id=2とid=3を比較すると、id=3の方が正味のフレーム数が半分であるから、同じ15Mbpsでも圧縮率が低く、各フレームの画質はid=2よりも高いと考えられる。よって、この再生端末１０３においては、id=3のストリームを選択することが最適であることがわかる。
【０１４７】
＜再生端末＞
図２４は、再生端末１０３の主な構成例を示すブロック図である。図２４に示されるように、再生端末１０３は、MPD取得部１５１、パース部１５２、コンテンツファイル取得部１５３、ストリーム抽出部１５４、ビデオ復号部１５５、ビデオ出力部１５６、オーディオ復号部１５７、オーディオ出力部１５８、制御部１５９、および操作部１６０を有する。
【０１４８】
MPD取得部１５１は、MPDファイルの取得に関する処理を行う。例えば、MPD取得部１５１は、配信サーバ１０２に対してMPDファイルを要求し、その配信サーバ１０２から供給されるMPDファイルを取得する。MPD取得部１５１は、取得したMPDファイルをパース部１５２に供給する。
【０１４９】
パース部１５２は、MPDファイルのパース（解析）に関する処理を行う。例えば、パース部１５２は、MPD取得部１５１から供給されるMPDファイルをパースし、そのMPDファイルの記述に応じた制御情報を生成し、それをコンテンツファイル取得部１５３に供給する。
【０１５０】
コンテンツファイル取得部１５３は、コンテンツファイルの取得に関する処理を行う。例えば、コンテンツファイル取得部１５３は、パース部１５２から供給される制御情報に基づいて、配信サーバ１０２からコンテンツファイルとしてMP4ファイルを取得し、その取得したMP4ファイルをストリーム抽出部１５４に供給する。
【０１５１】
ストリーム抽出部１５４は、ストリームの抽出に関する処理を行う。例えば、ストリーム抽出部１５４は、コンテンツファイル取得部１５３から供給されるMP4ファイルからビデオストリームやオーディオストリームを抽出する。例えば、そのビデオストリームを復号して出力する場合、ストリーム抽出部１５４は、抽出したビデオストリームをビデオ復号部１５５に供給する。ビデオストリームのまま出力する場合、ストリーム抽出部１５４は、抽出したビデオストリームをビデオ出力部１５６に供給する。例えば、そのオーディオストリームを復号して出力する場合、ストリーム抽出部１５４は、抽出したオーディオストリームをオーディオ復号部１５７に供給する。オーディオストリームのまま出力する場合、ストリーム抽出部１５４は、抽出したオーディオストリームをオーディオ出力部１５８に供給する。
【０１５２】
ビデオ復号部１５５は、コンテンツデータが符号化された符号化データの復号に関する処理を行う。例えば、ビデオ復号部１５５は、ストリーム抽出部１５４から供給されたビデオストリームを復号する等して、ビデオアナログ信号を復元する。ビデオ復号部１５５は、復元したビデオアナログ信号をビデオ出力部１５６に供給する。なお、ビデオ復号部１５５がビデオストリームに対して行う処理は、そのストリームに対して正しい方法である限り任意である。例えば、復号だけでなく、復調やD/A変換等も行われるようにしてもよい。また、ビデオ復号部１５５は、スイッチング制御部１８１の制御に応じて、ストリームから、あるいは、テキストやCG（Computer Graphics）からコンテンツを代表するサムネイル画像を生成し、例えば、必要に応じて、ストリームに重畳して、ビデオ出力部１５６に出力する。
【０１５３】
オーディオ復号部１５７は、コンテンツデータが符号化された符号化データの復号に関する処理を行う。例えば、オーディオ復号部１５７は、ストリーム抽出部１５４から供給されたオーディオストリームを復号する等して、オーディオアナログ信号を復元する。オーディオ復号部１５７は、復元したオーディオアナログ信号をオーディオ出力部１５８に供給する。なお、オーディオ復号部１５７がオーディオストリームに対して行う処理は、そのストリームに対して正しい方法である限り任意である。例えば、復号だけでなく、復調やD/A変換等も行われるようにしてもよい。
【０１５４】
例えば、オーディオストリームは、DSDロスレスストリームであり、オーディオ復号部１５７は、そのDSDロスレスストリームを復号してDSDデータを復元し、さらに復調してオーディオアナログ信号を復元する。また、例えば、オーディオストリームは、LPCMのストリームであってもよいし、AACのストリームであってもよい。オーディオ復号部１５７は、それらのデータに応じた処理を行い、オーディオアナログ信号を復元する。
【０１５５】
ビデオ出力部１５６は、コンテンツデータの出力に関する処理を行う。例えば、ビデオ出力部１５６は、ディスプレイを有し、ビデオ復号部１５５から供給されるビデオオアナログ信号をそのディスプレイら出力する。また、例えば、ビデオ出力部１５６は、ビデオ信号の出力端子を有し、ビデオ復号部１５５から供給されるビデオアナログ信号を、その出力端子を介して他の装置に供給する。さらに、例えば、ビデオ出力部１５６は、デジタル信号の出力端子を有し、ストリーム抽出部１５４から供給されたビデオストリームを、その出力端子を介して例えば外部ビデオデコーダ１６１等の他の装置に供給する。つまり、ビデオストリームは、再生端末１０３の外部に設けられた外部ビデオデコーダ１６１において復号することもできる。
【０１５６】
オーディオ出力部１５８は、コンテンツデータの出力に関する処理を行う。例えば、オーディオ出力部１５８は、スピーカを有し、オーディオ復号部１５７から供給されるオーディオアナログ信号をそのスピーカから出力する。また、例えば、オーディオ出力部１５８は、アナログ信号の出力端子を有し、オーディオ復号部１５７から供給されるオーディオアナログ信号を、その出力端子を介して他の装置に供給する。さらに、例えば、オーディオ出力部１５８は、デジタル信号の出力端子を有し、ストリーム抽出部１５４から供給されたオーディオストリームを、その出力端子を介して例えば外部オーディオデコーダ１６２等の他の装置に供給する。つまり、オーディオストリームは、再生端末１０３の外部に設けられた外部オーディオデコーダ１６２において復号することもできる。
【０１５７】
また、図２４に示されるように、コンテンツファイル取得部１５３は、スイッチング制御部１８１を有する。スイッチング制御部１８１は、再生するコンテンツデータのスイッチングの制御に関する処理を行う。例えば、スイッチング制御部１８１は、伝送帯域幅とパース部１５２からの制御情報（フレーム変換メタデータ）に基づいてこのスイッチングの制御を行う。
【０１５８】
制御部１５９は、再生端末１０３が動作する上で、必要な情報を記憶するメモリ１５９Ａを内蔵している。制御部１５９は、操作部１６０を用いて行われるユーザの設定をメモリ１５９Ａに保持する。制御部１５９は、スイッチング制御部１８１に応じて、メモリ１５９Ａに保持されている設定情報を供給する。
【０１５９】
操作部１６０は、マウス、キーボード、タッチパネルなどにより構成される。操作部１６０は、ユーザによるパラメータの設定などを入力する。
【０１６０】
＜コンテンツ取得処理の流れ＞
次に、再生端末１０３において実行されるコンテンツ取得処理の流れの例を、図２５のフローチャートを参照して説明する。
【０１６１】
再生端末１０３のMPD取得部１５１は、例えばユーザ等により指定されたMPDファイルを配信サーバ１０２から取得する。パース部１５２は、パース処理を実行して、取得されたMPDファイルをパースし、そのパース結果を反映した制御情報を生成する。制御情報の中には、フレームレート変換メタデータが含まれている。
【０１６２】
ステップＳ２０１において、スイッチ制御部１８１は、フレームレート変換メタデータを取得する。ステップＳ２０２において、スイッチ制御部１８１は、フレームレート変換メタデータの記述に基づいて、現在の伝送帯域幅で伝送可能なストリーム（Representation）が存在するか否かを判定する。ステップＳ２０２において、現在の伝送帯域幅で伝送可能なストリームが存在しないと判定された場合、ステップＳ２０３に進む。
【０１６３】
ステップＳ２０３において、スイッチ制御部１８１は、スイッチング可能なストリームがないため、再生端末１０３（プレーヤ）実装依存の処理を行う。その後、処理は、ステップＳ２０７に進む。
【０１６４】
ステップＳ２０２において、現在の伝送帯域幅で伝送可能なストリームが存在すると判定された場合、ステップＳ２０３はスキップされ、処理は、ステップＳ２０４に進む。
【０１６５】
ステップＳ２０４において、スイッチ制御部１８１は、ビットレートが最も高いリプレゼンテーション（Representation）は１つのみであるか否かを判定する。ステップＳ２０４において、ビットレートが最も高いリプレゼンテーション（Representation）は１つのみではないと判定された場合、処理は、ステップＳ２０５に進む。ステップＳ２０５において、スイッチ制御部１８１は、正味のフレームレートがクライアントである再生端末１０３の表示フレームレート以下で、正味のフレームレートが最も高いストリームを選択する。これに対応して、コンテンツファイル取得部１５３は、スイッチ制御部１８１により選択されたストリームのMP4ファイルを取得し、その後、処理は、ステップＳ２０７に進む。
【０１６６】
ステップＳ２０４において、ビットレートが最も高いリプレゼンテーション（Representation）は１つのみであると判定された場合、処理は、ステップＳ２０６に進む。ステップＳ２０６において、スイッチ制御部１８１は、ビットレートが最も高いストリームを選択する。これに対応して、コンテンツファイル取得部１５３は、スイッチ制御部１８１により選択されたストリームのMP4ファイルを取得し、その後、処理は、ステップＳ２０７に進む。
【０１６７】
ステップＳ２０７において、コンテンツファイル取得部１５３は、コンテンツファイル取得処理を終了するか否かを判定する。ステップＳ２０７において、コンテンツファイル取得処理は終了しないと判定された場合、処理は、ステップＳ２０２に戻り、それ以降の処理が繰り返される。例えば、ユーザの操作部１６０の操作によりコンテンツファイル取得が停止された場合、その信号が、制御部１５９を介して入力されるので、ステップＳ２０７において、コンテンツファイル取得処理を終了すると判定され、コンテンツ取得処理は、終了される。
【０１６８】
なお、上述したコンテンツファイル取得処理は一例であり、特に限定されない。すなわち、配信サーバ１０２から取得したフレームレート変換メタデータを利用して最適なストリームが選択される処理であれば、アルゴリズムは限定されない。
【０１６９】
＜サムネイル画像生成処理の流れ＞
次に、再生端末１０３において実行されるサムネイル画像生成処理の流れの例を、図２６のフローチャートを参照して説明する。
【０１７０】
スイッチング制御部１８１は、さらに、ステップＳ２２１において、フレームレート変換メタデータのthumbnail_available値が１であるか否かを判定する。ステップＳ２２１において、フレームレート変換メタデータのthumbnail_available値が１であると判定された場合、処理は、ステップＳ２２２に進む。ステップＳ２２２において、スイッチング制御部１８１からの指示により、ビデオ復号部１５５は、ストリームから１フレームを抜き出し、コンテンツを代表するサムネイル画像として設定し、サムネイル画像生成処理を終了する。
【０１７１】
ステップＳ２２１において、フレームレート変換メタデータのthumbnail_available値が１ではないと判定された場合、処理は、ステップＳ２２３に進む。ステップＳ２２３において、スイッチング制御部１８１からの指示により、ビデオ復号部１５５は、ストリームからフレームを抜き出すのではなく、テキスト（文字）やCG(Computer Graphics)で、コンテンツを代表するサムネイル画像を生成し、サムネイル画像生成処理を終了する。
【０１７２】
＜メタデータの格納場所＞
次に、上述した本技術を適用したメタデータであるフレームレート変換メタデータ（frame_rate_conversion_parameters）の格納場所について説明する。
【０１７３】
フレームレート変換メタデータ（frame_rate_conversion_parameters）の格納場所としては、MPDファイルに格納する方法とMP4ファイルに格納する方法とが挙げられる。
【０１７４】
まず、MPDファイルに格納する場合について説明する。MPDファイルに格納する場合、メタデータを、EssentialProptertyあるいはSupplementalPropertyとして定義し、Representationに対して一つPropertyを付与するのが最も簡便で分かりやすい。なお、それらに限らず、Propertyを各Representationの中に記述してもよいし、AdaptationSetにまとめて置いてもよいし、Periodにまとめて置くようにしてもよい。
【０１７５】
図２７は、MPDに格納する場合の例を示す図である。
【０１７６】
＜MPDに格納する場合の例＞
まず、メタデータを拡張Property(EssentialPropterty/SupplementalProperty)として定義し、schemeIdUriはframe_rate_conversion_parameters ()であることを示す名前で、図２７に示されるように、valueにfieldを羅列する。
schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016”
value = “(AdaptationSet_id),(Representation_id), original_fps, net_fps, conversion_type , thumbnail_available”
【０１７７】
なお、schemeIdUriで示す文字列は一例で特別な意味はなし。
【０１７８】
fieldのsemanticsは、frame_rate_conversion_parameters ()と同じである。以下に、fieldのsemanticsを示す。
【０１７９】
(AdaptationSet_id) :この拡張propertyをPeriodにまとめて列挙する場合に使用する。AdaptationSetを指定する。この拡張propertyをAdaptationSetまたはRepresentationに記述する場合は、この値を省略する。
(Representation_id) :この拡張propertyをPeriodまたはAdaptationSetにまとめて列挙する場合に使用する。Representationを指定する。この拡張propertyをRepresentationに記述する場合は、この値を省略する。
original_fps  ：変換前のフレームレート(MPDでは小数点が使えるので分子分母に分けず値を直接記載する。）
net_fps       ：変換後の正味のフレームレート(MPDでは小数点が使えるので分子分母に分けず値を直接記載する。）
conversion_type  ：低フレームレートへの変換の方法
thumbnail_available：このコンテンツから抜き出したフレームは静止画サムネイルとして表示可能か、ブレが多くてサムネイルとして使えないか、を示すフラグである。
【０１８０】
＜リプレゼンテーションに付与する場合の例＞
図２８においては、メタデータをリプレゼンテーション（Representation）に付与する場合のMPDの記述例が示されている。メタデータをリプレゼンテーション（Representation）に付与する場合、メタデータは、< Representation></ Representation>で囲まれる中に記述される。なお、図２８の例においては、本技術に関係のないelementやattributeは省略されている。4K/60p、正味のフレームレートが60p,30p,15pの３種類のRepresentationから構成されるAdaptation Setの記述例である。
【０１８１】
<MPD>
<Period>
<AdaptationSet>
<Representation id=“1” bandwidth=“30000000” frameRate=“60” width=“3840” height=“2160”>
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“60, 60,1,1” />
<BaseURL>100.mp4</BaseURL> </Representation>
<Representation id=“2” bandwidth=“15000000” frameRate=“60” width=“3840” height=“2160”>
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“60, 30,1,1” />
<BaseURL>101.mp4</BaseURL> </Representation>
<Representation id=“3” bandwidth=“15000000” frameRate=“60” width=“3840” height=“2160”>
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“60, 15,1,1” />
<BaseURL>102.mp4</BaseURL> </Representation>
</AdaptationSet>
</Period>
</MPD>
【０１８２】
なお、図２８において、SupplementalPropertyを使用する場合も、EssensialPrpertyを、SupplementalPropertyに置き換えるだけで同様に記述可能である。
【０１８３】
＜アダプテーションセットに付与する場合の例＞
図２９は、メタデータをアダプテーションセット（AdaptationSet）に付与する場合のMPDの記述例である。メタデータをアダプテーションセットに付与する場合、Representation_idでAdaptation Set に属するRepresentationを指定し、Representationの数だけ羅列される。なお、図２９の例においても、本技術に関係のないelementやattributeは省略されている。4K/60p、正味のフレームレートが60p,30p,15pの３種類のRepresentationから構成されるAdaptation Setの記述例である。
【０１８４】
<MPD>
<Period>
<AdaptationSet>
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“1, 60, 60,1,1” />
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“2, 60, 30,1,1” />
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“3, 60, 15,1,1” />
<Representation id=“1” bandwidth=“30000000” frameRate=“60” width=“3840” height=“2160”>
<BaseURL>100.mp4</BaseURL> </Representation>
<Representation id=“2” bandwidth=“15000000” frameRate=“60” width=“3840” height=“2160”>
<BaseURL>101.mp4</BaseURL> </Representation>
<Representation id=“3” bandwidth=“15000000” frameRate=“60” width=“3840” height=“2160”>
<BaseURL>102.mp4</BaseURL> </Representation>
</AdaptationSet>
</Period>
</MPD>
【０１８５】
なお、図２９において、SupplementalPropertyを使用する場合も、EssensialPrpertyを、SupplementalPropertyに置き換えるだけで同様に記述可能である。
【０１８６】
＜ピリオドに付与する場合の例＞
図３０は、メタデータをピリオド（Period）に付与する場合のMPDの記述例である。メタデータをピリオド（Period）に付与する場合、AdaptationSet_idと Representation_idでRepresentationを指定し、Representationの数だけ羅列される。なお、図３０の例においても、本技術に関係のないelementやattributeは省略されている。4K/60p、正味のフレームレートが60p,30p,15pの３種類のRepresentationから構成されるAdaptation Setの記述例である。
【０１８７】
<MPD>
<Period>
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“1,1, 60, 60,1,1” />
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“1,2, 60, 30,1,1” />
<EssentialProperty schemeIdUri = “urn:mpeg:dash:frame_rate_conversion_parameters:2016” value=“1,3, 60, 15,1,1” />
<AdaptationSet  id=“1”>
<Representation id=“1” bandwidth=“30000000” frameRate=“60” width=“3840” height=“2160”>
<BaseURL>100.mp4</BaseURL> </Representation>
<Representation id=“2” bandwidth=“15000000” frameRate=“60” width=“3840” height=“2160”>
<BaseURL>101.mp4</BaseURL> </Representation>
<Representation id=“3” bandwidth=“15000000” frameRate=“60” width=“3840” height=“2160”>
<BaseURL>102.mp4</BaseURL> </Representation>
</AdaptationSet>
</Period>
</MPD>
【０１８８】
なお、図３０において、SupplementalPropertyを使用する場合も、EssensialPrpertyを、SupplementalPropertyに置き換えるだけで同様に記述可能である。
【０１８９】
次に、MP4ファイルに格納する場合について説明する。MP4ファイルに格納する場合、メタデータを、MP4のシステム層(moov)に記載する方法と、video trackに対するtimed metadata(metadatatrack)として記述する方法が挙げられる。
【０１９０】
＜MP4のシステム層(moov)に記載する場合の例＞
図３１は、メタデータをMP4のシステム層(moov)に記載する場合の例である。video track box(‘trak’)の下の User data box (‘udta’)のさらに下に新たなBoxを定義し、 frame_rate_conversion_parameters() を格納する。video trackに対するstaticなメタデータとなる。
【０１９１】
Box Type: ‘frcp’
Container: User data box (‘udta’)
Mandatory: No
Quantity: Zero or more
aligned(8) class FrameRateConversionParametersBox extends FullBox(‘frcp’, version = 0, 0) {
int16          original_fps_numerator
int16          original_fps_denominator
int16          net_fps_numerator
int16          net_fps_denominator
int8        conversion_type
int8        thumbnail_available
int         reserved
}
【０１９２】
なお、各fieldのsemanticsはframe_rate_conversion_parameters()と同じ。
【０１９３】
＜MP4のvideo trackに記載する場合の例＞
図３２は、メタデータをvideo trackに対するtimed metadata track(metadata track)として記述する場合の例である。
【０１９４】
frame_rate_conversion_parameters()がビデオの再生時刻に応じて変化する場合は、moovのBoxでは記述が難しい。そこで時間軸を有する構造であるtrackを利用し、 frame_rate_conversion_parameters() を示す新たなmetadata trackを定義する。ISO/IEC 14496-12(ISOBMFF)におけるmetadata trackの定義方法は、下記に記載があるので、それに準拠した形でmetadata trackを定義すれば良い。
【０１９５】
ISO/IEC 14496-12 Timed Metadata track ‘meta’, C.11 Guidelines on the use of sample groups, timed metadata tracks, and sample auxiliary information
【０１９６】
metadataの変化しない時間範囲を１つのsampleと定義し、1 sampleを１つのframe_rate_conversion_parameters()に対応させる。図３２に示されるように、１つのframe_rate_conversion_parameters()が有効な時間はsample_durationで表すことができる。
【０１９７】
以上のように、本技術においては。複数のフレームレートの異なるストリームを生成してから、フレームレートが異なるストリームを単一フレームレート化される。
【０１９８】
これにより、ストリーム切り替え（スイッチング）の際、外形上は単一の固定フレームレートであるため、ストリームスイッチが容易になる。すなわち、フレームレートが異なるストリームをシームレスに再生することができる。
【０１９９】
また、本技術によれば、ストリーム切り替え（スイッチング）の際、静止画像と動画像の間のスイッチングも可能になる。また、エンコードの工夫（スライスデータの省略）で、ビットレート上昇を抑えることができる。
【０２００】
本技術によれば、ストリーム切り替えの際、メタデータを参照して最適なストリームを選択できる。また、メタデータによって、あるビットレートのとき、単にビットレートだけを下げたのか、解像度を落としたのか、あるいは、fpsを下げてビットレートを落としたのかを区別できる。メタデータをUI(User Interface)表示に活用できる。ユーザに真のfpsを提示することができる。
【０２０１】
＜３．第２の実施の形態（コンピュータ）＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０２０２】
図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２０３】
図３３に示されるコンピュータ１０００において、CPU（Central Processing Unit）１００１、ROM（Read Only Memory）１００２、RAM（Random Access Memory）１００３は、バス１００４を介して相互に接続されている。
【０２０４】
バス１００４にはまた、入出力インタフェース１０１０も接続されている。入出力インタフェース１０１０には、入力部１０１１、出力部１０１２、記憶部１０１３、通信部１０１４、およびドライブ１０１５が接続されている。
【０２０５】
入力部１０１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１０１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１０１４は、例えば、ネットワークインタフェースよりなる。ドライブ１０１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１０２１を駆動する。
【０２０６】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１０１３に記憶されているプログラムを、入出力インタフェース１０１０およびバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２０７】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア１０２１をドライブ１０１５に装着することにより、入出力インタフェース１０１０を介して、記憶部１０１３にインストールすることができる。
【０２０８】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１０１４で受信し、記憶部１０１３にインストールすることができる。
【０２０９】
その他、このプログラムは、ROM１００２や記憶部１０１３に、あらかじめインストールしておくこともできる。
【０２１０】
＜その他＞
なお、符号化データ（ビットストリーム）に関する各種情報は、符号化データに多重化されて伝送され又は記録されるようにしてもよいし、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０２１１】
また、上述したように、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０２１２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１３】
例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２１４】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２１５】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２１６】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０２１７】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１８】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２１９】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
【０２２０】
なお、本技術は以下のような構成も取ることができる。
（１）  入力画像から、複数の異なる低フレームレートの画像を生成する低フレームレート生成部と、
前記低フレームレート生成部により生成された複数の異なる低フレームレートの画像を、単一のフレームレートの画像に変換する単一フレームレート変換部と、
前記単一フレームレート変換部により変換された単一フレームレートの画像を符号化する符号化部と
を備える情報処理装置。
（２）  フレームレートに関連する情報を、前記符号化された画像に対するメタデータとして配置する配置部を
さらに備える前記（１）に記載の情報処理装置。
（３）  前記メタデータは、前記低フレームレート生成部により生成された複数の異なる低フレームレートを示す正味のフレームレートを含む
前記（２）に記載の情報処理装置。
（４）  前記メタデータは、前記低フレームレート生成部による低フレームレートの生成方法を含む
前記（２）または（３）に記載の情報処理装置。
（５）  前記メタデータは、前記低フレームレート生成部により低フレームレートの画像が生成される前のオリジナルのフレームレートを含む
前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）  前記メタデータは、前記単一フレームレート変換部により変換された単一フレームレートの画像から、サムネイルとして使用可能な静止画像を抜き出せるかを示す情報を含む
前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）  前記配置部は、前記メタデータをMPDファイルに配置する
前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）  前記配置部は、前記メタデータをMP4ファイルに配置する
前記（２）乃至（６）のいずれかに記載の情報処理装置。
（９）  前記配置部により配置されたメタデータと前記符号化された画像とを含むコンテンツを送信する送信部を
さらに備える前記（２）に記載の情報処理装置。
（１０）  情報処理装置が、
入力画像から、複数の異なる低フレームレートの画像を生成し、
生成された複数の異なる低フレームレートの画像を、単一のフレームレートの画像に変換し、
変換された単一フレームレートの画像を符号化する
情報処理方法。
（１１）  複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する予測モード決定部
を備える情報処理装置。
（１２）  前記メタデータは、前記複数の異なる低フレームレートを示す正味のフレームレートを含む
前記（１１）に記載の情報処理装置。
（１３）  前記メタデータは、前記低フレームレートの生成方法を含む
前記（１１）または（１２）に記載の情報処理装置。
（１４）  前記メタデータは、前記低フレームレートの画像が生成される前のオリジナルのフレームレートを含む
前記（１１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）  前記メタデータは、変換された単一フレームレートの画像から、サムネイルとして使用可能な静止画像を抜き出せるかを示す情報を含む
前記（１１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）  前記メタデータは、MPDファイルに配置されて送信されてくる
前記（１１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）  前記メタデータは、MP4ファイルに配置されて送信されてくる
前記（１１）乃至（１５）のいずれかに記載の情報処理装置。
（１８）  前記コンテンツ選択部により選択されたコンテンツを受信する受信部を
さらに備える前記（１１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）  情報処理装置が、
入力画像から複数の異なる低フレームレートの画像が生成され、生成された複数の異なる低フレームレートの画像が単一フレームレートに変換されて送信されてくるコンテンツに対するフレームレートに関連する情報であるメタデータを取得し、
現在の伝送帯域幅に応じて、取得されたメタデータに基づいて、最適な低フレームレートの画像が変換された単一フレームレートの画像からなるコンテンツを選択する
情報処理方法。
【符号の説明】
【０２２１】
１００  配信システム，  １０１  ファイル生成装置，  １０２  配信サーバ，  １０３  再生端末，  １０４  ネットワーク，  １１０  ビデオストリーム生成部，  １１１  オーディオストリーム生成部，  １１２  コンテンツファイル生成部，  １１３  MPD生成部，  １１４  通信部，  １２１  ビデオメタデータ取得部，  １２２  オーディオメタデータ取得部,  １２３  ファイル生成部，  １３１  A/D変換部，  １３２  低フレームレート化処理部，  １３３  単一フレームレート化処理部，  １３４  圧縮符号化部，  １３５  ビデオメタデータ生成部，  １５１  MPD取得部，  １５２  パース部，  １５３  コンテンツファイル取得部，  １５４  ストリーム抽出部，  １５５  ビデオ復号部，  １５６  ビデオ出力部，  １５７  オーディオ復号部，  １５８  オーディオ出力部，  １５９  制御部，  １６０  操作部，  １８１  スイッチング制御部
【図１】
2018142946.tif 000003
【図２】
2018142946.tif 000004
【図３】
2018142946.tif 000005
【図４】
2018142946.tif 000006
【図５】
2018142946.tif 000007
【図６】
2018142946.tif 000008
【図７】
2018142946.tif 000009
【図８】
2018142946.tif 000010
【図９】
2018142946.tif 000011
【図１０】
2018142946.tif 000012
【図１１】
2018142946.tif 000013
【図１２】
2018142946.tif 000014
【図１３】
2018142946.tif 000015
【図１４】
2018142946.tif 000016
【図１５】
2018142946.tif 000017
【図１６】
2018142946.tif 000018
【図１７】
2018142946.tif 000019
【図１８】
2018142946.tif 000020
【図１９】
2018142946.tif 000021
【図２０】
2018142946.tif 000022
【図２１】
2018142946.tif 000023
【図２２】
2018142946.tif 000024
【図２３】
2018142946.tif 000025
【図２４】
2018142946.tif 000026
【図２５】
2018142946.tif 000027
【図２６】
2018142946.tif 000028
【図２７】
2018142946.tif 000029
【図２８】
2018142946.tif 000030
【図２９】
2018142946.tif 000031
【図３０】
2018142946.tif 000032
【図３１】
2018142946.tif 000033
【図３２】
2018142946.tif 000034
【図３３】
2018142946.tif 000035
【国際調査報告】
2018142946.tif 000036
2018142946.tif 000037
2018142946.tif 000038
2018142946.tif 000039