(57)【要約】帯状領域を上側と下側に付して画像を符号化する第１の符号化手段と、第１の領域と第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される第１の字幕のデータを符号化する第２の符号化手段と、第３の領域を形成するために参照させる情報を生成する第１の生成手段と、ビデオストリームと、第１の字幕のストリームと、制御情報とを含むコンテンツを生成する第２の生成手段と、を備える情報処理装置。
2013511789.tif 000002
【特許請求の範囲】
【請求項１】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化する第１の符号化手段と、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される第１の字幕のデータを符号化する第２の符号化手段と、
前記画像の符号化データであるビデオストリームを復号して得られるフレームに含まれる該画像の有効画枠の位置を移動して前記第３の領域を形成するために参照されるとともに、該有効画枠の配置位置を示す情報を含む情報をコンテンツの再生を制御する制御情報として生成する第１の生成手段と、
前記ビデオストリームと、前記第１の字幕の符号化データである該第１の字幕のストリームと、前記制御情報とを含む前記コンテンツを生成する第２の生成手段と、
を備える情報処理装置。
【請求項２】
前記第１の生成手段は、前記第１の字幕の前記ストリームが前記コンテンツに含まれているかどうかを示すフラグ情報をさらに含む前記制御情報を生成し、該フラグ情報が、該第１の字幕の該ストリームが該コンテンツに含まれていることを示すときに、前記有効画枠の配置位置を示す情報を該制御情報に含める、請求項１に記載の情報処理装置。
【請求項３】
前記第１の生成手段は、前記有効画枠の配置位置を示す情報として、前記有効画枠の上端の位置を求める際に用いられる第１のオフセット値と、該有効画枠の下端の位置を求める際に用いられる第２のオフセット値と、符号化時の位置を基準として該有効画枠を上方向に移動するかまたは下方向に移動するかを示す情報と、該有効画枠の移動量を求める際に用いられる第３のオフセット値を生成する、請求項１に記載の情報処理装置。
【請求項４】
前記第２の符号化手段は、前記有効画枠内に表示する第２の字幕のデータを符号化し、
前記第２の生成手段は、前記第２の字幕の符号化データである該第２の字幕のストリームをさらに含む前記コンテンツを生成する、請求項１に記載の情報処理装置。
【請求項５】
前記第１の生成手段は、前記有効画枠の配置位置を示す前記情報として、前記第２の字幕の表示領域の位置と前記有効画枠の位置の関係の固定を示す情報を生成する、請求項４に記載の情報処理装置。
【請求項６】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化するステップと、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化するステップと、
前記画像の符号化データであるビデオストリームを復号して得られるフレームに含まれる該画像の有効画枠の位置を移動して前記第３の領域を形成するために参照されるとともに、該有効画枠の配置位置を示す情報を含む情報をコンテンツの再生を制御する制御情報として生成するステップと、
前記ビデオストリームと、前記字幕の符号化データである該字幕のストリームと、前記制御情報とを含む前記コンテンツを生成するステップと、
を包含する情報処理方法。
【請求項７】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化するステップと、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化するステップと、
前記画像の符号化データであるビデオストリームを復号して得られるフレームに含まれる該画像の有効画枠の位置を移動して前記第３の領域を形成するために参照されるとともに、該有効画枠の配置位置を示す情報を含む情報をコンテンツの再生を制御する制御情報として生成するステップと、
前記ビデオストリームと、前記字幕の符号化データである該字幕のストリームと、前記制御情報とを含む前記コンテンツを生成するステップと、
を包含する処理をコンピュータに実行させるプログラム。
【請求項８】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームを復号する第１の復号手段と、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される第１の字幕のデータを符号化して得られる該第１の字幕のストリームを復号する第２の復号手段と、
コンテンツの再生を制御する制御情報に含まれるとともに、前記ビデオストリームを復号して得られるフレームに含まれる前記画像の有効画枠の位置を移動して前記第３の領域を形成するために参照される該有効画枠の配置位置を示す情報を参照して該有効画枠の位置を移動して該有効画枠内に該画像を表示する画像処理手段と、
前記有効画枠の位置を移動して形成される前記第３の領域に、前記第１の字幕を表示する字幕データ処理手段と、
を備える再生装置。
【請求項９】
前記有効画枠の配置位置を示す情報である、該有効画枠の前記上端の位置を求める際に用いられる第１のオフセット値と、該有効画枠の前記下端の位置を求める際に用いられる第２のオフセット値と、符号化時の位置を基準として該有効画枠を上方向に移動するかまたは下方向に移動するかを示す移動方向情報と、該有効画枠の移動量を求める際に用いられる第３のオフセット値とに基づいて、前記画像処理手段は、該第１のオフセット値を用いて該上端における該有効画枠の位置を求め、該第２のオフセット値を用いて該下端における該有効画枠の位置を求めるとともに、該上端と下端の位置を有する該有効画枠の位置を、該移動方向情報で表される方向に該第３のオフセット値を用いて求めた量だけ移動する、請求項８に記載の再生装置。
【請求項１０】
前記第１の字幕のストリームが、前記有効画枠の前記上側に形成される前記第３の領域に字幕を表示するためのストリームであるとき、該有効画枠の配置位置を示す情報である、該有効画枠の上端の位置を求める際に用いられる第１のオフセット値と、該有効画枠の下端の位置を求める際に用いられる第２のオフセット値と、該有効画枠の該上端を基準とする位置の移動後の該枠の該上端の位置を求める際に用いられる第３のオフセット値とに基づいて、前記画像処理手段は、該第１のオフセット値を用いて該有効画枠の該上端の位置を求め、該第２のオフセット値を用いて該有効画枠の該下端の位置を求めるとともに、該上端および下端の位置を有する該有効画枠の該上端の位置を、該第３のオフセット値を用いて求められた該位置の移動後の位置となるように移動する、請求項８に記載の再生装置。
【請求項１１】
前記第１の字幕のストリームが、前記有効画枠の前記下側に形成される前記第３の領域に字幕を表示するためのストリームであるとき、該有効画枠の配置位置を示す情報である、該有効画枠の上端の位置を求める際に用いられる第１のオフセット値と、該有効画枠の下端の位置を求める際に用いられる第２のオフセット値と、該有効画枠の該上端を基準とする位置の移動後の該有効画枠の該上端の位置を求める際に用いられる第３のオフセット値とに基づいて、前記画像処理手段は、該第１のオフセット値を用いて該有効画枠の該上端の位置を求め、該第２のオフセット値を用いて該有効画枠の該下端の位置を求めるとともに、該上端および下端の位置を有する該有効画枠の該上端の位置を、該第３のオフセット値を用いて求められた該位置の移動後の位置となるように移動する、請求項８に記載の再生装置。
【請求項１２】
前記第２の復号手段は、前記有効画枠内に表示する第２の字幕のデータを符号化して得られる該第２の字幕のストリームを復号し、
前記字幕データ処理手段は、前記第２の字幕の表示領域が前記第２の字幕のストリームに含まれる位置情報により示される位置を設定し、該第２の字幕を表示する、請求項８に記載の再生装置。
【請求項１３】
前記画像処理手段は、前記有効画枠の位置を移動して形成された前記第３の領域を他の位置に移動する指示をされたとき、該第３の領域の位置を移動し、
前記字幕データ処理手段は、前記有効画枠の配置位置を示す情報に含まれる、該有効画枠の位置に対する関係の固定を示す情報に基づいて、前記第２の字幕の表示領域と該有効画枠の位置の関係が変わらない位置に、該第２の字幕の該表示領域を設定し、該第２の字幕を表示する、請求項１２に記載の再生装置。
【請求項１４】
前記第１の字幕を前記第３の領域に表示する方式が設定されているか否かを示す値を記憶する記憶手段をさらに含み、
前記方式が設定されていることを示す値が前記記憶手段に設定されている場合、前記第１の字幕の前記ストリームが存在することを示す値が、前記ビデオストリームおよび該第１の字幕の該ストリームを制御する再生制御情報に含まれるとき、前記第２の復号手段は、該第１の字幕の該ストリームの復号を行い、前記画像処理手段は、前記有効画枠の位置を移動し、該位置が移動された該有効画枠に前記画像を表示する、請求項８に記載の再生装置。
【請求項１５】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームを復号するステップと、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化して得られる字幕のストリームを復号するステップと、
コンテンツの再生を制御する制御情報に含まれるとともに、前記ビデオストリームを復号して得られるフレームに含まれる前記画像の有効画枠の位置を移動して前記第３の領域を形成するために参照される該有効画枠の配置位置を示す情報を参照して該有効画枠の位置を移動して該有効画枠内に該画像を表示するステップと、
前記有効画枠の位置を移動して形成される前記第３の領域に前記字幕を表示するステップと、
を包含する再生方法。
【請求項１６】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームを復号するステップと、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化して得られる字幕のストリームを復号するステップと、
コンテンツの再生を制御する制御情報に含まれるとともに、前記ビデオストリームを復号して得られるフレームに含まれる前記画像の有効画枠の位置を移動して前記第３の領域を形成するために参照される該有効画枠の配置位置を示す情報を参照して該有効画枠の位置を移動して該有効画枠内に該画像を表示するステップと、
前記有効画枠の位置を移動して形成される前記第３の領域に前記字幕を表示するステップと、
を包含する処理をコンピュータに実行させるプログラム。
【請求項１７】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームと、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化して得られる字幕のストリームと、
コンテンツの再生を制御する情報であり、かつ前記ビデオストリームを復号して得られるフレームに含まれる前記画像の有効画枠の位置を移動して前記第３の領域を形成するために参照される、該有効画枠の配置位置を示す情報を含む制御情報と、
を含む情報を記録した記録媒体。
【請求項１８】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化する第１の符号化部と、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される第１の字幕のデータを符号化する第２の符号化部と、
前記画像の符号化データであるビデオストリームを復号して得られるフレームに含まれる該画像の有効画枠の位置を移動して前記第３の領域を形成するために参照されるとともに、該有効画枠の配置位置を示す情報を含む情報をコンテンツの再生を制御する制御情報として生成する第１の生成部と、
前記ビデオストリームと、前記第１の字幕の符号化データである該第１の字幕のストリームと、前記制御情報とを含む前記コンテンツを生成する第２の生成部と、
を備える情報処理装置。
【請求項１９】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームを復号する第１の復号部と、
前記上側の前記帯状領域である第１の領域と前記下側の前記帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される第１の字幕のデータを符号化して得られる該第１の字幕のストリームを復号する第２の復号部と、
コンテンツの再生を制御する制御情報に含まれるとともに、前記ビデオストリームを復号して得られるフレームに含まれる前記画像の有効画枠の位置を移動して前記第３の領域を形成するために参照される該有効画枠の配置位置を示す情報を参照して該有効画枠の位置を移動して該有効画枠内に該画像を表示する画像処理部と、
前記有効画枠の位置を移動して形成される前記第３の領域に、前記第１の字幕を表示する字幕データ処理部と、
を備える再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
優先出願の相互参照
本出願は、2010年6月23日に出願の米国特許出願第12/821,829号および2010年2月12日に出願の米国特許出願第61/304,185号に基づくとともにそれらの優先権の利益を主張するものであり、ここに、それら各出願の全内容を参考として本明細書において完全に援用する。
【０００２】
本発明は、情報処理装置、情報処理方法、再生装置、再生方法、プログラム、および記録媒体に関し、特に、字幕の表示領域として十分な領域を確保することができる情報処理装置、情報処理方法、再生装置、再生方法、プログラム、および記録媒体に関する。
【背景技術】
【０００３】
近年、液晶ディスプレイ(LCD:liquid crystal display)等のディスプレイの画素数やフレームレートの向上に伴い実現される画像表示方式として３次元(3D:3-dimensional)表示方式がある。3D表示方式によれば、視聴者は被写体を３次元的に認識することができる。
【０００４】
将来的には、このような３次元的に認識可能なビデオデータを含む映画等の3Dコンテンツを記録したBD-ROM等のBlu-Ray（商標）Disc(BD)が流通するようになることも考えられる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
BD等に記録された3Dコンテンツを再生して3D画像を表示するとき、字幕をどこにどのように表示するかという問題がある。
【０００６】
図１は、アスペクト比が16:9の表示装置に、垂直方向よりも水平方向が長く、16:9よりも大きなアスペクト比を有する、シネマスコープサイズ等の画像を表示したときの画面構成を示す図である。
【０００７】
図１に示すように、映画等のコンテンツの画像はいわゆるレターボックス形式で表示され、画面の上側および下側に黒枠領域が形成される。2Dの字幕は、通常、点線で示すように、ビデオ表示領域の中央下側に形成された字幕領域に表示される。
【０００８】
3Dコンテンツに含まれる画像が、垂直方向よりも水平方向が長く、16:9よりも大きなアスペクト比で符号化されているとき、BDプレーヤ等で再生した3Dコンテンツの画像は、16:9のアスペクト比を有するテレビジョン受像機の画面上には図１に示すように表示される。
【０００９】
この場合において、例えば、通常の2Dコンテンツと同じように3Dコンテンツを表示したビデオ表示領域に２次元の字幕を表示したとき、字幕は３次元表示された被写体と重なってしまい、読みにくくなる可能性がある。また、字幕をも３次元表示したとき、視差により、画像を見ているうちに疲れてしまう可能性がある。
【００１０】
さらに、黒枠領域に字幕を表示するとき、一度に字幕を複数行に示すと同時に、当該字幕の各文字を読解可能な大きさで表示しようとしたときには表示領域が不足してしまう可能性がある。
【００１１】
本発明はこのような問題を考慮しており、字幕の表示領域として十分な領域を確保することが望ましい。
【課題を解決するための手段】
【００１２】
本発明の第１の実施形態によると、情報処理装置は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化する第１の符号化部と、上側の帯状領域である第１の領域と下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される第１の字幕のデータを符号化する第２の符号化部と、画像の符号化データであるビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照されるとともに、有効画枠の配置位置を示す情報を含む情報をコンテンツの再生を制御する制御情報として生成する第１の生成部と、ビデオストリームと、第１の字幕の符号化データである第１の字幕のストリームと、制御情報とを含むコンテンツを生成する第２の生成部と、を備える。
【００１３】
本発明の上記実施形態によると、第１の生成部は、第１の字幕のストリームがコンテンツに含まれているかどうかを示すフラグ情報をさらに含む制御情報を生成し、フラグ情報が、第１の字幕のストリームがコンテンツに含まれていることを示すときに、有効画枠の配置位置を示す情報を制御情報に含める、情報処理装置が提供される。
【００１４】
本発明の上記実施形態によると、第１の生成部は、有効画枠の配置位置を示す情報として、有効画枠の上端の位置を求める際に用いられる第１のオフセット値と、有効画枠の下端の位置を求める際に用いられる第２のオフセット値と、符号化時の位置を基準として有効画枠を上方向に移動するかまたは下方向に移動するかを示す情報と、有効画枠の移動量を求める際に用いられる第３のオフセット値を生成する、情報処理装置が提供される。
【００１５】
本発明の上記実施形態によると、第２の符号化部は、有効画枠内に表示する第２の字幕のデータを符号化し、第２の生成部は、第２の字幕の符号化データである第２の字幕のストリームをさらに含むコンテンツを生成する、情報処理装置が提供される。
【００１６】
本発明の上記実施形態によると、第１の生成部は、有効画枠の配置位置を示す情報として、第２の字幕の表示領域の位置と有効画枠の位置の関係の固定を示す情報を生成する、情報処理装置が提供される。
【００１７】
本発明の第２の実施形態によると、情報処理方法は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化するステップと、上側の帯状領域である第１の領域と下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化するステップと、画像の符号化データであるビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照されるとともに、有効画枠の配置位置を示す情報を含む情報をコンテンツの再生を制御する制御情報として生成するステップと、ビデオストリームと、字幕の符号化データである字幕のストリームと、制御情報とを含むコンテンツを生成するステップと、を包含する。
【００１８】
本発明の第３の実施形態によると、プログラムは、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化するステップと、上側の帯状領域である第１の領域と下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化するステップと、画像の符号化データであるビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照されるとともに、有効画枠の配置位置を示す情報を含む情報をコンテンツの再生を制御する制御情報として生成するステップと、ビデオストリームと、字幕の符号化データである字幕のストリームと、制御情報とを含むコンテンツを生成するステップと、を包含する処理をコンピュータに実行させる。
【００１９】
本発明の第４の実施形態によると、再生装置は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームを復号する第１の復号部と、上側の帯状領域である第１の領域と下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される第１の字幕のデータを符号化して得られる第１の字幕のストリームを復号する第２の復号部と、コンテンツの再生を制御する制御情報に含まれるとともに、ビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照される有効画枠の配置位置を示す情報を参照して有効画枠の位置を移動して有効画枠内に画像を表示する画像処理部と、有効画枠の位置を移動して形成される第３の領域に、第１の字幕を表示する字幕データ処理部と、を備える。
【００２０】
本発明の上記実施形態によると、有効画枠の配置位置を示す情報である、有効画枠の上端の位置を求める際に用いられる第１のオフセット値と、有効画枠の下端の位置を求める際に用いられる第２のオフセット値と、符号化時の位置を基準として有効画枠を上方向に移動するかまたは下方向に移動するかを示す移動方向情報と、有効画枠の移動量を求める際に用いられる第３のオフセット値とに基づいて、画像処理部は、第１のオフセット値を用いて上端における有効画枠の位置を求め、第２のオフセット値を用いて下端における有効画枠の位置を求めるとともに、上端と下端の位置を有する有効画枠の位置を、移動方向情報で表される方向に第３のオフセット値を用いて求めた量だけ移動する、再生装置が提供される。
【００２１】
本発明の上記実施形態によると、第１の字幕のストリームが、有効画枠の上側に形成される第３の領域に字幕を表示するためのストリームであるとき、有効画枠の配置位置を示す情報である、有効画枠の上端の位置を求める際に用いられる第１のオフセット値と、有効画枠の下端の位置を求める際に用いられる第２のオフセット値と、有効画枠の上端を基準とする位置の移動後の枠の上端の位置を求める際に用いられる第３のオフセット値とに基づいて、画像処理部は、第１のオフセット値を用いて有効画枠の上端の位置を求め、第２のオフセット値を用いて有効画枠の下端の位置を求めるとともに、上端および下端の位置を有する有効画枠の上端の位置を、第３のオフセット値を用いて求められた位置の移動後の位置となるように移動する、再生装置が提供される。
【００２２】
本発明の上記実施形態によると、第１の字幕のストリームが、有効画枠の下側に形成される第３の領域に字幕を表示するためのストリームであるとき、有効画枠の配置位置を示す情報である、有効画枠の上端の位置を求める際に用いられる第１のオフセット値と、有効画枠の下端の位置を求める際に用いられる第２のオフセット値と、有効画枠の上端を基準とする位置の移動後の枠の上端の位置を求める際に用いられる第３のオフセット値とに基づいて、画像処理部は、第１のオフセット値を用いて有効画枠の上端の位置を求め、第２のオフセット値を用いて有効画枠の下端の位置を求めるとともに、上端および下端の位置を有する有効画枠の上端の位置を、第３のオフセット値を用いて求められた位置の移動後の位置となるように移動する、再生装置が提供される。
【００２３】
本発明の上記実施形態によると、第２の復号部は、有効画枠内に表示する第２の字幕のデータを符号化して得られる第２の字幕のストリームを復号し、字幕データ処理部は、第２の字幕の表示領域が第２の字幕のストリームに含まれる位置情報により示される位置を設定し、第２の字幕を表示する、再生装置が提供される。
【００２４】
本発明の上記実施形態によると、画像処理部は、有効画枠の位置を移動して形成された第３の領域を他の位置に移動する指示をされたとき、第３の領域の位置を移動し、字幕データ処理部は、有効画枠の配置位置を示す情報に含まれる、有効画枠の位置に対する関係の固定を示す情報に基づいて、第２の字幕の表示領域と有効画枠の位置の関係が変わらない位置に、第２の字幕の表示領域を設定し、第２の字幕を表示する、再生装置が提供される。
【００２５】
本発明の上記実施形態によると、第１の字幕を第３の領域に表示する方式が設定されているか否かを示す値を記憶する記憶部をさらに含み、当該方式が設定されていることを示す値が記憶部に設定されている場合、第１の字幕のストリームが存在することを示す値が、ビデオストリームおよび第１の字幕のストリームを制御する再生制御情報に含まれるとき、第２の復号部は、第１の字幕のストリームの復号を行い、画像処理部は、有効画枠の位置を移動し、位置が移動された有効画枠に画像を表示する、再生装置が提供される。
【００２６】
本発明の第５の実施形態によると、再生方法は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームを復号するステップと、上側の帯状領域である第１の領域と前記下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化して得られる字幕のストリームを復号するステップと、コンテンツの再生を制御する制御情報に含まれるとともに、ビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照される有効画枠の配置位置を示す情報を参照して有効画枠の位置を移動して有効画枠内に画像を表示するステップと、有効画枠の位置を移動して形成される第３の領域に字幕を表示するステップと、を包含する。
【００２７】
本発明の第６の実施形態によると、プログラムは、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームを復号するステップと、上側の帯状領域である第１の領域と下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化して得られる字幕のストリームを復号するステップと、コンテンツの再生を制御する制御情報に含まれるとともに、ビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照される有効画枠の配置位置を示す情報を参照して有効画枠の位置を移動して有効画枠内に画像を表示するステップと、有効画枠の位置を移動して形成される第３の領域に字幕を表示するステップと、を包含する処理をコンピュータに実行させる。
【００２８】
本発明の第７の実施形態によると、情報を記録した記録媒体が提供され、当該情報は、フレーム毎に、水平方向全体に渡って帯状領域を上下に付して画像を符号化して得られるビデオストリームと、上側の帯状領域である第１の領域と下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化して得られる字幕のストリームと、コンテンツの再生を制御する情報であり、かつビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照される、有効画枠の配置位置を示す情報を含む制御情報と、を含む。
【００２９】
本発明の一実施形態によると、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像が符号化され、上側の帯状領域である第１の領域と下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕のデータが符号化される。さらに、コンテンツの再生を制御する制御情報として、画像の符号化データであるビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照されるとともに、有効画枠の配置位置を示す情報を含む情報が生成され、ビデオストリームと、字幕データの符号化データである字幕ストリームと、制御情報とを含むコンテンツが生成される。
【００３０】
本発明の他の実施形態によると、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して画像を符号化して得られるビデオストリームが復号され、上側の帯状領域である第１の領域と下側の帯状領域である第２の領域の一方の領域の少なくとも一部を他方の領域と足し合わせて形成される第３の領域に表示される字幕データを符号化して得られる字幕のストリームが復号される。さらに、コンテンツの再生を制御する制御情報に含まれるとともに、ビデオストリームを復号して得られるフレームに含まれる画像の有効画枠の位置を移動して第３の領域を形成するために参照され、有効画枠の配置位置を示す情報が参照され、有効画枠の位置が移動され、有効画枠内に画像が表示され、有効画枠の位置を移動して形成される第３の領域に、字幕が表示される。
【００３１】
本発明によれば、字幕の表示領域として十分な領域を確保することができる。
【図面の簡単な説明】
【００３２】
【図１】関連技術におけるフレーム構成の例を示すブロック図である。
【図２】本発明の一実施形態に係る再生装置を含む再生システムの構成例を示す図である。
【図３】MVCエンコーダの構成例を示すブロック図である。
【図４】画像が参照される例を示す図である。
【図５】TSの構成例を示す図である。
【図６】ビデオストリームをデコードして得られるフレームの構成を示す図である。
【図７Ａ】領域の切り出しの例を示す図である。
【図７Ｂ】領域の切り出しの例を示す図である。
【図８Ａ】aligned字幕方式で字幕を表示するときのフレーム構成を示す図である。
【図８Ｂ】aligned字幕方式で字幕を表示するときのフレーム構成を示す図である。
【図９】AVストリームの管理構造の例を示す図である。
【図１０】Main PathとSub Pathの構造を示す図である。
【図１１】光ディスクに記録されるファイルの管理構造の例を示す図である。
【図１２】PlayListファイルのシンタクスを示す図である。
【図１３】PlayList（）のシンタクスを示す図である。
【図１４】SubPath（）のシンタクスを示す図である。
【図１５】SubPlayItem（i）のシンタクスを示す図である。
【図１６】PlayItem（）のシンタクスを示す図である。
【図１７】STN_table（）のシンタクスを示す図である。
【図１８】STN_table_SS（）のシンタクスの例を示す図である。
【図１９】active_video_window（）のシンタクスの例を示す図である。
【図２０】TopOffsetとBottomOffsetの例を示す図である。
【図２１Ａ】AlignOffsetの例を示す図である。
【図２１Ｂ】AlignOffsetの例を示す図である。
【図２２】再生装置の構成例を示すブロック図である。
【図２３】デコード部の構成例を示す図である。
【図２４】ビデオ後処理部の構成例を示すブロック図である。
【図２５Ａ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｂ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｃ】ビデオ後処理部による処理結果の例を示す図である。
【図２５Ｄ】ビデオ後処理部による処理結果の例を示す図である。
【図２６】PG後処理部の構成例を示すブロック図である。
【図２７】再生装置の字幕表示方式設定処理について説明するフローチャートである。
【図２８】画面表示の例を示す図である。
【図２９】再生装置の再生処理について説明するフローチャートである。
【図３０】図２９のステップＳ１７において行われるaligned字幕再生処理について説明するフローチャートである。
【図３１】図３０のステップＳ３１において行われるビデオデータ生成処理について説明するフローチャートである。
【図３２】図３０のステップＳ３２において行われる字幕データ生成処理について説明するフローチャートである。
【図３３】フリップ機能により実現されるフレーム構成の変更例を示す図である。
【図３４】フレーム構成の他の変更例を示す図である。
【図３５】aligned字幕領域を選択するメニュー画面の例を示す図である。
【図３６】fixed_subtitle_window_0およびfixed_subtitle_window_1について説明する図である。
【図３７】STN_table_SS（）のシンタクスの他の例を示す図である。
【図３８】active_video_window（）のシンタクスの他の例を示す図である。
【図３９Ａ】AlignOffsetの例を示す図である。
【図３９Ｂ】AlignOffsetの例を示す図である。
【図４０】情報処理装置の構成例を示すブロック図である。
【図４１】情報処理装置の記録処理について説明するフローチャートである。
【図４２】active_video_window（）の記述位置の例を示す図である。
【図４３】他の情報処理装置の構成例を示すブロック図である。
【図４４】active_video_window（）の他の記述位置の例を示す図である。
【図４５】Access Unitの構成を示す図である。
【図４６】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
［再生システムの構成例］
図２は、本発明の一実施形態に係る再生装置１を含む再生システムの構成例を示す図である。
【００３４】
図２の再生システムは、再生装置１と表示装置３がHigh Definition Multimedia Interface(HDMI)ケーブル等で相互に接続されるように構成される。再生装置１は、BD規格の光ディスクである、BD-ROM等の光ディスク２を備える。
【００３５】
光ディスク２には、視点の数が２つの3D画像を表示するために必要なストリームが記録されている。ストリーム等を光ディスク２に記録するための符号化方式として、例えば、H.264 Advanced Video Coding(AVC)/Multi-view Video coding(MVC)が採用される。
【００３６】
再生装置１は、光ディスク２に記録されたストリームの3D再生のためのプレーヤである。再生装置１は、光ディスク２に記録されたストリームを再生し、再生により得られた3D画像をテレビジョン受像機等を含む表示装置３に表示する。音声についても同様に再生装置１により再生され、表示装置３に設けられたスピーカから出力される。
【００３７】
［H.264 AVC/MVC Profile］
H.264 AVC/MVCでは、Base view videoストリームと呼ばれるビデオストリームと、Dependent view videoストリームと呼ばれるビデオストリームが定義されている。以下、適宜、H.264 AVC/MVCを単にMVCと呼ぶ。
【００３８】
図３は、MVCエンコーダの構成例を示すブロック図である。
【００３９】
図３に示すように、MVCエンコーダは、H.264/AVCエンコーダ１１、H.264/AVCデコーダ１２、およびDependent view videoエンコーダ１３から構成される。同じ被写体に対して、L画像（左視点）用のカメラとR画像（右視点）用のカメラが撮像を行う。
【００４０】
L画像用カメラにより撮影されたL画像のストリームはH.264/AVCエンコーダ１１に入力される。また、Ｒ画像用カメラにより撮影されたR画像のストリームはDependent view videoエンコーダ１３に入力される。
【００４１】
H.264/AVCエンコーダ１１は、L画像のストリームをH.264 AVC/High Profileビデオストリームとして符号化する。H.264/AVCエンコーダ１１は、符号化により得られたAVCビデオストリームをBase view videoストリームとして出力する。H.264/AVCエンコーダ１１から出力されたBase view videoストリームは、外部に出力される一方で、H.264/AVCデコーダ１２にも供給される。
【００４２】
H.264/AVCデコーダ１２は、H.264/AVCエンコーダ１１から供給されたAVCビデオストリームをデコードし、デコードにより得られたL画像のストリームをDependent view videoエンコーダ１３に出力する。
【００４３】
Dependent view videoエンコーダ１３は、H.264/AVCデコーダ１２から供給されたL画像のストリームと、外部から入力されたR画像のストリームに基づいて符号化を行う。Dependent view videoエンコーダ１３は、符号化により得られたストリームをDependent view videoストリームとして出力する。
【００４４】
他のストリームを参照画像とする予測符号化にはBase view videoが認められないが、図４に示すように、Base view videoを参照画像とする予測符号化にはDependent view videoが認められている。例えば、L画像をBase view videoとし、R画像をDependent view videoとして符号化を行ったとき、その結果得られるDependent view videoストリームのデータ量は、Base view videoストリームのデータ量よりも少なくなる。
【００４５】
なお、H.264/AVCでの符号化であるため、時間方向におけるBase view videoの予測が行われる。また、Dependent view videoについて、各view間の予測とともに、時間方向の予測が実施される。Dependent view videoをデコードするとき、エンコード時の参照先である対応Base view videoのデコードを先に終える必要がある。
【００４６】
H.264/AVCエンコーダ１１から出力されたBase view videoストリームと、Dependent view videoエンコーダ１３から出力されたDependent view videoストリームは、例えば、オーディオまたは字幕のデータとともにMPEG2 TSとして多重化される。多重化によって得られたTS(MPEG2 TS)は、MVCエンコーダの後部に設けられた記録部において光ディスク２に記録され、再生装置１に提供される。
【００４７】
この例においては、L画像をBase view videoとして符号化し、R画像をDependent view videoとして符号化するが、反対に、R画像をBase view videoとして符号化し、L画像をDependent view videoとして符号化してもよい。以下、L画像をBase view videoとして符号化し、R画像をDependent view videoとして符号化する場合について説明する。
【００４８】
図５は、光ディスク２に記録されたTSの構成例を示す図である。
【００４９】
図５のＴＳでは、Base view video、Dependent view video、Primary audio、Presentation Graphics(PG)、およびInteractive Graphics(IG)のストリームが多重化されている。Base view videoとDependent view videoを異なるTSにおいて多重化することも可能であり得る。PGストリームは字幕のストリームであり、IGストリームはメニュー画面等のグラフィックスのストリームである。
【００５０】
再生装置１による字幕の表示方式においては、ビデオ(Base view video、およびDependent view video)と重なることにより字幕を表示する方式と、字幕用に確保された領域にビデオと重ならない字幕を表示する方式とがある。左目用の字幕と右目用の字幕がPGストリームに含まれる字幕データに基づいて生成され、それぞれが、Base view videoおよびDependent view videoとともに表示されるように、ユーザは字幕だけでなくビデオも３次元的に見ることができる。
【００５１】
ビデオと重なることにより字幕を表示する前者の方式だけでなく、字幕用に確保された領域に字幕を表示する方式においても字幕を３次元表示することが可能であるが、以下、前者の字幕表示方式を3D字幕方式と呼び、後者の字幕表示方式をaligned字幕方式と呼ぶ。aligned字幕方式においては、フレーム内の上側および下側から形成される２つの黒色領域の一方の領域の少なくとも一部が他方の領域に近づき、そこに、字幕が２次元または３次元表示される。
【００５２】
光ディスク２には、適宜、3D字幕方式用のPGストリームと、aligned字幕方式用のPGストリームが記録される。
【００５３】
［Aligned字幕方式について］
図６は、光ディスク２に記録されたビデオストリームをデコードして得られるフレームの構成を示す図である。
【００５４】
図６に示すフレームのサイズは１９２０×１０８０画素である。ビデオの画枠は、垂直方向よりも水平方向が長く、１６：９の比率よりも大きなアスペクト比を有し、フレームの上側および下側には、垂直方向に所定の幅を有する帯状の黒色領域が水平方向全体に渡って形成されている。
【００５５】
上側の黒色領域における垂直方向の画素数はａであり、下側の黒色領域における垂直方向の画素数はｂである。上側と下側の黒色領域の間に挟まれた垂直方向の画素数がｃの領域がビデオの有効画枠であり、そこに、Base viewとDependent viewのビデオが表示される。
【００５６】
光ディスク２に記録されているBase view videoおよびDependent view videoは、図６に示すように、上側と下側の黒色領域がフレーム毎に付加された形でエンコードされている。Base view videoおよびDependent view videoのストリームをデコードしたとき、図６の構成を有するフレームのデータが得られる。
【００５７】
aligned字幕方式で字幕を表示するとき、再生装置１においては、Base view videoおよびDependent view videoのストリームをデコードして得られるフレームから、図７Ａに示すようなビデオの有効画枠だけが切り取られる。切り取り範囲は、光ディスク２に記録された制御情報に含まれる情報によって指定される。
【００５８】
また、ビデオの有効画枠を切り取ったときに残る上側と下側の黒色領域が１つになり、図７Ｂに示すように、垂直方向の画素数がａ＋ｂとなる領域が、aligned字幕方式における字幕の表示領域として確保される。
【００５９】
以下、適宜、上側と下側の黒色領域の一方の領域の少なくとも一部を足して形成される字幕の表示領域をaligned字幕領域という。
【００６０】
図８Ａおよび図８Ｂは、aligned字幕方式で字幕を表示するときのフレームの構成例を示す図である。
【００６１】
図８Ａは、ビデオの有効画枠が上側に配置されるとともに、垂直方向の画素数がａ＋ｂのaligned字幕領域が下側に配置された例を示す図である。図８Ｂは、ビデオの有効画枠が下側に配置されるとともに、垂直方向の画素数がａ＋ｂのaligned字幕領域が上側に配置された例を示す図である。これらの例においては、上側と下側の黒色領域の一方の領域全体を他方の領域に足し合わせてaligned字幕領域が形成されている。
【００６２】
図８Ａおよび図８Ｂにおいて点線で示すように、aligned字幕領域内に字幕ウインドウが配置される。字幕ウインドウ#0は、例えば、人物の会話内容を示す字幕を表示する領域であり、字幕ウインドウ#1は、看板等がビデオの有効画枠に現れたときにその内容を示す、いわゆる強制字幕用の領域である。なお、強制字幕を表示する字幕ウインドウ#1は、ビデオの有効画枠内に位置させることができる。字幕ウインドウ#0についても、ビデオの有効画枠内に位置させることができる。
【００６３】
このように、再生装置１においては、ビデオストリームをデコードしたときに得られるフレームに含まれる上側と下側の黒色領域の一方の領域の少なくとも一部を他方の領域に足し合わせて形成される領域に字幕が表示される。
【００６４】
これにより、3D画像とともにビデオの有効画枠内に字幕を表示するとき、字幕が被写体の影（被写体よりも内側に深く）によって字幕が見づらくなることがあるが、そのようなことを防ぐことができる。
【００６５】
また、3D画像とともに字幕をビデオの有効画枠内に表示するとき、コンテンツの制作者（オーサー）は、被写体の影を構成しないように字幕の表示領域を設定する必要があるが、そのような負担の増加を防ぐことができる。
【００６６】
さらに、一方の側において足し合わせることなく、上側または下側の黒色領域に字幕を表示する場合と較べて、広い領域を字幕の表示領域として確保することができる。例えば、日本語の字幕を表示するとき、字幕の漢字にはかな文字を付けることになるために、垂直方向により広い領域が必要になるが、そのような要望に対応することができる。
【００６７】
［AVストリームの管理構造］
図９は、再生装置１によるAVストリームの管理構造の一例を示す図である。
【００６８】
AVストリームの管理は、図９に示すように、２つのレイヤのPlayListとClipを用いて行われる。Clipは、ビデオデータおよびオーディオデータを多重化して得られるTSであるAVストリームと、対応Clip Information（当該AVストリームに関する属性情報を含むClip Information）とから構成される。
【００６９】
AVストリームは時間軸上に展開され、各アクセスポイントは、主に、タイムスタンプでPlayListにおいて指定される。Clip Informationは、AVストリームにおけるデコードが開始されるべきアドレスを見つけるために使用される。
【００７０】
PlayListはAVストリームの再生区間の集まりである。AVストリーム中の１つの再生区間はPlayItemと呼ばれる。PlayItemは、時間軸上の再生区間のIN点とOUT点で表される。PlayListは１つまたは複数のPlayItemを含む。
【００７１】
図９の左から１番目のPlayListは２つのPlayItemを含み、その２つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分および後半部分のそれぞれが参照される。
【００７２】
左から２番目のPlayListは１つのPlayItemを含み、そのPlayItemにより、右側のClipに含まれるAVストリーム全体が参照される。
【００７３】
左から３番目のPlayListは２つのPlayItemを含み、その２つのPlayItemにより、左側のClipに含まれるAVストリームの一部分および右側のClipに含まれるAVストリームの一部分のそれぞれが参照される。
【００７４】
例えば、左から１番目のPlayListに含まれる左側のPlayItemが再生対象としてディスクナビゲーションプログラムにより指定されたとき、左側のClipに含まれるとともにそのPlayItemにより参照されるAVストリームの前半部分が再生される。このように、PlayListは、AVストリームの再生を制御するための再生制御情報として用いられる。
【００７５】
PlayListの中で、１つ以上のPlayItemの並びによって作られる再生パスをmain pathと呼ぶ。
【００７６】
また、PlayListの中で、main pathに並行して１つ以上のSubPlayItemの並びによって構成される再生パスをsub pathと呼ぶ。
【００７７】
図１０は、main pathとsub pathとの構造を示す図である。
【００７８】
PlayListは、１つのmain pathと１つ以上のsub pathを持つことができる。上述したL view videoのストリームは、main pathを構成するPlayItemにより参照される。また、R view videoのストリームは、sub pathを構成するSubPlayItemにより参照される。
【００７９】
図１０のPlayListは、３つのPlayItemの並びにより構成される１つのmain pathと、３つのsub pathを有している。main pathを構成するPlayItemには、先頭から規則的なIDが設定される。sub pathにもIDが設定される。
【００８０】
図１０の例においては、Subpath_id=0のsub pathには１つのSubPlayItemが含まれ、Subpath_id=1のsub pathには２つのSubPlayItemが含まれる。また、Subpath_id=2のsub pathには１つのSubPlayItemが含まれる。
【００８１】
あるPlayItemが参照するAVストリームと、そのPlayItemとタイムゾーンが重複する再生区間を指定するSubPlayItemが参照するAVストリームは同期させられ、再生される。PlayList、PlayItem、およびSubPlayItemを用いたAVストリームの管理については、例えば、特開2008-252740号公報および特開2005-348314号公報に記載されている。
【００８２】
［ディレクトリの構造］
図１１は、光ディスク２に記録されるファイルの管理構造の例を示す図である。
【００８３】
図１１に示すように、ファイルはディレクトリ構造により階層的に管理される。光ディスク２上には１つのrootディレクトリが作成される。rootディレクトリの下部は、１つの記録再生システムで管理される範囲である。
【００８４】
rootディレクトリの下にはBDMVディレクトリが設定される。BDMVディレクトリの直下に、「Index.bdmv」と名前が付けられたファイルであるIndexファイルと、「MovieObject.bdmv」と名前が付けられたファイルであるMovieObjectファイルが収容される。
【００８５】
BDMVディレクトリの下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、およびSTREAMディレクトリが設けられる。
【００８６】
PLAYLISTディレクトリには、PlayListを記述したファイルであるPlayListファイルが収容される。各PlayListファイルには、５桁の数字と拡張子「.mpls」を組み合わせて作った名前が設定される。図１１に示すPlayListファイルには、「00000.mpls」というファイル名が設定される。
【００８７】
CLIPINFディレクトリにはClip Informationを記述したファイルであるClip Informationファイルが収容される。各Clip Informationファイルには、５桁の数字と拡張子「.clpi」を組み合わせて作った名前が設定される。
【００８８】
図１１の２つのClip Informationファイルには、「00001.clpi」および「00002.clpi」というファイル名が設定されている。以下、適宜、Clip Informationファイルをclpiファイルと呼ぶ。
【００８９】
「00001.clpi」というクリップファイルは、対応するL view videoのストリームに関する情報を記述するファイルであり、「00002.clpi」というclpiファイルは、対応するR view videoのストリームに関する情報を記述するファイルである。
【００９０】
STREAMディレクトリには、ストリームファイルが収容される。各ストリームファイルには、５桁の数字と「.m2ts」という拡張子を組み合わせて作った名前が設定される。以下、適宜、「.m2ts」という拡張子が設定されたファイルをm2tsファイルと呼ぶ。
【００９１】
「00001.m2ts」というm2tsファイルは、L view videoストリームのファイルであり、「00002.m2ts」というm2tsファイルはR view videoのファイルである。
【００９２】
図１１に示すものの他に、BDMVディレクトリの下には、PGおよびIGのグラフィックスのストリームまたはオーディオストリームのファイルを収容するディレクトリが設定される。
【００９３】
［各データのシンタクス］
図１２は、PlayListファイルのシンタクスを示す図である。
【００９４】
PlayListファイルは、図１１のPLAYLISTディレクトリに収容される、「.mpls」という拡張子が設定されたファイルである。
【００９５】
図１２のtype_indicatorは、「xxxxx.mpls」という名前のファイルの種類を示す。
【００９６】
version_numberは、「xxxx.mpls」のバージョンナンバーを示す。version_numberは４桁の数字を含む。例えば、ビデオを３次元表示する3D再生用のPlayListファイルには、「3D Spec version」を示す”０２４０”が設定される。
【００９７】
PlayList_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、PlayList()のベースアドレスを示す。
【００９８】
PlayListMark_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、PlayListMark()のベースアドレスを示す。
【００９９】
ExtensionData_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、ExtensionData()のベースアドレスを示す。
【０１００】
AppInfoPlayList()には、再生制限等、PlayListの再生コントロールに関するパラメータが収容される。
【０１０１】
PlayList()には、main pathまたはsub path等に関するパラメータが収容される。
【０１０２】
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプ等を指示するユーザオペレーションまたはコマンドにおけるジャンプポイントであるマークに関する情報である情報が収容される。
【０１０３】
ExtensionData()には、プライベートデータが挿入できるように構成される。
【０１０４】
図１３は、図１２のPlayList()のシンタクスを示す図である。
【０１０５】
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、lengthは、reserved_for_future_useからPlayListの最後までのバイト数を示す。
【０１０６】
number_of_PlayItemsは、PlayList中のPlayItemの数を示す１６ビットのフィールドである。図１０の例の場合、PlayItemの数は３である。PlayItem_idの値は、PlayList中にPlayItem()が現れる順に０から割り当てられる。例えば、割り当てられる値は、図１０では、PlayItem_id=0、1、および2である。
【０１０７】
number_of_SubPathsは、PlayList中のsub pathの数を示す１６ビットのフィールドである。図１０の例の場合、sub pathの数は３である。SubPath_idの値は、PlayList中にSubPath()が現れる順に０から割り当てられる。例えば、割り当てられる値は、図１０では、Subpath_id=0、1、および2である。その後のfor文では、PlayItemの数と同じだけPlayItem()が参照され、sub pathの数と同じだけSubPath()が参照される。
【０１０８】
図１４は、図１３のSubPath()のシンタクスを示す図である。
【０１０９】
lengthは、このlengthフィールドの直後からSub Path()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、lengthは、reserved_for_future_useからPlayListの最後までのバイト数を示す。
【０１１０】
SubPath_typeは、sub pathのアプリケーションの種類を示す８ビットのフィールドである。SubPath_typeは、例えば、sub pathの種類、sub pathがオーディオ、ビットマップ字幕、またはテキスト字幕であるかどうかを示すために用いられる。
【０１１１】
is_repeat_SubPathは、sub Pathの再生方法を指定する１ビットのフィールドであり、sub Pathの再生をmain Pathの再生間に繰り返すべきであるか、またはsub Pathの再生を１回行うかを示す。
【０１１２】
number_of_SubPlayItemsは、１つのsub Path中のSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、図１０のSubPath_id=0というSubPlayItemのnumber_of_SubPlayItemsは１であり、SubPath_id=1というSubPlayItemのnumber_of_SubPlayItemsは２である。その後のfor文では、SubPlayItemの数と同じだけSubPlayItem()が参照される。
【０１１３】
図１５は、図１４のSubPlayItem(i)のシンタクスを示す図である。
【０１１４】
lengthは、このlengthフィールドの直後からSub playItem()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１１５】
Clip_Information_file_name[0]は、SubPlayItemが参照されるClipのClip Informationファイルの名前を示す。
【０１１６】
Clip_codec_identifier[0]は、Clipのコーデック方式を示す。
【０１１７】
is_multi_Clip_entriesは、マルチClipの登録の存在を示すフラグである。is_multi_Clip_entriesというフラグが立っているとき、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。
【０１１８】
ref_to_STC_id[0]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１１９】
SubPlayItem_IN_timeはsub Pathの再生区間の開始位置を示し、SubPlayItem_OUT_timeは終了位置を示す。
【０１２０】
sync_PlayItem_idとsync_start_PTS_of_PlayItemは、main Pathの時間軸上でsub Pathの再生が開始される時を示す。
【０１２１】
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共に用いられる。
【０１２２】
「if(is_multi_Clip_entries==1b」であるとともに、SubPlayItemが複数のClipを参照する場合について説明する。
【０１２３】
num_of_Clip_entriesは参照するClipの数を示す。Clip_Information_file_name[SubClip_entry_id]の数は、Clip_Information_file_name[0]を除くClipの数を指定する。
【０１２４】
Clip_codec_identifier[SubClip_entry_id]は、Clipのコーデック方式を示す。
【０１２５】
ref_to_STC_id[SubClip_entry_id]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１２６】
図１６は、図１３のPlayItem()のシンタクスを示す図である。
【０１２７】
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１２８】
Clip_Information_file_name[0]は、PlayItemが参照するClipのClip Informationファイルの名前を示す。なお、Clipを含むm2tsファイルのファイル名と、それに対応するClip Informationファイルのファイル名は同じ５桁の数字を含む。
【０１２９】
Clip_codec_identifier[0]はClipのコーデック方式を示す。Clip_codec_identifier[0]の後にはreserved_for_future_useが含まれる。reserved_for_future_useの後にはis_multi_angleおよびconnection_conditionが含まれる。
【０１３０】
ref_to_STC_id[0]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
【０１３１】
IN_timeは、PlayItemの再生区間の開始位置を示し、OUT_timeは終了位置を示す。
【０１３２】
OUT_timeの後には、U0_mask_table()、PlayItem_random_access_mode、およびstill_modeが含まれる。
【０１３３】
STN_table()には、PlayItemが参照するストリームが含まれる。また、PlayItemと関連付けて再生されるsub Pathがあるとき、そのsub Pathを構成するSubPlayItemが参照するストリームの情報も含まれる。
【０１３４】
図１７は、図１６のSTN_table()のシンタクスを示す図である。
【０１３５】
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す１６ビットの符号なし整数である。
【０１３６】
number_of_video_stream_entriesは、video_stream_idとともに与えられ、STN_table()にエントリー（登録）するストリームの数を示す。
【０１３７】
video_stream_idは、ビデオストリームを識別するための情報である。例えば、Base view videoのストリームがこのvideo_stream_idにより特定される。Dependent view videoのストリームのＩＤについては、STN_table()内、および後述するPlayListのExtensionData()（図１２）に含まれるSTN_table_SS()内で定義されるようにしてもよい。
【０１３８】
number_of_audio_stream_entriesは、STN_table()にエントリーし、audio_stream_idに与えられる１番目のオーディオストリームのストリーム数を示す。audio_stream_idは、オーディオストリームを識別するための情報である。
【０１３９】
number_of_audio_stream2_entriesは、STN_table()にエントリーし、audio_stream_id2に与えられる２番目のオーディオストリームのストリーム数を示す。audio_stream_id2は、オーディオストリームを識別するための情報である。この例においては、再生する音声を切り替えることができる。
【０１４０】
number_of_PG_txtST_stream_entriesは、STN_table()にエントリーし、PG_txtST_stream_idに与えられるストリーム数を示す。この中では、ビットマップ字幕をランレングス符号化して得られるPGストリームと、テキスト字幕ファイル（txtST）がエントリーする。PG_txtST_stream_idは、字幕ストリームを識別するための情報である。
【０１４１】
number_of_IG_stream_entriesは、STN_table()にエントリーするとともに、IG_stream_idに与えられるストリーム数を示す。この中ではIGストリームがエントリーする。IG_stream_idは、IGのストリームを識別するための情報である。
【０１４２】
各ストリームについて用意されるstream_entry()には、各ストリームのデータを収容するパケットのPID情報。また、stream_attribute()には、各ストリームの属性情報が含まれる。
【０１４３】
図１８は、STN_table_SS()のシンタクスの例を示す図である。
【０１４４】
STN_table_SS()は、例えば、PlayListファイルのExtensionData()（図１２）に記述される。STN_table_SS()には、3D字幕方式またはaligned字幕方式で字幕を表示するとき、その表示に用いるストリームに関する情報が含まれる。
【０１４５】
図１８に示すように、PG_textST_stream_idで識別されるPGストリーム毎に各情報が設定される。例えば、英語、日本語、またはフランス語等の各言語のPGストリームが光ディスク２に記録されているとき、各言語のPGストリームに対して以下の情報が設定される。
【０１４６】
is_SS_PGは、3D字幕方式用のPGストリームが記録されているか否かを示す。例えば、is_SS_PGの値が１であることは、3D字幕方式用のPGストリームが記録されていることを示し、is_SS_PGの値が０であることは、3D字幕方式用のPGストリームが記録されていないことを示す。
【０１４７】
is_AS_PGは、aligned字幕方式用のPGストリームが記録されているか否かを示す。例えば、is_AS_PGの値が１であることは、aligned字幕方式用のPGストリームが記録されていることを示し、is_AS_PGの値が０であることは、aligned字幕方式用のPGストリームが記録されていないことを示す。
【０１４８】
PG_textST_offset_id_refは、3D字幕方式で字幕を表示するときに用いるオフセット値の参照先を示す。
【０１４９】
3D字幕方式およびaligned字幕方式のいずれの表示方式において、字幕を3Dで表示することは、PGストリームに含まれる字幕データに所定のオフセットを設定して生成されたBase viewとDependent viewの字幕を表示して行われる。オフセットの値は、視差に相当するずれを示す。例えば、同じ文字または記号を含む字幕が配置されたBase viewのフレーム、およびDependent viewのフレームが相互に重なるとき、字幕の位置にはずれが存在する。
【０１５０】
字幕の位置にずれがあるとき、Base viewの字幕がBase viewのビデオとともに表示され、Dependent viewの字幕がDependent viewのビデオとともに表示され、そして、それによって、ユーザはビデオだけでなく字幕も３次元視することができる。なお、字幕データに適用されるオフセットの値が０であるとき、視差は生じることがなく、それによって、字幕は２次元表示される。
【０１５１】
PG_textST_offset_id_refが参照させるオフセットの値は、例えば、PlayListファイルのExtensionData()内に記述されたoffset_metadata()に含まれる。offset_metadata()の詳細については、例えば、本出願人による特願2009-168806号公報に開示されている。
【０１５２】
is_AS_PGの値が１であるときに記述されるstream_entry()には、aligned字幕方式用のPGストリームのデータを収容するパケットのPID情報が含まれる。また、stream_attribute()には、aligned字幕方式用のPGストリームの属性情報が含まれる。
【０１５３】
AS_PG_textST_offset_id_refは、aligned字幕方式で3D字幕を表示するときに用いるオフセットの値の参照先を示す。例えば、aligned字幕方式で字幕を表示するときに用いるオフセットの値も、PlayListファイルのExtensionData()内に記述されたoffset_metadata()に含まれる。オフセットの値が、MVCによって符号化されたビデオストリームの中に含まれるようにすることも可能である。この場合、AS_PG_textST_offset_id_refは、ビデオストリームに含まれるオフセットの値が参照されることを示す。
【０１５４】
なお、is_SS_PGの値が１であるとき、3D字幕方式用のPGストリームのデータを収容するパケットのPID情報を含むstream_entry()と、属性情報に含まれるstream_attribute()がSTN_table_SS()に記述されるようにしてもよい。
【０１５５】
図１９は、active_video_window()のシンタクスの例を示す図である。
【０１５６】
active_video_window()は、例えば、PlayListファイルのExtensionData()（図１２）に記述される。active_video_window()は、図１８のSTN_table_SS()に含まれるis_AS_PGの値が１であり、aligned字幕方式用のPGストリームが記録されているときに記述される。
【０１５７】
active_video_window()には、ビデオの有効画枠に関する情報が含まれる。aligned字幕方式で字幕を表示するときに行われるビデオの有効画枠を切り出して移動する処理が、active_video_window()の記述に基づいて実施される。
【０１５８】
ここでは、active_video_window()に含まれる情報中、top_offset、bottom_offset、top_align_flag、およびalign_offsetについて説明する。
【０１５９】
fixed_subtitle_window_0、fixed_subtitle_window_1、およびflipped_AS_PG_textST_offset_id_refは、後述するフリップ機能に用いられる。フリップ機能は、top_offset等の値に基づいて形成されたaligned字幕領域を、ユーザによる選択に応じて、フレームの上側から下側または下側から上側に移動する。
【０１６０】
top_offsetは、ビデオの有効画枠の垂直方向における画素の最上部の位置を求めるために用いられる値を示す。
【０１６１】
以下、フレーム内の位置については、フレームの左上端における１画素の位置を(x,y)=(0,0)、すなわち、フレームの上から１行目の垂直方向における画素の位置を0、フレームの左から１列目の水平方向における画素の位置を0として、画素数を用いて示す。
【０１６２】
ビデオの有効画枠の垂直方向における最上部の画素の位置であるTopOffsetは、top_offsetの値を用いて下式（１）により求められる。
TopOffset = 2 ＊ top_offset      ・・・      （１）
【０１６３】
top_offsetは、下式（２）で示される範囲の値をとる。
2013511789.tif 000003
・・・      （２）
【０１６４】
式（２）のFrameHeightはフレーム全体の垂直方向における画素数を示し、MVCで符号化されたビデオストリームに含まれるパラメータであるpic_height_in_map_units_minus1を用いて下式（３）により求められる。
FrameHeight = (16 * (pic_height_in_map_units_minus1 + 1)) - 8  ・・・  （３）
【０１６５】
bottom_offsetは、有効画枠の最下下部の垂直方向における画素の位置を求めるために用いられる値を示す。有効画枠の最下下部の垂直方向における画素の位置であるBottomOffsetは、bottom_offsetの値を用いて下式（４）により求められる。
BottomOffset = FrameHeight - (2 * bottom_offset) - 1      ・・・      （４）
【０１６６】
図２０は、TopOffsetとBottomOffsetの例を示す図である。
【０１６７】
top_offset=69、かつbottom_offset=69であるとき、1920×1080画素のフレームにおいては、TopOffsetは138として求められ、BottomOffsetは941として求められる。ビデオの有効画枠の左上端における１画素の位置は(x,y)=(0,138)で表され、左下端における１画素の位置は(x,y)=(0,941)で表される。
【０１６８】
有効画枠の垂直方向における画素数は８０４である。１０８０はFrameHeightの値であり、式（３）により求められる。
【０１６９】
図１９の説明に戻り、top_align_flagは、デコード直後のフレームにおける位置に基づいて、ビデオの有効画枠を上方向に移動するのか、下方向に移動するのかを示す。top_align_flagの値が１であるとき、有効画枠を上方に移動することが示され、top_align_flagの値が０であるとき、有効画枠を下方に移動することが示される。align_offsetを用いた移動量の計算方法は、top_align_flagの値により異なる。
【０１７０】
top_align_flagの値が1であり、ビデオの有効画枠を上方向に移動する場合、aligned字幕領域はフレームの下側に形成される。また、top_align_flagの値が０であり、ビデオの有効画枠を下方向に移動する場合、aligned字幕領域はフレームの上側に形成される。
【０１７１】
align_offsetは、ビデオの有効画枠の移動量を求めるために用いられる値を示す。
【０１７２】
top_align_flagの値が１であるとき、ビデオの有効画枠の移動量であるAlignOffsetは下式（５）により求められる。
AlignOffset = 2 * align_offset  ・・・  （５）
【０１７３】
top_align_flagの値が０であるとき、ビデオの有効画枠の移動量であるAlignOffsetは下式（６）により求められる。
AlignOffset = 2 * (top_offset + bottom_offset - align_offset)  ・・・  （６）
【０１７４】
式（５）および式（６）により求められるAlignOffsetは、フレームの上から、１行目の画素の位置を０に設定し、下方向への移動量を画素数で示す。
【０１７５】
align_offsetは、下式（７）で示される範囲の値をとる。
2013511789.tif 000004
・・・      （７）
【０１７６】
top_align_flagとalign_offsetにより、フレームにおけるビデオの有効画枠の移動先としての配置位置が決定される。決定された位置に配置された有効画枠外の全ての画素では、(Y,Cb,Cr)=(16,128,128)等の画素の所定値が設定され、これにより、フレームにおける有効画枠外の画素が同じ色の画素になる。
【０１７７】
図２１Ａおよび図２１Ｂは、AlignOffsetの例を示す図である。
【０１７８】
top_align_flagの値が１であり、かつalign_offset=34であるとき、図２１Ａに示すように、1920×1080画素のフレームにおいては、AlignOffsetは６８として求められる。ビデオの有効画枠の左上端における１画素の位置は(x,y)=(0,68)で表される。
【０１７９】
AlignOffsetが６８、ビデオの有効画枠の垂直方向における画素数が８０４、フレーム全体の垂直方向における画素数が１０８０であるから、aligned字幕領域の垂直方向における画素数は２０８になる。ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,871)で表される。
【０１８０】
top_align_flagの値が０であり、かつalign_offset=34であるとき、図２１Ｂに示すように、1920×1080画素のフレームにおいては、AlignOffsetは２０８として得られる。有効画枠の左下端における１画素の位置は(x,y)=(0,208)で表される。
【０１８１】
AlignOffsetが２０８、ビデオの有効画枠の垂直方向における画素数が８０４、フレーム全体の垂直方向における画素数が１０８０であるから、フレームの下側に形成された黒色領域の垂直方向における画素数は６８になる。ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,1011)で表される。
【０１８２】
［再生装置１の構成例］
図２２は、再生装置１の構成例を示すブロック図である。
【０１８３】
コントローラ３１は、制御プログラム（図９のディスクナビゲーションプログラム）を実行し、再生装置１全体の動作を制御する。コントローラ３１は、ユーザの操作に応じて再生装置１のステータスを切り替え、現在のステータスを示す情報をレジスタ３１Ａに記憶させる。
【０１８４】
ディスクドライブ３２は、コントローラ３１による制御に従って光ディスク２からデータを読み出し、読み出したデータを、コントローラ３１、メモリ３３、またはデコード部３４に出力する。
【０１８５】
メモリ３３は、コントローラ３１による各種処理の実行に加えて、必要なデータ等を適宜記憶する。
【０１８６】
デコード部３４は、ディスクドライブ３２から供給されたストリームをデコードし、得られたビデオ信号を表示装置３に出力する。オーディオ信号も所定の経路を介して表示装置３に出力される。
【０１８７】
操作入力部３５は、ボタン、キー、タッチパネル、またはマウス等の入力デバイス、および所定のリモートコマンダから送信される赤外線等の信号を受信する受信部により構成される。操作入力部３５はユーザによる操作を検出し、検出した操作の内容を示す信号をコントローラ３１に供給する。
【０１８８】
図２３は、デコード部３４の構成例を示す図である。
【０１８９】
分離部５１は、ディスクドライブ３２から供給されたTSとして多重化されているデータを、コントローラ３１による制御に従って分離する。分離部５１は、ビデオストリームをビデオデコーダ５２に出力し、PGストリームをPGデコーダ５５に出力する。なお、図２３にはビデオのデータを処理する構成と字幕データを処理する構成のみを示しているが、ビデオのデータを処理する構成等もデコード部３４に適宜設けられる。
【０１９０】
ビデオストリームのデータを収容するパケットは、例えば、STN_table()のstream_entry()に含まれるPIDに基づいて特定される。また、3D字幕方式用のPGストリームのデータを収容するパケットとaligned字幕方式用のPGストリームのデータを収容するパケットは、例えば、STN_table_SS()のstream_entry()に含まれるPIDに基づいて特定される。
【０１９１】
ビデオデコーダ５２は、MVC方式で符号化されているビデオストリームをデコードし、デコードして得られた画像データ（Base view videoのデータとDependent view videoのデータ）をビデオ後処理部５３に出力する。
【０１９２】
ビデオ後処理部５３は、aligned字幕方式で字幕を表示するとき、コントローラ３１から供給されたactive_video_window()の記述に基づいて後処理を行う。ビデオ後処理部５３は、後処理を行って得られたBase view videoのプレーン（フレームと同じサイズの画像データ）とDependent view videoのプレーンを選択部５４に出力する。
【０１９３】
選択部５４は、ビデオ後処理部５３から供給された画像データ中、Base view videoのプレーンを合成部５８に出力し、Dependent view videoのプレーンを合成部５９に出力する。
【０１９４】
PGデコーダ５５は、PGストリームをデコードし、デコードによって得られた字幕データと、字幕ウインドウの位置を示す情報をPG後処理部５６に出力する。
【０１９５】
PGストリームに含まれる字幕データがビットマップデータであるとき、PGストリームは、字幕ウインドウの位置を示す情報であるwindow_vertical_positionとwindow_horizontal_positionを含む。この２つの情報により、フレームにおいて、例えば、字幕ウインドウの左上端における画素の位置が指定される。また、PGストリームに含まれる字幕データがテキストデータであるとき、PGストリームは、字幕ウインドウの位置を示す情報であるregion_vertical_positionとregion_heightを含む。
【０１９６】
PG後処理部５６は、コントローラ３１から供給されたactive_video_window()またはSTN_table_SS()の記述に基づいて後処理を行う。PG後処理部５６は、後処理を行って得られたBase viewの字幕のプレーンとDependent viewの字幕のプレーンを選択部５７に出力する。
【０１９７】
選択部５７は、PG後処理部５６から供給されたBase viewの字幕のプレーンとDependent viewの字幕のプレーンを、それぞれ、合成部５８と合成部５９に出力する。
【０１９８】
合成部５８は、選択部５４から供給されたBase view videoのプレーンと、選択部５７から供給されたBase viewの字幕のプレーンとを合成してBase viewのフレームを生成するとともに、出力。ビデオのプレーンと字幕のプレーンを合成して、ビデオが有効画枠内に配置されるとともに、１フレームのデータが生成され、字幕がaligned字幕領域等の所定の位置に配置される。
【０１９９】
合成部５９は、選択部５４から供給されたDependent view videoのプレーンと、選択部５７から供給されたDependent viewの字幕のプレーンとを合成してDependent viewのフレームを生成するとともに、出力。合成部５８から出力されたBase viewのフレームおよび合成部５９から出力されたDependent viewのフレームのビデオ信号が表示装置３に出力される。
【０２００】
図２４は、ビデオ後処理部５３の構成例を示すブロック図である。
【０２０１】
図２４に示すように、ビデオ後処理部５３は、切り出し部７１、配置処理部７２、および色設定部７３を含む。切り出し部７１に対しては、ビデオデコーダ５２から出力された、ビデオの有効画枠の上側と下側に黒色領域が付加された構成を有する図２５Ａに示すようなフレームのデータが入力される。
【０２０２】
図２５Ａに示すフレームは1920×1080画素のサイズのフレームと仮定する。ビデオの有効画枠の垂直方向における画素数は８０４であり、垂直方向における画素数が１３８の黒色領域が上側と下側に設定されている。
【０２０３】
切り出し部７１は、active_video_window()に含まれるtop_offsetとbottom_offsetに基づいて、TopOffsetとBottomOffsetを求め、ビデオの有効画枠を切り出す。例えば、図２５Ｂに示すようなビデオの有効画枠が図２５Ａのフレーム全体から切り出される。
【０２０４】
配置処理部７２は、active_video_window()に含まれるtop_align_flagとalign_offsetに基づいて、ビデオの有効画枠の配置位置（デコード後のフレームにおける位置に基づく移動先の位置）を求め、求めた位置に有効画枠を配置する。
【０２０５】
例えば、図２５Ｃに示すように、ビデオの有効画枠の左上端における画素の位置と、フレームの左上端における画素の位置が相互に一致するように有効画枠が配置される。ビデオの有効画枠の位置が移動すると、デコード後のフレームにおいてビデオの有効画枠の上側と下側のそれぞれに設定される黒色領域を足し合わせて得られる、垂直方向における画素数が２７６のaligned字幕領域用のスペースが確保される。
【０２０６】
色設定部７３は、ビデオの有効画枠外の画素の画素値として、黒色等の所定の色を示す値を設定する。これにより、図２５Ｄに示すように、ビデオの有効画枠の下側にaligned字幕領域が形成される。図２５Ｄに示すようなフレームの構成を有するBase view videoとDependent view videoのプレーンが選択部５４に出力される。
【０２０７】
図２６は、PG後処理部５６の構成例を示すブロック図である。
【０２０８】
図２６に示すように、PG後処理部５６は、配置位置決定部８１とオフセット適用部８２を含む。PGデコーダ５５から出力された字幕データはオフセット適用部８２に入力され、字幕ウインドウの位置を示すwindow_vertical_positionとwindow_horizontal_position等の情報は配置位置決定部８１に入力される。
【０２０９】
配置位置決定部８１は、入力された情報に基づいて、フレームにおける字幕ウインドウの位置を決定し、字幕ウインドウの位置を示す情報をオフセット適用部８２に出力する。
【０２１０】
オフセット適用部８２は、3D字幕方式で字幕を表示するとき、入力された字幕データに対して、STN_table_SS()のPG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕データを生成する。
【０２１１】
また、オフセット適用部８２は、aligned字幕方式で3D字幕を表示するとき、入力された字幕データに対して、STN_table_SS()のAS_PG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕のデータを生成する。
【０２１２】
オフセット適用部８２は、配置位置決定部８１により決定された位置に字幕ウインドウを設定し、Base viewのプレーンの字幕ウインドウ内にBase viewの字幕を配置してBase viewの字幕のプレーンを生成する。
【０２１３】
また、オフセット適用部８２は、Dependent viewのプレーンの字幕ウインドウ内にDependent viewの字幕を配置してDependent viewの字幕のプレーンを生成する。オフセット適用部８２は、生成したプレーンを選択部５７に出力する。
【０２１４】
［再生装置の動作］
図２７のフローチャートを参照して、再生装置１の字幕表示方式設定処理について説明する。
【０２１５】
図２７の処理は、例えば、ユーザがリモートコントローラを操作して字幕表示方式に関するメニュー画面の表示に指示したときに開始される。
【０２１６】
ステップＳ１において、コントローラ３１は、表示装置３に、字幕表示方式に関するメニュー画面を表示する。メニュー画面の表示は、例えば、光ディスク２に記録されているIGストリームのデータに基づいて行われる。
【０２１７】
図２８は、画面表示の例を示す図である。
【０２１８】
図２８の左上に示す画面は、字幕表示方式に関するメニュー画面である。図２８の例においては、フレームの上側と下側に黒色領域が付加されたビデオと重ねられることによりメニュー画面が表示される。
【０２１９】
ユーザは、リモートコントローラ等を操作して、字幕のオン／オフ、表示する字幕の言語、字幕を表示するときの3D字幕のオン／オフを選択することができる。例えば、図２８におけるメニュー画面の左下の「off」（字幕off）が選択されたとき、矢印Ａ１の先で示すように、字幕の表示なしの状態で、ビデオが３次元表示される。
【０２２０】
図２７のステップＳ２において、コントローラ３１は、操作入力部３５から供給される信号に基づいて、表示する字幕の種類（言語）を選択する。
【０２２１】
ステップＳ３において、コントローラ３１は、再生対象として選択した字幕番号を示す情報をレジスタ３１Ａに収容する。例えば、図２８のメニュー画面において「日本語」が選択されたとき、「日本語」字幕の番号を示す情報がレジスタ３１Ａに収容される。レジスタ３１Ａに収容された情報により、再生対象の言語のPGストリームが特定される。
【０２２２】
ステップＳ４において、コントローラ３１は、操作入力部３５から供給される信号に基づいて、3D字幕のオン／オフを選択する。3D字幕のオン状態は、字幕の表示方式が3D字幕方式であることを示し、オフは、aligned字幕方式を示す。
【０２２３】
ステップＳ５において、コントローラ３１は、ステップＳ４での選択に応じて、字幕表示方式を示す情報をレジスタ３１Ａに収容する。字幕表示方式を示す情報がレジスタ３１Ａに収容された後、処理は終了する。
【０２２４】
例えば、図２８のメニュー画面において3D字幕のオン状態が選択されたとき、字幕表示方式が3D字幕方式であることを示す情報がレジスタ３１Ａに収容され、その後、矢印Ａ２の先で示すように、3D字幕方式で字幕が表示される。矢印Ａ２の先で示す画面においては、ビデオとともに、ビデオの有効画枠内に、「Subtitle」という文字の字幕が３次元表示されている。
【０２２５】
一方、図２８のメニュー画面において3D字幕のオフ状態が選択されたとき、字幕表示方式がaligned字幕方式であることを示す情報がレジスタ３１Ａに収容され、その後、矢印Ａ３の先で示すように、aligned字幕方式で字幕が表示される。矢印Ａ３の先で示す画面においては、ビデオの有効画枠の上側に形成されたaligned字幕領域に「Subtitle」という文字の字幕が３次元表示されている。
【０２２６】
次に、図２９のフローチャートを参照して、再生装置１の再生処理について説明する。
【０２２７】
図２９の処理は、例えば、図２８に示すようにメニュー画面から字幕表示方式の設定が行われた後に開始される。
【０２２８】
ステップＳ１１において、コントローラ３１は、コンテンツの再生に用いるPlayListファイルを選択する。
【０２２９】
ステップＳ１２において、コントローラ３１は、レジスタ３１Ａに収容しておいた再生対象として字幕番号を示す情報を読み出す。
【０２３０】
ステップＳ１３において、コントローラ３１は、レジスタ３１Ａに収容しておいた字幕表示方式を示す情報を読み出す。
【０２３１】
ステップＳ１４において、コントローラ３１は、ステップＳ１３の処理で読み出した情報に基づいて、字幕表示方式としてaligned字幕方式が設定されているか否かを判定する。
【０２３２】
aligned字幕方式が設定されているとステップＳ１４において判定したとき、ステップＳ１５において、コントローラ３１は、PlayListファイルから、字幕に関する情報を読み出す。字幕に関する情報として、例えば、STN_table_SS()に記述されている、現在選択されている言語の字幕に関するis_AS_PGの値が読み出される。
【０２３３】
ステップＳ１６において、コントローラ３１は、再生対象として現在選択されている字幕に、aligned字幕方式用のPGストリームが登録されているかどうかを判定した。上述したように、STN_table_SS()においてはPGストリーム毎にis_AS_PG等の情報が設定される。選択されている言語に関して、aligned字幕方式用のPGストリームが記録され、記録されない場合がある。
【０２３４】
次いで、is_AS_PGの値が１であり、aligned字幕方式用のPGストリームが登録されているとステップＳ１６において判定し、ステップＳ１７において、コントローラ３１はaligned字幕の再生処理を行う。aligned字幕の再生処理においては、ビデオが３次元表示される時に、字幕がaligned字幕方式で表示される。
【０２３５】
一方、is_AS_PGの値が０であり、aligned字幕方式用のPGストリームが登録されていないとステップＳ１６において判定したとき、ステップＳ１８において、コントローラ３１は字幕表示方式として通常方式を設定する。図２８の例においては、aligned字幕方式と3D字幕方式から選択することができるため、ここでは、字幕表示方式として3D字幕方式が設定される。
【０２３６】
ステップＳ１８において3D字幕方式が設定されたとき、または、ステップＳ１４においてaligned字幕方式が設定されていない、すなわち、3D字幕方式が設定されているとき、ステップＳ１９において通常字幕の再生処理が行われる。通常字幕の再生処理においては、3D字幕方式用のPGストリームが光ディスク２から読み出され、PGデコーダ５５によりデコードが行われる。また、PG後処理部５６により、Base viewの字幕データとDependent viewの字幕が生成され、ビデオとともに、ビデオの有効画枠内に字幕が３次元表示される。
【０２３７】
なお、ビデオの有効画枠内の下部に設定された領域（図１において点線で現す領域）に字幕を２次元表示する方式が用意されているとき、通常字幕の再生処理として、その方式で字幕の再生処理が行われるようにしてもよい。
【０２３８】
次に、図３０のフローチャートを参照して、図２９のステップＳ１７において行われるaligned字幕の再生処理について説明する。
【０２３９】
ステップＳ３１において、ビデオデータ生成処理が行われる。ビデオデータ生成処理により、所定の位置にaligned字幕領域が形成された構成を有するBase view videoのプレーンとDependent view videoのプレーン。
【０２４０】
ステップＳ３２において、字幕データ生成処理が行われる。字幕データ生成処理により、ビデオデータ生成処理により生成されたaligned字幕領域に対応する位置に字幕が配置されたBase viewの字幕のプレーンとDependent viewの字幕のプレーンが生成される。
【０２４１】
ステップＳ３３において、合成部５８は、Base view videoのプレーンとBase viewの字幕のプレーンを合成してBase viewのフレームを生成する。また、合成部５９は、Dependent view videoのプレーンとDependent viewの字幕のプレーンを合成してDependent viewのフレームを生成する。
【０２４２】
ステップＳ３４において、コントローラ３１は、Base viewのフレームとDependent viewのフレームを表示装置３に出力し、aligned字幕領域に字幕が表示される画面を表示する。
【０２４３】
次に、図３１のフローチャートを参照して、図３０のステップＳ３１において行われるビデオデータ生成処理について説明する。
【０２４４】
この処理は、図２９のステップＳ１１において選択されたPlayListファイルの記述に基づいてデコード対象のビデオストリームとaligned字幕方式用のPGストリームが光ディスク２から読み出され、それらのストリームが分離部５１により分離された後に開始される。分離部５１により分離されたビデオストリームはビデオデコーダ５２に供給され、aligned字幕方式用のPGストリームはPGデコーダ５５に供給される。
【０２４５】
ステップＳ４１において、ビデオデコーダ５２は、ビデオストリームをデコードし、デコードによって得られた画像データをビデオ後処理部５３に出力する。
【０２４６】
ステップＳ４２において、コントローラ３１は、ビデオの有効画枠の情報として、active_video_window()に記述されている情報をPlayListファイルから読み出す。コントローラ３１により読み出されたactive_video_window()に記述されている情報はビデオ後処理部５３に供給される。
【０２４７】
ステップＳ４３において、ビデオ後処理部５３の切り出し部７１（図２４）は、active_video_window()に含まれるtop_offsetとbottom_offsetに基づいてTopOffsetとBottomOffsetを求め、ビデオの有効画枠を切り出す。
【０２４８】
ステップＳ４４において、配置処理部７２は、active_video_window()に含まれるtop_align_flagとalign_offsetに基づいてビデオの有効画枠の配置位置を求め、求めた位置に有効画枠を配置する。
【０２４９】
ステップＳ４５において、色設定部７３は、配置した有効画枠外の画素の画素値として黒色等の所定の色を示す値を設定し、aligned字幕領域を生成する。
【０２５０】
aligned字幕領域が形成されたBase view videoとDependent view videoのプレーンは選択部５４に出力される。選択部５４においては、Base view videoのプレーンが合成部５８に出力され、Dependent view videoのプレーンが合成部５９に出力される。その後、上記処理は図３０のステップＳ３１に戻り、それ以降の処理が行われる。
【０２５１】
次に、図３２のフローチャートを参照して、図３０のステップＳ３２において行われる字幕データ生成処理について説明する。
【０２５２】
ステップＳ５１において、PGデコーダ５５は、aligned字幕方式用のPGストリームをデコードし、字幕データをPG後処理部５６のオフセット適用部８２に出力するとともに、字幕ウインドウの位置を示す情報を配置位置決定部８１に出力する。
【０２５３】
ステップＳ５２において、配置位置決定部８１は、PGデコーダ５５から供給された情報に基づいて、フレームにおける字幕ウインドウの位置を決定した。
【０２５４】
ステップＳ５３において、オフセット適用部８２は、字幕データに対して、STN_table_SS()のAS_PG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕データを生成する。オフセット適用部８２は、配置位置決定部８１により決定された位置に字幕ウインドウを配置し、字幕ウインドウ内に字幕を配置して、Base viewとDependent viewの字幕のプレーンを生成する。
【０２５５】
オフセット適用部８２により生成されたBase viewとDependent viewの字幕のプレーンは選択部５７に出力される。選択部５７においては、Base viewの字幕のプレーンが合成部５８に出力され、Dependent viewの字幕のプレーンが合成部５９に出力される。その後、上記処理は図３０のステップＳ３２に戻り、それ以降の処理が行われる。
【０２５６】
以上の処理により、字幕の表示領域として十分な領域を確保することができ、ユーザにとって見やすい字幕表示を実現することができる。
【０２５７】
［フリップ機能について］
図３３は、フリップ機能によって実現されるフレーム構成の変更例を示す図である。
【０２５８】
上述したように、フリップ機能は、active_video_window()に含まれる情報に基づいて形成されたaligned字幕領域の位置を、ユーザの選択に応じて移動する。
【０２５９】
図３３の左側は、top_align_flagの値が１であり、かつalign_offset=34であるときのフレームを示す。図３３の左側に示すフレームの構成は、図２１Ａを参照して説明した構成と同じ構成であり、フレームの下側にaligned字幕領域が形成されている。
【０２６０】
図２１Ａを参照して説明したように、図３３の左側に示す1920×1080画素を有するフレームのAlignOffsetは68であり、ビデオの有効画枠の垂直方向における画素数は804であり、aligned字幕領域の垂直方向における画素数は208である。また、ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,871)で表される。
【０２６１】
図３３の左側に示すフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,891)で表され、字幕ウインドウの垂直方向における画素数は168である。ビデオの有効画枠の下端と字幕ウインドウの上端の垂直方向における差は20画素（891-871画素）になる。なお、字幕ウインドウの位置は、PGストリームに含まれるwindow_vertical_positionとwindow_horizontal_position等の情報により決定される。PGストリームには、字幕ウインドウの垂直方向における画素数を示す情報も含まれている。
【０２６２】
この場合において、aligned字幕領域をフレームの上側で移動することが指示された場合、白反転矢印の先で示すように、aligned字幕領域がフレームの上側に形成されるようにフレーム構成が変更される。すなわち、各領域の大きさを維持しながら、ビデオの有効画枠の上側にaligned字幕領域が配置され、有効画枠の下側に黒色領域が配置される。
【０２６３】
図３３の右側に示すように、aligned字幕領域の移動後のフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,20)で表される。
【０２６４】
図３４は、フレーム構成の他の変更例を示す図である。
【０２６５】
図３４の左側は、top_align_flagの値が０であり、かつalign_offset=34であるときのフレームを示す。図３４の左側に示すフレームの構成は、図２１Ｂを参照して説明した構成と同じ構成であり、フレームの上側にaligned字幕領域が形成されている。
【０２６６】
図２１Ｂを参照して説明したように、図３４の左側に示すフレームのAlignOffsetは208、ビデオの有効画枠の垂直方向における画素数は804、aligned字幕領域の垂直方向における画素数は68である。
【０２６７】
図３４の左側に示すフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,20)で表され、字幕ウインドウの垂直方向における画素数は168である。
【０２６８】
この場合において、aligned字幕領域をフレームの下側で移動することが指示された場合、白反転矢印の先で示すように、aligned字幕領域がフレームの下側に形成されるようにフレーム構成が変更される。すなわち、各領域の大きさを維持しながら、ビデオの有効画枠の下側にaligned字幕領域が配置され、有効画枠の上側に黒色領域が配置される。
【０２６９】
図３４の右側に示すように、aligned字幕領域の移動後のフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,891)で表される。
【０２７０】
ビデオの有効画枠の位置がビデオ後処理部５３の配置処理部７２により再配置され、色設定部７３が再配置された有効画枠外の画素における所定の画素値を設定し、それによって、このような各領域の位置変更が行われる。
【０２７１】
フリップ機能を利用して、ユーザはaligned字幕領域の位置を好みに応じて変更することができる。再生装置１は、aligned字幕領域の位置を変更させたときでも、aligned字幕領域内における字幕ウインドウと有効画枠の間の距離を維持し、字幕が有効画枠から離れない場合がある。
【０２７２】
図３５は、aligned字幕領域の位置の選択に用いられるメニュー画面の例を示す図である。
【０２７３】
図３５の左側に示すメニュー画面においては、aligned字幕領域の位置をフレームの上側(top)にするか、フレームの下側(bottom)にするかを選択することができる。例えば、active_video_window()に含まれる情報に基づいて配置されるaligned字幕領域の位置およびその反対の位置が選択されたとき、フリップ機能によってaligned字幕領域が移動される。
【０２７４】
図３６は、図１８のactive_video_window()に含まれるfixed_subtitle_window_0およびfixed_subtitle_window_1について説明する図である。
【０２７５】
上述したように、人物の会話内容の字幕を表示する字幕ウインドウと、強制字幕を表示する字幕ウインドウを設定することが可能である。また、強制字幕を表示する字幕ウインドウについては、ビデオの有効画枠内に配置することが可能である。各字幕ウインドウの配置位置が、PGストリームに含まれる情報により指定される。
【０２７６】
フリップ機能によってフレーム構成が変更したときでも、強制字幕を表示する字幕ウインドウをオーサーが意図する位置に配置するために、fixed_subtitle_window_0およびfixed_subtitle_window_1が用いられる。
【０２７７】
fixed_subtitle_window_0は、フリップ機能によってビデオの有効画枠の位置が移動したときでも、ビデオの有効画枠の位置とID=0で識別される字幕ウインドウ#0の位置の関係を維持すべきかどうかを示す。例えば、fixed_subtitle_window_0の値が１であることは、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係を維持すべきであることを示し、fixed_subtitle_window_0の値が０であることは、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係を維持すべきでないことを示す。
【０２７８】
同様に、fixed_subtitle_window_1は、フリップ機能によってビデオの有効画枠の位置が移動したときでも、有効画枠の位置とID=1で識別される字幕ウインドウ#1の位置の関係を維持させるべきかどうかを示す。例えば、fixed_subtitle_window_1の値が１であることは、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係を維持すべきであることを示し、fixed_subtitle_window_1の値が０であることは、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係を維持すべきでないことを示す。
【０２７９】
図３６の左側に示すフレームにおいては、フレームの上側にaligned字幕領域が配置されている。また、ID=0で識別される字幕ウインドウ#0がaligned字幕領域に配置され、字幕ウインドウ#0に「ABCD」というアルファベットを含む字幕が表示されている。字幕ウインドウ#0のfixed_subtitle_window_0の値は０である。
【０２８０】
また、図３６の左側に示すフレームにおいては、ID=1で識別される字幕ウインドウ#1がビデオの有効画枠内に配置され、字幕ウインドウ#1に「****」という字幕が表示されている。字幕ウインドウ#1のfixed_subtitle_window_1の値は１である。字幕ウインドウ#1の左上端の画素は、ビデオの有効画枠の左上端における画素を基準として水平方向にｘ画素、垂直方向にｙ画素だけ離れた位置にある。
【０２８１】
この場合において、aligned字幕領域をフレームの下側で移動することが指示されたとき、図３６の右側に示すようにフレーム構成が変更される。フレーム構成の変更に従って、字幕ウインドウ#0は移動後のaligned字幕領域に配置される。
【０２８２】
字幕ウインドウ#0のfixed_subtitle_window_0の値は０であるから、フリップ機能によってaligned字幕領域の位置が移動する前後で、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係は維持されない。
【０２８３】
一方、fixed_subtitle_window_1の値は１であるから、字幕ウインドウ#1は、ビデオの有効画枠の位置との位置関係を維持するようにして配置される。
【０２８４】
図３６の右側に示すフレームにおいて、字幕ウインドウ#1の左上端の画素は、ビデオの有効画枠の左上端における画素を基準として水平方向にｘ画素、垂直方向にｙ画素だけ離れた位置にある。aligned字幕領域の位置が移動する前後で、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係は変化しない。
【０２８５】
従って、フリップ機能によってビデオの有効画枠の位置が移動したときでも、強制字幕を表示する字幕ウインドウは、オーサーが意図する位置に配置され得る。
【０２８６】
なお、図１９のflipped_AS_PG_textST_offset_id_refは、フリップ機能によってaligned字幕領域の位置を移動した場合において、移動後のaligned字幕領域に3D字幕を表示するときに用いるオフセット値の参照先を示す。図１９の例においては、active_video_window()について、１つのflipped_AS_PG_textST_offset_id_refを参照することが可能であるが、PGストリーム毎に、異なるflipped_AS_PG_textST_offset_id_refを参照するシンタクスが採用可能であり得る。
【０２８７】
移動前のaligned字幕領域に3D字幕を表示するときに用いるオフセット値はSTN_table_SS()のAS_PG_textST_offset_id_ref（図１８）によって参照されるが、移動後のaligned字幕領域に3D字幕を表示するときに用いるオフセット値は、異なるflipped_AS_PG_textST_offset_id_refによって参照される。
【０２８８】
従って、移動前のaligned字幕領域の字幕と、フリップ機能による移動後のaligned字幕領域の字幕を、異なるオフセット値を用いることにより３次元表示することができる。オフセット値を変えることができるため、オーサーは、移動前のaligned字幕領域の字幕と移動後のaligned字幕領域の字幕とで視聴者が感じる空間効果に変化をつけることができる。
【０２８９】
［シンタクスの変更例］
aligned字幕方式用のPGストリームとして、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームと、下側に配置したaligned字幕領域に表示する字幕のPGストリームを、それぞれ光ディスク２に記録することができる。
【０２９０】
図３７は、STN_table_SS()のシンタクスの他の例を示す図である。
【０２９１】
図３７のSTN_table_SS()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームと、下側に配置したaligned字幕領域に表示する字幕のPGストリームに関する記述が含まれる。
【０２９２】
is_top_AS_PG_TextSTは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されているかどうかを示す。例えば、is_top_AS_PG_TextSTの値が１であることは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていることを示し、is_top_AS_PG_TextSTの値が０であることは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていないことを示す。
【０２９３】
is_bottom_AS_PG_TextSTは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されているかどうかを示す。例えば、is_bottom_AS_PG_TextSTの値が１であることは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていることを示し、is_bottom_AS_PG_TextSTの値が０であることは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていないことを示す。
【０２９４】
is_top_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。top_AS_PG_textST_offset_sequence_id_refは、フレームの上側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。
【０２９５】
is_bottom_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。bottom_AS_PG_textST_offset_sequence_id_refは、フレームの下側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。
【０２９６】
図３７のSTN_table_SS()を用いた処理を説明する。上記と重複する説明は適宜省略する。
【０２９７】
以下、フレームの上側に配置されたaligned字幕領域に表示される字幕のPGストリームを、適宜、上側aligned字幕用PGストリームと呼び、フレームの下側に配置されたaligned字幕領域に表示される字幕のPGストリームを、適宜、下側aligned字幕用PGストリームと呼ぶ。
【０２９８】
図３７のSTN_table_SS()を用いて図２９の再生処理を行うとき、STN_table_SS()に記述された、現在選択されている言語の字幕のis_top_AS_PG_TextSTおよびis_bottom_AS_PG_TextSTの値がステップＳ１５で読み出される。
【０２９９】
さらに、ステップＳ１６において、aligned字幕方式用のPGストリームが再生対象として現在選択されている字幕に登録されているか否かを判定する。
【０３００】
次いで、is_top_AS_PG_TextSTまたはis_bottom_AS_PG_TextStの値が１であり、aligned字幕方式用のPGストリームが登録されているとステップＳ１６において判定し、ステップＳ１７において、aligned字幕の再生処理が行われる。aligned字幕の再生処理では、ビデオが３次元表示される時に、字幕がaligned字幕方式で表示される。
【０３０１】
例えば、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームの両方が光ディスク２に記録されているとき(is_top_AS_PG_TextSTおよびis_bottom_AS_PG_TextSTの値が１であるとき)、ユーザが選択したPGストリームが再生される。
【０３０２】
上側aligned字幕用PGストリームを対象とする図３２の字幕データ生成処理のステップＳ５３では、PGストリームをデコードして得られる字幕データについてtop_AS_PG_textST_offset_sequence_id_refで参照されるオフセット値に応じて視差が設定される。
【０３０３】
また、下側aligned字幕用PGストリームを対象とする図３２の字幕データ生成処理のステップＳ５３では、PGストリームをデコードして得られる字幕データについてbottom_AS_PG_textST_offset_sequence_id_refで参照されるオフセット値に応じて視差が設定される。
【０３０４】
従って、コンテンツのオーサーは、ビデオコンテンツに応じて、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームを用意することができる。また、異なる値をオフセット値として設定できるため、コンテンツのオーサーは、フレームの上側に配置されたaligned字幕領域に表示する字幕と、フレームの下側に配置されたaligned字幕領域に表示する字幕の３次元効果を変更することができる。
【０３０５】
図３８は、active_video_window()の他のシンタックスの例を示す図である。
【０３０６】
図３８のactive_video_window()は、図３７のSTN_table_SS()に含まれるis_top_AS_PG_TestSTまたはis_bottom_AS_PG_TestSTのいずれかの値が１のときに記述され、aligned字幕方式用PGストリームが記録される。
【０３０７】
図３８の例には、図１９を参照して説明したtop_align_flagは含まれていない。また、align_offsetの代わりに、top_align_offsetおよびbottom_align_offsetが含まれる。
【０３０８】
top_offsetは、フレームの上側に形成された黒枠領域の幅（垂直方向における画素数）を２画素単位で表すことにより得られる値である。top_offsetの値が、例えば、69であることは、フレームの上側に形成された黒枠領域の幅が138画素であることを示す。top_offsetは、ビデオの有効画枠の垂直方向において最上部の画素の位置を求めるために用いられる。
【０３０９】
以下、フレーム内の位置については、フレームの左上端における１画素の位置を(x,y)=(0,0)、すなわち、フレームの上から１行目の垂直方向における画素の位置を０、フレームの左から１列目の水平方向における画素の位置を０として、画素数を用いて示す。
【０３１０】
ビデオの有効画枠の垂直方向における最上部の画素の位置であるTopOffsetは、top_offsetの値を用いて、下式（８）により求められる。
TopOffset = 2 * top_offset  ．．．  （８）
【０３１１】
top_offsetは、下式（９）により示される範囲の値をとる。
2013511789.tif 000005
．．．  （９）
【０３１２】
式（９）のFrameHeightは、フレーム全体の垂直方向における画素数を示し、下式（１０）により得られる。式（１０）のPic_height_in_map_units_minus1、frame_mbs_only_flag、frame_crop_top_offset、およびframe_crop_bottom_offsetは全て、MVCで符号化したビデオストリームに含まれるパラメータである。
FrameHeight = 16 * (pic_height_in_map_units_minus1 + 1) * (2 - frame_mbs_only_flag) - 2 * (2 - frame_mbs_only_flag) * (frame_crop_top_offset+frame_crop_bottom_offset)  ．．．  （１０）
【０３１３】
bottom_offsetは、フレームの下側に形成された黒枠領域の幅（垂直方向における画素数）を２画素単位で表すことにより得られる値である。bottom_offsetの値が、例えば、69であることは、フレームの下側に形成された黒枠領域の幅が138画素であることを示す。bottom_offsetは、ビデオの有効画枠の垂直方向における最下部の画素の位置を求めるために用いられる。
【０３１４】
ビデオの有効画枠の垂直方向において最下部の画素の位置であるBottomOffsetは、bottom_offsetの値を用いて、下式（１１）により求められる。
BottomOffset ＝ FrameHeight −                      ．．．  （１１）
【０３１５】
top_align_offsetは、フレームの上側左端を原点(0,0)として、再配置されるビデオの有効画枠の垂直方向における上側左端の画素の位置を２画素単位で表すことにより得られる値である。top_align_offsetは、is_top_AS_PG_TextSTの値が１であり、かつ上側aligned字幕用PGストリームを再生して字幕を表示するときのビデオの有効画枠の再配置位置を得るために用いられる。
【０３１６】
top_align_offsetは、下式（１２）により示される範囲の値をとる。
2013511789.tif 000006
．．．  （１２）
【０３１７】
再配置されたビデオの達成画枠の垂直方向における最上部の画素の位置であるAlignOffsetは、top_align_offsetの値を用いて、下式（１３）により得られる。
AlignOffset ＝ 2＊ top_align_offset                    ．．．  （１３）
【０３１８】
図３９Ａは、top_align_offsetの値を用いて得られるAlignOffsetの例を示す図である。
【０３１９】
図３９Ａに示すようにtop_align_offset=104のとき、1920×1080画素のフレームについては、AlginOffsetは208となる。ビデオの有効画枠の上側左端における１画素の位置は、(x,y)=(0,208)で表される。
【０３２０】
図３９Ａおよび図３９Ｂの例では、デコーディング直後のフレームの上側と下側の黒枠領域の幅は、図２０を参照して説明したように、138である。top_offsetおよびbottom_offsetの値は69である。
【０３２１】
図３８の説明に戻って、bottom_align_offsetは、フレームの上側左端を原点(0,0)として、再配置されるビデオの有効画枠の垂直方向における上側左端の画素の位置を２画素単位で表すことにより得られる値である。bottom_align_offsetは、is_bottom_AS_PG_TextSTの値が１であり、かつ下側aligned字幕用PGストリームを再生して字幕を表示するときに、ビデオの有効画枠の再配置の位置を得るために用いられる。
【０３２２】
bottom_align_offsetは、下式（１４）により示される範囲の値をとる。
2013511789.tif 000007
．．．  （１４）
【０３２３】
再配置されたビデオの達成画枠の垂直方向における最下部の画素の位置であるAlignOffsetは、bottom_align_offsetの値を用いて、下式（１５）により得られる。
AlignOffset = 2 * bottom_align_offset  ．．．  （１５）
【０３２４】
図３９Ｂは、bottom_align_offsetを用いて得られるAlignOffsetの例を示す図である。
【０３２５】
図３９Ｂに示すようにbottom_align_offset=34のとき、1920×1080画素のフレームについては、AlginOffsetは68となる。ビデオの有効画枠の上側左端における１画素の位置は、(x,y)=(0,68)で表される。
【０３２６】
図３８のactive_video_window()を用いた処理を説明する。上記と重複する説明は適宜省略する。
【０３２７】
図３１のビデオデータ生成処理が図３８のactive_video_window()を用いて行われるとき、ステップＳ４２において、active_video_window()に記述された情報がPlayListファイルから読み出される。
【０３２８】
ステップＳ４３において、top_offsetおよびbottom_offsetに基づいて、TopOffsetおよびBottomOffsetを得るとともに、ビデオの有効画枠を切り取る。
【０３２９】
ステップＳ４４において、ビデオの有効画枠の配置位置を得るとともに、得られた位置に有効画枠を配置する。
【０３３０】
例えば、is_top_AS_PG_TextSTの値が１であり、かつ上側aligned字幕用PGストリームを再生して字幕を表示するとき、上記配置位置は、図３９Ａを参照して説明したように、top_align_offsetを用いて得られる。
【０３３１】
一方、is_bottom_AS_PG_TextSTの値が１であり、かつ下上側aligned字幕用PGストリームを再生して字幕を表示するとき、上記配置位置は、図３９Ｂを参照して説明したように、bottom_align_offsetを用いて得られる。
【０３３２】
その後、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームをデコードし、aligned字幕領域に字幕を表示する。
【０３３３】
［情報処理装置の構成と動作］
図４０は、情報処理装置１０１の構成例を示すブロック図である。
【０３３４】
情報処理装置１０１において、再生装置１により再生されるコンテンツが生成され、BD等の記録媒体に記録される。情報処理装置１０１によりコンテンツが記録される記録媒体は、光ディスク２として再生装置１に提供される。
【０３３５】
図４０に示すように、情報処理装置１０１は、ビデオエンコーダ１１１、PGエンコーダ１１２、PlayList生成部１１３、多重化部１１４、および記録部１１５から構成される。
【０３３６】
ビデオエンコーダ１１１は、図３のMVCエンコーダと同様の構成を有する。ビデオエンコーダ１１１は、入力されたビデオデータをMVC方式で符号化し、Base view videoのストリームとDependent view videoのストリームを多重化部１１４に出力する。
【０３３７】
PGエンコーダ１１２は、入力された字幕のデータを符号化し、3D字幕方式用のPGストリームとaligned字幕方式用のPGストリームを多重化部１１４に出力する。
【０３３８】
PlayList生成部１１３は、上述した情報を含むPlayListファイルを生成し、多重化部１１４に出力する。
【０３３９】
多重化部１１４は、ビデオエンコーダ１１１から供給されたBase view videoのストリーム、Dependent view videoのストリーム、およびPGエンコーダ１１２から供給されたPGストリームを多重化し、TSを記録部１１５に出力する。
【０３４０】
記録部１１５は、多重化部１１４から供給されたTSとPlayList生成部１１３により生成されたPlayListファイルを含むコンテンツを生成し、コンテンツのデータをBD等の記録媒体に記録する。
【０３４１】
図４１のフローチャートを参照して、情報処理装置１０１の記録処理について説明する。
【０３４２】
ステップＳ１０１において、ビデオエンコーダ１１１は、入力されたビデオデータをMVC方式で符号化し、Base view videoのストリームとDependent view videoのストリームを生成する。
【０３４３】
ステップＳ１０２において、PGエンコーダ１１２は、入力された字幕のデータを符号化し、3D字幕方式用のPGストリームとaligned字幕方式用のPGストリームを生成する。
【０３４４】
ステップＳ１０３において、PlayList生成部１１３はPlayListファイルを生成する。
【０３４５】
ステップＳ１０４において、多重化部１１４は、ビデオエンコーダ１１１により生成されたBase view videoのストリーム、Dependent view videoのストリーム、およびPGエンコーダ112により生成されたPGストリームを多重化し、TSを生成する。
【０３４６】
ステップＳ１０５において、記録部１１５は、多重化部１１４により生成されたTSおよびPlayList生成部１１３により生成されたPlayListファイルをBD等の記録媒体に記録し、処理を終了する。
【０３４７】
［変形例］
以上においては、有効画枠内に表示されるビデオがBase viewとDependent viewのビデオである場合について説明したが、表示順で配置された２つのフレームの画像間に視差が生じない2D画像を表示することが可能であってもよい。BD等の記録媒体に記録されるコンテンツが、2D画像データを含む2Dコンテンツであるときでも、上述した3Dコンテンツの場合と同様に、再生装置において、PlayListの記述に基づいて有効画枠を切り出し、位置をずらして形成したaligned字幕領域に字幕を表示することが可能であってもよい。
【０３４８】
［active_video_window()の位置］
上記では、図１９および図３７を参照して説明したactive_video_window()はPlayListに記述されるが、他の位置に記述してもよい。
【０３４９】
例えば、Base view videoストリームおよびDependent view videoストリームを同じTSとして、またはそれぞれ異なるTSとして多重化した後、放送波および放送網を介して送信することが考えられる。
【０３５０】
この場合、active_video_window()は、例えば、送信制御情報であるProgram Specific Information(PSI)、Base view videoストリーム、またはDependent view videoストリーム（エレメンタリーストリーム）に記述される。
【０３５１】
図４２は、active_video_window()がPSIに含まれるProgram Map Table(PMT)に記述される例を示す図である。
【０３５２】
図４２に示すように、active_video_window()を記述する記述子を新たに定義し、定義した記述子にactive_video_window()を記述してもよい。図４２の例では、図３７のactive_video_window()が記述される。また、例えば、65がdescriptor_tagの値として与えられる。
【０３５３】
この場合、図４３の情報処理装置１０１の情報生成部１２１は、active_video_window()が記述されたPMTを生成し、出力する。図４３に示す構成では、図４０と同じ構成は、同じ参照番号とともに与えられる。図４３の例では、図４０のPlayList生成部１１３の代わりに、情報生成部１２１が設けられる。
【０３５４】
情報生成部１２１から出力されたPMTは、多重化部１１４によりBase view videoストリームおよびDependent view videoストリームと多重化される。多重化により得られたTSは、放送波および放送網を介して送信される。
【０３５５】
TSを受信した再生装置では、PMTに記述されたactive_video_window()に基づいて、上記のように字幕を表示する。
【０３５６】
active_video_window()は、Selection Information Table(SIT)等、PMT以外の他の箇所に記述してもよい。
【０３５７】
図４４は、active_video_window()がエレメンタリーストリームに記述された例を示す図である。
【０３５８】
図４４に示すように、active_video_window()は、SEIに記述することができる。SEIは、Base view videoストリームおよびDependent view videoストリームを構成する各ピクチャのデータに付加される付加情報である。active_video_window()を含むSEIは、Base view videoストリームおよびDependent view videoストリームの少なくともいずれか一方のストリームの各ピクチャに付加される。
【０３５９】
図４５は、Access Unitの構成を示す図である。
【０３６０】
図４５に示すように、Base view videoストリームの１つのピクチャのデータを含むBase view videoのAccess Unitは、Dependent view videoストリームの１つのピクチャのデータを含むDependent view videoのAccess Unitと同じ構成を有する。１つのAccess Unitは、Access Unitの先頭を示すAUデリミタ、SPS、PPS、SEI、およびピクチャデータで構成される。
【０３６１】
この場合、図４３の情報処理装置１０１の情報生成部１２１は、active_video_window()が記述されたSEIを生成し、バス（図示せず）を介してSEIをビデオエンコーダ１１１に出力する。ビデオエンコーダ１１１では、H.264 AVC/MVCの規格に従ってL画像データおよびR画像データを符号化して得られるBase view videoおよびDependent view videoの各ピクチャのデータにＳＥＩが付加される。
【０３６２】
active_video_window()が記述されたＳＥＩとともに付加したピクチャのデータを含む、Base view videoストリームおよびDependent view videoストリームは、多重化された後、放送波または放送網を介して送信されるか、または記録媒体に記録される。
【０３６３】
SEIが読み出される再生装置では、SEIに記述されたactive_video_window()の値に基づいて、上記のように字幕が表示される。
【０３６４】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアおよびソフトウェアにより実行することができる。一連の処理をソフトウェアにより実行するとき、そのソフトウェアを構成するプログラムが、専用のハードウェアを組み込んだコンピュータおよび汎用のパーソナルコンピュータに、プログラム記録媒体からインストールされる。
【０３６５】
図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３６６】
中央処理装置(CPU)１５１、読取り専用記憶装置(ROM)１５２、ランダムアクセス記憶装置(RAM)１５３は、バス１５４により相互に接続される。
【０３６７】
バス１５４には、さらに、入出力インタフェース１５５が接続されている。入出力インタフェース１５５は、キーボードまたはマウス等を含む入力部１５６、ならびにディスプレイまたはスピーカ等を含む出力部１５７に接続される。また、入出力インタフェース１５５は、ハードディスクまたは不揮発性メモリ等を含む記憶部１５８、ネットワークインタフェース等を含む通信部１５９、ならびにリムーバブルメディア１６１を駆動するドライブ１６０に接続される。
【０３６８】
以上のように構成されるコンピュータでは、CPU１５１が、例えば、記憶部１５８に記憶されているプログラムを、入出力インタフェース１５５およびバス１５４を介してRAM１５３にロードして実行するように、上述した一連の処理が行われる。
【０３６９】
CPU１５１が実行するプログラムは、例えば、リムーバブルメディア１６１に記録されるか、またはローカルエリアネットワーク、インターネット、もしくはデジタル放送等の有線もしくは無線の伝送媒体を介して提供され、記憶部１５８にインストールされる。
【０３７０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理を行うプログラムおよび／または呼び出しが行われた必要なタイミングで処理が行われるプログラムであってもよい。
【０３７１】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０３７２】
設計要件および他の要因に応じて、各種変更、組み合わせ、副次的組み合わせ、および改変が添付の請求項またはその等価物の範囲内で行われ得ることを当業者は理解する。
【図１】
2013511789.tif 000008
【図２】
2013511789.tif 000009
【図３】
2013511789.tif 000010
【図４】
2013511789.tif 000011
【図５】
2013511789.tif 000012
【図６】
2013511789.tif 000013
【図７Ａ】
2013511789.tif 000014
【図７Ｂ】
2013511789.tif 000015
【図８Ａ】
2013511789.tif 000016
【図８Ｂ】
2013511789.tif 000017
【図９】
2013511789.tif 000018
【図１０】
2013511789.tif 000019
【図１１】
2013511789.tif 000020
【図１２】
2013511789.tif 000021
【図１３】
2013511789.tif 000022
【図１４】
2013511789.tif 000023
【図１５】
2013511789.tif 000024
【図１６】
2013511789.tif 000025
【図１７】
2013511789.tif 000026
【図１８】
2013511789.tif 000027
【図１９】
2013511789.tif 000028
【図２０】
2013511789.tif 000029
【図２１Ａ】
2013511789.tif 000030
【図２１Ｂ】
2013511789.tif 000031
【図２２】
2013511789.tif 000032
【図２３】
2013511789.tif 000033
【図２４】
2013511789.tif 000034
【図２５Ａ】
2013511789.tif 000035
【図２５Ｂ】
2013511789.tif 000036
【図２５Ｃ】
2013511789.tif 000037
【図２５Ｄ】
2013511789.tif 000038
【図２６】
2013511789.tif 000039
【図２７】
2013511789.tif 000040
【図２８】
2013511789.tif 000041
【図２９】
2013511789.tif 000042
【図３０】
2013511789.tif 000043
【図３１】
2013511789.tif 000044
【図３２】
2013511789.tif 000045
【図３３】
2013511789.tif 000046
【図３４】
2013511789.tif 000047
【図３５】
2013511789.tif 000048
【図３６】
2013511789.tif 000049
【図３７】
2013511789.tif 000050
【図３８】
2013511789.tif 000051
【図３９Ａ】
2013511789.tif 000052
【図３９Ｂ】
2013511789.tif 000053
【図４０】
2013511789.tif 000054
【図４１】
2013511789.tif 000055
【図４２】
2013511789.tif 000056
【図４３】
2013511789.tif 000057
【図４４】
2013511789.tif 000058
【図４５】
2013511789.tif 000059
【図４６】
2013511789.tif 000060
【誤訳訂正書】
【提出日】平成24年10月31日(2012.10.31)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】０３１１
【訂正方法】変更
【訂正の内容】
【０３１１】
top_offsetは、下式（９）により示される範囲の値をとる。
2013511789.tif 000061
．．．  （９）
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】０３１４
【訂正方法】変更
【訂正の内容】
【０３１４】
ビデオの有効画枠の垂直方向において最下部の画素の位置であるBottomOffsetは、bottom_offsetの値を用いて、下式（１１）により求められる。
2013511789.tif 000062
．．．  （１１）
【誤訳訂正３】
【訂正対象書類名】明細書
【訂正対象項目名】０３１６
【訂正方法】変更
【訂正の内容】
【０３１６】
top_align_offsetは、下式（１２）により示される範囲の値をとる。
2013511789.tif 000063
．．．  （１２）
【手続補正書】
【提出日】平成24年10月29日(2012.10.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと、を記録媒体から読み出す読み出し部と、
前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、
前記字幕ストリームを復号する第２の復号部と、
前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、
前記第３の領域が前記有効画枠の上に形成されるように、前記第３のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、
前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、
前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、
前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、
前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部と
を備える再生装置。
【請求項２】
前記生成部は、前記オフセットの値を、H.264 AVC/MVCのビデオストリームから取得する
請求項１に記載の再生装置
【請求項３】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、
上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、
前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと
を含む情報を記録した記録媒体。
【請求項４】
フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、
上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される字幕のデータを符号化し、
前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルを生成し、
前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させる
ステップを含む情報処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
本発明は、情報処理方法、再生装置、および記録媒体に関し、特に、字幕の表示領域として十分な領域を確保することができる情報処理方法、再生装置、および記録媒体に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本技術の再生装置は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと、を記録媒体から読み出す読み出し部と、前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、前記字幕ストリームを復号する第２の復号部と、前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、前記第３の領域が前記有効画枠の上に形成されるように、前記第３のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部とを備える。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
前記生成部には、前記オフセットの値を、H.264 AVC/MVCのビデオストリームから取得させることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本技術の記録媒体は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルとを含む情報を記録した記録媒体である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本技術の情報処理方法は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される字幕のデータを符号化し、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルを生成し、前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させるステップを含む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【国際調査報告】
2013511789.tif 000064