(57)【特許請求の範囲】
【請求項１】
複数の副ストリームを含むステレオスコピック映像データストリームを復号化する方法において、
前記複数の副ストリームのうち、他のストリームから複数のモノスコピック映像データ区間の表示時間情報(composition  time  stamp,CTS)を抽出するステップと、
前記複数のモノスコピック映像データ区間のうち、同じ表示時間情報を有する映像データ区間が存在する場合、前記他のストリームのうちいずれのストリームが基準視点映像を含む主ストリームであるかを決定するステップと、
前記決定された主ストリームの少なくとも一つ以上のモノスコピック映像データ区間から抽出されたモノスコピック映像データを再生するステップと、
を含み、
前記ステレオスコピック映像データストリームは、前記主ストリーム及び少なくとも一つ以上の副ストリームを備え、前記主ストリーム及び前記少なくとも一つ以上の副ストリームのそれぞれは、少なくとも一つ以上のステレオスコピック映像データ区間及び前記少なくとも一つ以上のモノスコピック映像データ区間を含むことを特徴とするステレオスコピック映像データストリームの復号化方法。
【請求項２】
前記複数のモノスコピック映像データ区間の表示時間情報を抽出するステップは、
前記ステレオスコピック映像データストリームから少なくとも一つ以上の映像データ区間についてのステレオ映像フォーマット情報を抽出するステップと、
前記抽出されたステレオ映像フォーマット情報に基づき、少なくとも一つ以上の映像データ区間のうち少なくとも一つ以上のモノスコピック映像データ区間を決定するステップと、
を含み、
前記ステレオ映像フォーマット情報は、ステレオスコピックイメージの基準視点映像及び付加視点映像についての情報を利用して混合された映像を生成する方法による映像フォーマットと係わることを特徴とする請求項１に記載のステレオスコピック映像データストリームの復号化方法。
【請求項３】
前記モノスコピック映像データを再生するステップは、
前記ステレオスコピック映像データストリームから同じ表示時間情報を有する前記映像データ区間のそれぞれについての配置順序情報を抽出するステップと、
前記配置順序情報に基づき、前記主ストリーム及び前記副ストリームのうち一つの映像データ区間からモノスコピック映像データを抽出するステップと、
を含み、
前記配置順序情報は、少なくとも一つのデータ区間についての前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報であることを特徴とする請求項２に記載のステレオスコピック映像データストリームの復号化方法。
【請求項４】
前記複数のモノスコピック映像データ区間を決定するステップは、
前記ステレオスコピック映像データストリームから前記ステレオ映像フォーマット情報及び少なくとも一つ以上の映像データ区間についての配置順序情報を抽出するステップと、
前記ステレオ映像フォーマット情報及び前記配置順序情報に基づき、前記主ストリームの少なくとも一つ以上のモノスコピック映像データ区間を決定するステップと、
前記モノスコピック映像データを再生するステップは、前記決定された主ストリームのモノスコピック映像データ区間から前記モノスコピック映像データを抽出するステップを含み、
前記ステレオ映像フォーマット情報は、前記ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像で構成される方法による映像フォーマットについての情報であり、
前記配置順序情報は、少なくとも一つのデータ区間についての前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報であることを特徴とする請求項２に記載のステレオスコピック映像データストリームの復号化方法。
【請求項５】
前記ステレオスコピック映像データストリームの映像データのうちモノスコピック映像が再生されるとき、前記主ストリーム及び副ストリームのうち、優先的に再生されるストリームを決定するステップをさらに含むことを特徴とする請求項１に記載のステレオスコピック映像データストリームの復号化方法。
【請求項６】
前記モノスコピック映像データを再生するステップは、
前記主ストリーム及び副ストリームのうち、優先的に再生されるストリームで決定されたストリームから抽出された映像データを再構成及び再生するステップをさらに含むことを特徴とする請求項５に記載のステレオスコピック映像データストリームの復号化方法。
【請求項７】
前記ステレオ映像フォーマット情報は、垂直方向ラインインターリーブドフォーマット、水平方向ラインインターリーブドフォーマット、トップダウンフォーマット、サイドバイサイドフォーマット、フィールドシーケンシャルフォーマット、フレームシーケンシャルフォーマット、ブロックインターリーブドフォーマット、変移マップ、深さマップ、変移及び動きマップ、単一基準視点映像フォーマット及び単一付加視点映像フォーマットのうち少なくとも一つを含むことを特徴とする請求項２に記載のステレオスコピック映像データストリームの復号化方法。
【請求項８】
前記ステレオスコピック映像データストリームは、ＩＳＯ(International  Standardization  Organization)基盤のメディアファイルフォーマットであることを特徴とする請求項１に記載のステレオスコピック映像データストリームの復号化方法。
【請求項９】
前記ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、前記ＩＳＯ基盤のメディアファイルフォーマットはmoovボックス、mdatボックス及びmetaボックスを含み、
前記ステレオ映像フォーマット情報及び前記配置順序情報は、前記metaボックスの下位レベルボックス、前記moovボックスの下位レベル ボックス、前記moov ボックスの下位レベルであるtrakボックスの下位レベルボックス、前記trakボックスの下位レベルボックス及び前記trakボックスの下位レベルであるmetaボックスの下位レベルボックスのうち少なくともいずれか一つから抽出されることを特徴とする請求項４に記載のステレオスコピック映像データストリームの復号化方法。
【請求項１０】
複数の副ストリームを含むステレオスコピック映像データストリームを復号化する装置において、
前記複数の副ストリームのうち他のストリームから複数のモノスコピック映像データ区間の表示時間情報(composition  time  stamp,CTS)を抽出する表示時間情報抽出部と、
前記複数のモノスコピック映像データ区間のうち、同じ表示時間情報を有する映像データ区間が存在する場合、前記他のストリームのうちいずれのストリームが基準視点映像を含む主ストリームであるかを決定する衝突モノスコピック映像データ決定部と、
前記決定された主ストリームの少なくとも一つ以上のモノスコピック映像データ区間から抽出されたモノスコピック映像データを再生する再生部と、
を備え、
前記ステレオスコピック映像データストリームは、前記主ストリーム及び少なくとも一つ以上の副ストリームを含み、前記主ストリーム及び前記少なくとも一つ以上の副ストリームそれぞれは少なくとも一つ以上のステレオスコピック映像データ区間及び前記少なくとも一つ以上のモノスコピック映像データ区間を含むことを特徴とするステレオスコピック映像データストリーム復号化装置。
【請求項１１】
前記ステレオスコピック映像データストリームから少なくとも一つ以上の映像データ区間についてのステレオ映像フォーマット情報を抽出し、前記抽出されたステレオ映像フォーマット情報に基づき、少なくとも一つ以上の映像データ区間のうち少なくとも一つ以上のモノスコピック映像データ区間を決定するモノスコピック映像データ区間決定部をさらに備え、
前記ステレオ映像フォーマット情報は、ステレオスコピックイメージの基準視点映像及び付加視点映像についての情報を利用して混合された映像を生成する方法によるイメージフォーマットと係わることを特徴とする請求項１０に記載のステレオスコピック映像データストリーム復号化装置。
【請求項１２】
前記再生部は、
前記ステレオスコピック映像データストリームから同じ表示時間情報を有する前記映像データ区間それぞれについての配置順序情報を抽出し、前記配置順序情報に基づき、前記主ストリーム及び前記副ストリームのうち一つの映像データ区間からモノスコピック映像データを抽出し、
前記配置順序情報は、少なくとも一つのデータ区間についての前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報であることを特徴とする請求項１１に記載のステレオスコピック映像データストリーム復号化装置。
【請求項１３】
前記モノスコピック映像データ区間決定部は、前記ステレオスコピック映像データストリームから前記ステレオ映像フォーマット情報及び少なくとも一つ以上の映像データ区間についての配置順序情報を抽出し、前記ステレオ映像フォーマット情報及び前記配置順序情報に基づき、前記主ストリームの少なくとも一つ以上のモノスコピック映像データ区間を決定し、
前記再生部は、前記決定された主ストリームのモノスコピック映像データ区間から前記モノスコピック映像データを抽出し、
前記ステレオ映像フォーマット情報は、前記ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像で構成される方法による映像フォーマットについての情報であり、
前記配置順序情報は、少なくとも一つのデータ区間についての前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報であることを特徴とする請求項１１に記載のステレオスコピック映像データストリーム復号化装置。
【請求項１４】
前記ステレオスコピック映像データストリームの映像データのうちモノスコピック映像が再生されるとき、前記主ストリーム及び副ストリームのうち、優先的に再生されるストリームを決定する再生ストリーム決定部をさらに備えることを特徴とする請求項１０に記載のステレオスコピック映像データストリーム復号化装置。
【請求項１５】
前記再生部は、前記主ストリーム及び副ストリームのうち、優先的に再生されるストリームで決定されたストリームから抽出された映像データを再構成及び再生することを特徴とする請求項１４に記載のステレオスコピック映像データストリーム復号化装置。
【請求項１６】
前記ステレオ映像フォーマット情報は、垂直方向ラインインターリーブドフォーマット、水平方向ラインインターリーブドフォーマット、トップダウンフォーマット、サイドバイサイドフォーマット、フィールドシーケンシャルフォーマット、フレームシーケンシャルフォーマット、ブロックインターリーブドフォーマット、変移マップ、深さマップ、変移及び動きマップ、単一基準視点映像フォーマット及び単一付加視点映像フォーマットのうち少なくとも一つを含むことを特徴とする請求項１１に記載のステレオスコピック映像データストリーム復号化装置。
【請求項１７】
前記ステレオスコピック映像データストリームは、ＩＳＯ基盤のメディアファイルフォーマットであることを特徴とする請求項１０に記載のステレオスコピック映像データストリーム復号化装置。
【請求項１８】
前記ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、前記ＩＳＯ基盤のメディアファイルフォーマットはmoovボックス、mdatボックス及びmetaボックスを含み、
前記ステレオ映像フォーマット情報及び前記配置順序情報は、前記metaボックスの下位レベルボックス、前記moovボックスの下位レベルボックス、前記moovボックスの下位レベルであるtrakボックスの下位レベルボックス、前記trakボックスの下位レベルボックス及び前記trakボックスの下位レベルであるmetaボックスの下位レベルボックスのうち少なくともいずれか一つから抽出されることを特徴とする請求項１３に記載のステレオスコピック映像データストリーム復号化装置。
【請求項１９】
請求項１ないし９のうちいずれか一つに記載のステレオスコピック映像データストリームの復号化方法を具現するためのプログラムが収録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオスコピック映像データストリームを生成する方法及び装置、前記ステレオスコピック映像データストリームを復号化する方法及び装置に係り、特に部分的に３次元データ区間及び２次元データ区間を含むステレオスコピック映像に対するデータ区間別の３次元／２次元映像についての情報を表すパラメータが記録されたステレオスコピック映像データストリームを生成する方法及び装置、かかるパラメータが記録されたステレオスコピック映像データストリームを復号化して映像を復元する方法及び装置に関する。
【背景技術】
【０００２】
現在、ステレオスコピック映像の伝送に対する色々な方法が提案されてきた。ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２  ＭＶＰ（Ｍｕｌｉｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｐｒｏｆｉｌｅ）を始めとして、ＭＰＥＧ−４  ＭＡＣ（Ｍｕｌｔｉｐｌｅ  Ａｕｘｉｌｉａｒｙ  Ｃｏｍｐｏｎｅｎｔ）を利用した深さマップ伝送方法、ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）／Ｈ．２６４のＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）など多くの標準技術が開発された。現在、ＭＡＦ（ＭｕｌｔｉｍｅｄｉａＡｐｐｌｉｃａｔｉｏｎ  Ｆｏｒｍａｔ）でステレオスコピック映像についてのファイルフォーマットに対する標準を採択するための作業が進められている。
【０００３】
図１は、ステレオスコピック映像データストリームの基礎ストリームが二つであるとき、時間軸上に部分的な３次元／２次元映像区間の一例を示す。
【０００４】
ステレオスコピック映像データストリームは、複数個の基礎ストリームを有する。ステレオスコピック映像データストリーム１００のｍｄａｔボックスに、二つの基礎ストリーム１１０，１２０が記録されている。第１基礎ストリーム１１０は、第１表示時間区間に左視点映像１  １１２、第２表示時間区間に単一視点映像１１４、第３表示時間区間に左視点映像２  １１６が記録されている。第２基礎ストリーム１２０は、第１表示時間区間に右視点映像１  １２２、第３表示時間区間に右視点映像２  １２６が記録されている。
【０００５】
図１のステレオスコピック映像データストリーム１００は、一つの基礎ストリーム１１０にのみ２次元映像、すなわち単一視点映像データ１１４が記録され、他の基礎ストリーム１２０には、ステレオ映像データのみが記録される。
【０００６】
図２は、ステレオスコピック映像データストリームの基礎ストリームが二つであるとき、時間軸上に部分的な３次元／２次元映像区間の他の例を示す。
【０００７】
図２のステレオスコピック映像データストリーム２００は、二つの基礎ストリーム２１０，２２０が記録されており、基礎ストリームは、いずれもステレオ映像２１２，２１６，２２２，２２６及び単一視点映像２１４，２２４のデータが記録されている。しかし、二つの基礎ストリーム２１０，２２０それぞれに同じ表示時間情報（Ｃｏｍｐｏｓｉｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ：ＣＴＳ）を有する単一視点映像２１４，２２４が記録されれば、再生装置は、どの基礎ストリームの単一視点映像を再生せねばならないか分からない。
【０００８】
図３は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  ＳｔａｎｄａｒｄｉｚａｔｉｏｎＯｒｇａｎｉｚａｔｉｏｎ）基盤のメディアファイルフォーマットの基準的な構造を示す。
【０００９】
ＩＳＯ基盤のメディアファイルフォーマットは、‘ｆｔｙｐ’ボックス、‘ｍｏｏｖ’ボックス、‘ｍｄａｔ’ボックスを含む。
【００１０】
‘ｆｔｙｐ’ボックスには、ファイルタイプ及び互換フォーマットについての内容が含まれる。互換タイプによって、該デコーダが映像データを正常的に再生できる。
【００１１】
‘ｍｏｏｖ’ボックスのそれぞれのデータは、‘ａｔｏｍ’というオブジェクト基盤の構造体で構成されており、フレーム率、ビット率、映像サイズなどのコンテンツ情報、早送り（ＦＦ）／巻き戻し（ＲＥＷ）などの再生機能を支援するための‘ｓｙｎｃ’情報、及びファイルを再生するためのあらゆる情報が含まれる。
【００１２】
‘ｍｄａｔ’ボックスは、それぞれのトラックによって実際のストリームデータを含み、ビデオ及びオーディオデータがそれぞれのフレーム単位で保存される。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明が解決しようとする課題は、ステレオスコピック映像データストリームの複数個の基礎ストリームに同じ表示時間情報の単一視点映像が記録された場合、自動に再生する単一視点映像が選択されるように、ステレオスコピック映像に対するパラメータを含むステレオスコピック映像データストリームを生成する方法及び装置を提供するところにある。
【００１４】
本発明が解決しようとする他の課題は、受信端で前記ステレオスコピック映像に対するパラメータを利用して、同じ表示時間情報を有する単一視点映像のうち自動的に再生する単一視点映像を選択して復号化する方法及び装置を提供するところにある。
【課題を解決するための手段】
【００１５】
前記課題を解決するために、本発明の一実施形態によるステレオスコピック映像データストリームの生成方法は、ステレオスコピック映像の基準視点映像情報及び付加視点映像情報を含む混合映像を構成する方法についてのステレオ映像フォーマット情報を前記ステレオスコピック映像データストリームのヘッダ領域に記録するステップと、前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報である配置順序情報を前記ステレオスコピック映像データストリームのヘッダ領域に記録するステップと、前記ステレオスコピック映像についての混合映像のデータを前記ステレオスコピック映像データストリームのペイロード領域に記録するステップと、を含む。
【００１６】
一実施形態において、前記ステレオスコピック映像データストリームは、データ区間別に区分され、前記ステレオ映像フォーマット情報及び前記配置順序情報は、少なくとも一つのデータ区間別に決定される。
【００１７】
一実施形態の前記ステレオ映像フォーマット情報は、垂直方向ラインインターリーブドフォーマット、水平方向ラインインターリーブドフォーマット、トップダウンフォーマット、サイドバイサイドフォーマット、フィールドシーケンシャルフォーマット、フレームシーケンシャルフォーマット、ブロックインターリーブドフォーマット、変移マップ、深さマップ、変移及び動きマップ、単一基準視点映像フォーマット及び単一付加視点映像フォーマットのうち少なくとも一つを含む。
【００１８】
一実施形態において、前記混合映像のデータが主ストリーム及び副ストリームに記録される場合、前記配置順序情報は、前記主データストリームに前記混合映像の基準視点映像情報及び付加視点映像情報のうち一つの視点映像情報が配置され、前記副データストリームに前記混合映像の基準視点映像情報及び付加視点映像情報のうち残りの視点映像情報が配置されるか否かを表す情報である。
【００１９】
一実施形態の前記ステレオスコピック映像データストリームは、ＩＳＯ基盤のメディアファイルフォーマットである。
【００２０】
一実施形態において、前記ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、前記ＩＳＯ基盤のメディアファイルフォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ステレオ映像フォーマット情報及び前記配置順序情報は、前記ｍｅｔａボックスの下位レベルボックス、前記ｍｏｏｖボックスの下位レベルボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、前記ｔｒａｋボックスの下位レベルボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つに記録される。
【００２１】
前記他の課題を解決するために、ステレオスコピック映像データストリームの復号化方法は、前記ステレオスコピック映像データストリームの映像データ区間のうち、モノスコピック映像データ区間を決定するステップと、前記モノスコピック映像データ区間のそれぞれの表示時間情報を抽出するステップと、前記モノスコピック映像データ区間の抽出された表示時間情報の同じ衝突映像データ区間がある場合、前記衝突映像データ区間のうち、主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出するステップと、を含む。
【００２２】
一実施形態のステレオスコピック映像データストリームは、前記主ストリーム及び少なくとも一つの副ストリームを含む。
【００２３】
一実施形態の前記モノスコピック映像データ区間の決定ステップは、前記ステレオスコピック映像データストリームから、前記ステレオスコピック映像データストリームの少なくとも一つの映像データ区間についてのステレオ映像フォーマット情報を抽出するステップと、前記抽出されたステレオ映像フォーマット情報を利用して、前記映像データ区間のうちモノスコピック映像データ区間を決定するステップと、を含み、前記ステレオ映像フォーマット情報は、前記ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像に構成される方法による映像フォーマットについての情報を表す。
【００２４】
一実施形態の前記モノスコピック映像データの抽出ステップは、前記ステレオスコピック映像データストリームから、前記衝突映像データ区間についてのそれぞれの配置順序情報を抽出するステップと、前記抽出された配置順序情報を利用して、前記主ストリーム及び前記副ストリームのうち、前記主ストリームとして決定された映像データ区間からモノスコピック映像データを抽出するステップと、を含み、前記配置順序情報は、少なくとも一つのデータ区間に対する前記混合映像で、前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報を表す。
【００２５】
一実施形態の前記モノスコピック映像データ区間の決定ステップは、前記ステレオスコピック映像データストリームから、前記ステレオスコピック映像データストリームの少なくとも一つの映像データ区間についてのステレオ映像フォーマット情報及び配置順序情報を抽出するステップと、前記抽出されたステレオ映像フォーマット情報及び抽出された配置順序情報によって、前記映像データ区間のうち、前記主ストリームの少なくとも一つのモノスコピック映像データ区間を決定するステップと、を含み、前記モノスコピック映像データ抽出ステップは、前記決定された主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出するステップを含み、前記ステレオ映像フォーマット情報は、前記ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像に構成される方法による映像フォーマットについての情報であり、前記配置順序情報は、少なくとも一つのデータ区間に対する前記混合映像で、前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報を表す。
【００２６】
一実施形態の前記モノスコピック映像データの抽出ステップは、前記再生ストリームから抽出された映像データを復元して再生するステップを含む。
【００２７】
一実施形態のステレオスコピック映像データストリームの復号化方法は、前記ステレオスコピック映像データストリームの映像データのうちモノスコピック映像が再生されるとき、前記主ストリーム及び副ストリームのうち、優先的に再生される優先再生ストリームを決定するステップをさらに含む。
【００２８】
一実施形態の前記ステレオ映像フォーマット情報は、垂直方向ラインインターリーブドフォーマット、水平方向ラインインターリーブドフォーマット、トップダウンフォーマット、サイドバイサイドフォーマット、フィールドシーケンシャルフォーマット、フレームシーケンシャルフォーマット、ブロックインターリーブドフォーマット、変移マップ、深さマップ、変移及び動きマップ、単一基準視点映像フォーマット及び単一付加視点映像フォーマットのうち少なくとも一つを含む。
【００２９】
一実施形態の前記ステレオスコピック映像データストリームは、ＩＳＯ基盤のメディアファイルフォーマットである。
【００３０】
一実施形態において、前記ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、前記ＩＳＯ基盤のメディアファイルフォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ステレオ映像フォーマット情報及び前記配置順序情報は、前記ｍｅｔａボックスの下位レベルボックス、前記ｍｏｏｖボックスの下位レベルボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、前記ｔｒａｋボックスの下位レベルボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つから抽出される。
【００３１】
前記課題を解決するために、本発明の一実施形態によるステレオスコピック映像データストリームを生成する装置は、ステレオスコピック映像の基準視点映像情報及び付加視点映像情報を含む混合映像を構成する方法についてのステレオ映像フォーマット情報を前記ステレオスコピック映像データストリームのヘッダ領域に記録するステレオ映像フォーマット情報記録部と、前記混合映像で前記基準視点映像情報及び前記付加視点映像情報が配置される順序についての情報である配置順序情報を前記ステレオスコピック映像データストリームのヘッダ領域に記録する配置順序情報記録部と、前記ステレオスコピック映像に対する混合映像のデータを前記ステレオスコピック映像データストリームのペイロード領域に記録する映像データ記録部と、を備える。
【００３２】
前記他の課題を解決するために、本発明の一実施形態によるステレオスコピック映像データストリームを復号化する装置は、前記ステレオスコピック映像データストリームの映像データ区間のうち、モノスコピック映像データ区間を決定するモノスコピック映像データ区間決定部と、前記モノスコピック映像データ区間のそれぞれの表示時間情報を抽出する表示時間情報抽出部と、前記モノスコピック映像データ区間の抽出された表示時間情報の同じ衝突映像データ区間がある場合、前記衝突映像データ区間のうち、主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出する衝突モノスコピック映像データ抽出部と、を備える。
【００３３】
本発明は、本発明の一実施形態によるステレオスコピック映像データストリームの生成方法を具現するためのプログラムが収録されたコンピュータで読み取り可能な記録媒体を含む。
【００３４】
また、本発明は、本発明の一実施形態によるステレオスコピック映像データストリームの復号化方法を具現するためのプログラムが収録されたコンピュータで読み取り可能な記録媒体を含む。
【発明の効果】
【００３５】
本発明のステレオスコピック映像データストリームの生成方法及び装置は、ステレオスコピック映像データストリームの複数個の基礎ストリームに同じ表示時間情報の単一視点映像が記録された場合、自動的に再生される単一視点映像を選択して復号化できるように、ステレオスコピック映像の混合映像フォーマットについての情報、混合映像でそれぞれの視点映像が配置された順序情報を含むステレオスコピック映像データストリームを生成できる。
【００３６】
また、受信端で前記ステレオスコピック映像に対する混合映像フォーマットについての情報、及び混合映像上でそれぞれ視点映像が配置された順序情報を利用して、単一視点映像の表示時間に衝突が発生する場合にも自動に再生する単一視点映像が選択されて復号化される。
【００３７】
したがって、本発明によるステレオスコピック映像データストリームの復号化方法及び装置によれば、多様な再生装置でステレオスコピック映像が正しい視点で再生され、立体感が極大化される。また、ステレオスコピック映像の２次元映像及び３次元映像が部分的に再生されるので、長時間３次元映像を視聴することによって発生する疲労感を低め、効果的な立体感を伝達できる。
【００３８】
本発明は、３次元映像のうち最も簡単な形態のステレオスコピック映像のフォーマットに関する技術であり、３次元映像の活用分野は、現在使われているあらゆる２次元符復号化機器を含むので、本発明の技術は、ステレオスコピックデジタルＴＶ（ＰＤＰ、ＬＣＤ、ＤＬＰ方式）、ステレオスコピックＰＣモニター、ステレオスコピックカムコーダ、ステレオスコピックＢＤプレーヤーなどに活用される。
【図面の簡単な説明】
【００３９】
【図１】ステレオスコピック映像データストリームの基礎ストリームが二つであるとき、時間軸上に部分的な３次元／２次元映像区間の一例を示す図である。
【図２】ステレオスコピック映像データストリームの基礎ストリームが二つであるとき、時間軸上に部分的な３次元／２次元映像区間の他の例を示す図である。
【図３】ＩＳＯ基盤のメディアファイルフォーマットの基準的な構造を示す図である。
【図４Ａ】本発明の一実施形態によるステレオスコピック映像データストリーム生成装置のブロック図である。
【図４Ｂ】本発明の一実施形態による混合映像構成情報記録部を備えるステレオスコピック映像データストリーム生成装置のブロック図である。
【図５】本発明の一実施形態によるステレオスコピック映像データストリーム復号化装置のブロック図である。
【図６Ａ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のための３次元再生区間情報のシンタックスの一実施形態を示す図である。
【図６Ｂ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報のシンタックスの一実施形態を示す図である。
【図６Ｃ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報に使われるステレオ映像構成フォーマットの一実施形態を示す図である。
【図６Ｄ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報に使われる基準視点映像及び付加視点映像の配置方法の一実施形態を示す図である。
【図７Ａ】本発明の一実施形態によるステレオ映像フォーマット情報及び配置順序情報を有しているステレオスコピック映像データストリームで、二つの基礎ストリームのモノスコピックデータ区間の衝突が発生しない場合を示す図である。
【図７Ｂ】図７Ａのステレオスコピック映像データストリームの二つの基礎ストリームの表示区間情報テーブルを示す図である。
【図８Ａ】本発明の一実施形態によるステレオ映像フォーマット情報及び配置順序情報を有しているステレオスコピック映像データストリームで、二つの基礎ストリームのモノスコピックデータ区間の衝突が発生する場合を示す図である。
【図８Ｂ】図８Ａのステレオスコピック映像データストリームの二つの基礎ストリームの表示区間情報テーブルを示す図である。
【図９Ａ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのスケーリング方法情報に使われるスケーリング関数の一実施形態を示す図である。
【図９Ｂ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのスケーリング方法情報のシンタックスの一実施形態を示す図である。
【図９Ｃ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのカメラ情報のシンタックスの一実施形態を示す図である。
【図９Ｄ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのカメラ情報に使われるカメラパラメータ情報のシンタックスの一実施形態を示す図である。
【図９Ｅ】本発明の一実施形態によるステレオスコピック映像データストリームの生成のための視差情報のシンタックスの一実施形態を示す図である。
【図１０】本発明の望ましい実施形態によるステレオスコピック映像データストリームのヘッダ領域の一実施形態を示す図である。
【図１１Ａ】本発明の一実施形態によるステレオスコピック映像データストリームの生成方法のフローチャートである。
【図１１Ｂ】本発明の一実施形態によるステレオスコピック映像データストリームの生成方法のうち、混合映像構成情報の記録ステップのみを示すフローチャートである。
【図１２】本発明の一実施形態によるステレオスコピック映像データストリームの復号化方法のフローチャートである。
【発明を実施するための形態】
【００４０】
図４Ａ及び図４Ｂを参照して、本発明の一実施形態によるステレオスコピック映像データストリーム生成装置を説明する。
【００４１】
図４Ａは、本発明の一実施形態によるステレオスコピック映像データストリーム生成装置のブロック図である。
【００４２】
ステレオスコピック映像データストリーム生成装置４００は、３次元再生区間情報記録部４１０、混合映像構成情報記録部４２０、カメラ情報記録部４３０、視差情報記録部４５０、スケーリング情報記録部４４０及び映像記録部４７０を備える。
【００４３】
３次元再生区間情報記録部４１０は、ステレオスコピック映像データストリームのペイロード領域に記録された映像データのうち、３次元で再生されるステレオスコピック映像データについての３次元再生区間情報を映像データストリームのヘッダ領域に記録して、映像記録部４７０に出力する。
【００４４】
混合映像構成情報記録部４２０は、基準視点映像及び付加視点映像の情報を含む混合映像を構成する方法情報をヘッダ領域に記録して、映像記録部４７０に出力する。
【００４５】
カメラ情報記録部４３０は、ステレオスコピック映像を獲得したカメラについてのカメラ情報をヘッダ領域に記録して、映像記録部４７０に出力する。
【００４６】
スケーリング情報記録部４４０は、基準視点映像及び付加視点映像の情報を含む混合映像に構成される時に使われるスケーリング方法情報をヘッダ領域に記録して、映像記録部４７０に出力する。
【００４７】
視差情報記録部４５０は、ステレオスコピック映像の基準視点映像と付加視点映像との視差情報をヘッダ領域に記録して、映像記録部４７０に出力する。
【００４８】
３次元再生区間情報記録部４１０、混合映像構成情報記録部４２０、カメラ情報記録部４３０、スケーリング情報記録部４４０及び視差情報記録部４５０でヘッダ情報がステレオスコピック映像データストリームのヘッダ領域にいずれも保存された後、映像記録部４７０に出力される。
【００４９】
映像記録部４７０は、映像データを映像データストリームのペイロード領域に記録して、ステレオスコピック映像データストリームを出力する。
【００５０】
したがって、本発明の一実施形態によるステレオスコピック映像データストリーム生成装置４００により生成されたステレオスコピック映像データストリームは、ペイロード領域に映像データを保存し、ヘッダ領域に３次元再生区間情報、混合映像構成情報、カメラ情報、スケーリング情報、視差情報のうち少なくとも一つのヘッダ情報を保存する。
【００５１】
図４Ｂは、本発明の一実施形態による混合映像構成情報記録部を備えるステレオスコピック映像データストリーム生成装置のブロック図である。
【００５２】
本実施形態によるステレオスコピック映像データストリーム生成装置４０５は、混合映像構成情報記録部４２０及び映像データ記録部４７０を備え、混合映像構成情報記録部４２０は、ステレオ映像フォーマット情報記録部４２２及び配置順序情報記録部４２４を備える。
【００５３】
ステレオ映像フォーマット情報記録部４２２は、ステレオスコピック映像の基準視点映像情報及び付加視点映像情報が混合映像に構成される方法による映像フォーマットについての情報であるステレオ映像フォーマット情報をステレオスコピック映像データストリームのヘッダ領域に記録し、配置順序情報記録部４２４に出力する。
【００５４】
配置順序情報記録部４２４は、ステレオスコピック映像の混合映像で、基準視点映像情報及び付加視点映像情報が配置される順序についての情報である配置順序情報をステレオスコピック映像データストリームのヘッダ領域に記録し、映像データ記録部４７０に出力する。
【００５５】
ステレオスコピック映像データストリームは、データ区間に区分され、ステレオ映像フォーマット情報及び配置順序情報は、少なくとも一つのデータ区間別に設定される。したがって、あらゆるデータ区間に対してステレオフォーマット情報または配置順序情報が統一されることもあり、複数個のデータ区間別にステレオフォーマット情報または配置順序情報が変わることもある。
【００５６】
一実施形態の混合映像のデータがステレオスコピック映像データストリームの主基礎ストリーム及び副基礎ストリームに記録される場合、配置順序情報は、主基礎ストリームに混合映像の基準視点映像情報及び付加視点映像情報のうちどちらの視点映像情報が配置されるかについての情報を表す。すなわち、配置順序情報により、（ｉ）主基礎ストリームに基準視点映像情報が配置され、副基礎ストリームに付加視点映像情報が配置される場合、または（ｉｉ）主基礎ストリームに付加視点映像情報が配置され、副基礎ストリームに基準視点映像情報が配置される場合が表現される。
【００５７】
映像データ記録部４７０は、混合映像データをステレオスコピック映像データストリームのペイロード領域に記録して、ステレオスコピック映像データストリームを出力する。
【００５８】
一実施形態の映像データ記録部４７０は、ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、ステレオ映像フォーマット情報及び配置順序情報をｍｅｔａボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、ｔｒａｋボックスの下位レベルボックス、及びｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つに記録する。
【００５９】
図５は、本発明の一実施形態によるステレオスコピック映像データストリーム復号化装置のブロック図である。
【００６０】
ステレオスコピック映像データストリーム復号化装置５００は、モノスコピック映像データ区間決定部５１０、再生ストリーム表示時間情報（Ｃｏｍｐｏｓｉｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ：ＣＴＳ）抽出部５２０、及び衝突モノスコピック映像データ抽出部５３０を備える。
【００６１】
モノスコピック映像データ区間決定部５１０は、ステレオスコピック映像データストリームを受信され、ステレオスコピック映像データストリームの映像データ区間のうちモノスコピック映像データ区間を決定して、再生ストリームＣＴＳ抽出部５２０に出力する。
【００６２】
一実施形態のモノスコピック映像データ区間決定部５１０は、ステレオスコピック映像データストリームから、ステレオスコピック映像データストリームの少なくとも一つのデータ区間についてのステレオ映像フォーマット情報を抽出し、抽出されたステレオ映像フォーマット情報を利用して、映像データ区間のうちモノスコピック映像データ区間を決定する。すなわち、映像データ区間のステレオ映像フォーマットがモノスコピック映像フォーマットである映像データ区間が検出される。
【００６３】
再生ストリームＣＴＳ抽出部５２０は、モノスコピック映像データ区間のそれぞれのＣＴＳを抽出して、衝突モノスコピック映像データ抽出部５３０に出力する。
【００６４】
ＣＴＳは、ステレオスコピック映像データストリームの映像データが復元されて再生されるとき、該データ区間の映像データが再生される時間情報を表し、ＣＴ（Ｃｏｍｐｏｓｉｔｉｏｎ  Ｔｉｍｅ）は、その時間を表す。ステレオ映像の場合、他のストリーム上の映像データのＣＴＳが同一であれば、ステレオ映像再生方式に基づいて同一時間帯にそれぞれの映像データをいずれも表示できる。しかし、モノスコピック映像の場合、一つのストリーム上の映像データのみが表示されねばならず、同じＣＴＳを有する映像データが存在する場合に衝突が発生する。
【００６５】
衝突モノスコピック映像データ抽出部５３０は、モノスコピック映像データ区間のうち、ＣＴＳ抽出部５２０から抽出されたＣＴＳの同じ衝突映像データ区間がある場合、衝突映像データ区間のうち、主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出する。
【００６６】
一実施形態のモノスコピック映像データ区間決定部５１０は、ステレオスコピック映像データストリームから、ステレオスコピック映像データストリームの少なくとも一つのデータ区間についての配置順序情報を抽出する。モノスコピック映像データ抽出部５３０は、抽出された配置順序情報を利用して、主ストリーム及び副ストリームのうち、主ストリームとして決定された映像データ区間からモノスコピック映像データを抽出する。
【００６７】
ここで、ステレオスコピック映像データストリーム復号化装置５００でのステレオ映像フォーマット情報及び配置順序情報は、ステレオスコピック映像データストリーム生成装置４０５でのステレオ映像フォーマット情報及び配置順序情報と同一である。
【００６８】
他の実施形態のモノスコピック映像データ区間決定部５１０は、ステレオスコピック映像データストリームから、映像データ区間についてのステレオ映像フォーマット情報及び配置順序情報を抽出し、ステレオ映像フォーマット情報及び配置順序情報によって、映像データ区間のうち、主ストリームの少なくとも一つのモノスコピック映像データ区間を決定する。このとき、衝突モノスコピック映像データ抽出部５３０は、決定された主ストリームのモノスコピック映像データ区間からモノスコピック映像データを抽出する。
【００６９】
衝突モノスコピック映像データ抽出部５３０の他の実施形態は、優先再生ストリームから抽出された映像データを復元して再生する。
【００７０】
ステレオスコピック映像データストリーム復号化装置５００は、ステレオスコピック映像データストリームの映像データのうちモノスコピック映像が再生されるとき、主ストリーム及び副ストリームのうち、優先的に再生される優先再生ストリームを決定する優先再生ストリーム決定部をさらに備える。再生ストリームユーザーから優先再生ストリーム選択信号を入力される優先再生ストリーム選択部が付加され、衝突モノスコピック映像データ抽出部５３０は、ステレオ映像フォーマット情報及び配置順序情報と関係なく入力された優先再生ストリーム選択信号により決定された優先再生ストリームから映像データを抽出することもできる。
【００７１】
本発明の一実施形態では、モノスコピック映像の再生時間に衝突が発生する場合、主ストリーム上の映像データが優先的に再生されるが、再生ストリーム選択信号によって所定の副ストリーム上の映像データが優先的に再生されることもある。
【００７２】
ステレオスコピック映像データストリーム復号化装置５００に受信されたステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、ステレオ映像フォーマット情報及び配置順序情報は、ｍｅｔａボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、ｔｒａｋボックスの下位レベルボックス、及びｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つから抽出される。
【００７３】
以下、ステレオスコピック映像データストリームから色々なヘッダ情報を抽出して映像を復元する復号化方法を説明する。
【００７４】
ステレオスコピック映像データストリーム復号化装置は、ステレオスコピック映像データストリームを受信される受信部、受信されたステレオスコピック映像データストリームからパラメータ情報を抽出するパラメータ抽出部、及び抽出されたパラメータ情報を利用して映像データを復元する映像復元部を備える。
【００７５】
復号化装置がＭＰＥＧ−４またはＨ．２６４規格の基盤である場合、映像復元部は、可変長さ符号復号器モジュール、動き補償／予測モジュール、周波数逆変換モジュール、逆量子化モジュール及びデブロッキングモジュールを含む。
【００７６】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像データストリームのペイロード領域に記録された映像データのうち、３次元で再生されるデータ区間についての３次元再生区間情報を抽出できる。
【００７７】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームからステレオ映像フォーマット情報を抽出できる。
【００７８】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像を獲得したカメラについてのカメラ情報を抽出できる。
【００７９】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像の基準視点映像と付加視点映像との視差情報を抽出できる。
【００８０】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、混合映像での基準視点映像及び付加視点映像のスケーリング方法についてのスケーリング方法情報を抽出できる。
【００８１】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから３次元再生区間の個数情報を抽出できる。
【００８２】
また、ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから３次元再生区間の範囲情報を抽出できる。３次元再生区間の範囲情報は、ペイロード領域に記録された３次元再生区間の開始フレームのインデックスを表す開始インデックス情報、及び３次元再生区間の最後フレームのインデックスを表す終了インデックス情報を含む。
【００８３】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像を獲得したカメラの種類についてのカメラ種類情報を抽出できる。
【００８４】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像を獲得したカメラについてのカメラパラメータ情報を伝送するか否かを表すカメラパラメータ伝送情報を抽出できる。
【００８５】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像を獲得したカメラについてのカメラパラメータ情報を抽出できる。また、ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、カメラパラメータ情報を伝送するか否かを表すカメラパラメータ伝送情報を抽出し、カメラパラメータ情報は、カメラパラメータ伝送情報によってステレオスコピック映像データストリームから抽出される。
【００８６】
カメラパラメータから、カメラパラメータ係数の個数情報、基準視点カメラ及び付加視点カメラのうちそれぞれのカメラの回転情報、平行移動情報、映像中心情報、焦点長情報及び縦横比情報のうち少なくとも一つが抽出される。
【００８７】
カメラパラメータから、基準視点カメラの回転情報及び付加視点カメラの回転情報のうち少なくとも一つが抽出される。
【００８８】
カメラパラメータから、基準視点カメラの平行移動情報及び付加視点カメラの平行移動情報のうち少なくとも一つが抽出される。
【００８９】
また、カメラパラメータから、基準視点カメラの焦点長情報及び付加視点カメラの焦点長情報のうち少なくとも一つが抽出される。
【００９０】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、ステレオスコピック映像の基準視点映像及び付加視点映像上の所定の客体についての代表変移ベクトルの視差情報を抽出できる。
【００９１】
代表変移ベクトルの視差情報から、複数個の代表変移ベクトルのうち最小変移ベクトル値及び最大変移ベクトル値のうち少なくともいずれか一つが抽出される。代表変移ベクトルの視差情報から、背景及び前景の代表変移ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つが抽出される。
【００９２】
代表変移ベクトルの視差情報から、それぞれの客体の代表変移ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つが抽出される。
【００９３】
また、代表変移ベクトルの視差情報から、変移マップ／深さマップの表現可能な代表ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つが抽出される。
【００９４】
代表変移ベクトルの視差情報から、代表変移ベクトルの個数情報及び代表変移ベクトル値情報が抽出される。
【００９５】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから、基準視点映像及び付加視点映像についての全域変移ベクトルの視差情報を抽出できる。
【００９６】
全域変移ベクトルの視差情報から、ペイロード領域に記録されたフレームのうち全域変移ベクトル値の変化がある領域の個数情報、全域変移ベクトル値の変化があるフレームのインデックスを表す全域変移開始インデックス情報、及び全域変移ベクトル値情報が抽出される。
【００９７】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームから基準視点映像及び付加視点映像上の所定の客体についての視差情報を抽出でき、視差情報は、複数個の変移ベクトルのうち最小変移ベクトル値及び最大変移ベクトル値のうち少なくともいずれか一つを表す。
【００９８】
視差情報は、背景及び前景の代表変移ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つであることもある。視差情報は、それぞれの客体の代表変移ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つであることもある。視差情報は、変移マップ／深さマップの表現可能な代表ベクトルのうち最大ベクトル値及び最小ベクトル値のうち少なくともいずれか一つで表現されることもある。視差情報から、代表変移ベクトルの個数情報及び代表変移ベクトル値情報が抽出されることもある。
【００９９】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、混合映像から配置順序情報を抽出できる。
【０１００】
ステレオスコピック映像データストリーム復号化装置のパラメータ抽出部は、ステレオスコピック映像データストリームがＩＳＯ基盤のメディアファイルフォーマットであるとき、ステレオ映像フォーマット情報及び配置順序情報をｍｅｔａボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルボックス、ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベルボックス、ｔｒａｋボックスの下位レベルボックス、及びｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベルボックスのうち少なくともいずれか一つから抽出できる。
【０１０１】
図６Ａないし図９Ｂを参照して、本発明のステレオスコピック映像データストリーム生成装置により生成されたステレオスコピック映像データストリームのヘッダ情報について詳細に説明する。
【０１０２】
図６Ａは、本発明の一実施形態によるステレオスコピック映像データストリーム生成のための３次元再生区間情報のシンタックスの一実施形態を示す。
【０１０３】
３Ｄ＿Ｐｅｒｉｏｄは、３次元再生区間情報を表す。本発明の一実施形態は、３次元再生区間情報を３２ビット（ｕ（３２））で表す。３次元再生区間情報３Ｄ＿Ｐｅｒｉｏｄは、３次元再生区間の個数情報ｎｕｍｂｅｒ＿ｏｆ＿３Ｄ＿ｐｅｒｉｏｄ、開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎを含む。
【０１０４】
ｎｕｍｂｅｒ＿ｏｆ＿３Ｄ＿ｐｅｒｉｏｄは、３次元再生区間の個数情報、すなわちユーザーが３次元で見られる映像データ区間の数を表す。
【０１０５】
ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎは、開始インデックス情報であって、映像データストリームのペイロード領域での３次元再生区間の開始フレームが位置する映像データストリームのペイロード領域での位置インデックスを表す。本発明の一実施形態は、３次元再生区間情報を３２ビット（ｕ（３２））で表す。
【０１０６】
ｅｎｄ＿ｐｏｓｉｔｉｏｎは、終了インデックス情報であって、３次元再生区間の最後のフレームが位置する映像データストリームのペイロード領域での位置インデックスを表す。本発明の一実施形態は、３次元再生区間情報を３２ビット（ｕ（３２））で表す。
【０１０７】
３次元再生区間ごとに開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎが必要であるので、ｉが整数であるとき、０≦ｉ＜ｎｕｍｂｅｒ＿ｏｆ＿３Ｄ＿ｐｅｒｉｏｄ範囲で開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ［ｉ］及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎ［ｉ］が決定されねばならない。
【０１０８】
一実施形態において、３次元再生区間が一つの基礎ストリーム（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ：ＥＳ）で構成された場合、開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎは、一つのＥＳに対するインデックスを表す。
【０１０９】
他の実施形態において、３次元再生区間が複数個のＥＳで構成された場合、開始インデックス情報ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ及び終了インデックス情報ｅｎｄ＿ｐｏｓｉｔｉｏｎは、複数個のＥＳのうち主ＥＳに対するインデックスを表す。
【０１１０】
図６Ｂは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報のシンタックスの一実施形態を示す。本発明の一実施形態は、複数個の視点映像のうち基準視点映像及び付加視点映像を左側視点及び右側視点として選択する。
【０１１１】
混合映像構成情報ｓｔｅｒｅｏＦｏｒｍａｔ＿ｐａｒａｍｓは、ステレオスコピック映像の混合映像フォーマット種類Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅ、基準視点映像及び付加視点映像の配置順序ＬＲ＿ｆｉｒｓｔ、幅比率ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏ、高比率ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏ、スケーリング方法ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄ及びスケーリング関数ｓｃａｌｉｎｇ＿ｆｕｎｃを含む。
【０１１２】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅは、ステレオスコピック映像の混合映像フォーマット種類であって、複数個の視点の２次元映像を利用して混合映像を構成する方法によるフォーマット種類を表す。ステレオスコピック映像の混合映像フォーマットは、図６Ｃを参照して詳細に説明する。一実施形態は、混合映像フォーマット種類Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅを８ビット（ｕ（８））で表す。
【０１１３】
図６Ｃは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報に使われる混合映像構成フォーマットの一実施形態を示す。
【０１１４】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが０である場合、垂直方向ラインインターリーブドフォーマットを表す。垂直方向ラインインターリーブドフォーマットの一実施形態は、基準視点映像及び付加視点映像の垂直方向のラインを交互に混合映像のラインに配置して混合映像を構成する。
【０１１５】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが１である場合、水平方向ラインインターリーブドフォーマットを表す。水平方向ラインインターリーブドフォーマットの一実施形態は、基準視点映像及び付加視点映像の水平方向のラインを交互に混合映像のラインに配置して混合映像を構成する。
【０１１６】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが２である場合、トップダウンフォーマットを表す。トップダウンフォーマットは、例えば、混合映像の上端及び下端にそれぞれ解像度が縦方向に半分に縮少した基準視点映像及び付加視点映像が配置されて、一枚の混合映像を構成する。
【０１１７】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが３である場合、サイドバイサイドフォーマットを表す。サイドバイサイドフォーマットは、例えば、混合映像の左側領域及び右側領域にそれぞれ解像度が横方向に半分に縮少した基準視点映像及び付加視点映像が配置されて、一枚の混合映像を構成する。
【０１１８】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが４である場合、フィールドシーケンシャルフォーマットを表す。フィールドシーケンシャルフォーマットは、例えば、基準視点映像フィールド及び付加視点映像フィールドが交互に再生部に表示することによって、混合映像を構成する方式による映像フォーマットである。
【０１１９】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが５である場合、フレームシーケンシャルフォーマットを表す。フレームシーケンシャルフォーマットは、例えば、基準視点映像フレーム及び付加視点映像フレームが交互に再生部に表示することによって、混合映像を構成する方式による映像フォーマットである。
【０１２０】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが６である場合、ブロックインターリーブドフォーマットを表す。ブロックインターリーブドフォーマットは、例えば、基準視点映像及び付加視点映像がブロック単位で交互に混合映像のブロックに配置されることによって、混合映像を構成する。
【０１２１】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが７である場合、変位マップを表す。このフォーマットによれば、基準視点映像と変位マップとを利用して混合映像を構成する方式による映像フォーマットである。
【０１２２】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが８である場合、深さマップを表す。このフォーマットによれば、基準視点映像と深さマップとを利用して混合映像が生成される。
【０１２３】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが９である場合、変位及び動きマップを表す。このフォーマットによれば、基準視点映像と変位及び動きマップとを利用して混合映像が生成される。
【０１２４】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが１０である場合、単一視点映像のうち左視点映像形式を表す。このフォーマットによれば、左時点映像一つの単視点映像が使われる。
【０１２５】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが１１である場合、単一視点映像のうち右視点映像形式を表す。このフォーマットによれば、右視点映像一つの単視点映像が使われる。
【０１２６】
Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅが１２ないし２５５である場合、ユーザー指定フォーマットを表す。したがって、混合映像を構成するために、ユーザーが指定する映像フォーマットが利用される。
【０１２７】
ＬＲ＿ｆｉｒｓｔは、基準視点映像及び付加視点映像の配置順序情報に対するパラメータであって、例えば、左右映像の配置方法についての情報を表す。図６Ｄを参照して、左右映像の配置方法情報を詳細に説明する。本発明の一実施形態は、ＬＲ＿ｆｉｒｓｔを一つのビット（ｕ（１））で表す。
【０１２８】
図６Ｄは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のための混合映像構成情報に使われる基準視点映像及び付加視点映像の配置方法の一実施形態を示す。
【０１２９】
ＬＲ＿ｆｉｒｓｔが０である場合、左側映像が基準視点映像であり、左側映像の映像データが垂直方向ラインインターリーブドフォーマットでの奇数番目のライン、水平方向ラインインターリーブドフォーマットでの奇数番目のライン、トップダウンフォーマットでの上端、サイドバイサイドフォーマットでの左側領域、フィールドシーケンシャルフォーマットでの奇数番目のフィールド、フレームシーケンシャルフォーマットでの奇数番目のフレーム、及びブロックインターリーブドフォーマットでの奇数番目のブロックに配置される。二つのＥＳで構成されたステレオスコピック映像データストリームの場合、ＬＲ＿ｆｉｒｓｔが０であれば、左側映像がメインメディア、すなわち主ＥＳのデータとして決定され、右側映像がサブメディア、すなわち副ＥＳのデータとして決定される。同様に、右側映像は、付加視点映像となり、前述した各混合映像フォーマットで左側映像の配置領域の逆領域に配置される。
【０１３０】
ＬＲ＿ｆｉｒｓｔが１である場合、右側映像が基準視点映像であり、右側映像及び左側映像の配置が前述したＬＲ＿ｆｉｒｓｔが０である場合と逆になる。
【０１３１】
ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏは、基準視点映像及び付加視点映像の幅比率に対するパラメータであって、混合映像フォーマットがサイドバイサイドフォーマットまたはトップダウンフォーマットである場合、基準視点及び付加視点映像の幅の比率を調節するパラメータである。本発明の一実施形態は、ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏを３２ビット（ｕ（３２））で表す。ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏは、数式１のように計算される。
（数１）
ＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏ＝ｗｉｄｔｈｂａｓｅ／ｗｉｄｔｈａｄｄｉｔｉｏｎａｌ
ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏは、基準視点映像及び付加視点映像の高比率に対するパラメータであって、混合映像フォーマットがサイドバイサイドフォーマットまたはトップダウンフォーマットである場合、基準視点及び付加視点映像の高さの比率を調節するパラメータである。本発明の一実施形態は、ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏを３２ビット（ｕ（３２））で表す。ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏは、数式２のように計算される。
（数２）
ＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏ＝ｈｅｉｇｈｔｂａｓｅ／ｈｅｉｇｈｔａｄｄｉｔｉｏｎａｌ
ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄは、スケーリング方法パラメータであって、ＥＳが一つである場合、左右映像を組み合わせる時に発生するスケーリング過程でのスケーリング方法を表す。スケーリング方法を伝送して始めて、復号化端で左右映像を正確に復元できる。このパラメータにより定義されるスケーリング方法は、図９Ａを参照して説明する。一実施形態のスケーリング方法パラメータｓｃａｌｉｎｇ＿ｍｅｔｈｏｄは、８ビット（ｕ（８））で表す。
【０１３２】
図７Ａは、本発明の一実施形態によるステレオ映像フォーマット情報及び配置順序情報を有しているステレオスコピック映像データストリームで、二つのＥＳのモノスコピックデータ区間の衝突が発生しない場合を示す。
【０１３３】
図７Ｂは、図７Ａのステレオスコピック映像データストリームの二つのＥＳの表示区間情報テーブルを示す。
【０１３４】
図７Ａ及び図７Ｂでは、主ＥＳとして第１ＥＳ  ７３０が、副ＥＳとして第２ＥＳ７４０が使われる。
【０１３５】
ステレオスコピック映像データストリーム７００は、‘ｍｏｏｖ’ボックス７１０にそれぞれのトラックが指す映像データストリームについてのそれぞれのパラメータ情報を含む。‘ｍｄａｔ’ボックス７２０は、映像データが記録された第１ＥＳ  ７３０及び第２ＥＳ  ７４０が記録されている。すなわち、‘ｍｏｏｖ’ボックスには、トラック１が指す第１ＥＳ  ７３０に記録された映像データについてのステレオ映像フォーマット情報７１２及び配置順序情報７１４、トラック２が指す第２ＥＳ  ７４０に記録された映像データについてのステレオ映像フォーマット情報７１６及び配置順序情報７１８を含む。
【０１３６】
第１ＥＳ  ７３０は、第１データ区間７３２、第２データ区間７３４及び第３データ区間７３６を含み、第２ＥＳ  ７４０は、第１データ区間７４２、第２データ区間７４４及び第３データ区間７４６を含む。データ区間の上側番号は、フレーム番号を表し、下側番号は、ＣＴＳを表す。
【０１３７】
ＩＳＯ基盤のメディアファイルフォーマットでは、‘ｃｔｔｓ’というＣＴＳを保存するボックスが存在する。ＣＴは、該当フレームがいつ再生されるかを表す。‘ｃｔｔｓ’ボックスのＣＴＳを利用して、別途のプロセスなしにデコーダがそれぞれフレームを所望の時間に再生できる。
【０１３８】
それぞれの第１データ区間７３２，７４２は、フレーム番号１から３００までの映像データを、それぞれの第２データ区間７３４，７４４は、フレーム番号３０１から５００までの映像データを、それぞれの第３データ区間７３６，７４６は、フレーム番号５０１から８００までの映像データを含む。
【０１３９】
図７Ａ及び図７Ｂに示すように、現在のデータ区間であるデータ区間７３４及びデータ区間７４４は、ＣＴＳが重ならない。すなわち、データ区間７３４のＣＴＳは、３０１０から５０００までを表し、データ区間７４４のＣＴＳは、５００１から７０００までを表すので、ＣＴＳが重ならない。したがって、かかる場合は、ステレオスコピック映像データストリーム復号化装置５００のモノスコピック映像データ区間決定部５１０及び衝突モノスコピック映像データ抽出部５３０が再生するデータ区間を決定する必要がない。
【０１４０】
図８Ａは、本発明の一実施形態によるステレオ映像フォーマット情報及び配置順序情報を有しているステレオスコピック映像データストリームで、二つのＥＳのモノスコピックデータ区間の衝突が発生する場合を示す。
【０１４１】
図８Ｂは、図８Ａのステレオスコピック映像データストリームの二つのＥＳの表示区間情報テーブルを示す。
【０１４２】
図８Ａ及び図８Ｂでは、主ＥＳとして第１ＥＳ  ８３０が、副ＥＳとして第２ＥＳ８４０が使われる。
【０１４３】
ステレオスコピック映像データストリーム８００は、‘ｍｏｏｖ’ボックス８１０には、トラック１が指す‘ｍｄａｔ’ボックス８２０の第１ＥＳ  ８３０に記録された映像データについてのステレオ映像フォーマット情報８１２及び配置順序情報８１４、トラック２が指す‘ｍｄａｔ’ボックス８２０の第２ＥＳ  ８４０に記録された映像データについてのステレオ映像フォーマット情報８１６及び配置順序情報８１８を含む。
【０１４４】
図８Ａ及び図８Ｂに示すように、現在のデータ区間である第１ＥＳ  ８３０の第２データ区間８３４及び第２ＥＳ  ８４０の第２データ区間８４４のＣＴＳが同一であるので、データ区間８３４，８４４がモノスコピック映像データ区間であれば、両データ区間８３４，８４４の再生時にどのデータ区間を再生せねばならないか決定されずに衝突の恐れがある。
【０１４５】
したがって、ステレオスコピック映像データストリーム復号化装置５００のモノスコピック映像データ区間決定部５１０は、ＥＳ  ８３０，８４０のデータ区間のうちモノスコピック映像データ区間を検索する。モノスコピック映像データ区間決定部５１０は、モノスコピック映像データ区間を検索するために、‘ｍｏｏｖ’ボックスのステレオ映像フォーマット情報８１２，８１６を利用する。
【０１４６】
また、衝突が起こる場合、ＥＳ  ８３０，８４０のうちどちらのＥＳを再生せねばならないかを決定するために、衝突モノスコピック映像データ抽出部５３０は、‘ｍｏｏｖ’ボックスの配置順序情報８１４，８１８を利用する。
【０１４７】
同様に、モノスコピック映像データ区間のうち前記優先再生ストリームの映像データ区間を決定するために、衝突モノスコピック映像データ抽出部５３０は、‘ｍｏｏｖ’ボックスのステレオ映像フォーマット情報８１２，８１６及び配置順序情報８１４，８１８をいずれも利用する。
【０１４８】
例えば、図８Ａに示すように、現在のデータ区間が第２データ区間８３４，８４４であるとき、第１ＥＳ  ８３０のステレオ映像フォーマット情報８１２が‘１０’であるので、図６Ｃの定義によれば、第１ＥＳの第２データ区間８３４には、単一左視点映像が記録されている。また、配置順序情報８１４は‘０’であるので、図６Ｄの定義によれば、左視点映像が第１ＥＳ、すなわち主ＥＳとなる。
【０１４９】
また、第２ＥＳ  ８４０のステレオ映像フォーマット情報８１６が‘１１’であるので、図６Ｃの定義によれば、第２ＥＳの第２データ区間８４４には、単一右視点映像が記録されている。また、配置順序情報８１８は‘０’であるので、図６Ｄの定義によれば、右視点映像が副ＥＳとなる。
【０１５０】
優先再生ストリーム決定部は、ＣＴＳ上に衝突が発生する場合、主ＥＳ（メインメディア）及び副ＥＳ（サブメディア）のうちどちらのストリームを再生するかを決定する。例えば、優先再生ストリーム決定部により主ＥＳ（メインメディア）を再生すると決定されれば、データ区間８３４とデータ区間８４４との衝突時に第１ＥＳ（主ＥＳ）のデータ区間８３４が再生（オン）される。したがって、ＣＴが３０１０から５０００までは、データ区間８３４の映像データが優先して再生される。
【０１５１】
前述したように、優先再生ストリーム決定部は、ステレオ映像フォーマット情報８１２，８１６及び配置順序情報８１４，８１８と関係なく、ユーザーの入力によって所望のデータストリームを決定できる。例えば、ユーザーが無条件モノスコピック映像データ区間でＣＴＳの衝突が発生する場合、第２ＥＳのデータを再生するように優先再生ストリーム選択信号を入力したとすれば、衝突モノスコピック映像データ抽出部５３０は、衝突発生時に第２ＥＳのモノスコピック映像データを抽出する。
【０１５２】
図９Ａは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのスケーリング方法情報ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄに使われるスケーリング関数の一実施形態を示す。
【０１５３】
スケーリング方法パラメータ値ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが０である場合、ステレオスコピック映像は、サンプリング方式でスケーリングされたことを表す。サンプリング方式は、単視点映像から所定の周期の画素が抽出されてスケーリングされる方式である。
【０１５４】
スケーリング方法パラメータ値ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが１である場合、ステレオスコピック映像は、線形方式でスケーリングされたことを表す。線形方式は、単視点映像で少なくとも一つ以上の画素値を利用した線形式を通じて計算された画素値で混合映像の画素を構成する。
【０１５５】
スケーリング方法パラメータ値ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが２である場合、ステレオスコピック映像は、キュービックコンボリューション方式でスケーリングされたことを表す。キュービックコンボリューション方式は、現在の画素を取り囲んでいる１６個の周囲画素に対する距離を考慮して演算された平均値を利用して混合映像の画素を構成する。
【０１５６】
スケーリング方法パラメータ値ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが３ないし２５５である場合、ステレオスコピック映像は、ユーザーが設定したスケーリング関数でスケーリングされたことを表す。
【０１５７】
図９Ｂは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのスケーリング方法情報ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄのシンタックスの一実施形態を示す。
【０１５８】
ｓｃａｌｉｎｇ＿ｆｕｎｃは、スケーリング方法パラメータｓｃａｌｉｎｇ＿ｍｅｔｈｏｄが３以上である場合、ユーザーにより設定されるスケーリング関数である。本発明の一実施形態は、スケーリング関数を設定するために横方向、縦方向の２次元スケーリング関数係数が必要である。
【０１５９】
ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆは、ユーザーが設定したスケーリング関数の横方向係数の個数を表す。一実施形態は、ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆを８ビットで表す。
【０１６０】
ｈｏｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆは、ユーザーが設定したスケーリング関数の横方向係数値を表す。係数値は、ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆの数ほど必要であるので、ｉが整数であるとき、０≦ｉ＜ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆの範囲でｈｏｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］が設定されねばならない。一実施形態は、ｈｏｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］を３２ビットで表す。
【０１６１】
ｙｈｏｒ［ｉ］がスケーリングされた映像の横方向画素値、ｘｈｏｒ［ｉ］が原映像の横方向画素値、ｈｈｏｒ［ｉ］は、ユーザーが設定したスケーリング関数の横方向係数値を表すとき、ｙｈｏｒ［ｉ］、ｘｈｏｒ［ｉ］及びｈｈｏｒ［ｉ］の関係式は、次の通りである。
ｙｈｏｒ［ｉ］＝ｘｈｏｒ［ｉ］＊ｈｈｏｒ［ｉ］
ここで、＊は、コンボリューション演算記号を表す。
【０１６２】
ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆは、ユーザーが設定したスケーリング関数の縦方向係数の個数を表す。一実施形態は、ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆを８ビットで表す。
【０１６３】
ｖｅｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆは、ユーザーが設定したスケーリング関数の縦方向係数値を表す。係数値は、ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆほど必要であるので、ｉが整数であるとき、０≦ｉ＜ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆの範囲でｖｅｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］が設定されねばならない。一実施形態は、ｖｅｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］を３２ビットで表す。
【０１６４】
ｙｖｅｒ［ｉ］がスケーリングされた映像の縦方向画素値、ｘｖｅｒ［ｉ］が原映像の縦方向画素値、ｈｖｅｒ［ｉ］は、ユーザーが設定したスケーリング関数の縦方向係数値を表すとき、ｙｖｅｒ［ｉ］、ｘｖｅｒ［ｉ］及びｈｖｅｒ［ｉ］の関係式は、次の通りである。
ｙｖｅｒ［ｉ］＝ｘｖｅｒ［ｉ］＊ｈｖｅｒ［ｉ］
同様に、ここで、＊は、コンボリューション演算記号を表す。
【０１６５】
図９Ｃは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのカメラ情報のシンタックスの一実施形態を示す。
【０１６６】
ｃａｍｅｒａ＿ｄｉｓｔａｎｃｅは、ステレオスコピックカメラ間の間隔を表す。一実施形態のｃａｍｅｒａ＿ｄｉｓｔａｎｃｅは、３２ビットで表示される。
【０１６７】
ｖｉｅｗ＿ｔｙｐｅは、ステレオスコピック映像がクロスドアイ視点またはパラレルアイ視点などの視点種類を表す。一実施形態のｖｉｅｗ＿ｔｙｐｅは、８ビットで表示される。
【０１６８】
Ｖｉｅｗ＿ｄｉｓｔａｎｃｅ＿ｖｓ＿ｄｅｐｔｈは、視距離対有効深さの比率を表す。一実施形態において、Ｖｉｅｗ＿ｄｉｓｔａｎｃｅ＿ｖｓ＿ｄｅｐｔｈは、３２ビットで表示される。
【０１６９】
ｃａｍｅｒａ＿ｔｙｐｅは、ステレオスコピック映像を獲得する時に使われたカメラタイプを表すカメラ種類パラメータである。一実施形態のｃａｍｅｒａ＿ｔｙｐｅは、８ビットで表示される。
【０１７０】
ｉｓ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、カメラパラメータ伝送如何情報に関するパラメータであって、０でない場合、基準視点及び付加視点カメラのパラメータＣａｍｅｒａ＿ｐａｒａｍｓを伝送する。一実施形態のｉｓ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、１ビットで表示される。
【０１７１】
ｉｓ＿ｐａｒａｌｌｅｌ＿ｉｎｆｏは、視差情報Ｐａｒａｌｌａｘ＿ｉｎｆｏ伝送如何を表す。０でない場合、視差情報を伝送する。一実施形態のｉｓ＿ｐａｒａｌｌａｘ＿ｉｎｆｏは、１ビットで表示される。
【０１７２】
図９Ｄは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のためのカメラ情報に使われるカメラパラメータ情報のシンタックスの一実施形態を示す。本実施形態は、基準視点及び付加視点の例示として左側視点及び右側視点を利用した。
【０１７３】
カメラパラメータ情報Ｃａｍｅｒａ＿ｐａｒａｍｓは、カメラパラメータ係数の個数ｎｕｍｂｅｒ＿ｏｆ＿ｃａｍｅｒａ＿ｐａｒａｍｓ、左側及び右側カメラのパラメータＬｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓ，Ｒｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓを含む。
【０１７４】
ｎｕｍｂｅｒ＿ｏｆ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、カメラパラメータ係数の個数であって、一実施形態のｎｕｍｂｅｒ＿ｏｆ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、８ビットで表示される。
【０１７５】
Ｌｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、左側カメラのパラメータを表す。Ｌｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、左側視点カメラの回転情報、平行移動情報、映像中心、焦点距離、縦横比などの固有性質に関するパラメータが含まれる。一実施形態のＬｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、３２ビットで表示される。
【０１７６】
Ｒｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、右側カメラのパラメータを表す。Ｒｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、右側視点カメラの回転情報、平行移動情報、映像中心、焦点距離、縦横比などの固有性質に関するパラメータが含まれる。一実施形態のＲｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓは、３２ビットで表示される。
【０１７７】
図９Ｅは、本発明の一実施形態によるステレオスコピック映像データストリームの生成のための視差情報Ｐａｒａｌｌｅｘ＿ｉｎｆｏのシンタックスの一実施形態を示す。
【０１７８】
視差情報Ｐａｒａｌｌｅｘ＿ｉｎｆｏは、ステレオスコピック映像の全体に対して発生した変移を意味する全域変移、及びステレオスコピック映像の所定の客体に対して発生した代表変移ベクトルについての視差情報を含む。代表変移ベクトルの対象となるベクトルは、複数個の変移ベクトルのうち、最小値のベクトル値を有する変移ベクトル及び最大値のベクトル値を有する変移ベクトルがある。また、代表変移の対象となる所定の客体は、背景、前景及び個別的なそれぞれの客体を含む。
【０１７９】
視差情報Ｐａｒａｌｌｅｘ＿ｉｎｆｏは、全域変移ベクトルの個数情報ｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ、全域変移開始インデックス情報ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘ、全域変移ベクトル値ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ、代表変移ベクトルの個数情報ｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙ及び全域変移ベクトル値ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙを含む。
【０１８０】
ｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙは、ペイロード領域に記録されたフレームのうち全域変移情報が変わった回数を表す。一実施形態のｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙは、３２ビットで表示される。
【０１８１】
ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘは、全域ベクトルが発生したフレームのうち全域変移が発生し始めたフレームのインデックスを表す。一実施形態のｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘは、３２ビットで表示される。
【０１８２】
ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙは、全域変移のベクトル値を表す。一実施形態のｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙは、１６ビットで表示される。
【０１８３】
ｉは整数であり、０≦ｉ＜ｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙの範囲を有するとき、ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘ［ｉ］とｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘ［ｉ＋１］番目のフレームとの間の全域変移は、ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ［ｉ］の値を有する。
【０１８４】
ｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙは、代表変移の個数情報を表す。一実施形態のｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙは、８ビットで表示される。
【０１８５】
ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙは、代表変移のベクトル値を表す。一実施形態のｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙは、１６ビットで表示される。
【０１８６】
ｉは整数であり、０≦ｉ＜ｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙの範囲を有するとき、ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙ［ｉ］は、代表変移値を有する。これに該当する情報は、変移ベクトルの最小値、最大値、代表客体の変移ベクトル情報、変移／深さベクトルマップが表現できる最大最小値を表す。
【０１８７】
図１０は、本発明の望ましい実施形態によるステレオスコピック映像データストリームのヘッダ領域の一実施形態を示す。
【０１８８】
本発明の一実施形態によるステレオスコピック映像データストリーム生成装置４００，４０５により生成されたステレオスコピック映像データストリームのヘッダ領域には、３次元再生情報領域１０１０、混合映像構成情報領域１０３０及びカメラ情報領域１０５０を備える。
【０１８９】
３次元再生情報領域３Ｄ＿ｐｅｒｉｏｄ  １０１０は、３次元再生区間の個数情報ｎｕｍｂｅｒ＿ｏｆ＿３Ｄ＿ｐｅｒｉｏｄ  １０１１、開始インデックスｓｔａｒｔ＿ｐｏｓｉｔｉｏｎ  １０１２及び終了インデックスｅｎｄ＿ｐｏｓｉｔｉｏｎ  １０１３を含む。
【０１９０】
混合映像構成情報領域Ｓｔｅｒｅｏｓｃｏｐｉｃ  ｆｏｒｍａｔ  １０３０は、ステレオスコピック映像のフォーマット種類Ｓｔｅｒｅｏ＿ｆｏｒｍａｔ＿ｔｙｐｅ  １０３１、基準視点映像及び付加視点映像の配置順序情報ＬＲ＿ｆｉｒｓｔ  １０３２、基準視点映像及び付加視点映像の幅比率に対するパラメータＬＲ＿ｗｉｄｔｈ＿ｒａｔｉｏ  １０３３、基準視点映像及び付加視点映像の高比率に対するパラメータＬＲ＿ｈｅｉｇｈｔ＿ｒａｔｉｏ  １０３４、スケーリング方法ｓｃａｌｉｎｇ＿ｍｅｔｈｏｄ  １０３５、スケーリング関数の横方向係数の個数ｎｕｍｂｅｒ＿ｏｆ＿ｈｏｒ＿ｃｏｅｆｆ  １０３６、スケーリング関数の横方向係数値ｈｏｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］  １０３７、スケーリング関数の縦方向係数の個数ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒ＿ｃｏｅｆｆ［ｉ］  １０３８、スケーリング関数の縦方向係数値ｖｅｒ＿ｓｃａｌｉｎｇ＿ｃｏｅｆｆ［ｉ］  １０３９を含む。
【０１９１】
カメラ情報領域Ｓｔｅｒｅｏｓｃｏｐｉｃ  ｃａｍｅｒａ  １０５０は、ステレオスコピックカメラ間の間隔ｃａｍｅｒａ＿ｄｉｓｔａｎｃｅ  １０５１、ステレオスコピック映像の視点種類ｖｉｅｗ＿ｔｙｐｅ  １０５２、視距離対有効深さの比率Ｖｉｅｗ＿ｄｉｓｔａｎｃｅ＿ｖｓ＿ｄｅｐｔｈ  １０５３、ステレオスコピック映像獲得時に使われたカメラタイプｃａｍｅｒａ＿ｔｙｐｅ  １０５４、カメラパラメータ伝送情報ｉｓ＿ｃａｍｅｒａ＿ｐａｒａｍｓ  １０５５、カメラパラメータ係数の個数ｎｕｍｂｅｒ＿ｏｆ＿ｃａｍｅｒａ＿ｐａｒａｍｓ  １０５６、左側カメラのパラメータＬｅｆｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓ  １０５７及び右側カメラのパラメータＲｉｇｈｔ＿ｃａｍｅｒａ＿ｐａｒａｍｓ  １０５８を含む。
【０１９２】
また、カメラ情報領域Ｓｔｅｒｅｏｓｃｏｐｉｃ  ｃａｍｅｒａ  １０５０は、視差情報伝送情報ｉｓ＿ｐａｒａｌｌｅｌ＿ｉｎｆｏ  １０５９、全域変移ベクトルの個数情報ｎｕｍ＿ｏｆ＿ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ  １０６０、全域変移開始インデックス情報ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ＿ｉｎｄｅｘ［ｉ］  １０６１、全域変移ベクトル値ｇｌｏｂａｌ＿ｄｉｓｐａｒｉｔｙ［ｉ］  １０６２、代表変移ベクトルの個数情報ｎｕｍ＿ｏｆ＿ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙ  １０６３及び代表変移ベクトル値ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＿ｄｉｓｐａｒｉｔｙ［ｉ］  １０６４を含む。
【０１９３】
図１１Ａは、本発明の望ましい実施形態によるステレオスコピック映像データストリームの生成方法のフローチャートである。
【０１９４】
ステップ１１１０で、映像データストリームのペイロード領域に記録される映像データのうち、３次元で再生されるステレオスコピック映像データについての３次元再生区間情報が映像データストリームのヘッダ領域に記録される。
【０１９５】
ステップ１１２０で、基準視点映像及び付加視点映像を利用して混合映像を構成する方法についての混合映像構成情報がヘッダ領域に記録される。
【０１９６】
ステップ１１３０で、ステレオスコピック映像を獲得したカメラについてのカメラ情報がヘッダ領域に記録される。
【０１９７】
ステップ１１４０で、情報基準視点映像及び付加視点映像の情報を含む混合映像に構成される時に使われるスケーリング方法情報がヘッダ領域に記録される。
【０１９８】
ステップ１１５０で、ステレオスコピック映像の基準視点映像と付加視点映像との視差情報がヘッダ領域に記録される。
【０１９９】
ステップ１１７０で、混合映像データが映像データストリームのペイロード領域に記録される。
【０２００】
図１１Ｂは、本発明の一実施形態によるステレオスコピック映像データストリームの生成方法のうち、混合映像構成情報の記録ステップのみを示すフローチャートである。
【０２０１】
ステップ１１２２で、ステレオスコピック映像の基準視点映像情報及び付加視点映像情報を含む混合映像を構成する方法についてのステレオ映像フォーマット情報がステレオスコピック映像データストリームのヘッダ領域に記録される。
【０２０２】
ステップ１１２４で、混合映像で基準視点映像情報及び付加視点映像情報が配置される順序についての情報である配置順序情報がステレオスコピック映像データストリームのヘッダ領域に記録される。
【０２０３】
ステップ１１７０で、ステレオスコピック映像に対する混合映像のデータがステレオスコピック映像データストリームのペイロード領域に記録される。
【０２０４】
図１２は、本発明の一実施形態によるステレオスコピック映像データストリームの復号化方法のフローチャートである。ステップ１２１０で、ステレオスコピック映像データストリームの映像データ区間のうち、モノスコピック映像データ区間が決定される。ステレオスコピック映像データストリームは、主ストリーム及び少なくとも一つの副ストリームを含む。主ストリーム及び副ストリームのうちそれぞれのストリーム上の映像データ区間のうち、モノスコピック映像データ区間が決定される。モノスコピック映像フォーマットであるか否かは、映像データ区間のステレオ映像フォーマット情報から確認される。
【０２０５】
ステップ１２２０で、モノスコピック映像データ区間のそれぞれのＣＴＳが抽出される。
【０２０６】
ステップ１２３０で、モノスコピック映像データ区間の抽出されたＣＴＳの同じ衝突映像データ区間がある場合、衝突映像データ区間のうち、主ストリームのモノスコピック映像データ区間からモノスコピック映像データが抽出される。現在の映像データ区間が主ストリームの映像データ区間であるか否かは、映像データ区間の配置順序情報から確認される。抽出されたモノスコピック映像データは、モノスコピック映像に復元されて再生される。
【０２０７】
一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用デジタルコンピュータで具現されうる。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的な読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような記録媒体を含む。
【０２０８】
これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。
【産業上の利用可能性】
【０２０９】
本発明は、映像関連の技術分野に適用可能である。
【符号の説明】
【０２１０】
５００      ステレオスコピック映像データストリーム復号化装置
５１０      モノスコピック映像データ区間決定部
５２０      再生ストリームＣＴＳ抽出部
５３０      衝突モノスコピック映像データ抽出部
【図１】
0005705250.tif 000002
【図２】
0005705250.tif 000003
【図３】
0005705250.tif 000004
【図４Ａ】
0005705250.tif 000005
【図４Ｂ】
0005705250.tif 000006
【図５】
0005705250.tif 000007
【図６Ａ】
0005705250.tif 000008
【図６Ｂ】
0005705250.tif 000009
【図６Ｃ】
0005705250.tif 000010
【図６Ｄ】
0005705250.tif 000011
【図７Ａ】
0005705250.tif 000012
【図７Ｂ】
0005705250.tif 000013
【図８Ａ】
0005705250.tif 000014
【図８Ｂ】
0005705250.tif 000015
【図９Ａ】
0005705250.tif 000016
【図９Ｂ】
0005705250.tif 000017
【図９Ｃ】
0005705250.tif 000018
【図９Ｄ】
0005705250.tif 000019
【図９Ｅ】
0005705250.tif 000020
【図１０】
0005705250.tif 000021
【図１１Ａ】
0005705250.tif 000022
【図１１Ｂ】
0005705250.tif 000023
【図１２】
0005705250.tif 000024