(57)【特許請求の範囲】
【請求項１】
受信されたデータ・ストリームからステレオスコピック映像のデータ及び前記ステレオスコピック映像についての情報をパージングする段階と、
前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有特性に基づくカメラ・パラメータを抽出する段階と、
前記ステレオスコピック映像のデータを復号化して復元する段階と、
前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階と、を含み、
前記カメラ・パラメータは、第１視点カメラの焦点距離を示す第１焦点距離を示す第１焦点距離パラメータ、第２視点カメラの焦点距離を示す第２焦点距離を示す第２焦点距離パラメータ、及び前記第１視点距離及び前記第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを含み、
前記カメラ・パラメータ抽出段階は、
前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを抽出する段階を含み、
前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを抽出する段階を含むことを特徴とするステレオスコピック映像復元方法。
【請求項２】
前記第１焦点距離パラメータと、前記第２焦点距離パラメータとは、別個に抽出されることを特徴とする請求項１に記載のステレオスコピック映像復元方法。
【請求項３】
受信されたデータ・ストリームからステレオスコピック映像のデータ及び前記ステレオスコピック映像についての情報をパージングする段階と、
前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づくカメラ・パラメータを抽出する段階と、
前記ステレオスコピック映像のデータを復号化して復元する段階と、
前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階と、を含み、
前記カメラ・パラメータは、前記少なくとも１つのカメラのうち、所定視点カメラの焦点距離の水平成分値及び垂直成分値を示す焦点距離縦横比パラメータを含み、
前記カメラ・パラメータ抽出段階は、
前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを抽出する段階、を含むことを特徴とするステレオスコピック映像復元方法。
【請求項４】
受信されたデータ・ストリームからステレオスコピック映像のデータ及び前記ステレオスコピック映像についての情報をパージングする段階と、
前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づくカメラ・パラメータを抽出する段階と、
前記ステレオスコピック映像のデータを復号化して復元する段階と、
前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階と、を含み、
前記カメラ・パラメータは、前記少なくとも１つのカメラのうち、所定視点カメラの水平成分値と垂直成分値との比率を利用し、前記焦点距離についての情報が設定されているか否かを示す焦点距離縦横比利用パラメータを含み、
前記カメラ・パラメータ抽出段階は、
前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータが利用されていると決定されれば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを抽出する段階を含み、
前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離縦横比パラメータが利用されていないと決定されれば、前記焦点距離の水平成分値と垂直成分値との比率を「１」に決定する段階をさらに含むことを特徴とするステレオスコピック映像復元方法。
【請求項５】
受信されたデータ・ストリームからステレオスコピック映像のデータ及び前記ステレオスコピック映像についての情報をパージングする段階と、
前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づくカメラ・パラメータを抽出する段階と、
前記ステレオスコピック映像のデータを復号化して復元する段階と、
前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階と、を含み、
前記カメラ・パラメータは、ステレオスコピック映像の主点についての情報が設定されているか否かを示す主点情報設定パラメータを含み、
前記カメラ・パラメータ抽出段階は、
前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されているとすれば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に抽出する段階をさらに含み、
前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されていないとすれば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定する段階を含み、
前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に抽出されることを特徴とするステレオスコピック映像復元方法。
【請求項６】
前記カメラ・パラメータ抽出段階は、
前記少なくとも１つのカメラにおいて、所定視点カメラの回転角から、ｘ軸基準の回転角を示すｘ軸回転角パラメータ，ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを抽出する段階を含むことを特徴とする請求項１ないし５のうちいずれか１項に記載のステレオスコピック映像復元方法。
【請求項７】
前記パージング段階は、
前記ステレオスコピック映像データ・ストリームがＩＳＯ基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、
前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つから、前記カメラ・パラメータを抽出する段階と、
前記ｍｄａｔボックスから、前記ステレオスコピック映像のデータを抽出する段階と、を含むことを特徴とする請求項１ないし５のうちいずれか１項に記載のステレオスコピック映像復元方法。
【請求項８】
ステレオスコピック映像データを符号化する段階と、
前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、そのカメラの固有特性に基づいてカメラ・パラメータを決定する段階と、
前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階と、を含み、
前記カメラ・パラメータ決定段階は、
前記少なくとも１つのカメラから、第１視点カメラの焦点距離を示す第１焦点距離と、第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを決定する段階と、
前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であれば、前記第１焦点距離を示す第１焦点距離パラメータ及び第２焦点距離を示す第２焦点距離パラメータのうち少なくとも一つを決定する段階をさらに含み、
前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるとすれば、前記第１焦点距離を示す第１焦点距離パラメータ及び第２焦点距離を示す第２焦点距離パラメータを決定する段階をさらに含むことを特徴とするステレオスコピック映像データ・ストリーム生成方法。
【請求項９】
ステレオスコピック映像データを符号化する段階と、
前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づきカメラ・パラメータを決定する段階と、
前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階とを含み、
前記カメラ・パラメータ決定段階は、
焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する段階と、
前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを決定する段階と、をさらに含むことを特徴とするステレオスコピック映像データ・ストリーム生成方法。
【請求項１０】
ステレオスコピック映像データを符号化する段階と、
前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づきカメラ・パラメータを決定する段階と、
前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階とを含み、
前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラにおいて、所定視点カメラの水平成分値と垂直成分値との比率を利用し、前記焦点距離についての情報を設定しているか否かを示す焦点距離縦横比利用パラメータを決定する段階をさらに含み、
前記焦点距離縦横比パラメータ決定段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用するならば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する段階を含むことを特徴とするステレオスコピック映像データ・ストリーム生成方法。
【請求項１１】
ステレオスコピック映像データを符号化する段階と、
前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づきカメラ・パラメータを決定する段階と、
前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階を含み、
前記カメラ・パラメータ決定段階は、
前記ステレオスコピック映像の主点についての情報を設定しているか否かを示す主点情報設定パラメータを決定する段階と、
前記主点情報設定パラメータに基づいて、前記主点についての情報を設定するならば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に決定する段階と、をさらに含み、
前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されていないとするならば、前記少なくとも一つのカメラのうち、所定視点のカメラにより撮影された領域の中点と前記所定視点の映像の主点とが一致することと決定する段階をさらに含むことを特徴とするステレオスコピック映像データ・ストリーム生成方法。
【請求項１２】
請求項１ないし７のうちいずれか１項に記載のステレオスコピック映像復元方法を具現するためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１３】
請求項８ないし１１のうちいずれか１項に記載のステレオスコピック映像データ・ストリーム生成方法を具現するためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオスコピック映像の符号化及び復号化に関する。
【背景技術】
【０００２】
最近の映像技術において、さらに写実的であって臨在感あふれる映像情報を表現するために、三次元（３Ｄ）映像を具現する方式に係わる研究が活発に進められている。三次元映像の具現方式において、人間視覚特性を活用し、既存のディスプレイ装置に、左視点映像と右視点映像とを、それぞれ割り当てられる位置に走査した後、左視点と右視点とを視聴者の左目と右目とに分離して像を結ばせることにより、三次元立体感を感じさせる方法が、さまざまな面で可能性が認められている。かような三次元映像具現方式の一例であるバリアＬＤＣ（Barrier  liquid  crystal  display）を装着した携帯端末機では、ステレオスコピック・コンテンツを再生し、ユーザにさらに実感溢れる映像を提供できるようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、ステレオスコピック映像の符号化及び復号化に関する。
【０００４】
本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法は、ステレオスコピック映像データを符号化する段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータを決定する段階と、前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階と、を含むことができる。
【０００５】
本発明は、米国特許商標庁に２００８年５月２７に出願された米国仮出願第６１／０５６，１７４号と、韓国特許庁に２００８年７月２３日に出願された韓国特許出願第１０−２００８−００７１８９７号とに基づいて優先権を主張し、前記出願の発明の思想は、本明細書に含まれている。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法は、ステレオスコピック映像データを符号化する段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータを決定する段階と、前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階と、を含むことができる。
【０００７】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離パラメータと、第２視点カメラの焦点距離を示す第２焦点距離パラメータとを別個に決定する段階を含むことができる。
【０００８】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離と、第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを決定する段階をさらに含むことができる。
【０００９】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを決定する段階をさらに含むことができる。
【００１０】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを決定する段階をさらに含むことができる。
【００１１】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値を示す水平焦点距離パラメータと、前記焦点距離の垂直成分値を示す垂直焦点距離パラメータとを決定する段階をさらに含むことができる。
【００１２】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する段階と、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを決定する段階と、をさらに含むことができる。
【００１３】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値と垂直成分値との比率に基づいて、前記焦点距離についての情報を設定しているか否かを示す焦点距離縦横比利用パラメータを決定する段階をさらに含むことができる。
【００１４】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用するならば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する段階をさらに含むことができる。
【００１５】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用しないならば、前記焦点距離の水平成分値と垂直成分値との比率を「１」に決定する段階をさらに含むことができる。
【００１６】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記ステレオスコピック映像において、第１視点映像の主点（principal  point）を示す第１主点パラメータ、及び前記ステレオスコピック映像において、第２視点映像の主点を示す第２主点パラメータを別個に決定する段階をさらに含むことができる。
【００１７】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記第１主点パラメータ及び前記第２主点パラメータは、主点のｘ座標成分及びｙ座標成分別に決定できる。
【００１８】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記ステレオスコピック映像の主点についての情報を設定しているか否かを示す主点情報設定パラメータを決定する段階を含むことができる。
【００１９】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記主点情報設定パラメータに基づいて、前記主点についての情報を設定するならば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に決定する段階をさらに含み、前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に決定できる。
【００２０】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記主点情報設定パラメータに基づいて、前記主点についての情報を設定しないならば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定する段階をさらに含むことができる。
【００２１】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラのうち所定視点カメラの回転角から、ｘ軸基準の回転角を示すｘ軸回転角パラメータ、ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを決定する段階を含むことができる。
【００２２】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記ｘ軸基準の回転角、ｙ軸基準の回転角及びｚ軸基準の回転角を、３ｘ３行列またはサイズ９の配列で表現できる。
【００２３】
一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記データ・ストリーム挿入段階は、前記ステレオスコピック映像データ・ストリームがＩＳＯ（International  Standards  Organization）基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つに、前記カメラ・パラメータを挿入する段階を含むことができる。
【００２４】
本発明の一実施形態によるステレオスコピック映像復元方法は、受信されたデータ・ストリームを、ステレオスコピック映像のデータと、前記ステレオスコピック映像についての情報とにパージングする段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づくカメラ・パラメータを抽出する段階と、前記ステレオスコピック映像のデータを復号化して復元する段階と、を含むことができる。
【００２５】
一実施形態によるステレオスコピック映像復元方法の前記復元段階は、前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階を含むことができる。
【００２６】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離パラメータと、第２視点カメラの焦点距離を示す第２焦点距離パラメータとを別個に抽出する段階を含むことができる。
【００２７】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離と、第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを抽出する段階をさらに含むことができる。
【００２８】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを抽出する段階をさらに含むことができる。
【００２９】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを抽出する段階をさらに含むことができる。
【００３０】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値を示す水平焦点距離パラメータと、前記焦点距離の垂直成分値を示す垂直焦点距離パラメータとを抽出する段階をさらに含むことができる。
【００３１】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを抽出する段階と、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを抽出する段階と、をさらに含むことができる。
【００３２】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値と垂直成分値との比率に基づいて、前記焦点距離についての情報が設定されているか否かを示す焦点距離縦横比利用パラメータを抽出する段階をさらに含むことができる。
【００３３】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率が利用されているとすれば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを抽出する段階をさらに含むことができる。
【００３４】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率が利用されていないとすれば、前記焦点距離の水平成分値と垂直成分値との比率を「１」に決定する段階をさらに含むことができる。
【００３５】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像において、第２視点映像の主点を示す第２主点パラメータを別個に抽出する段階をさらに含むことができる。
【００３６】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記第１主点パラメータ及び前記第２主点パラメータを、主点のｘ座標成分及びｙ座標成分別に抽出できる。
【００３７】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記ステレオスコピック映像の主点についての情報が設定されているか否かを示す主点情報設定パラメータを抽出する段階を含むことができる。
【００３８】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されているとすれば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に抽出する段階をさらに含み、前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に抽出されうる。
【００３９】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されていないとすれば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定する段階をさらに含むことができる。
【００４０】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラのうち所定視点カメラの回転角から、ｘ軸基準の回転角を示すｘ軸回転角パラメータ、ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを抽出する段階を含むことができる。
【００４１】
一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記ｘ軸基準の回転角、ｙ軸基準の回転角及びｚ軸基準の回転角を、３ｘ３行列またはサイズ９の配列で表現された回転角パラメータを抽出できる。
【００４２】
一実施形態によるステレオスコピック映像復元方法の前記パージング段階は、前記ステレオスコピック映像データ・ストリームがＩＳＯ基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つから、前記カメラ・パラメータを抽出する段階と、前記ｍｄａｔボックスから前記ステレオスコピック映像のデータを抽出する段階と、を含むことができる。
【００４３】
本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記ステレオスコピック映像データ・ストリーム生成方法は、ステレオスコピック映像データを符号化する段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータを決定する段階と、前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階と、を含む。
【００４４】
本発明の一実施形態によるステレオスコピック映像復元方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記ステレオスコピック映像復元方法は、受信されたデータ・ストリームを、ステレオスコピック映像のデータと、前記ステレオスコピック映像についての情報とにパージングする段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づくカメラ・パラメータを抽出する段階と、前記ステレオスコピック映像のデータを復号化して復元する段階と、を含む。
【発明の効果】
【００４５】
本発明の一実施形態で利用されるカメラ・パラメータは、焦点距離パラメータ、焦点距離縦横比パラメータ、主点パラメータ、回転角パラメータ、平行移動パラメータのうち少なくとも一つを含む。ここで、焦点距離パラメータ、焦点距離縦横比パラメータ、主点パラメータは、カメラ一つに係わるパラメータであり、カメラ内部パラメータと命名され、回転角パラメータ、平行移動パラメータは、多数のカメラとの関係に係わるパラメータであり、カメラ外部パラメータと命名される。カメラ・パラメータは、エピポーラ線制約技法（epipolar  line  constraint）、レクチフィケーション技法（rectification）などの多様なプロセスに適用され、三次元映像の画質が改善されうる。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成装置のブロック図である。
【図２】本発明の一実施形態によるステレオスコピック映像復元装置のブロック図である。
【図３】ワールド座標系とカメラ座標系との関係を図示する図である。
【図４】カメラ座標系上の座標と、これに対応する映像上の座標との関係を図示する図である。
【図５】撮影映像座標と再生映像上の座標との関係を図示する図である。
【図６】ステレオスコピックカメラの平行移動情報及び回転情報を図示する図である。
【図７】第１視点カメラ座標系と第２視点カメラ座標系との関係を図示する図である。
【図８】ＩＳＯ基盤のメディアファイル・フォーマットによるファイル・フォーマットの構造を図示する図である。
【図９】ＩＳＯ基盤のメディアファイル・フォーマットによるファイル構造を構成するボックス・リストを図示する図である。
【図１０】ステレオスコピック映像に係わるさまざまなパラメータを具現するためのシンタックスを図示する図である。
【図１１】本発明の一実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの一例を図示する図である。
【図１２】本発明の一実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの他の例を図示する図である。
【図１３】本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの一例を図示する図である。
【図１４】本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの他の例を図示する図である。
【図１５】本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスのさらに他の例を図示する図である。
【図１６】本発明の一実施形態によるステレオスコピック映像に係わるカメラ主点パラメータを具現するためのシンタックスの一例を図示する図である。
【図１７】本発明の一実施形態によるステレオスコピック映像に係わるカメラ主点パラメータを具現するためのシンタックスの他の例を図示する図である。
【図１８】本発明の一実施形態によるステレオスコピック映像に係わるカメラ回転角パラメータを具現するためのシンタックスの一例を図示する図である。
【図１９】本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法を利用するステレオスコピック映像ファイル生成システムのブロック図である。
【図２０】本発明の一実施形態によるステレオスコピック映像復元方法を利用するステレオスコピック映像復元／再生システムのブロック図である。
【図２１】本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法のフローチャートである。
【図２２】本発明の一実施形態によるステレオスコピック映像復元方法のフローチャートを図示する図である。
【発明を実施するための形態】
【００４７】
本発明の一実施形態によるステレオスコピック映像（stereoscopic  image）データ・ストリーム生成装置は、ステレオスコピック映像データを符号化する映像データ符号化部と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータを決定するカメラ・パラメータ決定部と、前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入するデータ・ストリーム挿入部と、を含む
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離を決定する焦点距離パラメータ決定部を含み、前記焦点距離パラメータ決定部は、第１視点カメラの焦点距離を示す第１焦点距離パラメータと、第２視点カメラの焦点距離を示す第２焦点距離パラメータとを別個に決定できる。
【００４８】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記第１視点カメラの焦点距離を示す第１焦点距離と、前記第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを決定する焦点距離不一致パラメータ決定部をさらに含むことができる。
【００４９】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記焦点距離パラメータ決定部は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを決定できる。
【００５０】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記焦点距離パラメータ決定部は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを決定できる。
【００５１】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離を決定する焦点距離パラメータ決定部を含み、前記焦点距離パラメータ決定部は、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータを決定できる。
【００５２】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離を決定する焦点距離パラメータ決定部と、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する焦点距離縦横比パラメータ決定部と、を含み、前記焦点距離パラメータ決定部は、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを決定できる。
【００５３】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記焦点距離の水平成分値と垂直成分値との比率に基づいて、前記焦点距離についての情報を設定しているか否かを示す焦点距離縦横比利用パラメータを決定する焦点距離縦横比利用パラメータ決定部をさらに含むことができる。
【００５４】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記焦点距離縦横比パラメータ決定部は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用するならば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定できる。
【００５５】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記焦点距離縦横比パラメータ決定部は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用しないならば、前記焦点距離の水平成分値と垂直成分値との比率を「１」に決定できる。
【００５６】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記ステレオスコピック映像の主点（principal point）についての情報を決定する主点パラメータ決定部を含み、前記主点パラメータ決定部は、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像において、第２視点映像の主点を示す第２主点パラメータを別個に決定できる。
【００５７】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記主点パラメータ決定部は、前記第１主点パラメータ及び前記第２主点パラメータは、主点のｘ座標成分及びｙ座標成分別に決定できる。
【００５８】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記ステレオスコピック映像の主点についての情報を設定しているか否かを示す主点情報設定パラメータを決定する主点情報設定パラメータ決定部を含むことができる。
【００５９】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記主点情報設定パラメータに基づいて、前記ステレオスコピック映像の主点についての情報を決定する主点パラメータ決定部を含み、前記主点パラメータ決定部は、前記主点情報設定パラメータに基づいて、前記主点についての情報を設定するならば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に決定し、前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に決定できる。
【００６０】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記主点情報設定パラメータに基づいて、前記ステレオスコピック映像の主点についての情報を決定する主点パラメータ決定部を含み、前記主点パラメータ決定部は、前記主点情報設定パラメータに基づいて、前記主点についての情報を設定しないならば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定できる。
【００６１】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置において、前記カメラ・パラメータ決定部は、前記少なくとも１つのカメラのうち所定視点カメラの回転角についての情報を決定する回転角パラメータ決定部を含み、前記回転角パラメータ決定部は、ｘ軸基準の回転角を示すｘ軸回転角パラメータ、ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを決定できる。
【００６２】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記回転角パラメータ決定部は、前記ｘ軸基準の回転角、ｙ軸基準の回転角及びｚ軸基準の回転角を、３ｘ３行列またはサイズ９の配列で表現できる。
【００６３】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記データ・ストリーム挿入部は、前記ステレオスコピック映像データ・ストリームがＩＳＯ（International  Standards  Organization）基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つに、前記カメラ・パラメータを挿入できる。
【００６４】
本発明の一実施形態によるステレオスコピック映像復元装置は、受信されたデータ・ストリームを、ステレオスコピック映像のデータと、前記ステレオスコピック映像についての情報とにパージングするパージング部と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づくカメラ・パラメータを抽出するカメラ・パラメータ抽出部と、前記ステレオスコピック映像のデータを復号化して復元する映像データ復号化部と、を含むことができる。
【００６５】
一実施形態によるステレオスコピック映像復元装置の前記ステレオスコピック映像復元装置は、前記復元されたステレオスコピック映像を、前記カメラ・パラメータを利用して再生する再生部をさらに含むことができる。
【００６６】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部を含み、前記焦点距離パラメータ抽出部は、第１視点カメラの焦点距離を示す第１焦点距離パラメータと、第２視点カメラの焦点距離を示す第２焦点距離パラメータとを別個に抽出できる。
【００６７】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離と、第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを抽出する焦点距離不一致パラメータ抽出部をさらに含むことができる。
【００６８】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部をさらに含み、前記焦点距離パラメータ抽出部は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを抽出できる。
【００６９】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部をさらに含み、前記焦点距離パラメータ抽出部は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを抽出できる。
【００７０】
一実施形態によるステレオスコピック映像復元装置において、前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部を含み、前記焦点距離パラメータ抽出部は、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータを抽出できる。
【００７１】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部と、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを抽出する焦点距離縦横比パラメータ抽出部と、を含み、前記焦点距離パラメータ抽出部は、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを抽出できる。
【００７２】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記焦点距離の水平成分値と垂直成分値との比率に基づいて、前記焦点距離についての情報が設定されているか否かを示す焦点距離縦横比利用パラメータを抽出する焦点距離縦横比利用パラメータ抽出部をさらに含むことができる。
【００７３】
一実施形態によるステレオスコピック映像復元装置の前記焦点距離縦横比パラメータ抽出部は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率が利用されているとすれば、前記焦点距離縦横比パラメータを抽出できる。
【００７４】
一実施形態によるステレオスコピック映像復元装置の前記焦点距離縦横比パラメータ抽出部は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率が利用されていないとすれば、前記焦点距離縦横比を「１」に決定できる。
【００７５】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記ステレオスコピック映像における所定視点映像の主点についての情報を抽出する主点パラメータ抽出部を含み、前記主点パラメータ抽出部は、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像において、第２視点映像の主点を示す第２主点パラメータを別個に抽出できる。
【００７６】
一実施形態によるステレオスコピック映像復元装置の前記主点パラメータ抽出部は、前記第１主点パラメータ及び前記第２主点パラメータを、主点のｘ座標成分及びｙ座標成分別に抽出できる。
【００７７】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記ステレオスコピック映像の主点についての情報が設定されているか否かを示す主点情報設定パラメータを抽出する主点情報設定パラメータ抽出部を含むことができる。
【００７８】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記ステレオスコピック映像における所定視点映像の主点についての情報を抽出する主点パラメータ抽出部をさらに含み、前記主点パラメータ抽出部は、前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されているとすれば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に抽出し、前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に抽出できる。
【００７９】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記ステレオスコピック映像における所定視点映像の主点についての情報を抽出する主点パラメータ抽出部をさらに含み、前記主点パラメータ抽出部は、前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されていないとすれば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定できる。
【００８０】
一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの回転角についての情報を抽出する回転角パラメータ抽出部を含み、前記回転角パラメータ抽出部は、ｘ軸基準の回転角を示すｘ軸回転角パラメータ、ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを抽出できる。
【００８１】
一実施形態によるステレオスコピック映像復元装置の前記回転角パラメータ抽出部は、前記ｘ軸基準の回転角、ｙ軸基準の回転角及びｚ軸基準の回転角を、３ｘ３行列またはサイズ９の配列で表現された回転角パラメータを抽出できる。
【００８２】
一実施形態によるステレオスコピック映像復元装置の前記パージング部は、前記ステレオスコピック映像データ・ストリームがＩＳＯ基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つから、前記カメラ・パラメータを抽出し、前記ｍｄａｔボックスから前記ステレオスコピック映像のデータを抽出できる。
【００８３】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００８４】
図１は、本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成装置のブロック図を図示している。
【００８５】
本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００は、映像データ符号化部１１０、カメラ・パラメータ決定部１２０及びデータ・ストリーム挿入部１３０を含む。
【００８６】
映像データ符号化部１１０は、符号化しようとするステレオスコピック映像の映像データを符号化し、符号化された映像データは、データ・ストリーム挿入部１３０に出力する。ステレオスコピック映像は、第１視点映像及び第２視点映像がそれぞれ符号化され、第１視点映像及び第２視点映像が混合された映像が符号化されうる。また、多視点映像（multiview  image）または単一視点映像（monoview  image）が符号化されるために、映像データ符号化部１１０に入力されうる。
【００８７】
カメラ・パラメータ決定部１２０は、符号化しようとするステレオスコピック映像に係わるカメラ・パラメータを決定し、データ・ストリーム挿入部１３０に出力する。ステレオスコピック映像を獲得するために多数のカメラが必要であり、それぞれのカメラ別に視点が異なる。それぞれの視点別にカメラ情報は変わうるので、それぞれが視点別カメラ・パラメータが別個に設定される必要がある。
【００８８】
一実施形態によるカメラ・パラメータ決定部１２０は、それぞれのカメラに係わる焦点距離、主点（principal  point，main point）、回転角／平行移動などを示す情報をカメラ・パラメータとして決定できる。図１に図示されていないが、カメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部、主点パラメータ決定部、回転角パラメータ決定部を含むことができる。
【００８９】
焦点距離パラメータ決定部は、少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報（以下、「焦点距離パラメータ」とする）を決定する。
【００９０】
カメラ・パラメータ決定部１２０は、第１視点カメラの焦点距離と、第２視点カメラの焦点距離とが異なるか否かを示す情報（以下、「焦点距離不一致パラメータ」とする）を決定するために、焦点距離不一致パラメータ決定部を含むことができる。
【００９１】
カメラ・パラメータ決定部１２０は、焦点距離の垂直、水平距離の比率（以下、「焦点距離縦横比」とする）を利用して焦点距離を決定するために、焦点距離縦横比パラメータ決定部を含むことができる。
【００９２】
また、カメラ・パラメータ決定部１２０は、焦点距離縦横比を利用しているか否かを示す情報（以下、「焦点距離縦横比利用パラメータ」とする）を決定するために、焦点距離縦横比利用パラメータ決定部を含むことができる。
【００９３】
主点パラメータ決定部は、ステレオスコピック映像の主点についての情報（以下、「主点パラメータ」とする）を決定する。カメラ・パラメータ決定部１２０は、主点情報を設定しているか否かを示す情報（以下、「主点情報設定パラメータ」とする）を決定するために、主点情報設定パラメータ決定部を含むことができる。
【００９４】
回転角パラメータ決定部は、少なくとも１つの視点カメラのうち所定視点カメラの回転角度についての情報（以下、「回転角パラメータ」とする）を決定する。
【００９５】
データ・ストリーム挿入部１３０は、映像データ符号化部１１０から入力された符号化された映像データと、カメラ・パラメータ決定部１２０から入力されたカメラ・パラメータとをデータ・ストリームに挿入することによって、ステレオスコピック映像データ・ストリームを生成する。
【００９６】
符号化された映像データとカメラ・パラメータは、それぞれステレオスコピック映像データ・ストリーム上の適した位置に挿入される。図８及び図９を参考にし、一実施形態によって、映像データ及びカメラ・パラメータが挿入されるステレオスコピック映像データ・ストリームの構造について述べる。
【００９７】
図２は、本発明の一実施形態によるステレオスコピック映像復元装置のブロック図を図示している。
【００９８】
本発明の一実施形態によるステレオスコピック映像復元装置２００は、パージング部２１０、カメラ・パラメータ抽出部２２０、映像データ復号化部２３０及び再生部２４０を含む。
【００９９】
パージング部２１０は、受信されたステレオスコピック映像データ・ストリームをパージングし、ステレオスコピック映像のデータ及びステレオスコピック映像についての情報を分離する。パージング部２１０は、ステレオスコピック映像データを映像データ復号化部２３０に出力し、カメラ・パラメータをカメラ・パラメータ抽出部２２０に出力する。
【０１００】
カメラ・パラメータ抽出部２２０は、パージング部２１０から入力された映像情報からカメラ・パラメータを抽出する。ステレオスコピック映像に係わるカメラ・パラメータは、ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づく。抽出されたカメラ・パラメータは、再生部２４０に出力されうる。
【０１０１】
一実施形態によるカメラ・パラメータ抽出部２２０は、それぞれのカメラに係わる焦点距離、主点、回転角／平行移動などを示す情報をカメラ・パラメータとして抽出できる。図２に図示されていないが、カメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部、主点パラメータ抽出部、回転角パラメータ抽出部を含むことができる。
【０１０２】
焦点距離パラメータ抽出部は、焦点距離パラメータを抽出する。
【０１０３】
カメラ・パラメータ抽出部２２０は、焦点距離不一致パラメータ抽出部を含むことができる。焦点距離不一致パラメータ抽出部によって抽出された焦点距離不一致パラメータに基づいて、カメラ・パラメータ抽出部２２０は、それぞれの視点カメラの焦点距離が一致するか否かを考慮し、それぞれの焦点距離をいずれも抽出するか否かを決定できる。
【０１０４】
カメラ・パラメータ抽出部２２０は、焦点距離縦横比パラメータ抽出部を含むことができる。焦点距離縦横比パラメータ抽出部によって抽出された焦点距離縦横比パラメータに基づいて、カメラ・パラメータ抽出部２２０は、垂直または水平方向のうちいずれか１つの方向の焦点距離だけを抽出してもよいか否かを判断できる。
【０１０５】
また、カメラ・パラメータ抽出部２２０は、焦点距離縦横比利用パラメータ抽出部を含むことができる。焦点距離縦横比利用パラメータに基づいて、焦点距離縦横比パラメータ抽出部は、焦点距離縦横比パラメータを抽出するか否かを決定できる。
【０１０６】
主点パラメータ抽出部は、主点パラメータを抽出する。カメラ・パラメータ抽出部２２０は、主点設定パラメータ抽出部を含むことができる。主点設定パラメータに基づいて、カメラ・パラメータ主点パラメータ抽出部は、主点パラメータを抽出するか否かを決定できる。
【０１０７】
回転角パラメータ抽出部は、少なくとも１つの視点カメラの回転角パラメータを抽出する。
【０１０８】
映像データ復号化部２３０は、ステレオスコピック映像のデータを復号化して復元し、再生部２４０に出力する。ステレオスコピック映像は、符号化時に採用された圧縮技術を利用して復号化する。
【０１０９】
再生部２４０は、復元されたステレオスコピック映像を、カメラ・パラメータを利用して再生する。再生部２４０は、カメラ・パラメータを利用し、カメラ視点間の関係を考慮しつつ、ステレオスコピック映像を再生するので、さらに正確に再生できる。
【０１１０】
本発明の一実施形態で利用されるカメラ・パラメータは、焦点距離パラメータ、焦点距離縦横比パラメータ、主点パラメータ、回転角パラメータ、平行移動パラメータのうち少なくとも一つを含む。ここで、焦点距離パラメータ、焦点距離縦横比パラメータ、主点パラメータは、カメラ一つに係わるパラメータであり、カメラ内部パラメータと命名され、回転角パラメータ、平行移動パラメータは、多数のカメラとの関係に係わるパラメータであり、カメラ外部パラメータと命名される。
【０１１１】
カメラ・パラメータは、エピポーラ線制約技法（epipolar  line  constraint）、レクチフィケーション技法（rectification）などの多様なプロセスに適用され、三次元映像の画質が改善しうる。
【０１１２】
カメラ・パラメータの具体的な使用例は、以下、図１０ないし図１８を参考にして後述する。詳細には、焦点距離パラメータ（図１０ないし図１５）、焦点距離不一致パラメータ（図１１）、焦点距離縦横比パラメータ（図１４及び図１５）、焦点距離縦横比利用パラメータ（図１５）、主点パラメータ（図１６及び図１７）、主点情報設定パラメータ（図１７）、回転角パラメータ（図１８）の使用例について、それぞれの図面を参考にして詳述する。
【０１１３】
図３は、ワールド座標系とカメラ座標系との関係を図示している。
【０１１４】
ワールド座標系（world  coordinate）３００とカメラ座標系（camera  coordinate）３５０との関係において、ワールド座標系３００とカメラ座標系３５０との距離はｔ  ３０５、ワールド座標系３００とカメラ座標系３５０との回転角Ｒ  ３５５はｘ，ｙ，ｚ軸の回転角度によって定義されうる。
【０１１５】
ｔ  ３０５は、ワールド座標系３００の原点とカメラ座標系３５０の原点との間の距離とみなすことができる。
【０１１６】
回転角Ｒ  ３５５は、ワールド座標系３００のＸ軸、ＸＷ  ３１０を基準とするカメラ座標系３５０のＸ軸、ＸＣ  ３６０の回転角度、ワールド座標系３００のＹ軸、ＹＷ  ３２０を基準とするカメラ座標系３５０のＹ軸、ＹＣ  ３７０の回転角度、ワールド座標系３００のＺ軸、ＺＷ  ３３０を基準とするカメラ座標系３５０のＺ軸、ＺＣ  ３８０によって決定されうる。回転角Ｒ  ３５５は、３ｘ３行列でありうる。
【０１１７】
ワールド座標系３００上の座標ＭＷと、カメラ座標系３５０上の座標ＭＣとの対応関係は、式（１）によって定義される。
【０１１８】
ＭＣ＝Ｒ−１ＭＷ−Ｒ−１ｔ      （１）
任意の座標３０２は、ワールド座標系３００に対して、ＰＷ３４０であるとき、式（１）によって、カメラ座標系３５０に対して、ＰＣ３９０でマッチングされる。
【０１１９】
図４は、カメラ座標系上の座標と、これに対応する映像上の座標とのの関係を図示している。
【０１２０】
カメラ座標系４００と、カメラ座標系４００のＺＣ軸に対して垂直（ＸＣ−ＹＣ平面に平行）に配された映像４２０とを利用し、二者の関係について述べる。カメラ座標系４００上の任意の座標（Ｘ，Ｙ，Ｚ）４１０は，映像４２０上の点（ｘ，ｙ，ｆ）４３０に対応する。
【０１２１】
２つの座標（Ｘ，Ｙ，Ｚ）４１０及び（ｘ，ｙ，ｆ）４３０の関係は、比例式４５０、とそれから誘導された関係式４６０とによって説明される。これを簡素化すれば、式（２）の通りである。
【０１２２】
ｓ・ｍ＝Ａ・ＭＣ      （２）
ここで、ｓは、縦横比（aspect  ratio）、ｍは、映像上の座標、Ａは、カメラ内部パラメータ、ＭＣは、カメラ座標系上の座標を示す。縦横比ｓは、ｓ＝（ｓｘ，ｓｙ）であり、カメラ内部パラメータ・マトリックスＡは、Ａ＝［−ｆ／ｓｘ，０，０；０，−ｆ／ｓｙ，０；０，０，１］で表現されうる。
【０１２３】
ｓ・ｍ＝Ａ・（Ｒ−１ＭＷ−Ｒ−１ｔ）      （３）
式（３）によって、ワールド座標系上の座標と映像上の座標との関係が表現される。
【０１２４】
主点は、映像と光軸との交差点である。カメラによって撮影された領域が、映像に正確に対応し、カメラの撮影領域の中点と映像の中点とが、正確に一致することが望ましいが、一致しない場合がありうる。また、カメラによって撮影された領域の中点と映像の主点とが一致することが望ましいが、一致しない場合が生じうる。
【０１２５】
図５は、撮影映像座標と再生映像上の座標との関係を図示している。
【０１２６】
カメラで撮影された映像５１０と再生画面５００とを対応させるとき、撮影映像５１０の原点５３０は、再生画面５００の原点（ｏｘ，ｏｙ）５６０に、撮影映像５１０の任意の座標（ｘ，ｙ）５４０は、再生画面５００の座標（ｘｉｍ，ｙｉｍ）５７０に対応する。
【０１２７】
カメラのハードウェア特性上、単位横サイズをｓｘ
５２０、単位縦サイズをｓｙ ５３０とすれば、座標（ｘ，ｙ）５４０と座標（ｘｉｍ，ｙｉｍ）５７０との関係は、数式５０５によって定義されうる。ｙ成分に対して、数式５０５に関係式４６０を代入すれば、関係式５５５が誘導される。関係式５５５は、再生画面とカメラ座標系との関係を表現する。
【０１２８】
図６は、ステレオスコピック・カメラの平行移動情報及び回転角情報を図示している。
【０１２９】
ステレオスコピック・カメラの第１視点カメラ座標系と第２視点カメラ座標系との関係は、２つの座標系間の平行移動及び回転角の関係で表現される。一実施形態による第１視点カメラ座標系及び第２視点カメラ座標系は、ｘ軸を同一線上に配し、第１視点カメラ座標系をワールド座標系と同一視するという仮定下に、以下、第１視点カメラ座標系と第２視点カメラ座標系との関係について説明する。
【０１３０】
平行移動情報は、第１視点カメラ座標系を基準に、第２視点カメラ座標系の距離を表現するので、第１視点カメラの平行移動マトリックスは、（０，０，０）であり、第２視点カメラの平行移動マトリックスは、ｔ＝（ｔｘ，ｔｙ，ｔｚ）で表現される。従って、平行移動情報は、第２視点カメラ座標系の平行移動マトリックスだけで表現されうる。
【０１３１】
第１視点カメラ座標系をワールド座標系とみなし、第２視点カメラ座標系の回転角度を表現するので、第１視点カメラの回転角マトリックスは、Ｉ＝［１，０，０；０，１，０；０，０，１］であり、第２視点カメラの回転角マトリックスは、Ｒ＝ｆ（ａ，ｂ，ｃ）で表現される。従って、回転情報は、第２視点カメラ座標系の回転角マトリックスだけで表現されうる。
【０１３２】
一般的に回転情報は、３ｘ３行列構造であるが、ｘ，ｙ，ｚ軸に対する角度で表現することもできる。すなわち、回転情報は、Ｒ＝Ｒ（φｘ，φｙ，φｚ）＝Ｒ（φｘ）・Ｒ（φｙ）・Ｒ（φｚ）で表現されうる。
【０１３３】
図７は、第１視点カメラ座標系と第２視点カメラ座標系との関係を図示している。
【０１３４】
第１視点カメラ座標系７００と第２視点カメラ座標系との関係７５０は、２つの座標系の平行移動情報及び回転情報で表現される。
【０１３５】
すなわち、第１視点カメラ座標系７００の原点と第２視点カメラ座標系７５０の原点とが、ｔ  ７１０ほど平行移動されて配されているので、平行移動情報は、ｔ＝（ｔｘ，ｔｙ，ｔｚ）で表現される。また、第１視点カメラ座標系７００に対する第２視点カメラ座標系７５０の回転角度がＲ
７６０であるから、回転情報は、Ｒ＝ｆ（ａ，ｂ，ｃ）で表現される。
【０１３６】
従って、任意の座標７２０が第１視点カメラ座標系７００に対しては、Ｐ１  ７３０に位置するが、第２視点カメラ座標系７５０に対しては、点Ｐ２  ７４０に位置する。Ｐ１  ７３０及びＰ２  ７４０は、回転情報Ｒ及び平行移動情報ｔで定義されもする。
【０１３７】
図８は、ＩＳＯ基盤のメディアファイル・フォーマットによるファイル・フォーマットの構造を図示している。
【０１３８】
国際標準化機構（ＩＳＯ：International  Standards  Organization）基盤のメディアファイル・フォーマット８００は、ｍｏｏｖボックス８１０及びｍｄａｔボックス８５０を含む。
【０１３９】
ｍｏｏｖボックス８１０には、映像情報及び音声情報に係わる基本的なヘッダ情報が挿入される。ｍｏｏｖボックス８１０は、ｔｒａｋボックス８２０，８２５などの多様なボックスを含む。ｔｒａｋボックス８２０，８２５は、ｍｄａｔボックス内の映像情報及び音声情報の保存位置などについての情報を含む。ｍｄａｔボックス８５０は、実際の映像データ及び音声データが基礎ストリーム（ＥＳ：elementary  stream）形態で含まれている。ＩＳＯ基盤のメディアファイル・フォーマット８００は、ＭＰＥＫ−４（Moving  Picture  Experts  Group−４）方式、ＡＶＣ／Ｈ．２６４（Advanced  Video  Coding／Ｈ．２６４）方式に広く使われる映像データ及び音声データのフォーマットである。
【０１４０】
図９は、ＩＳＯ基盤のメディアファイル・フォーマットによるファイル構造を構成するボックス・リストを図示している。
【０１４１】
ＩＳＯ基盤のメディアファイル・フォーマットによるファイル構造を構成するボックス・リスト９００は、階層的構造を有する。最上位にｆｔｙｐボックス９１０、ｍｏｏｖボックス９２０、ｍｄａｔボックス９３０、ｍｅｔａボックス９４０、その他ボックス９５０が位置する。
【０１４２】
ｆｔｙｐボックス９１０は、ファイルタイプと互換性とについての情報を含む。ステレオスコピック映像データに係わるファイル・フォーマットであることを示すために、「ｍａｊｏｒ＿ｂｒａｎｄ」は、「ｓｓａｖ」に設定される。
【０１４３】
ｍｏｏｖボックス９２０は、タイムド・リソース（timed  resource）のあらゆるメタデータのための空間である。ｍｏｏｖボックス９２０以下のｔｒａｋボックス９６０は、メインＡＶ（audio  and  video）データまたは付加データを識別する個別的なトラックまたはストリームのための空間である。ｔｒａｋボックス９６０以下のｍｄｉａボックス９６２は、トラック内のあらゆるメディア情報のための空間である。
【０１４４】
ｍｄａｔボックス９３０は、実際のメディア・データの空間である。
【０１４５】
ｍｅｔａボックス９４０は、メタデータのための空間である。本発明の一実施形態は、ｍｅｔａボックス９４０の下位レベルに、ｓｃｄｉボックス９８０を挿入し、ｓｃｄｉボックス９８０に、ステレオスコピック・カメラ情報及びステレオスコピック視差情報を挿入する。
【０１４６】
本発明の他の実施形態は、ステレオスコピック・カメラ情報を挿入するための空間として、最上位ボックス９５０、ｍｏｏｖボックス９２０以下のボックス９７０，ｔｒａｋボックス９６０以下のボックス９６６、ｍｄｉａボックス９６２以下のボックス９６４、及びｍｅｔａボックス９４０以下の任意のボックス９９０のうち少なくとも一つを選択できる。
【０１４７】
図１０は、ステレオスコピック映像に係わるさまざまなパラメータを具現するためのシンタックスを図示する。
【０１４８】
本発明の一実施形態は、ステレオスコピック・カメラ情報及びステレオスコピック視差情報を具現するためのシンタックス１０００に、ステレオスコピック映像のそれぞれの視点映像間の視差情報を示すパラメータ１０２０、及びステレオスコピック映像を撮影したカメラについての情報を示すパラメータ１０４０を追加する。本発明の一実施形態によるカメラ・パラメータを具現するために、ｓｃｄｉボックス９８０を定義するシンタックス１０００は、下記のパラメータを含むことができる。
【０１４９】
「ｉｔｅｍ＿ｃｏｕｎｔ」パラメータは、ステレオスコピック・データの区間データを示すアイテムの番号を示す。多数の区間データが同じカメラ情報／視差情報を有するならば、「ｉｔｅｍ＿ｃｏｕｎｔ」パラメータは、「１」に設定されうる。
【０１５０】
「ｉｔｅｍ＿ＩＤ」パラメータは、ステレオスコピック区間データのためのｉｌｏｃボックス内に記録されたアイテム識別情報を示す。ｉｌｏｃボックスには、アイテム位置情報が挿入される。
【０１５１】
「ｉｓ＿ｉｔｅｍ＿ＩＤ＿ｒｅｆ」パラメータは、現在アイテムが他のアイテムのパラメータを使用しているか否かを示す。「ｒｅｆ＿ｉｔｅｍ＿ＩＤ」パラメータは、参照アイテムの「ｉｔｅｍ＿ＩＤ」パラメータを示す。アイテムのｓｄｃｉボックス内のカメラ情報／視点情報が使用可能なアイテムが参照されねばならない。
【０１５２】
「ｉｓ＿ｄｉｓｐｌａｙ＿ｓａｆｅｔｙ＿ｉｎｆｏ」パラメータは、視差情報が挿入されているか否かを示す。「ｅｘｐｅｃｔｅｄ＿ｄｉｓｐｌａｙ＿ｗｉｄｔｈ」パラメータ及び「ｅｘｐｅｃｔｅｄ＿ｄｉｓｐｌａｙ＿ｈｅｉｇｈｔ」パラメータは、それぞれ予想されるディスプレイの幅及び高さを示す。「ｅｘｐｅｃｔｅｄ＿ｖｉｅｗｉｎｇ＿ｄｉｓｔａｎｃｅ」パラメータは、予想される視聴距離を示す。ディスプレイの幅／高さ、視聴距離は、ミリメートル単位で定義されうる。「ｍｉｎ＿ｏｆ＿ｄｉｓｐａｒｉｔｙ」パラメータ及び「ｍａｘ＿ｏｆ＿ｄｉｓｐａｒｉｔｙ」パラメータは、それぞれ第１視点映像と第２視点映像との最小視差及び最大視差を示す。
【０１５３】
「ｉｓ＿ｃａｍ＿ｐａｒａｍｓ」パラメータは、カメラ情報が挿入されているか否かを示す。「ｂａｓｅｌｉｎｅ」パラメータは、２つのカメラ間の距離を示す。「ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータは、光学的中心（optical  center）から映像平面までの距離を示す。「ｃｏｎｖｅｒｇｅｎｃｅ＿ｄｉｓｔａｎｃｅ」パラメータは、２つのカメラ間の中点から収斂点までの距離を示す。「ｉｓ＿ｃａｍｅｒａ＿ｃｒｏｓｓ」パラメータは、ステレオスコピック・カメラが平行状または交差状に配されているか否かを示す。
【０１５４】
ステレオスコピック映像データと共に、ステレオスコピック映像に係わるカメラ情報及び視差情報が提供されるので、復元されたステレオスコピック映像を再生するとき、カメラ情報及び視差情報を利用すれば、ステレオスコピック映像の立体感が増大し、立体感による視聴者の疲労感が減少しうる。
【０１５５】
以下、本発明の多様な実施形態によって、ステレオスコピック映像のカメラ情報／視差情報のための、シンタックス１０００内において、カメラ・パラメータのシンタックス１０４０部分を代替しうるシンタックスが、図１１ないし図１８を参考にして詳述する。
【０１５６】
図１１は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの一例を図示している。
【０１５７】
ステレオスコピック・カメラ情報シンタックス１１００は、「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０を使用する。「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０は、前述の焦点距離不一致パラメータであり、第１視点カメラの焦点距離（以下、「第１焦点距離」とする）と、第２視点カメラの焦点距離（以下、「第２焦点距離」とする）とが異なるか否かを示す。「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１２０は、第１焦点距離を示す。すなわち、カメラ情報として第１焦点距離が使われる。
【０１５８】
ｉｆ条件文１１３０で、「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０が「１」を満足するならば、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０が使われる。すなわち、焦点距離不一致パラメータによって、第１焦点距離及び第２焦点距離が異なると判断されるならば、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０が示す第２焦点距離も使われる。
【０１５９】
ｉｆ条件文１１３０で、「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０が「０」を満足するならば、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０は、使われない。焦点距離不一致パラメータによって、第１焦点距離及び第２焦点距離が同じであると判断されるので、第１焦点距離一つだけで、第１視点カメラ及び第２視点カメラの焦点距離を表現できる。図１１に図示されていないが、第２焦点距離一つだけでも、第１視点カメラ及び第２視点カメラの焦点距離が表現されうる。
【０１６０】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部を含み、焦点距離パラメータ決定部は、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１２０を決定する。また、焦点距離不一致パラメータ決定部によって決定された「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０に基づいて、焦点距離パラメータ決定部は、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０を決定するか否かを決定する。
【０１６１】
また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部を含み、焦点距離パラメータ抽出部は、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１２０を抽出する。焦点距離不一致パラメータ抽出部によって抽出された「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０に基づいて、焦点距離パラメータ抽出部は、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０を抽出するか否かを決定する。
【０１６２】
図１２は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの他の例を図示している。
【０１６３】
ステレオスコピック・カメラ情報シンタックス１２００は、「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０を使用せずに、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２２０及び「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２４０をいずれも使用する。すなわち、第１焦点距離及び第２焦点距離が別個に使われる。第１視点と第２視点は、左側視点及び右側視点でありうる。
【０１６４】
もし第２視点の焦点距離情報が保存または伝送されない場合、第１視点焦点距離と第２視点焦点距離とが同じであると見なされる。
【０１６５】
従って、一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部を含み、焦点距離パラメータ決定部は、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２２０及び「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２４０を決定する。
【０１６６】
また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部を含み、焦点距離パラメータ抽出部は、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２２０及び「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２４０を抽出する。
【０１６７】
図１３は、本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの一例を図示している。
【０１６８】
焦点距離は、水平成分と垂直成分との２つのパラメータで表現されうる。ステレオスコピック・カメラ情報シンタックス１３００は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３２０及び「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３４０を使用する。「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３２０は、焦点距離の水平成分を示し、「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３４０は、焦点距離の垂直成分を示す。
【０１６９】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部を含み、焦点距離パラメータ決定部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３２０及び「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３４０を決定する。
【０１７０】
また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部を含み、焦点距離パラメータ抽出部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３２０及び「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３４０を抽出する。
【０１７１】
図１４は、本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの他の例を図示している。
【０１７２】
焦点距離は、焦点距離の水平成分と垂直成分との比率である焦点距離縦横比を利用すれば、水平成分及び垂直成分のうちいずれか一つだけでも表現されうる。ステレオスコピック・カメラ情報シンタックス１４００は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０及び「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１４４０を使用する。「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０は、焦点距離の水平成分を示し、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１４４０は、焦点距離の縦横比を示す。他の実施形態では、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０の代わりに、「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータが使われうる。
【０１７３】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部及び焦点距離縦横比決定部を含むことができる。焦点距離パラメータ決定部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０を決定し、焦点距離縦横比決定部は、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１４４０を決定できる。
【０１７４】
また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部及び焦点距離縦横比抽出部を含むことができる。焦点距離パラメータ抽出部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０を抽出でき、焦点距離縦横比抽出部は、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１４４０を抽出できる。
【０１７５】
図１５は、本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスのさらに他の例を図示している。
【０１７６】
ステレオスコピック・カメラ情報シンタックス１５００は、「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０を使用する。「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０は、前述の焦点距離縦横比利用パラメータであり、焦点距離を表現するために、焦点距離縦横比を利用しているか否かを示す。「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１５２０は、第１焦点距離を示す。
【０１７７】
ｉｆ条件文１５３０で、「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０が「１」を満足するならば、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０が使われる。すなわち、焦点距離縦横比が利用されると判断されるならば、焦点距離パラメータが宣言されて使われる。
【０１７８】
ｉｆ条件文１５３０で、「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０が「０」を満足するならば、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０は、別途に定義されない。一実施形態では、ｉｆ条件文１５３０で、「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０が「０」を満足するならば、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０は、別途に定義されず、「１」と見なされる。すなわち、焦点距離縦横比が利用されないと判断されるならば、焦点距離縦横比が１と見なされ、焦点距離の水平成分と垂直成分とが同一であると判断されうる。
【０１７９】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部、焦点距離縦横比パラメータ決定部及び焦点距離縦横比利用パラメータ決定部を含む。焦点距離パラメータ決定部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１５２０を決定する。また、焦点距離縦横比利用パラメータ決定部によって決定された「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０に基づいて、焦点距離縦横比パラメータ決定部は、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０を決定するか否かを決定する。
【０１８０】
また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部、焦点距離縦横比パラメータ抽出部及び焦点距離縦横比利用パラメータ抽出部を含む。焦点距離パラメータ抽出部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１５２０を抽出する。また、焦点距離縦横比利用パラメータ抽出部によって抽出された「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０に基づいて、焦点距離縦横比パラメータ抽出部は、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０を抽出するか否かを決定する。
【０１８１】
図１６は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ主点パラメータを具現するためのシンタックスの一例を図示している。
【０１８２】
主点は、カメラによって撮影された映像の中点を意味する。主点は、それぞれの視点映像ごとに別個に表現され、ｘ，ｙ成分別に表現されうる。一実施形態は、第１視点映像が左視点映像、第２視点映像が右視点映像でありうる。
【０１８３】
ステレオスコピック・カメラ情報シンタックス１４００は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６７０を使用する。「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６４０は、第１視点映像の主点のｘ成分、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６５０は、第１視点映像の主点のｙ成分、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６６０は、第２視点映像の主点のｘ成分、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６７０は、第２視点映像の主点のｙ成分を示す。
【０１８４】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、主点パラメータ決定部を含むことができる。主点パラメータ決定部は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６７０を決定できる。
【０１８５】
また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、主点パラメータ抽出部を含むことができる。主点パラメータ抽出部は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６７０を抽出できる。
【０１８６】
図１７は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ主点パラメータを具現するためのシンタックスの他の例を図示している。
【０１８７】
ステレオスコピック・カメラ情報シンタックス１７００は、「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０を使用する。「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０は、前述の主点情報設定パラメータであり、主点情報が設定されているか否かを示し、映像の主点がカメラの中点と異なる場合を別途に定義するためのパラメータである。
【０１８８】
ｉｆ条件文１７３０で、「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０が「１」を満足するならば、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７７０が使われる。すなわち、主点情報が利用されると判断されるならば、主点パラメータ１７４０，１７５０，１７６０，１７７０が宣言されて使われる。
【０１８９】
ｉｆ条件文１７３０で、「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０が「０」を満足するならば、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７７０は、宣言されないまま、別途に定義されない。一実施形態では、ｉｆ条件文１７３０で、「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０が「０」を満足するならば、主点パラメータ１７４０，１７５０，１７６０，１７７０は、別途に定義されずに、それぞれの視点カメラの中点と、それぞれの視点映像の主点とが一致すると見なされる。
【０１９０】
一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、主点パラメータ決定部及び主点情報設定パラメータ決定部を含む。主点情報設定パラメータ決定部によって決定された「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０に基づいて、主点パラメータ決定部は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７７０を決定する。
【０１９１】
また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、主点パラメータ抽出部及び主点情報設定パラメータ抽出部を含む。主点情報設定パラメータ抽出部によって抽出された「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０に基づいて、主点パラメータ抽出部は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７７０を抽出する。
【０１９２】
図１８は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ回転角パラメータを具現するためのシンタックスの一例を図示している。
【０１９３】
ステレオスコピック・カメラ情報シンタックス１８００は、「ｒｏｔａｔｉｏｎ」パラメータを含む。「ｒｏｔａｔｉｏｎ」パラメータは、回転角情報であり、ｘ，ｙ，ｚ軸方向の回転角がそれぞれ使われるので、３個の角度値で表現されうる。また、「ｒｏｔａｔｉｏｎ」パラメータ１８２０は、３ｘ３マトリックスとしても表現されうるので、「ｒｏｔａｔｉｏｎ［３］［３］」と表現され、サイズ９の配列である「ｒｏｔａｔｉｏｎ［９］」１８２０と表現されもする。
【０１９４】
図１８に図示されていないが、ステレオスコピック・カメラ情報シンタックス１８００は、平行移動パラメータを使用することもできる。平行移動パラメータは、第１視点カメラ座標系と第２視点カメラ座標系との間の距離を、「ｔｒａｎｓｌａｔｉｏｎ［３］」の形態で表現できる。
【０１９５】
従って、ステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、回転角パラメータ決定部を含み、回転角パラメータ決定部は、「ｒｏｔａｔｉｏｎ［９］」パラメータ１８２０を決定する。
【０１９６】
また、ステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、回転角パラメータ抽出部を含み、回転角パラメータ抽出部は、「ｒｏｔａｔｉｏｎ［９］」パラメータ１８２０を抽出する。
【０１９７】
図１９は、本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法を利用するステレオスコピック映像ファイル生成システムのブロック図を図示している。
【０１９８】
一実施形態によるステレオスコピック映像ファイル生成システム１９００は、第１視点カメラ１９０２、第２視点カメラ１９０４、多視点映像またはモノ映像カメラ１９０６、入力部１９１０、映像信号処理部１９２０、保存部１９３０、符号化部１９４０及びファイル生成部１９６０を含む。
【０１９９】
第１視点カメラ１９０２、第２視点カメラ１９０４それぞれのカメラは、所定被写体を第１視点または第２視点で撮影し、互いに異なる視点の映像を出力する。単一視点映像も提供される場合であるならば、モノ映像カメラ１９０６からモノスコピック映像データが出力される。カメラから出力された映像は、入力部１９１０を介して入力される。
【０２００】
入力部１９１０に入力された映像は、映像信号処理部１９２０を介して前処理（pre-processing）される。前処理動作の一例は、アナログ値の外部映像値をデジタル値に変換する動作である。ここで、外部映像値とは、ＣＣＤ（charge-coupled  device）タイプまたはＣＭＯＳ（complementary  metal-oxide  semiconductor）タイプのセンサを介して認識された光とカラーとの成分を意味する。
【０２０１】
保存部１９３０は、映像信号処理部１９２０によって前処理されたそれぞれの映像データを保存し、符号化部１９４０に提供する。保存部１９３０が別途に図示されてはいるが、ステレオスコピック映像ファイル生成システム１９００が、保存部１９３０以外に、他の構成要素間でバッファリングする他の保存構成を含まないものではない。
【０２０２】
符号化部１９４０は、保存部１９３０から提供されたそれぞれの映像データを符号化する。符号化部１９４０のデータの符号化動作は、必要によって省略されもする。
【０２０３】
ファイル生成部１９６０は、符号化部１９４０から入力された（符号化された）映像データ及びそれぞれの映像の関連関係情報１９５０を、所定ファイル・フォーマットに挿入し、映像ファイル１９７０を生成する。映像関連関係情報１９５０は、それぞれの映像データの関連関係を表現するためのｔｒａｋボックスの参照情報と、それぞれの映像データのメディア・タイプを示すためのハンドラ（handler）情報などを含むことができる。
【０２０４】
また、映像関連関係情報１９５０は、それぞれの映像の２Ｄ（two-dimendional）映像関連情報及び３Ｄ映像関連情報を含むことができる。３Ｄ映像関連情報は、第１視点映像及び第２視点映像間の関係を示し、２Ｄ／３Ｄデータ区間についての情報、第１視点映像及び第２視点映像の配置方式についての情報、映像ファイルタイプ情報、カメラ・パラメータ、ディスプレイ情報、視差情報などを含むことができる。
【０２０５】
ファイル生成部１９６０の一実施形態は、それぞれの映像データを映像ファイル１９７０のメディア・データ領域に保存し、それぞれの映像関連関係情報１９５０を、ヘッダ領域に保存することができる。映像ファイル１９７０がＩＳＯ基盤のメディアファイル・フォーマットである場合、それぞれの映像データは、ｍｄａｔボックスにＥＳ形態で保存され、それぞれの映像関連関係情報１９５０は、ｔｒａｋボックス、及びそれ以下のボックスらに保存されうる。
【０２０６】
映像ファイル１９７０は、立体映像ファイル再生装置に入力されたり伝送されたりする。
【０２０７】
図２０は、本発明の一実施形態によるステレオスコピック映像復元方法を利用するステレオスコピック映像復元／再生システムのブロック図を図示する。
【０２０８】
一実施形態と異なるステレオスコピック映像復元／再生システム２０００は、ファイル分析部２０２０、復号化部２０３０、保存部２０４０、再生部２０５０及び表示部２０６０を含む。
【０２０９】
ファイル分析部２０２０は、受信された映像ファイル２０１０を分析する。分析の結果、ファイル領域（ｆｔｙｐボックス）、ムーブ領域（ｍｏｏｖボックス）、トラック領域（ｔｒａｋボックス）、メタデータ領域（ｍｅｔａボックス）にそれぞれ保存された情報が分析された後、メディア・データ領域（ｍｄａｔボックス）に保存されたそれぞれの映像データが抽出されうる。それぞれの映像データとして、第１視点映像データ２０２２、第２視点映像データ２０２４、その他の多視点映像／モノスコピック映像２０２６が抽出されうる。ファイル分析によって、映像データ関連情報２０２８が抽出されうる。映像データ関連情報２０２８は、相互関連したトラックについてのトラック参照情報などのそれぞれの視点映像関連関係情報を含むことができる。
【０２１０】
復号化部２０３０は、映像ファイル２０１０から抽出されたそれぞれの映像データ２０２２，２０２４，２０２６などを入力されて復号化する。映像ファイル内の映像データが符号化されている場合にだけ、復号化動作が行われる。保存部２０４０は、復号化部２０３０から出力された（復号化された）映像データ２０３５を入力され、ファイル分析部２０２０から抽出された映像データ関連情報２０２８を入力されて保存する。
【０２１１】
再生部２０５０は、保存部２０４０から、再生される映像データ２０４５及び映像再生関連情報２０４８を入力されて映像を再生する。映像再生関連情報２０４８は、映像データ関連情報２０４８のうち、映像を再生するために必要な情報であり、それぞれの視点映像の関連関係情報を含む。
【０２１２】
再生部２０５０は、映像再生関連情報２０４８を利用し、映像データ２０４５を２Ｄまたは３Ｄの必要な再生方式で再生できる。例えば、再生部２０５０は、映像データの識別情報を参照し、相互関連したステレオスコピック映像を合成して再生できる。また、再生部２０５０は、映像データの識別情報及び２Ｄ／３Ｄデータ区間情報を参照し、相互関連したステレオスコピック映像とモノスコピック映像とを共に再生することもできる。
【０２１３】
表示部２０６０は、再生部２０５０が再生する映像を画面上に表示できる。表示部２０６０は、バリアＬＣＤ（barrier  liquid  crystal  display）で構成されうる。バリアＬＣＤがオフ（off）状態で駆動されれば、モノスコピック映像が表示され、バリアＬＣＤがオン（on）状態で駆動されれば、ステレオスコピック立体映像のそれぞれの視点映像が表示されうる。
【０２１４】
図２１は、本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法のフローチャートを図示している。
【０２１５】
段階２１１０で、ステレオスコピック映像データが符号化される。
【０２１６】
段階２１２０で、ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータが決定される。カメラ・パラメータは、焦点距離関連パラメータ、主点関連パラメータ、平行移動パラメータ、回転角パラメータ、縦横比パラメータなどを含むことができる。焦点距離関連パラメータは、焦点距離だけではなく、視点別焦点距離が不一致であるか否かを示す情報、縦横比を利用して焦点距離の表現いかんを示す情報などを含むことができる。主点関連パラメータは、主点だけではなく、カメラの中点以外に、映像の主点を別個に設定するか否かを示す情報を含むことができる。
【０２１７】
段階２１３０で、符号化された映像データ及びカメラ・パラメータがデータ・ストリームに挿入される。一例として、ＩＳＯ基盤のメディアファイル・フォーマットのデータ・ストリームが生成される場合、映像データは、ｍｄａｔボックスに、カメラ・パラメータは、ｍｏｏｖボックスの下位ボックス，ｔｒａｋボックス，ｔｒａｋボックスの下位ボックス、ｍｅｔａボックス，ｍｅｔａボックスの下位ボックスに挿入されうる。
【０２１８】
図２２は、本発明の一実施形態によるステレオスコピック映像復元方法のフローチャートを図示する。
【０２１９】
段階２２１０で、受信されたデータ・ストリームから、ステレオスコピック映像のデータ及びステレオスコピック映像についての情報がパージングされる。一例として、ＩＳＯ基盤のメディアファイル・フォーマットによるデータ・ストリームが受信された場合、ステレオスクピック映像のデータは、ｍｄａｔボックスから、ステレオスコピック映像についての情報は、ｍｏｏｖボックスの下位ボックス、ｔｒａｋボックス、ｔｒａｋボックスの下位ボックス、ｍｅｔａボックス、ｍｅｔａボックスの下位ボックスからパージングされうる。
【０２２０】
段階２２２０で、ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づくカメラ・パラメータが抽出される。カメラ・パラメータは、焦点距離関連パラメータ、主点関連パラメータ、平行移動パラメータ、回転角パラメータ、縦横比パラメータなどを含むことができる。また、焦点距離縦横比利用パラメータ、焦点距離不一致パラメータ、主点情報設定パラメータなどが抽出されうる。
【０２２１】
段階２２３０で、ステレオスコピック映像のデータが復号化されて復元される。
【０２２２】
段階２２４０で、ステレオスコピック映像のデータがカメラ・パラメータを利用して再生される。カメラ・パラメータを利用し、それぞれの視点映像を適切な位置及び時間に再生して表示することによって、さらに正確な２Ｄ及び３Ｄ映像がユーザに提供されうる。
【０２２３】
一方、前述の本発明の実施形態は、コンピュータで実行されうるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されうる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。
【０２２４】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されうることを理解することができるであろう。よって、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
【図１】
0005519647.tif 000002
【図２】
0005519647.tif 000003
【図３】
0005519647.tif 000004
【図４】
0005519647.tif 000005
【図５】
0005519647.tif 000006
【図６】
0005519647.tif 000007
【図７】
0005519647.tif 000008
【図８】
0005519647.tif 000009
【図９】
0005519647.tif 000010
【図１０】
0005519647.tif 000011
【図１１】
0005519647.tif 000012
【図１２】
0005519647.tif 000013
【図１３】
0005519647.tif 000014
【図１４】
0005519647.tif 000015
【図１５】
0005519647.tif 000016
【図１６】
0005519647.tif 000017
【図１７】
0005519647.tif 000018
【図１８】
0005519647.tif 000019
【図１９】
0005519647.tif 000020
【図２０】
0005519647.tif 000021
【図２１】
0005519647.tif 000022
【図２２】
0005519647.tif 000023