(57)【要約】【課題】予め準備された３次元映像だけでなく、視点を変える等、予め用意された３次元映像に各種の変形を加えて３次元映像を表示する。更に、この３次元映像を表示するための情報形式の標準化を図る。【解決手段】複数または単一の映像ストリームと、映像コンテンツを撮影した時の機器に固有の静的パラメータ情報と、映像コンテンツを撮影した時の機器の状態を示す動的パラメータ情報とを情報記録メディアに記録する。静的パラメータ情報には映像コンテンツを撮影した時のレンズ間距離、各レンズの焦点距離、及び各レンズの歪値の少なくとも１つを含み、動的パラメータ情報には、映像コンテンツを撮影した時の機器の各レンズの方向角及び各レンズの位置情報の少なくとも１つを含む。これら映像ストリームのそれぞれは、特定の視点から撮影した画像を含む映像ストリームである。【選択図】図１
2009060154.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツを情報記録メディアに記録する映像コンテンツ記録方法であって、
前記映像コンテンツは、
複数または単一の撮影部で撮影した複数または単一の映像ストリームと、
前記映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と、
前記映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報と、を含む、
映像コンテンツ記録方法。
【請求項２】
前記静的パラメータ情報は、前記映像ストリームを撮影した時の撮影部のレンズ間距離、レンズの焦点距離、レンズの歪値、の少なくとも１つを含む、
請求項１に記載の映像コンテンツ記録方法。
【請求項３】
前記動的パラメータ情報は、前記映像ストリームを撮影した時の撮影部の方向角、撮影部の位置情報、撮影部のレンズの方向角、撮影部のレンズの位置情報、の少なくとも１つを含む、
請求項１または請求項２に記載の映像コンテンツ記録方法。
【請求項４】
前記映像コンテンツは、１つの撮影部を移動させることで異なる視点から撮影した複数の映像ストリームを含む、
請求項１から請求項３の何れか１項に記載の映像コンテンツ記録方法。
【請求項５】
前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも１つは、前記１つの撮影部を移動させることで異なる視点から撮影した時の時間情報を含む、
請求項４に記載の映像コンテンツ記録方法。
【請求項６】
前記映像コンテンツに含まれる１つの映像ストリームは複数のレンズを有する１つの撮影部を有し、前記複数のレンズで異なる視点から撮影した映像を含む、
請求項１から請求項３の何れか１項に記載の映像コンテンツ記録方法。
【請求項７】
前記映像コンテンツは複数の映像ストリームを含み、前記複数の映像ストリームのそれぞれは異なる視点から撮影した時のそれぞれの視点に対応する映像を含む、
請求項４から請求項６の何れか１項に記載の映像コンテンツ記録方法。
【請求項８】
前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも１つは、前記映像ストリームに含まれるそれぞれの映像とその映像を撮影した時の視点とを対応付ける情報を含む、
請求項４から請求項７の何れか１項に記載の映像コンテンツ記録方法。
【請求項９】
前記静的パラメータ情報は予め記録しておく、
請求項１から請求項８の何れか１項に記載の映像コンテンツ記録方法。
【請求項１０】
前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも１つは、それ以外と別ファイルとして前記情報記録メディアに記録する、
請求項１から請求項９の何れか１項に記載の映像コンテンツ記録方法。
【請求項１１】
前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも１つは、それ以外と別のディレクトリに記録する、
請求項１から請求項１０の何れか１項に記載の映像コンテンツ記録方法。
【請求項１２】
前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも２つは、１つのファイルとして前記情報記録メディアに記録する、
請求項１から請求項１１の何れか１項に記載の映像コンテンツ記録方法。
【請求項１３】
前記映像コンテンツは複数の映像ストリームを含み、
前記複数の映像ストリームのそれぞれに対応する前記静的パラメータ情報と前記動的パラメータ情報とのどちらか一方または両方は１つのファイルとして前記情報記録メディアに記録する、
請求項１から請求項１１の何れか１項に記載の映像コンテンツ記録方法。
【請求項１４】
前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも２つは、１つのディレクトリに記録する、
請求項１から請求項１３の何れか１項に記載の映像コンテンツ記録方法。
【請求項１５】
前記映像コンテンツは複数の映像ストリームを含み、
前記複数の映像ストリームのそれぞれに対応する前記静的パラメータ情報と前記動的パラメータ情報とのどちらか一方または両方は１つのディレクトリに記録する、
請求項１から請求項１３の何れか１項に記載の映像コンテンツ記録方法。
【請求項１６】
前記映像ストリーム、前記静的パラメータ情報、前記動的パラメータ情報、の少なくとも１つは、それ以外と別の情報記録メディアに記録する、
請求項１から請求項１５の何れか１項に記載の映像コンテンツ記録方法。
【請求項１７】
映像コンテンツを記録可能な情報記録メディアであって、
請求項１から請求項１６の何れか１項に記載の映像コンテンツ記録方法によって映像コンテンツが記録された、情報記録メディア。
【請求項１８】
映像コンテンツを情報記録メディアに記録する映像コンテンツ記録装置であって、
複数または単一の映像ストリームを撮影する複数または単一の撮影部と、
前記撮影した映像ストリームと前記映像ストリームを撮影した時の前記撮影部に固有の静的パラメータ情報と前記映像ストリームを撮影した時の前記撮影部の状態を示す動的パラメータ情報とを前記映像コンテンツとして前記情報記録メディアに記録する記録部と、を有し、
請求項１から請求項１６の何れか１項に記載の映像コンテンツ記録方法を行う、
映像コンテンツ記録装置。
【請求項１９】
映像コンテンツから３次元映像を生成する映像コンテンツ再生方法であって、
請求項１７に記載の情報記録メディアから、複数または単一の映像ストリームと前記映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と前記映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出し、
前記読み出した複数または単一の映像ストリームと前記静的パラメータ情報と前記動的パラメータ情報とを使って３次元映像を生成する、
映像コンテンツ再生方法。
【請求項２０】
前記映像ストリームは異なる視点から撮影した映像を含む映像ストリームであり、使用する映像ストリームを変更することによって３次元映像を生成する時の視点を変更する、
請求項１９に記載の映像コンテンツ再生方法。
【請求項２１】
前記読み出した前記静的パラメータ情報及び前記動的パラメータ情報の何れかまたは両方を変更し、
前記読み出した複数または単一の映像ストリームと前記変更した静的パラメータ情報及び動的パラメータ情報或いは前記読み出した前記静的パラメータ情報及び動的パラメータ情報とを使って３次元映像を生成する、
請求項１９または請求項２０に記載の映像コンテンツ再生方法。
【請求項２２】
前記読み出した複数または単一の映像ストリームと前記静的パラメータ情報と前記動的パラメータ情報とを使って補間或いは予測によって３次元映像を生成する、
請求項１９に記載の映像コンテンツ再生方法。
【請求項２３】
映像コンテンツの内容を変更する映像コンテンツ編集方法であって、
請求項１７に記載の情報記録メディアから、複数または単一の映像ストリームと前記映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と前記映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出し、
前記読み出した前記静的パラメータ情報及び前記動的パラメータ情報の何れかまたは両方を変更し、
前記読み出した複数または単一の映像ストリームと前記変更した静的パラメータ情報及び動的パラメータ情報の何れかまたは全てを前記情報記録メディアに記録する、
映像コンテンツ編集方法。
【請求項２４】
映像コンテンツから３次元映像を生成する映像コンテンツ再生装置であって、
請求項１７に記載の情報記録メディアから、複数または単一の映像ストリームと前記映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と前記映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出す読出部と、
前記読み出した複数または単一の映像ストリームと前記静的パラメータ情報と前記動的パラメータ情報とを使って３次元映像を生成する生成部とを有する、
映像コンテンツ再生装置。
【請求項２５】
前記読み出した前記静的パラメータ情報及び前記動的パラメータ情報の何れかまたは両方を変更する編集部を有し、
前記生成部は前記読み出した複数または単一の映像ストリームと前記変更した静的パラメータ情報及び動的パラメータ情報若しくは前記読み出した静的パラメータ情報及び動的パラメータ情報を使って３次元映像を生成する、
請求項２４に記載の映像コンテンツ再生装置。
【請求項２６】
前記変更された静的パラメータ情報及び動的パラメータ情報を前記情報記録メディアに記録する更新部を有する、
請求項２５に記載の映像コンテンツ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報記録メディアに映像コンテンツ、特に３次元の映像コンテンツを記録し、その内容を編集し、その映像コンテンツを再生する、映像コンテンツ記録方法、映像コンテンツを記録した情報記録メディア、映像コンテンツ記録装置、映像コンテンツ再生方法、映像コンテンツ編集方法及び映像コンテンツ再生装置に関するものである。
【背景技術】
【０００２】
従来の、情報記録メディアに映像コンテンツを記録し、その内容を編集し、その映像コンテンツを再生する方法や装置であって、特に、３次元の映像コンテンツを再生等することができるものには、例えば下記特許文献１に記載されたステレオ画像表示装置やステレオ画像表示方法があった。
【０００３】
この従来のステレオ画像表示装置９００の主要部のブロック構成を図８に示す。
【０００４】
この従来のステレオ画像表示装置９００は、ユーザが毎回左右一対のステレオ画像を含む画像ファイル名を入力しなくても、複数のステレオ画像を汎用的に順序立てて表示することができることを、特徴とするものである。
【０００５】
全体制御部９０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）と密接に協調して動作することにより、ステレオ画像表示プログラムの起動と終了、他のモジュールの協調動作の制御、及びプログラム全体に関わる幾つかの設定値の記憶、保存、読み出し等を実行する。この全体制御部９０１によって直接制御されるモジュールは、データ処理部９０２及び表示制御部９０３である。
【０００６】
データ処理部９０２は、全体制御部９０１や表示制御部９０３の要求に応じて、各種ファイルの読み出しやステレオ画像データの処理等を実行する。データ処理部９０２は、画像ファイル処理部９０４、表示補正設定ファイル処理部９０５及びステレオ画像データ処理部９０６の３つのサブモジュールを有しており、これらのモジュールを制御することによって、データ処理部９０２としての機能を実行する。
【０００７】
画像ファイル処理部９０４は、画像記憶部９０７から様々な種類（例えば、ＢＭＰ、ＪＰＥＧ、ＰＮＧ等の各形式）の画像ファイルを読み出し、その内容を解析し、必要に応じて圧縮データの復号を行い、予め決められた標準形式の画像データに変換する。
【０００８】
表示補正設定ファイル処理部９０５は、データ処理部９０２を経由して表示制御部９０３の要求を受け取り、ステレオ画像の表示補正に関する設定値をファイルに保存したり、また逆に読み出したりする。
【０００９】
ステレオ画像データ処理部９０６は、表示補正設定ファイル処理部９０５から受け取った表示補正設定データに基づき、画像ファイル処理部９０４から受け取った左右一対の標準形式の画像データを組み合わせて、直視型ディスプレイ（図示せず）で表示する場合に適した形式のステレオ画像データを作成する。
【００１０】
表示制御部９０３は、データ処理部９０２を経由してステレオ画像データ処理部９０６が作成したステレオ画像データを受け取り、直視型ディスプレイ９０８に表示する。また、表示制御部９０３は、キーボード（図示せず）やマウス（図示せず）から入力された表示制御に関するユーザの指示を、ＯＳまたは全体制御部９０１を経由して受け取り、これらの指示に対応した表示制御を行う。
【特許文献１】特開２００１−２１５９４７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記のような従来のステレオ画像表示装置やステレオ画像表示方法では、ユーザが毎回左右一対のステレオ画像の画像ファイル名を入力しなくても、複数のステレオ画像を汎用的に順序立てて表示することが可能であるが、このステレオ画像は予めステレオ表示が可能であるように、準備されたものでなければならなかった。
【００１２】
また、一定範囲で表示補正設定データに基づいて補正可能ではあるが、これは各種の直視型ディスプレイやその他の３次元ディスプレイの仕様に合わせて表示可能となるようデータを補正するものであって、ステレオ画像そのものを生成するものではなく、やはり、ステレオ画像は予めステレオ表示が可能であるように、準備されたものでなければならなかった。
【００１３】
更に、このステレオ画像は予めステレオ表示が可能であるように、準備されたものに限るという制約から、表示されるステレオ画像も予め準備されたものに限られ、例えばステレオ表示の視点を変えるなど、種々の変形を加えて表示することなども不可能であった。
【００１４】
更にまた、この準備されたステレオ画像は、そのデータ構成やファイル構成が機器に固有のものであり、他の各種ステレオ表示が可能な機器で、汎用的に使用することができるものではなかった。
【課題を解決するための手段】
【００１５】
本発明は、上記のような多くの課題を解決するために行われたもので、これらの課題を解決するため、以下のような構成を採用する。
【００１６】
請求項１に記載の発明は、映像コンテンツを情報記録メディアに記録する映像コンテンツ記録方法であって、映像コンテンツは、複数または単一の撮影部で撮影した複数または単一の映像ストリームと、映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と、映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報と、を含む、映像コンテンツ記録方法である。
【００１７】
このような映像コンテンツ記録方法によって記録された３次元映像を表示するための情報は、各種３次元表示可能な機器に汎用的に使用することができ、３次元映像を表示するための情報形式の標準化を図ると同時に、３次元映像情報の流通の促進にも貢献することが可能になる。
【００１８】
請求項２に記載の発明は、静的パラメータ情報は、映像ストリームを撮影した時の撮影部のレンズ間距離、レンズの焦点距離、レンズの歪値、の少なくとも１つを含む、請求項１に記載の映像コンテンツ記録方法である。
【００１９】
このような映像コンテンツ記録方法によって、映像ストリームを撮影した時の撮影部のレンズ間距離、レンズの焦点距離、レンズの歪値等の情報をそのまま使用するだけでなく、種々の値に変更して３次元映像を再生することが可能になる。
【００２０】
請求項３に記載の発明は、動的パラメータ情報は、映像ストリームを撮影した時の撮影部の方向角、撮影部の位置情報、撮影部のレンズの方向角、撮影部のレンズの位置情報、の少なくとも１つを含む、請求項１または請求項２に記載の映像コンテンツ記録方法である。
【００２１】
このような映像コンテンツ記録方法によって、映像ストリームを撮影した時の撮影部の方向角、撮影部の位置情報、撮影部のレンズの方向角、撮影部のレンズの位置情報等の情報をそのまま使用するだけでなく、種々の値に変更して３次元映像を再生することが可能になる。
【００２２】
請求項４に記載の発明は、映像コンテンツは、１つの撮影部を移動させることで異なる視点から撮影した複数の映像ストリームを含む、請求項１から請求項３の何れか１項に記載の映像コンテンツ記録方法である。
【００２３】
このような映像コンテンツ記録方法によって、単一のレンズや単一の撮影部だけを有するような、より低コストで単純な構成で普及型の機器構成でも、３次元映像を撮影し、記録し、それを読み出して再生することが可能になる。
【００２４】
請求項５に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも１つは、１つの撮影部を移動させることで異なる視点から撮影した時の時間情報を含む、請求項４に記載の映像コンテンツ記録方法である。
【００２５】
このような映像コンテンツ記録方法によって、異なる時刻に時分割的に撮影した画像を、時間情報を使用して、あたかも同時並行的に複数の視点から撮影した画像であるかのように編集合成し、３次元映像を再生することが可能になる。
【００２６】
請求項６に記載の発明は、映像コンテンツに含まれる１つの映像ストリームは複数のレンズを有する１つの撮影部を有し、複数のレンズで異なる視点から撮影した映像を含む、請求項１から請求項３の何れか１項に記載の映像コンテンツ記録方法である。
【００２７】
このような映像コンテンツ記録方法によって、必ずしも複数の撮影部や複数のレンズ、複数の撮像素子等を必要とせず、１つの撮影部等だけで複数の視点から見た画像情報を撮影し、記録し、この画像情報を読み出し、３次元映像を再生することが可能になる。
【００２８】
請求項７に記載の発明は、映像コンテンツは複数の映像ストリームを含み、複数の映像ストリームのそれぞれは異なる視点から撮影した時のそれぞれの視点に対応する映像を含む、請求項４から請求項６の何れか１項に記載の映像コンテンツ記録方法である。
【００２９】
このような映像コンテンツ記録方法によって、必要な視点から撮影した映像を含む映像ストリームだけを取り出して複製、移動、編集、再生等を行うことが可能になり、映像ストリームを記録保存するための処理負荷や容量の低減を図ることが可能になる。
【００３０】
請求項８に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも１つは、映像ストリームに含まれるそれぞれの映像とその映像を撮影した時の視点とを対応付ける情報を含む、請求項４から請求項７の何れか１項に記載の映像コンテンツ記録方法である。
【００３１】
このような映像コンテンツ記録方法によって、必ずしも複数の視点で画像を撮影したのが正確に同時でなくても、あたかも同時に撮影した画像であるかのように３次元映像を再生することが可能になり、また、必ずしも画像が撮影された時間の順に正確にその画像が記録されていなくても、撮影された順に正確に画像を再構成し、その画像を使って３次元映像を再生することが可能になる。
【００３２】
請求項９に記載の発明は、静的パラメータ情報は予め記録しておく、請求項１から請求項８の何れか１項に記載の映像コンテンツ記録方法である。
【００３３】
このような映像コンテンツ記録方法によって、通常固定されており変化することはない静的パラメータ情報を撮影時に記録する必要がないので、撮影時の処理負荷を軽減し、より単純かつ低機能の処理部でも複数の視点から見た画像情報を撮影し、記録し、この画像情報を読み出し、３次元映像を再生することが可能になる。
【００３４】
請求項１０に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも１つは、それ以外と別ファイルとして情報記録メディアに記録する、請求項１から請求項９の何れか１項に記載の映像コンテンツ記録方法である。
【００３５】
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかを、それ以外の別ファイルと個別に記録、複製、移動、編集したり、個別に管理することが可能になり、情報を記録保存するための処理負荷や容量の低減を図ることが可能になると同時に、必要な情報だけを取捨選択して円滑に流通させるために必要な情報形式の標準化を図ることも可能になる。
【００３６】
請求項１１に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも１つは、それ以外と別のディレクトリに記録する、請求項１から請求項１０の何れか１項に記載の映像コンテンツ記録方法である。
【００３７】
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかを、それ以外とは別のグループとして記録、複製、移動、編集したり、個別に管理することが可能になり、必要な情報だけを取捨選択して円滑に流通させるために必要な情報の記録保存形式の標準化を図ることも可能になる。
【００３８】
請求項１２に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも２つは、１つのファイルとして情報記録メディアに記録する、請求項１から請求項１１の何れか１項に記載の映像コンテンツ記録方法である。
【００３９】
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかをまとめて記録、複製、移動、編集したり、まとめて管理することが可能になり、記録や管理の手数を低減し、更に、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図ることも可能になる。
【００４０】
請求項１３に記載の発明は、映像コンテンツは複数の映像ストリームを含み、複数の映像ストリームのそれぞれに対応する静的パラメータ情報と動的パラメータ情報とのどちらか一方または両方は１つのファイルとして情報記録メディアに記録する、請求項１から請求項１１の何れか１項に記載の映像コンテンツ記録方法である。
【００４１】
このような映像コンテンツ記録方法によって、静的パラメータ情報と動的パラメータ情報とをまとめて記録、複製、移動、編集したり、まとめて管理することが可能になり、記録や管理の手数を低減し、更に、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図ることも可能になる。
【００４２】
請求項１４に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも２つは、１つのディレクトリに記録する、請求項１から請求項１３の何れか１項に記載の映像コンテンツ記録方法である。
【００４３】
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかをまとめて記録、複製、移動、編集したり、まとめて管理することが可能になり、記録や管理の手数を低減し、更に、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図ることも可能になる。
【００４４】
請求項１５に記載の発明は、映像コンテンツは複数の映像ストリームを含み、複数の映像ストリームのそれぞれに対応する静的パラメータ情報と動的パラメータ情報とのどちらか一方または両方は１つのディレクトリに記録する、請求項１から請求項１３の何れか１項に記載の映像コンテンツ記録方法である。
【００４５】
このような映像コンテンツ記録方法によって、静的パラメータ情報と動的パラメータ情報とをまとめて記録、複製、移動、編集したり、まとめて管理することが可能になり、記録や管理の手数を低減し、更に、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図ることも可能になる。
【００４６】
請求項１６に記載の発明は、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の少なくとも１つは、それ以外と別の情報記録メディアに記録する、請求項１から請求項１５の何れか１項に記載の映像コンテンツ記録方法である。
【００４７】
このような映像コンテンツ記録方法によって、映像ストリーム、静的パラメータ情報、動的パラメータ情報、の幾つかを、それ以外の別ファイルと個別に記録、複製、移動、編集したり、個別に管理することが可能になり、情報を記録保存するための処理負荷や容量の低減を図ることが可能になると同時に、必要な情報だけを取捨選択して円滑に流通させるために必要な情報形式の標準化を図ることも可能になる。
【００４８】
請求項１７に記載の発明は、映像コンテンツを記録可能な情報記録メディアであって、請求項１から請求項１６の何れか１項に記載の映像コンテンツ記録方法によって映像コンテンツが記録された、情報記録メディアである。
【００４９】
このような情報記録メディアによって、複数の視点から見た画像情報を記録保存し、この画像情報を読み出し、３次元映像を再生することが可能になるばかりでなく、これらの情報を円滑に流通させるために必要な記録保存形式の標準化を図り、この記録メディアの流通の促進と拡大を図ることも可能になる。
【００５０】
請求項１８に記載の発明は、映像コンテンツを情報記録メディアに記録する映像コンテンツ記録装置であって、複数または単一の映像ストリームを撮影する複数または単一の撮影部と、撮影した映像ストリームと映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを映像コンテンツとして情報記録メディアに記録する記録部と、を有し、請求項１から請求項１６の何れか１項に記載の映像コンテンツ記録方法を行う、映像コンテンツ記録装置である。
【００５１】
このような映像コンテンツ記録装置によって、複数の視点から見た画像情報を撮影し、記録し、保存し、編集・更新し、この画像情報を読み出し、３次元映像を再生することが可能になるばかりでなく、これらの情報を円滑に流通させるために必要な、記録保存形式が標準化された情報記録メディアを提供することが可能になる。
【００５２】
請求項１９に記載の発明は、映像コンテンツから３次元映像を生成する映像コンテンツ再生方法であって、請求項１７に記載の情報記録メディアから、複数または単一の映像ストリームと映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出し、読み出した複数または単一の映像ストリームと静的パラメータ情報と動的パラメータ情報とを使って３次元映像を生成する、映像コンテンツ再生方法である。
【００５３】
このような映像コンテンツ再生方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、３次元映像を再生することが可能になる。
【００５４】
請求項２０に記載の発明は、映像ストリームは異なる視点から撮影した映像を含む映像ストリームであり、使用する映像ストリームを変更することによって３次元映像を生成する時の視点を変更する、請求項１９に記載の映像コンテンツ再生方法である。
【００５５】
このような映像コンテンツ再生方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、種々の視点から見た３次元映像を再生することが可能になる。
【００５６】
請求項２１に記載の発明は、読み出した静的パラメータ情報及び動的パラメータ情報の何れかまたは両方を変更し、読み出した複数または単一の映像ストリームと変更した静的パラメータ情報及び動的パラメータ情報或いは読み出した静的パラメータ情報及び動的パラメータ情報とを使って３次元映像を生成する、請求項１９または請求項２０に記載の映像コンテンツ再生方法である。
【００５７】
このような映像コンテンツ再生方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、これらの画像を元に、種々の変形を加えた３次元映像を再生することが可能になる。
【００５８】
請求項２２に記載の発明は、読み出した複数または単一の映像ストリームと静的パラメータ情報と動的パラメータ情報とを使って補間或いは予測によって３次元映像を生成する、請求項１９に記載の映像コンテンツ再生方法である。
【００５９】
このような映像コンテンツ再生方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、実際に撮影した視点と視点の間を視点として撮影した画像や、実際に撮影した視点と視点の間よりも外側を視点として撮影した画像を生成し、これらの画像を元に３次元映像を再生することが可能になる。
【００６０】
請求項２３に記載の発明は、映像コンテンツの内容を変更する映像コンテンツ編集方法であって、請求項１７に記載の情報記録メディアから、複数または単一の映像ストリームと映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出し、読み出した静的パラメータ情報及び動的パラメータ情報の何れかまたは両方を変更し、読み出した複数または単一の映像ストリームと変更した静的パラメータ情報及び動的パラメータ情報の何れかまたは全てを情報記録メディアに記録する、映像コンテンツ編集方法である。
【００６１】
このような映像コンテンツ編集方法によって、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、これらの画像を元に、種々の変形を加えた３次元映像を再度記録し、保存することが可能になる。
【００６２】
請求項２４に記載の発明は、映像コンテンツから３次元映像を生成する映像コンテンツ再生装置であって、請求項１７に記載の情報記録メディアから、複数または単一の映像ストリームと映像ストリームを撮影した時の撮影部に固有の静的パラメータ情報と映像ストリームを撮影した時の撮影部の状態を示す動的パラメータ情報とを読み出す読出部と、読み出した複数または単一の映像ストリームと静的パラメータ情報と動的パラメータ情報とを使って３次元映像を生成する生成部とを有する、映像コンテンツ再生装置である。
【００６３】
このような映像コンテンツ再生装置によって、簡単な構成で、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、種々の視点から見た３次元映像を再生することが可能になる。
【００６４】
請求項２５に記載の発明は、読み出した静的パラメータ情報及び動的パラメータ情報の何れかまたは両方を変更する編集部を有し、生成部は読み出した複数または単一の映像ストリームと変更した静的パラメータ情報及び動的パラメータ情報若しくは読み出した静的パラメータ情報及び動的パラメータ情報を使って３次元映像を生成する、請求項２４に記載の映像コンテンツ再生装置である。
【００６５】
このような映像コンテンツ再生装置によって、簡単な構成で、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、これらの画像を元に、種々の変形を加えた３次元映像を再生することが可能になる。
【００６６】
請求項２６に記載の発明は、変更された静的パラメータ情報及び動的パラメータ情報を情報記録メディアに記録する更新部を有する、請求項２５に記載の映像コンテンツ再生装置である。
【００６７】
このような映像コンテンツ再生装置によって、簡単な構成で、複数の視点から見た画像情報を撮影し、記録し、保存されたものを読み出し、実際に撮影した画像だけでなく、これらの画像を元に、種々の変形を加えた３次元映像を再度記録し、保存することが可能になる。
【発明の効果】
【００６８】
本発明によると、必ずしも予め準備された３次元映像だけでなく、視点を変える等、予め用意された３次元映像に各種の変形を加えて３次元映像を表示することが可能になる。更に、この３次元映像を表示するための情報は、各種３次元表示可能な機器に汎用的に使用することができ、３次元映像を表示するための情報形式の標準化を図ると同時に、３次元映像情報の流通の促進にも貢献することが可能になる。
【発明を実施するための最良の形態】
【００６９】
（実施の形態１）
以下に、本発明の実施の形態１について、図面を参照しながら説明する。
【００７０】
図１に、本発明に係る映像コンテンツ記録装置１００の主要部のブロック構成図を示す。この映像コンテンツ記録装置１００は、例えば産業用、民生用、監視、ロボット、医療、分析、計測測定、エンターテインメント、その他様々な目的に使用されるビデオカメラやデジタルカメラ、静止画カメラや動画撮影用のカメラに相当する。映像コンテンツ記録装置１００は、映像データを入力するための２つの部分、即ち、映像入力処理部１２１と映像入力処理部１２３とを有していることが特徴である。この映像入力処理部１２１と映像入力処理部１２３とは、入力した映像を３次元化するための、例えば右目に相当するカメラ部と左目に相当するカメラ部でもある。また、後述するように、この映像データを入力するためのカメラ部に相当する映像入力処理部は必ずしも２つに限るものではなく、３つ、４つ、或いはそれ以上を有していても構わない。或いは映像入力処理部を細分し、その撮像素子や映像信号処理回路は１つであって、被写体の像を撮像素子上に結像する部分（その中心はレンズである）だけが複数あっても構わない。或いはまた、１つの映像入力処理部を移動させながら、時分割的に２つまたはそれ以上の映像入力処理部であるかのように使用することも可能である。これらの一部を各種変形した実施の形態に関しては、後でより詳細に説明をする。
【００７１】
なお、本明細書でいう撮像素子とは、様々な材料・構成のフォトトランジスターやフォトダイオードやその他の光電素子等が、２次元平面形状に各種の構造、例えば格子マトリクス、千鳥格子、ハニカム構造等で並んだ２次元平面撮像素子をいう。例えば、１つのＣＣＤエリアイメージセンサ・チップや、ＣＭＯＳ−平面イメージセンサ等がこれに該当する。
【００７２】
この実施の形態では映像入力処理部１２１には映像データ１０２が入力され、映像入力処理部１２３には映像データ１０４が入力される。この映像データ１０２と映像データ１０４とは同じ被写体を異なる視点、即ち映像入力処理部１２１と映像入力処理部１２３のレンズ位置から撮影した画像（静止画像または動画像）である。また、映像データ１０２と映像データ１０４とは必ずしも完全に同じ被写体であることは必要でなく、その一部だけが同じ被写体であっても構わない。この一部が同じ被写体であるとは、その撮影シーン（撮影領域）の一部が重複していることに相当する。
【００７３】
映像入力処理部１２１と映像入力処理部１２３とで撮影された映像データ１０２と映像データ１０４とは、ＡＶ制御バッファ処理部１２５へ送られ、そこで一旦蓄積され、ユーザインタフェース処理部１６５から送られてきたユーザの操作情報に基づいて、各種の処理が行われる。例えば、ユーザが行う操作例には、ＭＰＥＧ２、Ｈ．２６４等、コーデック方式の指定があり、ユーザが指定したコーデック方法を表す情報がユーザインタフェース処理部１６５からＡＶ制御バッファ処理部１２５へ送られ、ＡＶ制御バッファ処理部１２５ではその情報に基づくコーデックの制御が、ＣＯＤＥＣ処理部１２７に対して実行される。
【００７４】
例えば、その操作情報が映像の３次元録画を行うものであったと仮定する。この時には、ＡＶ制御バッファ処理部１２５へ送られ、一旦蓄積された映像データ１０２と映像データ１０４とはＣＯＤＥＣ処理部１２７へ送られて、所定の符号化処理が実行される。ここで実行される所定の符号化処理とは、例えば動画像データであったならばＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４等を始めとする動画像圧縮符号化であり、例えば静止画像データであったならばＪＰＥＧやＰＮＧ、ＧＩＦ、ＢＭＰ等を始めとする静止画像圧縮符号化である。
【００７５】
ＣＯＤＥＣ処理部１２７で所定の符号化処理が行われた映像データ１０２と映像データ１０４とは、コンテンツ処理部１４２へ送られてストリーム化処理が実行される。ここでいうストリーム化処理とは、例えばパーシャル・トランスポート・ストリーム（以後、「パーシャルＴＳ」という）化を行う処理等である。なお、ここでいうパーシャルＴＳには、例えば符号化処理が行われた動画像や静止画像データだけでなく、音声データや後述する各種属性データや管理データや、その他の各種コンテンツ付属情報を含むものであっても構わないし、これらの一部を含まないものであっても構わない。各種コンテンツ付属情報の例に関しては、後で詳細に説明をする。
【００７６】
例えばパーシャルＴＳ化された映像データ１０２と映像データ１０４とは、メディアアクセス処理部１６１を経て、情報記録メディア１６７に記録される。情報記録メディア１６７とは、例えばＳＤメモリカードを始めとする不揮発半導体メモリを使用した着脱可能なカード型の記録手段や、電池でバックアップされた半導体メモリを使用した着脱可能な記録手段や、ＤＶＤ（デジタル・バーサタイル・ディスク）を使った光学式で着脱可能な記録手段や、ＢＤ（ブルー・レイ・ディスク）を使った光学式で着脱可能な記録手段や、ＨＤＤ（ハード・ディスク・ドライブ）を使った磁気式で着脱不可能（固定式）な記録手段等である。但し、これらの記録手段はあくまでも一例に過ぎず、その他どのような記録手段であっても構わない。また、メディアアクセス処理部１６１とは、上記のような各種記録手段にアクセスするためのデバイスドライバと、これらの各種記録手段上にファイルシステムを構築し、それを制御し、利用するためのファイルシステム処理部等を含むものである。
【００７７】
一方、映像入力処理部１２１と映像入力処理部１２３からは、映像データ１０２と映像データ１０４とを入力した時の各種状態を表す動的機器情報、例えば、映像データ１０２と映像データ１０４とを撮影した時の映像入力処理部１２１と映像入力処理部１２３の向いている方向を表す角度情報や、その存在する位置を表す位置情報、映像入力処理部１２１や映像入力処理部１２３に備えられているレンズの方向を表す角度情報や、各レンズの存在する位置を表す位置情報、その他の各種情報等が、動的機器情報管理部１２９へ送られる。これらそれぞれの情報は地球の緯度経度を座標軸とする絶対的な座標軸で表現された値でも構わないし、その他の各種局所的な座標軸で表現された相対的な値であっても構わない。そして、これらの動的機器情報は、動的機器情報管理部１２９で一旦記憶され、必要に応じて取捨選択が行われることもあり、必要とされたものがコンテンツ付属情報処理部１４４へ送られ、コンテンツ付属情報処理部１４４では、これらの動的機器情報を、例えば上記パーシャルＴＳに含めて情報記録メディア１６７に記録するのに必要な処理が実行される。また、これらの動的機器情報は、必ずしも上記パーシャルＴＳに含まれるのではなく、パーシャルＴＳとは別に情報記録メディア１６７に記録される実施の形態であっても構わない。
【００７８】
静的機器情報管理部１４６では、映像コンテンツ記録装置１００において、映像データ１０２と映像データ１０４とを撮影するのに関係する各種静的パラメータ情報、例えば映像入力処理部１２１と映像入力処理部１２３とに備えられた撮影レンズのレンズ間距離、各レンズの焦点距離、各レンズの歪値、その他の各種情報が記憶管理され、これらの情報もコンテンツ付属情報処理部１４４へ送られ、コンテンツ付属情報処理部１４４では、これらの静的機器情報を、例えば上記パーシャルＴＳに含めて情報記録メディア１６７に記録するのに必要な処理が実行される。これらの静的機器情報も、必ずしも上記パーシャルＴＳに含まれるのではなく、パーシャルＴＳとは別に情報記録メディア１６７に記録される実施の形態であっても構わない。また、この動的機器情報と静的機器情報とがパーシャルＴＳと別に記録される実施の形態では、パーシャルＴＳと動的機器情報と静的機器情報とは、１つのファイルとして情報記録メディア１６７に記録される実施の形態であっても構わないし、これらの幾つかが、別のファイルとして情報記録メディア１６７に記録される実施の形態であっても構わないし、１つのディレクトリに記録される実施の形態であっても構わないし、別のディレクトリに記録される実施の形態であっても構わないし、１つの情報記録メディア１６７に記録される実施の形態であっても構わないし、別の情報記録メディア１６７に記録される実施の形態であっても構わない。また、この静的機器情報は、映像データ１０２と映像データ１０４とを撮影するのに関係する各種静的パラメータ情報であって、通常撮影時には変化しない情報であるので、必ずしもパーシャルＴＳや動的機器情報と同時或いは相前後して情報記録メディア１６７に記録されるのではなく、予め情報記録メディア１６７に記録しておく実施の形態であっても構わないし、後で情報記録メディア１６７に記録する実施の形態であっても構わない。
【００７９】
上記動的パラメータ情報と静的パラメータ情報とは、映像コンテンツに含まれる映像ストリームとその映像ストリームを撮影した時の視点とを対応付ける情報でもある。
【００８０】
コンテンツ付属情報処理部１４４で処理された動的機器情報と静的機器情報とは、コンテンツ処理部１４２へ送られてパーシャルＴＳの中に組み込まれパーシャルＴＳの一部として、或いはパーシャルＴＳの中に組み込まれることはなく別のファイルとして、メディアアクセス処理部１６１へ送られ情報記録メディア１６７に記録される。
【００８１】
情報記録メディア１６７に記録されるパーシャルＴＳの内容と形式については、後で詳細に説明をする。
【００８２】
メニュー処理部１６３は、この映像コンテンツ記録装置１００のユーザがユーザインタフェース処理部１６５を使って操作を行う時に、その操作を助けるメニューやガイドの表示とそれに伴う処理を実行する。
【００８３】
図２には、本発明に係る映像コンテンツ記録装置１００における映像の撮影状態と情報記録メディア１６７の概略を示す。
【００８４】
上記の通り、映像コンテンツ記録装置１００は、映像入力処理部１２１と映像入力処理部１２３の２つの映像入力部を有しており、これら２つの映像入力部によって被写体２０１の映像を撮影する。なお、この映像入力処理部１２１と映像入力処理部１２３とは、必ずしも２つの映像入力部ではなく、１つの映像入力部を時分割で、即ち、移動させながらあたかも２つの映像入力部であるかのように使用する実施の形態であっても構わない。この実施の形態では１つの映像入力部を移動させる時間情報、即ち、映像入力処理部１２１として使用した時間と、映像入力処理部１２３として使用した時間とを記録する必要がある。この時間情報は、撮影された映像ストリームのそれぞれの画像と、撮影した位置（視点）とを対応付ける情報でもある。また、このような実施の形態では、必ずしもレンズ間距離ｄは一定とは限らず、移動させる距離を変更することによって、レンズ間距離ｄを変更可能にすることもできる。
【００８５】
映像入力処理部１２１と映像入力処理部１２３は、それぞれレンズ２２１と撮像素子２２５及びレンズ２２３と撮像素子２２７、それと、図示していない幾つかの部分を有している。また、他の実施の形態では必ずしも２つの撮像素子（撮像素子２２５と撮像素子２２７）を有するのではなく、１つの撮像素子を使用し、その１つの撮像素子の領域を分割して使用する実施の形態であっても構わない。被写体２０１からの光を集めて結像させるのがレンズ２２１とレンズ２２３であり、その像はこの実施の形態では撮像素子２２５と撮像素子２２７とに結像される。撮像素子２２５と撮像素子２２７とはその像を電気信号に変換し、映像コンテンツ記録装置１００は、電気信号に変換された被写体２０１の像を電子的に処理して記憶、保存する。
【００８６】
この時、レンズ２２１とレンズ２２３とは、レンズ間距離ｄを開けて配置されているので、映像入力処理部１２１から入力された映像と、映像入力処理部１２３から入力された映像とは、視点位置がｄの距離だけ異なっており、視野角も異なっている。従って、これらの２つの映像を使うことによって、被写体２０１の３次元的な像を再現することが可能になる。
【００８７】
映像コンテンツ記録装置１００は、このレンズ間距離ｄだけでなく、映像入力処理部１２１と映像入力処理部１２３とが被写体２０１の像を撮影するのに関係するパラメータ情報を多く保有している。このパラメータ情報には、機器に固有の情報であって、各撮影時には変化しないパラメータデータと、それぞれの撮影時に変化するパラメータデータとがある。この機器に固有の情報であって、各撮影時には変化しないパラメータデータを静的機器情報といい、それぞれの撮影時に変化するパラメータデータを動的機器情報という。
【００８８】
静的機器情報には、例えば、映像コンテンツを撮影した時のレンズ間距離、各レンズの焦点距離、各レンズの歪値や、その他の情報があり、動的機器情報には、例えば、映像データ１０２と映像データ１０４とを撮影した時の映像入力処理部１２１と映像入力処理部１２３の向いている方向を表す角度情報や、その存在する位置を表す位置情報、映像入力処理部１２１や映像入力処理部１２３に備えられているレンズの方向を表す角度情報や、各レンズの存在する位置を表す位置情報、その他の各種情報等がある。但し、これらの静的機器情報と動的機器情報とは必ずしも絶対的に固定されたものではなく、例えば、レンズ間距離ｄやレンズの焦点距離、歪値、その他画像の撮影に関する各種パラメータを撮影時に任意に変化させることができるような映像コンテンツ記録装置１００であったならば、それらの値は静的機器情報ではなく、動的機器情報になることもある。
【００８９】
そして、これらの静的機器情報と動的機器情報とは映像ストリームと共に１つのパーシャルＴＳを構成して、或いはそれぞれ個別に、或いはまた、これらの幾つかは１つにまとめそれ以外のものは個別に、全体が１つの映像コンテンツとして情報記録メディア１６７に記録される。
【００９０】
映像入力処理部１２１と映像入力処理部１２３とで撮影された被写体２０１の映像情報を含むパーシャルＴＳや静的機器情報及び動的機器情報は、情報記録メディア１６７に記録される。
【００９１】
この情報記録メディア１６７には、メディアアクセス処理部１６１によって、例えば図２に示すようなディレクトリ構造を有するファイルシステムが構成される。なお、このファイルシステムとディレクトリ構造はあくまでも実施の形態の一例を示すものであり、本発明がこのような実施の形態の構成に限定されるものではない（その他の実施の形態と、その説明について全て同様）。
【００９２】
例えば、被写体２０１を撮影した映像コンテンツをコンテンツ１と名付けると、この映像コンテンツはコンテンツ１フォルダの下に記録保存され、その映像データはコンテンツ１映像ファイル１及びコンテンツ１映像ファイル２として記録保存される。また、この映像コンテンツを撮影した時の静的機器情報と動的機器情報とは、コンテンツ１管理情報ファイル及びコンテンツ１付属情報ファイル１及びコンテンツ１付属情報ファイル２として記録保存される。このようなファイル名やファイル形式、情報の記録法等に関しても、あくまでも実施の形態の一例を示すものであり、本発明がこのような実施の形態に限定されるものではない。
【００９３】
図３には、この情報記録メディア１６７のファイルシステムとディレクトリ構造をより詳細に示す。この図３に示すファイルシステムとディレクトリ構造もまた一例であって、このようなファイルシステムとディレクトリ構造に限定されるものではない。
【００９４】
図３に示すファイルシステムとディレクトリ構造は、例えばＳＤメモリカードを記録メディアとするものであったと仮定する。このＳＤメモリカードも一例であって、ＳＤメモリカードに限定されるものではない。
【００９５】
このＳＤメモリカード全体を含むフォルダとして、例えばＲＯＯＴ（根）という名前の１つのフォルダが存在する。このＲＯＯＴフォルダは、１枚のＳＤメモリカードの記録領域全体をカバーするディレクトリに相当する。この実施の形態でフォルダと呼ぶものは、ディレクトリと呼ばれることがあるものと実質的に変わることはなく、フォルダ構造やフォルダ構成と呼ぶものも、ディレクトリ構造やディレクトリ構成と呼ばれることがあるものと実質的に変わることはない。
【００９６】
このＲＯＯＴフォルダの下に、メディア規格フォルダが存在する。ＳＤメモリカードには、そのフォルダ構造（ディレクトリ構造）とファイルシステムを定める規格があり、この規格に従って情報を記録する方法と、この規格に従うことなく、独自の方式で情報を記録する方法が考えられる。
【００９７】
メディア規格フォルダは、それ以下のフォルダやファイルがＳＤメモリカードの規格に従うことを示している。なお、図３では、メディア規格フォルダを１つだけ示しているが、ＲＯＯＴフォルダの下には、複数のメディア規格フォルダと、複数のＳＤメモリカードの規格に従わないフォルダが存在しても構わない。
【００９８】
このメディア規格フォルダの下に、例えば、管理情報フォルダ、コンテンツ１フォルダ、コンテンツ２フォルダ、コンテンツ３フォルダ、・・・、コンテンツｎフォルダが存在する。なお、これらのフォルダは必ずしも存在しなくても構わない。図３では、管理情報フォルダ、コンテンツ１フォルダ、コンテンツ２フォルダだけを示しているが、このようなコンテンツフォルダ等は１つのメディア規格フォルダの下に幾つ存在しても構わない。
【００９９】
管理情報フォルダには、メディア規格フォルダ内全体の情報を一括管理するための、管理情報ファイルや、その他のファイルが記録されている。この管理情報ファイル等には、このメディア規格フォルダに格納されているコンテンツの数や、メディア規格のバージョン情報等が記録されている。なお、この管理情報ファイルやその他のファイルの全部または一部は、必ずしもこの管理情報フォルダに存在しなくても構わないし、その他のフォルダに存在しても構わないし、メディア規格フォルダの直下に存在しても構わない。
【０１００】
各コンテンツフォルダには、それぞれ１つずつのコンテンツ、例えば映像コンテンツや音声コンテンツ、これら両者を含むマルチメディアコンテンツ等が記録保存されている。通常、１つのコンテンツフォルダに１つのコンテンツが含まれ、１つのコンテンツフォルダは１つのＳＤメモリカードに含まれているが、必ずしもこれに限定されるものではなく、これ以外の形式があっても構わない。
【０１０１】
例えば、コンテンツフォルダは１つで、その中に複数のコンテンツファイルが格納されており、別途、コンテンツ付属情報ファイルを格納するフォルダがあり、このフォルダに全てのコンテンツのコンテンツ付属情報ファイルが格納されても構わない。或いは、例えば、コンテンツフォルダは各コンテンツ毎に存在して各コンテンツファイルはこのフォルダに格納され、コンテンツ付属情報ファイルは共通のフォルダまたはメディア規格フォルダに格納されても構わない。或いは、逆に、コンテンツ付属情報フォルダは各コンテンツ毎に存在して各コンテンツ付属情報ファイルはこのフォルダに格納され、コンテンツファイルは共通のフォルダまたはメディア規格フォルダに格納されても構わない。或いは、幾つかのコンテンツファイルやコンテンツ付属情報ファイルをグループ化して格納するようなコンテンツフォルダが存在しても構わない。或いは、例えば、コンテンツフォルダもコンテンツ付属情報フォルダも存在せず、メディア規格フォルダの直下に複数のコンテンツファイルとコンテンツ付属情報ファイルが格納されていても構わない。或いはまた、これら以外の形式であっても構わない。
【０１０２】
また、１つのコンテンツとは、例えばアナログ地上波放送やデジタル地上波放送、衛星放送等のテレビ放送のコンテンツであったならば、１つの番組に相当するものである。また、ビデオムービーカメラで撮影した映像コンテンツであったならば、１つのまとまった撮影シーンに相当するものである。
【０１０３】
図３に示す通り、例えばこの例では、コンテンツ１フォルダの下に、コンテンツ１管理情報ファイルと、コンテンツ１付属情報ファイル１と、コンテンツ１映像ファイル１と、コンテンツ１付属情報ファイル２と、コンテンツ１映像ファイル２とが存在する。
【０１０４】
コンテンツ１管理情報ファイルは、コンテンツ１に関する様々な管理情報、特に、コンテンツ１に含まれる２つの映像データに共通する情報や、これら２つの映像データの関係を表すデータや、これら２つの映像データを関連付けるデータ、例えば、コンテンツ１を入力した時の各映像入力処理部間の関係を表す静的機器情報や、動的機器情報や、その他の情報等の全部または一部を含んでいる。
【０１０５】
コンテンツ１映像ファイル１は、映像入力処理部１２１から入力された映像データ１０２からなる符号化されたストリーム（パーシャルＴＳ）を含み、コンテンツ１付属情報ファイル１は、映像入力処理部１２１において映像データ１０２を撮影した時の静的機器情報及び動的機器情報を含んでいる。
【０１０６】
コンテンツ１映像ファイル２は、映像入力処理部１２３から入力された映像データ１０４からなる符号化されたストリーム（パーシャルＴＳ）を含み、コンテンツ１付属情報ファイル２は、映像入力処理部１２３において映像データ１０４を撮影した時の静的機器情報及び動的機器情報を含んでいる。
【０１０７】
これらのファイルはそれぞれ、これら以外の他の情報を含んでいても構わない。また、コンテンツ１管理情報ファイル、コンテンツ１付属情報ファイル１、コンテンツ１映像ファイル１、コンテンツ１付属情報ファイル２、コンテンツ１映像ファイル２の各ファイルは、それぞれ実際には複数のファイルから構成されていても構わないし、実際にはこれらの幾つかが１つのファイルとして構成されていても構わない。
【０１０８】
上記の通り、コンテンツ１映像ファイル１は、レンズ２２１を視点として被写体２０１を見た時の映像ストリームに相当し、コンテンツ１映像ファイル２は、レンズ２２３を視点として被写体２０１を見た時の映像ストリームに相当する。
【０１０９】
また、映像入力処理部が３つ以上存在するような実施の形態では、コンテンツ１フォルダの下に、コンテンツ１映像ファイルとコンテンツ１付属情報ファイルとのペアが３つ以上存在することがあっても構わない。
【０１１０】
コンテンツ２フォルダ、コンテンツ３フォルダ、・・・、コンテンツｎフォルダに関しても、コンテンツの内容が変わるだけで、実質的には同様であるから図示と説明を省略する。
【０１１１】
このように、ＳＤメモリカードを使用する情報記録メディア１６７を一例として示すならば、映像コンテンツを記録するためのフォルダとファイルシステムの構造をメディア規格フォルダの下に定めることによって、映像コンテンツの記録形式の標準化を提案し、映像コンテンツの流通の拡大促進を可能にすることができる。このことはまた、映像コンテンツに対する新しい産業分野の創生にもつながるものである。
【０１１２】
また、図３に示すフォルダとファイルシステム構成では、静的機器情報と動的機器情報とを、１つのファイルであるコンテンツ１管理情報ファイルまたはコンテンツ付属情報ファイル１またはコンテンツ付属情報ファイル２に記録しているが、静的機器情報と動的機器情報とを別のファイル、例えば、静的機器情報をコンテンツ付属情報ファイル１−Ｓとコンテンツ付属情報ファイル２−Ｓ、動的機器情報をコンテンツ付属情報ファイル１−Ｍとコンテンツ付属情報ファイル２−Ｍとして記録しても構わない。
【０１１３】
或いは、静的機器情報をコンテンツ１管理情報ファイルにまとめて記録し、動的機器情報をコンテンツ付属情報ファイル１とコンテンツ付属情報ファイル２とに分けて記録しても構わない。
【０１１４】
或いは、これらの内の任意の幾つか、例えば静的機器情報のファイルと動的機器情報のファイル、または動的機器情報のファイルと映像情報のファイル、または静的機器情報のファイルと映像情報のファイル、またはこれらの全てを１つのファイルとして記録しても構わない。例えば上記コンテンツ処理部１４２でパーシャルＴＳを作成する実施の形態は、これら全てを１つのファイル（パーシャルＴＳ）としてストリーム化し、記録する実施の形態の一例である。
【０１１５】
更にまた、図３に示すフォルダとファイルシステム構成では、静的機器情報及び動的機器情報を記録するコンテンツ１管理情報ファイル及びコンテンツ１付属情報ファイル１及びコンテンツ１付属情報ファイル２と、映像データ１０２からなる符号化された映像ストリームを記録するコンテンツ１映像ファイル１及び映像データ１０４からなる符号化された映像ストリームを記録するコンテンツ１映像ファイル２とを、全て同じ情報記録メディア１６７の同じフォルダに記録しているが、これらの幾つかを異なるフォルダや異なる記録メディアに記録する実施の形態であっても構わない。また、このように、幾つかを異なるフォルダや異なる記録メディアに記録する実施の形態では、これらに共通する管理情報をどれか１つのフォルダや記録メディアに記録する実施の形態も可能であるし、全てのフォルダや記録メディアに記録する実施の形態も可能であるし、例えば、装置側に記録する実施の形態も可能である。
【０１１６】
そしてまた、静的機器情報に関しては、この映像コンテンツ記録装置１００に固有の情報であって、被写体２０１を撮影する時の状態によって変化することはない情報であるから、例えば情報記録メディア１６７が映像コンテンツ記録装置１００にセットされた時点とか、情報記録メディア１６７が映像コンテンツ記録装置１００にセットされた時から被写体２０１を撮影するまでの時点とか、情報記録メディア１６７のフォーマットや初期化を行った時点とか、それ以外の空き時間のような時点において、予め記録しておく実施の形態であっても構わない。
【０１１７】
或いはまた、図３に示すフォルダとファイルシステム構成では、映像データ１０２からなる符号化された映像ストリームを記録するコンテンツ１映像ファイル１と、映像データ１０４からなる符号化された映像ストリームを記録するコンテンツ１映像ファイル２とを、別のファイルとして情報記録メディア１６７に記録しているが、これら複数の映像ストリームを１つの映像ストリームとして符号化し、１つのコンテンツ１映像ファイルとして情報記録メディア１６７に記録する実施の形態であっても構わない。例えば、１つの撮像素子を複数（例えば２つ、或いは３つ以上）の領域に分割し、それぞれの領域の撮像素子毎にレンズを中心とする結像部を設け、それぞれ異なる視点（レンズの位置）で撮影した複数の画像を１つの撮像素子の複数の領域に結像させる実施の形態も考えることができる。このような実施の形態では、使用する撮像素子は１つであるので、映像ストリームも１つで、この１つの映像ストリーム中に複数の視点から見た画像情報が含まれていることになる。この１つの映像ストリームと静的機器情報及び動的機器情報をそれぞれ個別のファイルとして、同じ情報記録メディア１６７の同じフォルダに記録する実施の形態であっても構わないし、同じ情報記録メディア１６７の異なるフォルダに記録する実施の形態であっても構わないし、異なる情報記録メディア１６７に記録する実施の形態であっても構わない。或いは、この１つの映像ストリームと静的機器情報及び動的機器情報の幾つかを１つのファイルとしそれ以外を別のファイルとして、同じ情報記録メディア１６７の同じフォルダに記録する実施の形態であっても構わないし、同じ情報記録メディア１６７の異なるフォルダに記録する実施の形態であっても構わないし、異なる情報記録メディア１６７に記録する実施の形態であっても構わない。或いはまた、この１つの映像ストリームと静的機器情報及び動的機器情報の全てを１つのファイルとして、１つの情報記録メディア１６７の１つのフォルダに記録する実施の形態であっても構わない。
【０１１８】
このように、１つの撮像素子を複数の領域に分割し、それぞれの領域の撮像素子毎にレンズを中心とする結像部を設け、それぞれ異なる視点で撮影した複数の画像を１つの撮像素子の複数の領域に結像させる実施の形態であっても、１つの撮像素子で撮影した複数の視点から見た画像を、それぞれの視点から見た映像ストリーム毎に分割し、１つの映像ストリームには１つの視点から見た画像が含まれるようにする実施の形態も考えることができる。このような実施の形態では、１つの映像ストリームにはそれぞれ１つの視点から見た画像が含まれ、このような映像ストリームが複数存在するので、複数の映像入力処理部が存在する実施の形態と実質的に変わることがなく、詳細な説明は省略する。
【０１１９】
（映像コンテンツの編集と更新）
そしてまた、他の実施の形態では、例えば、情報記録メディア１６７に記録されている、コンテンツ１管理情報ファイル及びコンテンツ１付属情報ファイル１及びコンテンツ１付属情報ファイル２の内容である静的機器情報及び動的機器情報は、読み出して変更し、新しく変更された静的機器情報や動的機器情報の値を使用して、コンテンツ１映像ファイル１やコンテンツ１映像ファイル２に記録されている映像情報と共に映像コンテンツを再生表示したり、これらの更新変更した値を、再度、情報記録メディア１６７に記録することが可能である。
【０１２０】
静的機器情報及び動的機器情報は、その性格上通常は数値データやテキストデータであることが多く、例えばテキスト形式やＨＴＭＬ形式、ＸＭＬ形式、バイナリ形式等で情報記録メディア１６７に記録されていることがある。そして、これらのデータは、例えばテキスト形式で記録されていればワープロソフトのような手段で、或いは、ＨＴＭＬ形式やＸＭＬ形式等で記録されておればブラウザのようなツールやソフトウエアを使って、バイナリ形式ならばそのデータ形式を扱うための専用のソフトウエア等を使って、変更したり、変更後のデータを再度記録することが可能である。
【０１２１】
この静的機器情報及び動的機器情報の一例としてレンズ間距離を採り上げ、このレンズ間距離を変更して映像コンテンツを再生した時の例を図４に示す。また、このような実施の形態を行う一例である映像コンテンツ再生編集装置５００の主要部のブロック構成を図５に示す。
【０１２２】
映像コンテンツ再生編集装置５００において、メニュー処理部５０３は、例えば液晶ディスプレイやＣＲＴ表示装置等（共に図示せず）で構成される表示手段に、操作者の操作をガイドするためのメニューを表示する。ユーザインタフェース処理部５０５は、この表示手段とタッチ式スイッチやボタン式スイッチ入力部（共に図示せず）を制御して、操作者（ユーザ）からの操作入力を受け付け、その指示に従った処理内容を実行する。
【０１２３】
例えば、そのユーザの操作内容が、情報記録メディア１６７に記録されているコンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２の内容の更新変更（編集）であったならば、メディアアクセス処理部５０１を経由して情報記録メディア１６７から、指定されたコンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２の内容を読み出し、ワープロソフトのような形式のツールソフトやブラウザのような形式のツールソフトやその他の方法で、その内容を変更し、変更後の内容を再度メディアアクセス処理部５０１を経由して、情報記録メディア１６７に記録する。
【０１２４】
例えば、ユーザの操作内容が、情報記録メディア１６７に記録されているコンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２の内容を変更し、その変更された内容とコンテンツ１映像ファイル１及びコンテンツ１映像ファイル２とを使って３次元立体映像を表示することであったならば、メディアアクセス処理部５０１を経由して情報記録メディアから、指定されたコンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２の内容を読み出し、ワープロソフトのような形式のツールソフトやブラウザのようなツールソフトやその他の方法で、その内容を変更する。
【０１２５】
そして、この変更したコンテンツ１管理情報ファイル及びコンテンツ１付属情報ファイル１及びコンテンツ１付属情報ファイル２の内容と、情報記録メディア１６７から読み出したコンテンツ１映像ファイル１及びコンテンツ１映像ファイル２とを、メディアアクセス処理部５０１とコンテンツ処理部５０９とを経由して映像出力処理部５２２へ送出する。
【０１２６】
映像出力処理部５２２では、情報記録メディア１６７から読み出されたコンテンツ１映像ファイル１及びコンテンツ１映像ファイル２と、変更されたコンテンツ１管理情報ファイル及びコンテンツ１付属情報ファイル１及びコンテンツ１付属情報ファイル２、または変更される前のコンテンツ１管理情報ファイル及びコンテンツ１付属情報ファイル１及びコンテンツ１付属情報ファイル２を受け取り、立体画像表示部５２４に表示するために必要な画像処理を実行する。
【０１２７】
２つの映像ストリーム（右目で見た映像ストリームと左目で見た映像ストリームとに相当する）と、２つの付属情報（右目と左目との位置や角度等に相当する）とから、立体画像表示部５２４に３次元画像を表示するために必要な画像処理の内容は、立体画像表示部５２４の原理・方式によって様々に異なる。
【０１２８】
２つの映像ストリームやその付属情報から映像を立体的に表示し、それを見ることのできる原理・方式としては、アナグリフ（余色立体）方式、ポラライザ（偏光）方式、パララックスバリア方式、インテグラルフォトグラフィ方式、レンティキュラ方式、バリフォーカルミラー方式、オートステレオグラム方式、クロマデプス（分光視差）方式、ＲＤＳ型ステレオグラム方式、ＷＴＤ方式（家庭用テレビ）、ＣＩＤ法、輝度比多重表示方式、ファントグラム（平置表示）方式、薄膜ホログラムメモリ方式等、極めて多くのものが歴史的に知られており、また、次々と近年新しく発表されている。
【０１２９】
２つの映像ストリームやその付属情報から、映像を立体的に表示し、それを見るために映像出力処理部５２２で実行される画像処理の内容は、これら種々の原理・方式に対応して様々である。
【０１３０】
以下では、これら３次元立体画像を表示するための原理・方式に依存しない部分であって、付属情報（右目と左目との位置や角度等に相当する）を変更した時に見える３次元立体画像の変化の様子を、模式的に示す。
【０１３１】
図４（ａ）は被写体４０１を映像コンテンツ記録装置１００で撮影した時の状態を示し、図４（ｂ）は撮影した映像をレンズ間距離を変更して再生した時の状態を示している。
【０１３２】
それぞれの図は、撮影と再生を行った時の様子を上方から見た状態を示している。被写体４０１は、例えばその底面が正方形の四角柱であったと仮定している。
【０１３３】
被写体４０１を撮影した映像が、映像コンテンツ記録装置１００の映像入力処理部１２１と映像入力処理部１２３とに入力される。この入力される映像は、それぞれ映像データ１０２と映像データ１０４であり、映像入力処理部１２１と映像入力処理部１２３とによって撮影された像が、映像４２１と映像４２３とに相当する。
【０１３４】
映像入力処理部１２１は例えば左目に相当し、映像入力処理部１２３は、例えば右目に相当する。この時のレンズ間距離はｄ１であったと仮定する。このレンズ間距離は、例えば静的機器情報管理部１４６によって情報記録メディア１６７に記録される。記録されるファイルは、例えばコンテンツ１管理情報ファイルまたはコンテンツ１付属情報ファイル１またはコンテンツ１付属情報ファイル２である。或いは、動的機器情報管理部１２９によって他の何らかのファイルに記録されても構わないし、上記コンテンツ１管理情報ファイルまたはコンテンツ１付属情報ファイル１またはコンテンツ１付属情報ファイル２に記録されても構わないし、映像ストリームと同じファイルに記録されても構わない。
【０１３５】
上記の通り、このコンテンツ１管理情報ファイル或いはコンテンツ１付属情報ファイル１或いはコンテンツ１付属情報ファイル２に記録された静的機器情報及び動的機器情報は変更、更新することが可能である。
【０１３６】
そこで、この実施の形態では、例えば上記レンズ間距離ｄ１がｄ２に変更されたと仮定する。また、一例としてｄ１＜ｄ２であったと仮定する。
【０１３７】
そして、情報記録メディア１６７に記録されたコンテンツ１映像ファイル１とコンテンツ１映像ファイル２、及び変更、更新されたコンテンツ１管理情報ファイルとコンテンツ１付属情報ファイル１とコンテンツ１付属情報ファイル２を使って、映像データ１０２と映像データ１０４とが再生されたと仮定する。
【０１３８】
この時の状態を図４（ｂ）に示す。
【０１３９】
再生に使われる映像ストリームのデータは、撮影記録されたコンテンツ１映像ファイル１とコンテンツ１映像ファイル２そのままであるから、例えば撮影時の映像４２１と映像４２３は変化がなく、そのまま再生に使用される。
【０１４０】
そして、レンズ間距離ｄ１だけが（他のパラメータ等は変更されていないと仮定する）レンズ間距離ｄ２に変更されているので、このレンズ間距離ｄ２を前提として再生処理が実行される。これによって再生される仮想的な被写体４３１は、実際に撮影された被写体４０１とは異なる形状、例えばその底面がひし形の四角柱として再生される。
【０１４１】
ここでは１つの例だけを示したが、他の場合も同様に、コンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２に記録されている静的機器情報及び動的機器情報を変更して、コンテンツ１映像ファイル１とコンテンツ１映像ファイル２から３次元映像を再生したり、或いは、コンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２に記録されている静的機器情報及び動的機器情報を変更して再度記録（更新）することによって、元の映像コンテンツとは異なる映像コンテンツや、編集、変形を加えた映像コンテンツを再生して表示、観賞することが可能になる。
【０１４２】
更にまた、ここでは、コンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２に記録されている静的機器情報及び動的機器情報を変更する例だけを示したが、例えば、コンテンツ１映像ファイル１やコンテンツ１映像ファイル２に記録保存されている映像情報を、静的パラメータ情報と動的パラメータ情報とを利用して補間的な計算、或いは予測的な計算によって、撮影した視点と視点との間の視点から見た映像情報を生成したり、撮影した視点と視点との間の外側の視点から見た映像情報を生成し、これら実際に撮影した視点とは異なる視点においてあたかも撮影したかのような映像情報を計算によって生成し、この映像情報を使って３次元映像を生成する実施の形態も可能である。
【０１４３】
以上説明した映像コンテンツ記録装置１００は、本発明に係る映像コンテンツ記録装置の一実施の形態である。また、この映像コンテンツ記録装置１００が実行する映像コンテンツ記録方法は、本発明に係る映像コンテンツ記録方法の一実施の形態である。また、この情報記録メディア１６７は、本発明に係る情報記録メディアの一実施の形態である。
【０１４４】
また、映像コンテンツ再生編集装置５００は、本発明に係る映像コンテンツ再生装置の一実施の形態である。また、この映像コンテンツ再生編集装置５００が実行する映像コンテンツ再生方法及び映像コンテンツ編集方法は、本発明に係る映像コンテンツ再生方法及び映像コンテンツ編集方法の一実施の形態である。
【０１４５】
（実施の形態２）
本発明の実施の形態２である映像コンテンツ記録装置６００の概略構成を図６に示す。本発明の実施の形態２である映像コンテンツ記録装置６００については、その多くの部分が本発明の実施の形態１である映像コンテンツ記録装置１００と同様であるから、本発明の実施の形態１と同様の部分については説明を省略し、本発明の実施の形態２が実施の形態１と異なる部分についてのみ、図６を参照しながら説明をする。
【０１４６】
本発明の実施の形態１である映像コンテンツ記録装置１００では、映像入力処理部を２個（または２個以上）有していた。しかしながら、本発明の実施の形態２である映像コンテンツ記録装置６００では、映像入力処理部６２１を１個有しているだけで、それ以上の映像入力処理部を有していない。その代わり、この１つの映像入力処理部６２１を移動させる手段を有している。これが、本発明の実施の形態２である映像コンテンツ記録装置６００と本発明の実施の形態１である映像コンテンツ記録装置１００とが最も異なる特徴である。この移動距離をｄ２で表し、移動させる手段は簡略化のため図示を省略しているが、ベルトに映像入力処理部６２１を搭載する方式や、スプリングとカムを用いる方式等、よく知られている様々な方式が利用可能である。
【０１４７】
映像入力処理部６２１はレンズ６４１と撮像素子６２５とを有しており、これに関しては本発明の実施の形態１と実質的に同様である。
【０１４８】
映像入力処理部６２１は、図６に示す第１の位置（移動する前の位置）において被写体６０１からの映像データ６０２をレンズ６４１で受光し、その像を撮像素子６２５に結像する。この像は、本発明の実施の形態１である映像コンテンツ記録装置１００と同様、電子的に、例えば情報記録メディア１６７に記録される。この記録の方式や形式も、実質的に本発明の実施の形態１である映像コンテンツ記録装置１００と同様であるから、説明を省略する。
【０１４９】
次に、上記移動手段によって、映像入力処理部６２１は、第２の位置（移動した後の位置）に移動される。そして、この第２の位置（移動した後の位置）において被写体６０１からの映像データ６０４を、第２の位置（移動した後の位置）でのレンズ６４１によって受光し、その像を第２の位置（移動した後の位置）での撮像素子６２５に結像する。この像は、本発明の実施の形態１である映像コンテンツ記録装置１００において、映像入力処理部１２３によって撮影されていた像と実質的に同じものである。
【０１５０】
この像も、電子的に本発明の実施の形態１である映像コンテンツ記録装置１００と同様、例えば情報記録メディア１６７に記録される。この記録の方式や形式も、実質的に本発明の実施の形態１である映像コンテンツ記録装置１００と同様であるから、説明を省略する。
【０１５１】
即ち、本発明の実施の形態１である映像コンテンツ記録装置１００では、映像入力処理部を２個（または２個以上）有し、同時並行的に２個（または２個以上）の視点から見た映像を撮影し、それらを同時並行的に、例えば情報記録メディア１６７に記録していた。しかしながら、本発明の実施の形態２である映像コンテンツ記録装置６００では、映像入力処理部を１個しか有さず、その１個の映像入力処理部を２個（または２個以上）の視点位置に移動させながら、時分割的に２個（または２個以上）の視点から見た映像を撮影する。そして、これら２個（または２個以上）の視点から見た映像を、例えば情報記録メディア１６７に記録することと、その記録方式や記録方法は、本発明の実施の形態１である映像コンテンツ記録装置１００と同様である。
【０１５２】
必要に応じて、この第１の位置での撮影と、第２の位置での撮影とを繰り返し実行し、それぞれの位置で撮影した映像情報をそれぞれ別の映像ストリームとして、或いは１つの映像ストリームとして、例えば情報記録メディア１６７に記録する。
【０１５３】
この移動距離ｄ２、移動に要する時間、第１の位置で撮影した時間情報と第２の位置で撮影した時間情報等は、管理情報として、例えばコンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２に記録保存される。
【０１５４】
そして、これらの映像情報を再生する時には、時分割的に２個（または２個以上）の視点から撮影した映像を、あたかも同時に複数の視点から取得した映像であるかのように、３次元的な映像に再生することができる。
【０１５５】
このようにして、本発明の実施の形態２である映像コンテンツ記録装置６００では、映像入力処理部を１個しか有さないにも関わらず、この１個の映像入力処理部を移動させることによって、複数の視点から見た映像情報を撮影し、その映像情報を記録保存し、その映像情報を読み出して３次元映像を再生することが可能になる。
【０１５６】
（実施の形態３）
本発明の実施の形態３である映像コンテンツ記録装置については、その多くの部分が本発明の実施の形態１である映像コンテンツ記録装置１００と同様であるから、本発明の実施の形態１と同様の部分については説明を省略し、本発明の実施の形態３が実施の形態１と異なる部分についてのみ、図７を参照しながら説明をする。
【０１５７】
本発明の実施の形態３である映像コンテンツ記録装置の映像入力処理部を構成する、複眼レンズ７４１と撮像素子７２５の概略構成を図７に示す。本発明の実施の形態３では、簡明化のため、映像コンテンツ記録装置全体と映像入力処理部全体は図示せず、その代わり、本発明の実施の形態３の最大の特徴である複眼レンズ７４１のより詳細な構成の概要と、この複眼レンズ７４１によって撮像素子７２５上に結像される像の状態の概略を示している。
【０１５８】
本発明の実施の形態１である映像コンテンツ記録装置１００では、映像入力処理部を２個（または２個以上）有しており、本発明の実施の形態２である映像コンテンツ記録装置６００では、映像入力処理部を１個しか有していないが、それを時分割的に２個（または２個以上）の位置に移動して撮影を行った。しかしながら、本発明の実施の形態３である映像コンテンツ記録装置７００では、図示しない映像入力処理部を１個しか有しておらず、またその移動を行うこともない。その一方、レンズとして通常よく使われる凸レンズや凹レンズではなく、これら単一のレンズが平面状に複数個配列された複眼レンズ７４１を使用する。これが、本発明の実施の形態３である映像コンテンツ記録装置が、本発明の実施の形態１である映像コンテンツ記録装置１００や本発明の実施の形態２である映像コンテンツ記録装置６００と最も異なる特徴である。
【０１５９】
図７では、複眼レンズ７４１を構成する微細レンズとして、微細レンズ７５１、微細レンズ７５２、微細レンズ７５３、微細レンズ７５４、微細レンズ７５５、微細レンズ７５６、の６個だけを描き、また、これらの６個の微細レンズが１列に配列されているように示しているが、これは一例であり、より多くの微細レンズまたはより少ない微細レンズが、１列にまたは平面的に配置されていても構わない。また、各微細レンズは１つの凸レンズだけから構成されるように図示しているが、これは簡略化のための一例であって、各微細レンズは複数の凸レンズや凹レンズや非球面レンズやその他の各種レンズが組み合わされて構成されていても構わない。
【０１６０】
この６つの微細レンズによって、撮像素子７２５上に、被写体７０１の像が６個、それぞれ、像７７１、像７７２、像７７３、像７７４、像７７５、像７７６、が結像される。
【０１６１】
このような被写体の撮影手法は、眼鏡なし３次元立体映像表示方式として知られるインテグラルフォトグラフィ方式で使用される手法であるが、インテグラルフォトグラフィ方式では、倒立画像を屈折率分布レンズやその他の手法で正立画像に変換することが行われる。しかしながら、本発明の実施の形態３では倒立画像を電子的に正立画像に変換することができるので、必ずしも光学的な手法で正立画像に変換する必要はない。
【０１６２】
複眼レンズ７４１と撮像素子７２５とで撮影された映像情報は、本発明の実施の形態１である映像コンテンツ記録装置１００と同様、電子的に、例えば情報記録メディア１６７に記録される。この記録の方式や形式も、実質的に本発明の実施の形態１である映像コンテンツ記録装置１００と同様であるから、説明を省略する。
【０１６３】
そして、これら６個の微細レンズで撮影した映像情報の全部或いは一部を、それぞれ別の映像ストリームとして情報記録メディア１６７に記録しても構わないし、或いは１つの映像ストリームとして、例えば情報記録メディア１６７に記録しても構わない。
【０１６４】
また、この映像ストリームの撮影に関する各種の情報、例えば各微細レンズの位置や方向や間隔や焦点距離やその他の情報は、管理情報として、例えばコンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２に記録保存される。これらのコンテンツ１管理情報ファイルやコンテンツ１付属情報ファイル１やコンテンツ１付属情報ファイル２も、映像ストリームと一緒に、或いは個別に、例えば情報記録メディア１６７に記録保存される。
【０１６５】
そして、これらの映像情報と付属情報とを情報記録メディア１６７から読み出して、３次元的な映像を再生することができる。
【０１６６】
例えば、上記インテグラルフォトグラフィ方式では、撮像素子７２５上に結像され、情報記録メディア１６７に記録された複数の像をそのまま読み出し、それぞれの倒立画像を電子的に正立画像に変換し、例えば液晶表示装置等に表示し、その表示された画像を再度複眼レンズ７４１と同じ構造のレンズを通して見ると、眼鏡なしで３次元立体映像を再現することができる。
【０１６７】
本発明によると、単なる記録映像としての用途に留まらず、３次元映像（動画・静止画）写真立ての元映像として利用することができ、３次元表示デバイスと組み合わせることで、従来の視点を超えた、３次元ならではの情報取得及び保存が可能となる。また、このような情報取得や保存は、ロボットにも適用することが可能である。
【０１６８】
その他、自動車のコーナー測距等のための視覚センサーとして利用することも可能であり、視覚障害者向けの階段知覚にも利用可能で、セキュリティ確保のための監視用にも利用することができる。
【０１６９】
更に、医療用顕微鏡画像等の利用に際し、染色体の目視検査（蛍光確認）等において、従来は、２次元的表示されたものを見ていたため、細胞の重なっている部分の判断等が困難であった。本発明によれば、種々の視点に視野角を変更することができ、別の角度から細胞の重なりを回避して、内部を確認することができるので、検査の精度の改善に大きく貢献することが可能になる。
【産業上の利用可能性】
【０１７０】
本発明によると、必ずしも予め準備された３次元映像だけでなく、視点を変える等、予め用意された３次元映像に各種の変形を加えて３次元映像を表示することが可能になる。更に、この３次元映像を表示するための情報は、各種３次元表示可能な機器に汎用的に使用することができ、３次元映像を表示するための情報形式の標準化を図ると同時に、３次元映像情報の流通の促進にも貢献することが可能になり、その産業上の利用可能性は極めて高い。
【図面の簡単な説明】
【０１７１】
【図１】本発明に係る映像コンテンツ記録装置１００の主要部のブロック構成図
【図２】本発明に係る映像コンテンツ記録装置１００における撮影状態と情報記録メディア１６７の概要を示す図
【図３】情報記録メディア１６７のファイルシステムとディレクトリ構造を詳細に示す図
【図４】レンズ間距離を変更して映像コンテンツを再生した時の例を示す図
【図５】本発明に係る映像コンテンツ再生編集装置５００の主要部のブロック構成図
【図６】本発明の実施の形態２である映像コンテンツ記録装置６００の概略構成図
【図７】本発明の実施の形態３である映像コンテンツ記録装置の映像入力処理部を構成する複眼レンズ７４１と撮像素子７２５の概略構成図
【図８】従来のステレオ画像表示装置９００の主要部のブロック構成図
【符号の説明】
【０１７２】
１００，６００，７００    映像コンテンツ記録装置
１０２，１０４，６０２，６０４    映像データ
１２１，１２３，６２１    映像入力処理部
１２５    ＡＶ制御バッファ処理部
１２７    ＣＯＤＥＣ処理部
１２９    動的機器情報管理部
１４２，５０９    コンテンツ処理部
１４４，５０７    コンテンツ付属情報処理部
１４６    静的機器情報管理部
１６１，５０１    メディアアクセス処理部
１６３，５０３    メニュー処理部
１６５，５０５    ユーザインタフェース処理部
１６７    情報記録メディア
２０１，４０１，６０１，７０１    被写体
２２１，２２３，６４１    レンズ
２２５，２２７，６２５，７２５    撮像素子
４２１，４２３    映像
４３１    再生される仮想的な被写体
５００    映像コンテンツ再生編集装置
５２２    映像出力処理部
５２４    立体画像表示部
７４１    複眼レンズ
７５１，７５２，７５３，７５４，７５５，７５６    微細レンズ
７７１，７７２，７７３，７７４，７７５，７７６    像
９００    ステレオ画像表示装置
９０１    全体制御部
９０２    データ処理部
９０３    表示制御部
９０４    画像ファイル処理部
９０５    表示補正設定ファイル処理部
９０６    ステレオ画像データ処理部
９０７    画像記憶部
９０８    直視型ディスプレイ
【図１】
2009060154.tif 000003
【図２】
2009060154.tif 000004
【図３】
2009060154.tif 000005
【図４】
2009060154.tif 000006
【図５】
2009060154.tif 000007
【図６】
2009060154.tif 000008
【図７】
2009060154.tif 000009
【図８】
2009060154.tif 000010