(57)【要約】【課題】３次元表示のための画像データに汎用性を持たせるとともに、任意の視点の画像を効率よく選択することを可能とする。【解決手段】連続するフレームから構成される画像信号は、１フレームごとに画像データ作成装置に入力される。制御部１０２は、縮小の有無、結合の有無および２Ｄ選択を指定する。画像変換部１０１は、前記縮小の有無および結合の有無で指定された形式の画像データを作成する。３Ｄ情報作成部１０３は、縮小の有無、結合の有無および２Ｄ選択をフォーマット化して、画像を３次元画像として表示するために必要な３Ｄ情報を作成する。多重化部１０４は、画像データと３Ｄ情報を所定のフォーマットに変換して外部に出力する。【選択図】      図１
2004349731.tif 000002
【特許請求の範囲】
【請求項１】
複数視点に対応した画像情報である主画像を作成する主画像作成部と、サムネイル画像を作成するサムネイル画像作成部と、前記主画像を３次元表示するための３次元制御情報を作成する３次元制御情報作成部と、前記主画像と前記サムネイル画像と前記３次元制御情報とを多重化する多重化部とを備えることを特徴とする画像データ作成装置。
【請求項２】
前記サムネイル画像作成部は、主画像をそのまま縮小したサムネイル画像を作成することを特徴とする請求項１に記載の画像データ作成装置。
【請求項３】
前記サムネイル画像作成部は、主画像から１視点分の画像を抜き出してサムネイル画像を作成することを特徴とする請求項１に記載の画像データ作成装置。
【請求項４】
前記サムネイル画像作成部は、サムネイル画像に３次元画像であることを示すシンボルを埋め込むことを特徴とする請求項１に記載の画像データ作成装置。
【請求項５】
前記サムネイル画像作成部は、主画像の縮小画像と、主画像から１視点分の画像を抜き出して縮小した画像をピクチャーインピクチャーの形にしたサムネイル画像を作成することを特徴とする請求項１に記載の画像データ作成装置。
【請求項６】
入力された画像データから主画像データとサムネイルデータと３次元制御情報を分離する逆多重化部と、主画像データが３次元画像である場合にはサムネイルデータに３次元画像であることを示すシンボルを重ねたものをサムネイルとして出力するサムネイル生成部とを備えることを特徴とする画像データ再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元表示するための画像データを作成する際に、画像データに属性情報を付随させる画像データ作成装置およびそのデータを再生する画像データ再生装置に関するものである。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼画像と右眼画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
【０００３】
図１６は、この２眼式の代表的な方式の１つである「時分割方式」を説明するための概念図である。
【０００４】
この時分割方式は、図１６のように、左眼画像と右眼画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切り替えて表示されるものである。左眼画像および右眼画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。
【０００５】
図１７は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【０００６】
図１７（ａ）は、視差が生じる原理を示す図である。一方、図１７（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００７】
図１７（ａ）では、図１７（ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル４０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア４０２を画像表示パネル４０１の前面に置くことにより、左眼画像は左眼４０３だけで、右眼画像は右眼４０４だけで観察することになり、立体視を行うことができる。
【０００８】
ところで、パララクスバリア方式と同様に図１７（ｂ）に示すような画像を３次元表示する方式に、「レンチキュラ方式」がある。このレンチキュラ方式で用いるための記録データ形式の一例が、後述する特許文献１において開示されている。
【０００９】
図１８は、このようなレンチキュラ方式の記録データ形式の一例を示す概念図である。図１８（ａ）に示す左眼画像５０１と図１８（ｂ）に示す右眼画像５０２から、それぞれを水平方向に１／２に間引きして図１８（ｃ）に示す１枚の混合画像５０３を作って記録する。再生時にはこの混合画像５０３を並べ替えることにより図１７（ｂ）に示したような合成画像が作成される。
【００１０】
さて、３次元画像に限った話ではないが、特許文献２にはサムネイル画像の識別のために付加情報を記憶しておき、表示装置において付加情報をサムネイル画像に重ねて表示する方法が開示されている。
【００１１】
【特許文献１】
特開平１１−４１６２７号公報
【特許文献２】
特開２００１−３３７９９４号公報
【００１２】
【発明が解決しようとする課題】
上記のように、従来の３次元表示システムにおいては、再生装置側で決められた表示方式に適するように、記録データ形式を固定した記録が行われており、記録データに汎用性を持たせることは考えられていない。
【００１３】
表示方式以外にも画像の間引き方法や、いわゆる「多眼式」における視点の数など、３次元表示に必要な情報はいろいろあるが、表示方式が単一の場合、それらの情報は記録データとして記録されない。いつも同じ表示方式を使うなら、あえてそれらの情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式（あるいはレンチキュラ方式）用のデータを記録する場合に限っても、左眼画像と右眼画像を別々のシーケンスとして記録することもできるし、図１８（ｃ）のような左眼画像と右眼画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図１７（ｂ）のような左眼画像と右眼画像が水平方向１画素おきに並んだ合成画像を記録することもできる。当然記録形式が違えばこれを表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
【００１４】
さらに、従来の技術では、各視点の画像データを互いに独立に記録し、所望の視点の画像のみを簡単に読み出し、再生するといったことが考慮されていなかった。
【００１５】
また、従来の技術では既存の装置との互換性が十分に考えられていない。すなわち、特許文献２に開示されているシステムにおいては、付加情報を解釈できる表示システムのことだけが考えられており、それを解釈できない表示システムでは付加情報は役に立たない。
【００１６】
本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データに汎用性を持たせるとともに、任意の視点の画像を効率よく選択することを可能とする画像データ作成装置、およびそのデータを再生する画像データ再生装置を提供することにある。
【００１７】
【課題を解決するための手段】
本発明は、複数視点に対応した画像情報である主画像を作成する主画像作成部と、サムネイル画像を作成するサムネイル画像作成部と、前記主画像を３次元表示するための３次元制御情報を作成する３次元制御情報作成部と、前記主画像と前記サムネイル画像と前記３次元制御情報とを多重化する多重化部とを備えることを特徴とする画像データ作成装置である。
【００１８】
ここで、前記サムネイル画像作成部は、主画像をそのまま縮小したサムネイル画像を作成すること、主画像から１視点分の画像を抜き出してサムネイル画像を作成すること、サムネイル画像に３次元画像であることを示すシンボルを埋め込むこと、あるいは、主画像の縮小画像と主画像から１視点分の画像を抜き出して縮小した画像をピクチャーインピクチャーの形にしたサムネイル画像を作成することを特徴とする。
【００１９】
また、本発明は、入力された画像データから主画像データとサムネイルデータと３次元制御情報を分離する逆多重化部と、主画像データが３次元画像である場合にはサムネイルデータに３次元画像であることを示すシンボルを重ねたものをサムネイルとして出力するサムネイル生成部とを備えることを特徴とする画像データ再生装置である。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
図１は本発明における実施の形態による画像データ作成装置の構成を示すブロック図である。図１において、画像データ作成装置１００は、多視点（視点数Ｋ、ここでＫは２以上の整数である）の画像１から画像Ｋの配置方法を決定し、これらを隣接させて結合した結合画像を作成する画像結合部１０１、画像１から画像Ｋを結合するか否か（結合の有無）、画像１から画像Ｋを縮小するか否か（縮小の有無）、２次元表示の際に使用すべき画像（２Ｄ選択）、視点数および画像の配置順を指定する制御部１０２、前記縮小の有無、結合の有無、画像の配置方法、２Ｄ選択および視点数の情報をフォーマット化して３Ｄ情報を作成する３Ｄ情報作成部１０３、記録媒体や通信回線にアクセスする手段を備え、画像情報と３Ｄ情報を多重化して画像データを出力する多重化部１０４から構成される。
【００２２】
以上のように構成された画像データ作成装置１００について、その動作を説明する。
【００２３】
連続するフレームから構成される画像信号は、１フレームごとに画像データ作成装置に入力される。ここで、画像データ作成装置１００に対して画像を入力するための撮像装置は、平面内に水平方向にＭ個、垂直方向にＮ個格子状に並べられ、各撮像装置にはそれぞれ番号（視点番号）がふられているものとする（ただし、Ｍ，Ｎは１以上の整数である）。
【００２４】
図２に視点数が８の場合の設置例（設置された撮像装置を後から斜め下方に見下ろした図）を示す。ここで視点番号は、左から右、上から下の順にふるものとする。つまり撮像装置３０１が１、撮像装置３０２が２、撮像装置３０３が３、撮像装置３０４が４、同様にして撮像装置３０５〜３０８が５〜８、である。なお、本実施の形態を通して視点番号ｋの撮像装置で撮影された画像を、画像ｋ（ここでｋは１以上の整数である）と呼ぶこととする。
【００２５】
制御部１０２は、縮小の有無、結合の有無、２Ｄ選択、水平方向の視点数Ｍと垂直方向の視点数Ｎおよび画像の配置順を指定する。ここで、縮小の有無は、「縮小あり」、「縮小なし」のどちらかの値をとり、結合の有無は、「結合なし」、「結合あり」のどちらかの値をとる。２Ｄ選択は、視点番号または「指定なし」の値をとる。画像の配置順は画像の並びを視点番号で指定する。また、視点数は、図２の例ではＭ＝４、Ｎ＝２となる。
【００２６】
画像結合部１０１は、制御部１０２から入力された結合の有無が「結合なし」を示す場合、制御部１０２により指定された画像の配置順にしたがって、並列に入力された画像１から画像Ｋを直列に出力するものとする。または、各視点の画像を出力する際に、２Ｄ選択で指定された視点番号が、常に最初になるようにして出力してもよい。
【００２７】
また、画像結合部１０１は結合の有無が「結合あり」を示す場合、入力された画像１から画像Ｋまでの配置方法を選択する。配置方法は、多視点画像を水平に並べた水平配置、多視点画像を上下に並べた垂直配置および水平・垂直の両方向に並べた格子状配置の３通りが選択可能である。
【００２８】
ここで、画像の配置方法は撮像装置の設置方法と一致するとしてもよいし、一致しなくてもよい。画像の配置を撮像部の設置方法と一致させる場合、Ｍ＝１、Ｎ≧２のときには垂直配置、Ｍ≧２、Ｎ＝１のときには水平配置、それ以外のときには格子状配置となる。また、一致させない場合は、Ｍ＝１、Ｎ≧２またはＭ≧２、Ｎ＝１のときに、垂直配置と水平配置のいずれかが選択できるようにしてもよい。
【００２９】
配置方法が決まったら、制御部１０２から入力された画像の配置順にしたがって、画像を結合する。図３は、図２に示した撮像装置により撮影された画像を格子状配置にしたときの、画像の配置順の例を示す。図３において、１マスは画像を表しており、数字は視点番号である。図３（ａ）は画像の配置順が１、２、３、４、５、６、７、８と指定された場合を示し、撮像装置にふられた視点番号と同じ並びとなる。図３（ｂ）は２、３、１、４、６、７、５、８と指定された場合を示す。
【００３０】
また、制御部１０２から入力された縮小の有無が「縮小あり」を示す場合、入力された各視点の画像を縮小する。このときの縮小率は固定的なものではなく、視点数に応じて決定されるものとする。すなわち、水平方向に１／Ｍ、垂直方向に１／Ｎに縮小する。
【００３１】
このときの画像結合部１０１による結合結果の例を図４および図５に示す。図４は図２の撮像装置のうち、例えば視点番号１と２のみを使用した２視点の場合、図５は撮像装置の全てを用いた場合である。
【００３２】
図４（ａ）は「縮小なし」、「結合なし」の場合を、図４（ｂ）は「縮小なし」、「結合あり（水平配置）」の場合を、図４（ｃ）は「縮小なし」、「結合あり（垂直配置）」の場合を、図４（ｄ）は「縮小あり」、「結合なし」の場合を、図４（ｅ）は「縮小あり」、「結合あり（水平配置）」の場合を、図４（ｆ）は「縮小あり」、「結合あり（垂直配置）」の場合を示している。ここでは、「縮小あり」の場合には、画素の間引き等により、水平方向または垂直方向の解像度を１／２にしている。
【００３３】
図５は多視点画像の格子状配置の例を示しており、縮小の有無が「縮小なし」を示す場合、図５（ａ）のようになる。ここで、Ｈ、Ｖはそれぞれ縮小前の各視点画像の水平方向画素数、垂直方向ライン数である。縮小の有無が「縮小あり」を示す場合、図５（ｂ）のようになる。縮小率は水平方向に１／４、垂直方向に１／２となり、縮小後の画像のサイズは、横Ｈ画素、縦Ｖラインであり、縮小前の各視点の画像サイズと同じになる。画像の配列は撮像装置の設置方法と一致し、水平方向に４つ、垂直方向に２つの画像が並べられている。ここで画像に付された数字は視点番号を示す。画像は視点番号の小さい順に並べられており、左上が撮像部３０１で撮影した画像（視点番号１）であり、右下が撮像部３０８で撮影した画像（視点番号８）である。
【００３４】
なお、ここでは、水平方向および垂直方向の縮小率を固定として説明したが、これらは可変でもよい。可変の場合には縮小率を３Ｄ情報に記録する。また、結合の有無が「結合なし」を示す場合には、各視点の画像毎に指定するようにしてもよい。
【００３５】
３Ｄ情報作成部１０３は、縮小の有無、結合の有無、２Ｄ選択、水平方向の視点数と垂直方向の視点数、画像の配置順および配置方法をフォーマット化して、３Ｄ情報を作成する。
【００３６】
このときの３Ｄ情報の一例を図６に示す。ここで、画像順序は画像の配置が「視点番号順」か「任意順」を示す。このあとには、複数の視点番号が記録される。これらの視点番号は、結合の有無が「結合あり」を示す場合、結合画像における画像の並び方を示す。図３（ｂ）の例では第１の視点番号が２であり、以下、３、１、４、６、７、５、８の順となる。また、結合の有無が「結合なし」を示す場合、多重化される画像情報の順序を示す。画像順序が「視点番号順」を示す場合には、これらの視点番号は省略されてもよい。３Ｄ情報を作成する際には、設定値をそのまま用いてもよいし、固定長符号化または可変長符号化により符号化してもよい。
【００３７】
多重化部１０４は、画像情報と３Ｄ情報および管理情報を所定のフォーマットに変換して外部に出力する。画像の結合をしない場合には、前述したように画像結合部１０１からの出力順が制御部１０２により指定された画像の配置順であるため、画像情報が多重化される順番も画像の配列順となる。図１には図示していないが、音声や音楽を多重化する場合は、それらのデータも多重化部１０４にて多重化される。
【００３８】
ここで、符号化した画像情報を多重化部１０４に入力してもよい。図１９にこのような場合の画像データ作成装置１１０の構成を示す。画像データ作成装置１１０は符号化部１０５を備える点が図１の画像データ作成装置１００と異なっている。
【００３９】
多重化部１０４の出力先には、ＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮやモデムなどの通信デバイスが接続される。ここでは、多重化部１０４にＩＣメモリが接続されているものとする。以下では、この場合の記録フォーマットについて説明する。
【００４０】
一般にＩＣメモリを記録媒体に使用する場合には、ＩＣメモリ上にＦＡＴ（Ｆｉｌｅ  Ａｌｌｏｃａｔｉｏｎ  Ｔａｂｌｅ）などのファイルシステムが構築され、データはファイルとして記録される。ここで使用するファイル形式は、既存の形式を使用してもよいし、新規に定めた独自の形式を使用してもよい。
【００４１】
図７は画像データを記録するファイル形式を示す図である。図７では、データは図の上から下に向かう順にファイルに記録されるものとする。図７（ａ）は既存の形式を使用した場合であり、図７（ｂ）は新規の形式を用いた場合の一例である。
【００４２】
既存の形式を使用する場合、３Ｄ情報は一般に既存の形式に用意されているヘッダ部を拡張する仕組みを用いて、既存のヘッダ部の一部として記録されるものとする。ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ。例えば、ファイルヘッダはＪＰＥＧではアプリケーションデータセグメントを指し、新たなアプリケーションデータセグメントを定義して３Ｄ情報を記録する。また、ＭＰＥＧ−４ではファイルヘッダはＶｉｓｕａｌ  Ｏｂｊｅｃｔ  Ｓｅｑｕｅｎｃｅまたは／およびＶｉｄｅｏ  Ｏｂｊｅｃｔ  Ｌａｙｅｒを指し、３Ｄ情報はこれらの中にユーザデータとして記録される。
【００４３】
また、既存の形式を使用する場合には、一般に使用されている拡張子をそのまま使用する。例えば、ＪＰＥＧファイルの場合、一般に．ｊｐｇという拡張子が、ＭＰＥＧファイルの場合、一般に．ｍｐｇまたは．ｍｐ４という拡張子が、ＷＭＶ（Ｗｉｎｄｏｗｓ（Ｒ）  Ｍｅｄｉａ  Ｖｉｄｅｏ）の場合、一般に．ｗｍｖという拡張子が用いられている。こうすることで、３次元画像の表示機能を持たない従来の再生装置でも既存の形式のファイルとして認識し、２次元画像として表示することができる。
【００４４】
一方、新規の形式を使用する場合には、例えば、図７（ｂ）のように３Ｄ情報をファイルの先頭に記録する。また、新規の形式ファイルであることがわかるように、既存形式のファイルと区別することのできるユニークな拡張子をつける。なお、図７（ａ）、（ｂ）の管理情報は作成日や作成者など、３次元画像と直接関係ない情報の記録に使用するものとする。
【００４５】
まず、結合の有無が「結合なし」を示す場合について、多視点画像の格納の仕方を説明する。ファイル形式として、図７（ａ）に示す既存形式を使用した場合、図７（ａ）の画像情報の領域に多視点の複数の画像を別々に記録する。動画像の場合には、各視点それぞれについて、複数枚のフレームデータが記録される。このときの格納例を図８に示す。動画像の場合には、各視点それぞれについて、複数枚のフレームデータが記録される。このとき、各フレームはＭｏｔｉｏｎ  ＪＰＥＧのように各々独立して符号化してもよいし、ＭＰＥＧ−４のようにフレーム間予測を用いて差分を符号化してもよい。
【００４６】
ファイル形式として、図７（ｂ）に示す新規形式を使用した場合について説明する。新規形式では、図７（ｂ）におけるファイルヘッダおよび画像情報の部分に、既存の形式（ＪＰＥＧ、ビットマップなど）を用いる場合と、全く新しい独自の形式を用いる場合がある。したがって、これらの形式の違いを区別するために、３Ｄ情報に種別情報（画像タイプと呼ぶ）を記録する。
【００４７】
画像データの記録の仕方についてであるが、図７（ｂ）の画像情報の領域に多視点の複数の画像データを記録する。動画像の場合には、各視点それぞれについて、複数枚のフレームデータが記録される。図９に、結合の有無が「結合なし」を示す場合の格納例と３Ｄ情報の例を示す。図９のＫ個のファイルヘッダと画像情報は、単体で既存形式のファイルとして認識可能なフォーマットである。つまり、ビットマップファイルを例に説明すると、画像１から画像Ｋまでをそれぞれ独立なビットマップファイルとして記録し、３Ｄ情報、管理情報、画像１のビットマップファイルから画像Ｋのビットマップファイルを順に接続した形式となっている。
【００４８】
なお、結合の有無が「結合なし」を示す場合には、多視点の画像情報を別々の画像データとしてファイルに記録してもよい。このとき各視点の画像情報は、既存形式の場合には図７（ａ）に、新規形式の場合には図７（ｂ）に示すフォーマットで記録される。ファイルを記録する際には、既存形式のみを使用してもよいし、新規形式のみを使用してもよいし、両者を混在して使用してもよい。図１０に、既存形式を使用した場合の例を示す。視点数がＫであるため、Ｋ個のファイルが作成される。
【００４９】
このとき、３Ｄ情報作成部１０３は、視点数分だけの３Ｄ情報を作成する。ここでは、１つのファイルに記録される画像情報は１つであるため、画像順序を省略し、各ファイルがどの視点番号に対応するかを示すために視点番号を記録するものとする。このときの３Ｄ情報の一例を図１１に示す。
【００５０】
図１２は、視点数が２の場合における３Ｄ情報の一例を示す図である。ここで、撮像装置として、図２に示す撮像装置のうち、視点番号１と２を使用するものとする。視点数が２であるので、図１２（ａ）および（ｂ）の２つの３Ｄ情報が作成される。“＝”で結ばれた左側が３Ｄ情報の項目、右側がその設定値を示している。項目のうち、配置方法、水平方向の視点数、垂直方向の視点数、および２Ｄ選択は、図１２（ａ）と図１２（ｂ）で同じ値が記録される。それ以外の項目については異なっており、図１２（ａ）は視点番号１の画像で、縮小されておらず、図１２（ｂ）は視点番号２の画像で、縮小されていることを示している。
【００５１】
さらに、多視点の画像情報を別々のファイルとして記録する際には、複数記録されたファイルの中から、同じ撮像装置で撮影された多視点画像のうち、対応する視点のファイルを識別する必要がある。ここで、例えば図１の多重化部１０４において、同一の撮像装置で撮影した各視点画像のファイルを識別するための情報を、前述の管理情報に記録してもよい。図１３は、このときの管理情報の一例を示す図であり、多視点画像のファイルが、どのような名称で記録媒体上に記録されているかの情報が記録されている。図１３において、ファイル構成は「分離」、「統合」の値をとり、「分離」の場合、各視点画像が別々のファイルとして記録されていることを示し、「統合」の場合、全視点画像が１つのファイルに記録されていることを示す。視点番号から該当する画像データのファイル名を知ることができるように、視点番号とファイル名を対応させて記録している。
【００５２】
または、撮像装置で撮影した多視点画像の組が同じであることがわかるように、所定の命名規則によってファイル名をつけてもよい。例えば、前述の視点数２の場合、画像１および画像２の１組のファイル名を、それぞれ“ｓｔｅｒｅｏ１＿１．ｊｐｇ”、“ｓｔｅｒｅｏ１＿２．ｊｐｇ”とし、別の組のファイル名をそれぞれ“ｓｔｅｒｅｏ２＿１．ｊｐｇ”、“ｓｔｅｒｅｏ２＿２．ｊｐｇ”とすることにより区別する。
【００５３】
ところで、それぞれのファイルに記録される３Ｄ情報または管理情報には、重複している部分がある。例えば、図１２に示す３Ｄ情報の例では、縮小の有無と視点番号以外は同一の情報を示している。また図１３に示す管理情報の例では、管理情報の内容はすべてのファイルについて共通である。
【００５４】
したがって、これらの共通する情報（共通情報）は１つのファイルのみに記録し、他のファイルには画像データ固有の情報（個別情報）のみを記録するようにしてもよい。このときの例を図１４に示す。図１４（ａ）は、個別情報と共通情報が記録されたファイルを示しており、図１４（ｂ）は、個別情報のみが記録されたファイルを示している。この例では、図１４（ａ）のファイルは既存形式で、図１４（ｂ）のファイルは新規形式で記録し、ファイルの拡張子により、共通情報が記録されたファイルを他の個別情報のみが記録されたファイルと識別できるようにしている。また、図１４（ｂ）に示すように個別の管理情報として、共通情報の記録されたファイルのファイル名を記録するようにしてもよい。こうすることで、個別情報のみが記録されたファイルから共通情報が記録されたファイルを指定することが容易になる。
【００５５】
なお、これらのファイルを識別する方法は、上記以外にも、前述の命名規則を用いて、各視点の画像ファイルが識別できるようにし、２Ｄ選択で指定された視点番号など、特定の視点番号の画像ファイルに共通情報を記録するようにしてもよい。
【００５６】
あるいは、重複する情報を１つにまとめて、管理用のファイルを作成し、各画像ファイルには固有の情報のみを記録してもよい。管理用ファイルには画像ファイルとは異なるユニークな拡張子を使用するものとする。
【００５７】
さらに、前述のＦＡＴなどのファイルシステムでは、ファイルをまとめて管理するためにディレクトリが使用される。作成した各視点の画像ファイル１組（存在すれば管理用ファイルを含めてもよい）を、同一のディレクトリに記録するようにしてもよい。
【００５８】
結合の有無が「結合あり」を示す場合には、図７（ａ）および図７（ｂ）の画像情報の領域に１つに結合された画像の画像情報が記録される。動画像の場合には、多視点画像の対応するフレームを結合した画像が複数枚記録される。
【００５９】
なお、上記の実施の形態では視点番号のふり方を固定して画像の配置順を任意に変更できるようにしたが、画像の配置順を固定して、視点番号のふり方を任意に変更しても構わない。さらに、撮像装置の設置方法は格子状配置だけでなく、任意の配置にすることもできる。この場合には、基準となる撮像装置（視点番号は１とする）を選択し、これを原点とした座標系で位置を表現する。３Ｄ情報には視点番号順に各視点の撮像装置の位置座標を記録する。
【００６０】
また、上記の実施の形態では、新規形式のファイルの場合、３Ｄ情報および管理情報をファイルの先頭に記録しているが、新規形式のファイルはこれに限定されるものではなく、これらの格納位置はファイルヘッダの後や、画像情報の後でもよいし、図７（ａ）に示す既存形式と同じでもよい。
【００６１】
続いて、画像データ作成装置１００で作成した画像データを３次元画像として表示するための再生装置について説明する。
【００６２】
図１５は、本発明における実施の形態の画像データ再生装置の構成を示すブロック図である。図１５において、画像データ再生装置２００は、逆多重化部２０１、３Ｄ情報解析部２０２および画像変換部２０３から構成される。
【００６３】
逆多重化部２０１は、記録デバイスや通信デバイスから所定のフォーマットに多重化された画像データを読み込み、画像情報と３Ｄ情報および管理情報に分離する。図１５には図示していないが、音声や音楽が多重化されている場合は、それらのデータも逆多重化部２０１にて分離される。
【００６４】
３Ｄ情報解析部２０２は、所定のフォーマットの３Ｄ情報を解析し、項目ごとの設定値を抽出する。
【００６５】
画像変換部２０３には、通常のブラウン管や液晶パネルを用いた２次元表示装置、レンチキュラ方式、パララクスバリア方式、時分割方式などを用いた立体表示装置など、それぞれ表示形式が異なる表示装置が接続される。
【００６６】
以上のように構成された画像データ再生装置２００について、その動作を説明する。ここでは、逆多重化部２０１にＩＣメモリが接続されているものとする。前述したように、ＩＣメモリには既存形式および新規形式の画像ファイル、ならびに、管理用ファイルが記録される。画像ファイルと管理用ファイルの区別は、ファイルの拡張子によって行うことができる。ここでは、図示しない指定手段により使用者が画像ファイルまたは管理用ファイルを１つ選択するものとする。
【００６７】
まず、選択されたファイルが画像ファイルの場合について説明する。この場合、既存形式と新規形式の区別は、ファイルの拡張子によって行うことができるので、逆多重化部２０１は、再生するファイルが図７（ａ）に示す既存形式のファイルの場合、ファイルヘッダの拡張領域から３Ｄ情報を読み出す。また図７（ｂ）に示す新規形式の場合には、ファイルの先頭から３Ｄ情報を読み出す。
【００６８】
３Ｄ情報解析部２０２は、３Ｄ情報を解析し、結合の有無、縮小の有無、視点数、配置方法、２Ｄ選択などの設定値を抽出する。さらに、３次元画像として表示するための画像の視点番号を決定する。多視点の画像データを３次元画像として表示するためには、多視点の画像から視差のある２視点を選択して、左眼画像、右眼画像とすればよい。例えば、図２の撮影装置で記録された画像データの場合には、１と２、１と３、１と４、２と３、２と４など、水平方向に並んだ中から選択可能である。また、表示の際に９０°回転させれば、１と５、２と６、３と７および４と８の組を選択しても、３次元画像として表示することができる。
【００６９】
結合の有無が「結合なし」を示す場合、選択されたファイルには、図１０のように１つの視点の画像情報のみが記録されているか、または、図８のように結合されていない各視点の画像情報がすべて記録されているかのどちらかである。
【００７０】
これらを区別するためには、３Ｄ情報を解析した結果、３Ｄ情報に画像順序の情報が含まれているか否かを調べればよい。３Ｄ情報に画像順序が含まれていれば、後者である。３Ｄ情報に記録された第１の視点番号から第Ｋの視点番号までの中から立体視可能な任意の視点の組み合わせを選択する。そうでなければ、前者であり、３Ｄ情報に記録されている視点番号ｉ（ここでｉは１以上の整数である）と組み合わせることで、立体視が可能となるような視点番号を選択する。選択した視点番号は、逆多重化部２０１に対して出力される。
【００７１】
逆多重化部２０１は、入力された視点番号の画像情報をファイルから読み出して、画像変換部２０３に出力する。入力された視点番号の画像情報がファイルに記録されていない場合には、前述のような管理情報や命名規則などから該画像情報が記録されているファイルを見つけ出して、読み出すようにする。
【００７２】
または、ファイル記録されているのが１視点のみか、全視点かを区別するために、管理情報内のファイル構成を参照してもよい。ファイル構成が「分離」ならば１視点の、「統合」ならば全視点の画像情報が記録されている。
【００７３】
一方、結合の有無が「結合あり」の場合、ファイルに記録されているのは１枚の結合画像のみであるため、任意の視点番号が選択可能である。この場合には、視点番号を画像変換部２０３に対して出力する。
【００７４】
ここで、画像情報が符号化されている場合には、逆多重化した後に復号を行う。図２０にこのような場合の画像データ再生装置２１０の構成を示す。画像データ再生装置２１０は復号部２０４を備える点が図１５の画像データ再生装置２００と異なっている。
【００７５】
画像変換部２０３は、３Ｄ情報解析部２０２により入力された結合の有無、縮小の有無、視点数、配置方法、２Ｄ選択および視点番号に応じて、逆多重化部２０１により分離された画像情報を表示形式に変換する。このとき、結合の有無が「結合なし」を示すならば、視点番号により指定された画像情報がそろった時点で変換を行う。ファイルが削除された等の理由により、画像情報がそろわなかった場合、配置の最も近い視点番号の画像を代用してもよいし、２次元表示を行うようにしてもよい。結合の有無が「結合あり」の場合、視点番号により指定された視点の画像を結合画像から切り出してから変換を行う。
【００７６】
表示形式への変換であるが、例えば、画像データ再生装置２００にパララクスバリア方式の表示装置が接続されている場合には、前述の図４（ｅ）の形式が最も扱いやすく、この場合には左右画像を水平方向１画素おきに並べるだけでよい。また、図４（ｂ）の場合には、水平方向１画素おきに並べる前に左右画像を水平方向に１／２に間引きをする。いずれの場合においても、画像データに３Ｄ情報が付け加えられているので、表示装置に合った表示形式に変換することができる。
【００７７】
なお、画像情報を符号化する場合、パララクスバリア方式を例にとると、表示する画像が図１７（ｂ）のようなものであっても、図４（ｅ）のような配置の画像を符号化すると符号化効率が大きく向上する。これは図１７（ｂ）の状態よりも図４（ｅ）の状態の方が隣接画素間の相関が高くなるからである。符号化された図４（ｅ）の画像をパララクスバリア方式に用いるには、図２０の画像データ再生装置２１０において復号部２０４で画像を復号した後に画像変換部２０３で図１７（ｂ）のように並べ換えをすればよい。
【００７８】
３次元画像の表示中に２次元表示に切り替えられた場合、２Ｄ選択により指定された視点番号の画像を表示する。このとき、縮小の有無が「縮小なし」の場合はそのまま、「縮小あり」の場合には２倍に拡大して表示する。ただし、その画像が表示中でない場合には、表示中の画像のうち、いずれか１つを選択して表示してもよい。選択の仕方は例えば、視点番号の最小のもの、最大のもの、撮像装置の設置や結合画像の配置的に２Ｄ選択で指定された視点番号に距離が一番近いもの、左眼画像に用いられているもの、右眼画像に用いられているものなどがあり、ここでは特に限定しない。また、２Ｄ選択が２次元表示に使用する画像を指定していない場合には、所定の方法で表示する画像を選択することとする。
【００７９】
また、２次元表示装置が接続されている場合には、２Ｄ選択で指定された画像を表示する。表示の仕方は３次元表示装置における２次元表示と同様である。
【００８０】
また、使用者によって選択されたファイルが管理用ファイルの場合、３Ｄ情報に記録されている結合の有無は「結合なし」を示しているが、立体視可能な視点番号の任意の組み合わせを選択すればよい。画像ファイルから画像データが読み出されて、表示形式に変換されるまでの動作は、上記と同様であるため、ここでの説明は省略する。
【００８１】
また、上記の実施の形態では、管理情報に視点番号とファイル名を記録した場合について述べたが、以下のようにしてもよい。すなわち、画像データ作成装置１００において、画像情報が同じ撮像装置で撮影された一組の多視点画像であることを示す識別番号を、共通情報と個別情報に記録するようにし、画像データ再生装置２００において、ファイル名と識別番号が一致するときにのみ画像情報を読み出すようにする。識別番号は一組の多視点画像に対して１つの番号を付けてもよいし、視点ごとに異なる番号を付けてもよい。こうすることで、ファイル名の捏造による誤動作を防ぐことができる。
【００８２】
以上のように、様々な３次元画像の撮影方式で作成されたデータを統一的に扱い、３次元画像の表示機能を持たない従来の再生装置においては、２次元画像を正常に表示することができるようになるため、汎用性をもたせることができる。
【００８３】
ところで、図２１（ａ）に示すように画像ファイル中にサムネイル画像を記録する場合がある。画像ファイルの互換性を確保するために策定されたＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）規格では、たとえ主画像（画像情報）を再生できない場合であっても最低限の再生互換性を保つために、サムネイル画像の格納を義務付けている。ＤＣＦ規格では主画像の画素数に規定はないが、サムネイル画像の画素数については１６０画素×１２０画素の一種類に限定されている。
【００８４】
このような思想に則って３次元表示のための情報をファイルに記録するには、図２１（ｂ）のような形が考えられる。すなわち、図２１（ａ）の形式の画像ファイルに３Ｄ情報を追加したような形であり、図２１（ｂ）における主画像は３Ｄ画像であるものとする。
【００８５】
ここで図２１（ｂ）における主画像として、例えば図４（ｅ）のように２つの視点の画像が水平方向に１／２に縮小されて結合された画像が格納されているものとし、その画素数を６４０画素×４８０画素であるとする。また、サムネイル画像としては、主画像をそのまま１６０画素×１２０画素に縮小した画像を用いるものとすると、このファイル中に含まれる画像は図２２（ａ）のようなものになる。この場合、主画像もサムネイル画像も３Ｄ画像であると言える。
【００８６】
したがって、図２２（ａ）のような画像があった場合に、３Ｄ情報を解釈でき、且つ３Ｄ表示が可能な画像データ再生装置においては、このファイルが３Ｄを格納したものであることを示す情報を、サムネイル画像の上に重ね書きすることにより、図２３（ｃ）に示すようなサムネイル表示が可能となる。また、主画像を３Ｄ表示する際に行う画像変換を、サムネイル画像に対しても行うことにより、サムネイルを３Ｄ表示することも可能である。さらに、３Ｄ画像であることを示すシンボル（例えば図２３（ｃ）における「３Ｄ」という文字）自体にも視差を与えることにより３Ｄ表示することで、視認性をより高めることが可能である。
【００８７】
サムネイルを３Ｄ表示する際、図２２（ａ）のようなサムネイル画像を用いることにより、復号した主画像を縮小して３Ｄ表示する場合に比べて高速な描画が可能となる。サムネイル画像は小さいため、主画像のような大きな画像を一旦復号する必要がなく、復号処理が高速に行えるためである。
【００８８】
ここで、サムネイル画像は主画像をそのまま縮小したものである必要はないので、図２２（ｂ）に示すような主画像とサムネイル画像の組み合わせも考えられる。図２２（ｂ）における主画像は図２２（ａ）と同じであるが、サムネイル画像は主画像から１視点分の画像だけを取り出して、全体を１６０画素×１２０画素に縮小したものとなっている。図２２（ｂ）では主画像が水平方向に１／２縮小されている、すなわち水平方向と垂直方向の長さの比が１：２となっているため、サムネイル画像は１視点分の画像を取り出した後に水平方向に２倍拡大したものとしている。
【００８９】
図２２（ｂ）のような画像があった場合に、３Ｄ情報を解釈でき、３Ｄ表示が可能な画像データ再生装置においては、このファイルが３Ｄを格納したものであることを示す情報をサムネイル画像の上に重ね書きすることにより、図２３（ｂ）に示すようなサムネイル表示が可能となる。図２２（ｂ）のように主画像中の１視点分の画像だけを取り出してサムネイル画像とすることにより、歪みのないサムネイル表示を迅速に行うことが可能となる。
【００９０】
なお、図２２（ａ）のようなサムネイル画像であっても、サムネイル表示する際に１視点分だけを取り出し、水平方向に２倍拡大した後に３Ｄを格納したものであることを示す情報をサムネイル画像の上に重ね書きすることにより、図２３（ｂ）に示すようなサムネイル表示が可能となる。
ところで、図２２では主画像の結合の有無が「結合あり」の場合を示しているが、主画像は図４（ａ）のように「結合なし」であってもよい。主画像の結合の有無が「結合なし」の場合は、主画像として記録される複数の画像のうちの１枚を縮小したものをサムネイル画像として記録すればよい。また、先に「２Ｄ選択」情報について説明したが、主画像の結合の有無が「結合あり」であっても「結合なし」であっても、「２Ｄ選択」で指定された１視点分の画像を取り出してサムネイル画像を作成したり、サムネイル表示を行うようにしてもよい。
【００９１】
さて、これまで説明してきたような３Ｄ情報を解釈できる画像データ再生装置であれば、図２１（ｂ）のようなファイルを受け取っても適切に処理できるが、ここで３Ｄ情報を解釈できない古いタイプの画像データ再生装置を考えてみる。この画像データ再生装置には、図２０における３Ｄ情報解析部２０２も画像変換部２０３もなく、３次元ディスプレイが接続できないものとする。このような画像データ再生装置は、３Ｄ情報を解釈できないのであるから、このファイルに格納されている画像情報が２Ｄ画像であるか３Ｄ画像であるかわからず、また仮に何らかの手段で３Ｄ画像だとわかったとしても、画像変換部を持たないため画像情報を正しく再生することができない。
【００９２】
このような場合であっても、上記のＤＣＦ規格のような思想に則ってサムネイル画像が記録してあれば、サムネイル画像だけは表示できることが期待できる。そこで、本発明においては、サムネイル画像中にこのファイルが３Ｄ画像を格納したものであることを示すシンボルを埋め込んだものをサムネイル画像として記録する。例えば図２３（ａ）に示すように、画像の右下に「３Ｄ」という絵文字を重ねたものをサムネイル画像としてもよいし、図２３（ｂ）に示すように「３Ｄ」という文字を画面中央に透かしのような形で埋め込んだものをサムネイル画像としてもよい。また、図２３（ｃ）のような画像をサムネイル画像として記録しても、少なくともこのファイルが３Ｄ画像を格納したものだということが認識できる。
３Ｄであることを表すシンボルをサムネイル画像中に埋め込む場合、埋め込む位置やサイズについては、記録時にユーザーが指定できるようにしてもよい。また、複数のシンボルを準備しておいて、その中から任意のシンボルを選択できるようにしてもよい。さらに、サムネイル画像を作成する際に画像の背景領域を自動的に判別し、背景領域にシンボルを書くようにしてもよい。加えて、上記のようにサムネイル画像中に自動的に３Ｄを表すシンボルを埋め込んだ場合、一旦記録されたサムネイル画像を確認し、シンボルの位置やサイズが好ましくない場合にはサムネイル画像を作成しなおすことができるようにしてもよい。
【００９３】
このようにして記録された画像ファイルの主画像とサムネイル画像の組み合わせの例を図２４に示す。ここで主画像として図２２の場合と同様、例えば図４（ｅ）のように２つの視点の画像が水平方向に１／２に縮小されて結合された画像が格納されているものとし、その画素数を６４０画素×４８０画素であるとする。また、サムネイル画像としては主画像を１６０画素×１２０画素に縮小した画像にこのファイルが３Ｄ画像を格納したものであることを示すシンボルを埋め込んだものを用いるものとすると、図２３（ｃ）のようなサムネイル画像を格納する場合には図２４（ａ）のような組み合わせに、図２３（ｂ）のようなサムネイル画像を格納する場合には図２４（ｂ）のような組み合わせになる。
【００９４】
シンボル自体はそれが３Ｄを示すものであればテキストであってもよいし、マークであってもよいし、特定の画像であってもよい。また、サムネイル画像内におけるシンボルの位置に何ら限定はない。しかし、いずれの場合であってもサムネイル画像の一部として記録されている必要がある。逆に言えば、これらのシンボルはサムネイル画像と分離して記録されたものではない。
【００９５】
ここが重要な点である。３Ｄ情報を解釈できない画像データ再生装置において有意義なサムネイル表示を行うには、図２３に示したような画像をサムネイル画像として、予めファイル中に記録しておく必要がある。このようにすれば、画像データ再生装置は、３Ｄ画像のファイルであっても、２Ｄ画像のファイルと同じようにサムネイル画像を再生するだけで、画像の中身を確認することができ、２Ｄ画像のファイルと３Ｄ画像のファイルを区別することができる。
ところで、３Ｄ情報を解釈できる画像データ再生装置であっても、あらゆるデータ形式をサポートしているとは限らない。すなわち、例えば４眼式の３Ｄ画像だけをサポートしている画像データ再生装置は、２眼式の３Ｄ画像データを受け取っても正しく表示することができない。このような場合にサムネイル画像を表示することにより、画像内容を確認することができる。３Ｄ情報を解釈できる画像データ再生装置は、３Ｄ情報を解釈することにより、ファイルに含まれる主画像を正しく再生できるかどうか判定可能であるから、正しく再生できないデータ形式である場合にはサムネイル画像を表示するとともに、「サポート外の３Ｄデータ形式である」旨のメッセージ等を表示するようにしてもよい。
【００９６】
ここで、サムネイル画像をファイル中に記録する画像データ作成装置の例を図２８に示す。図２８の画像データ作成装置１２０においてはサムネイル画像作成部１０６を備え、符号化データ（もしくは非圧縮の画像情報）、３Ｄ情報とともにサムネイルデータを多重化部１０４において多重化してファイルを作成する。ファイルの出力先としてはＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮやモデムなどの通信デバイスが考えられる。なお、ＤＣＦ規格ではサムネイル画像の大きさが１６０画素×１２０画素と定義されているが、一般的なサムネイル画像はこのサイズに限定されるものではない。
【００９７】
次に、図２２に示したようなサムネイル画像から図２３に示したようなサムネイル表示を行う画像データ再生装置の例を図２６に示す。図２６において図２０に示した画像データ再生装置２１０と機能が同じ部分については同じ番号を付して説明を省略する。図２６に示した画像データ再生装置２２０においては、逆多重化部２２１においてサムネイルデータが分離される。再生しようとするデータが３Ｄ画像であった場合、３Ｄ情報解析部２０２からの指示により、サムネイル生成部２２５は、サムネイルデータを復号した（非圧縮データの場合は復号する必要はない）サムネイル画像と３Ｄ画像であることを示すシンボルを重ねてサムネイル表示する。サムネイルを３Ｄ表示する場合には、サムネイル生成部２２５は、画像変換部２０３が主画像に対して行う変換と同じ処理を、サムネイル画像に対して施す。
【００９８】
また、３Ｄ表示用画像と２Ｄ表示用画像を切り替えて出力できる画像データ再生装置の例を図２７に示す。図２７において図２６に示した画像データ再生装置２２０と機能が同じ部分については同じ番号を付して説明を省略する。図２７に示した画像データ再生装置２３０において、図２４に示したような主画像およびサムネイル画像を符号化した画像データが入力された場合、復号部２０４で復号された画像情報は画像変換部２０３に送られるとともに、サムネイル生成部２２５にも送られる。制御部２２６は３Ｄ表示用画像を出力するか２Ｄ表示用画像を出力するかの指示を画像変換部２０３とサムネイル生成部２２５に与える。サムネイルの２Ｄ表示を行う場合、サムネイル生成部２２５は、図２４のようなサムネイル画像をそのまま出力してもよいし（この場合は３Ｄを示すシンボルも表示される）、入力された主画像を縮小し、画像変換部２０３と同様の処理を行うことにより３Ｄであることを示すシンボルを含まないサムネイル画像を出力してもよい。サムネイルの３Ｄ表示を行う場合は、入力された主画像を縮小し、画像変換部２０３と同様の処理を行えばよい。
【００９９】
なお、これまでの説明では、３Ｄのファイルであれば３Ｄであることを示すシンボルを、サムネイル画像に重ねて表示するものとしたが、逆に３Ｄのファイルに対してはサムネイル画像をそのまま表示し、２Ｄのファイルである場合に２Ｄであることを示すシンボルをサムネイル画像に重ねて表示してもよい。
【０１００】
また、３Ｄのファイルに対して３Ｄであることを示すシンボルをサムネイル画像に重ねて表示するのみならず、視点数や視点番号等、３Ｄ情報に含まれる情報をサムネイル画像に重ねて表示するようにしてもよい。さらに、３Ｄ情報に含まれる情報や３Ｄであることを示すシンボルは、サムネイル画像に重ねて表示するのみならず、サムネイル画像近傍の所定の位置に表示するようにしてもよい。
【０１０１】
図２５は、ファイルに格納するサムネイル画像の別の例を示したものである。２つ以上の視点の画像が結合された第１の画像と、そこから１つの視点だけを取り出した第２の画像をピクチャーインピクチャーの形にしたものである。図２５（ａ）は、第１の画像を親画像とし、第２の画像を子画像としたものであるが、図２５（ｂ）に示すように親画像と子画像を入れ替えてもよい。また、図２５（ｃ）、図２５（ｄ）は、それぞれ図２５（ａ）、図２５（ｂ）の画像に３Ｄであることを示すシンボルを埋め込んだものである。図２５（ｃ）、（ｄ）については、３Ｄであることを示すシンボルをサムネイル画像中には記録せず、サムネイル表示する際に重ねて出力するようにしてもよい。図２５のようなサムネイル表示を用いることにより、歪のない画像による画像内容確認と実際に主画像として記録されている画像の形の確認を両方同時に行うことができる。
【０１０２】
【発明の効果】
本発明によれば、主画像を３次元表示するための３次元制御情報を作成し、主画像とサムネイル画像と３次元制御情報とを多重化することにより、主画像が３次元画像である場合に、画像内容を適切に確認するためのサムネイル画像を出力することが可能となる。
【０１０３】
本発明によれば、主画像をそのまま縮小したサムネイル画像を作成することにより、サムネイル画像を３次元表示することが可能となる。
【０１０４】
本発明によれば、主画像から１視点分の画像を抜き出してサムネイル画像を作成することにより、歪みのないサムネイル画像を表示することが可能である。
【０１０５】
本発明によれば、サムネイル画像に３次元画像であることを示すシンボルを埋め込むことにより、３次元制御情報を解釈できない従来の画像データ再生装置においても、選んだファイルが３次元であることをサムネイルで判別可能である。
【０１０６】
本発明によれば、主画像の縮小画像と、主画像から１視点分の画像を抜き出して縮小した画像をピクチャーインピクチャーの形にしたサムネイル画像を作成することにより、歪のない画像による画像内容確認と実際に主画像として記録されている画像の形の確認を両方を同時に行うことが可能である。
【０１０７】
本発明によれば、主画像データが３次元画像である場合にはサムネイルデータに３次元画像であることを示すシンボルを重ねたものをサムネイルとして出力することにより、選んだファイルが２Ｄか３Ｄかをサムネイルで判別可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像データ作成装置の構成を示す図である。
【図２】多視点の場合の撮像装置の設置例を示す図である。
【図３】視点番号のふり方の例を示す図である。
【図４】視点数２の場合の結合例を示す図である。
【図５】多視点画像の格子状配置を示す図である。
【図６】３Ｄ情報のフォーマット例を示す図である。
【図７】画像データのファイル形式を示す図である。
【図８】既存形式のファイルに画像データを格納する際のフォーマットの一例を示す図である。
【図９】新規形式のファイルに画像データを格納する際のフォーマットの一例を示す図である。
【図１０】多視点の画像データを別々のファイルに記録する際の画像データの格納例を示す図である。
【図１１】３Ｄ情報のフォーマット例を示す図である。
【図１２】３Ｄ情報の設定値の一例を示す図である。
【図１３】管理情報のフォーマット例を示す図である。
【図１４】多視点の画像データを別々のファイルに記録する際の一例を示す図である。
【図１５】本発明の実施の形態による画像データ再生装置の構成を示す図である。
【図１６】時分割方式における画像の表示形式を示す図である。
【図１７】パララクスバリア方式の概念を説明するための図である。
【図１８】パララクスバリア方式における画像の表示形式を説明するための図である。
【図１９】本発明の他の実施の形態による画像データ作成装置の構成を示す図である。
【図２０】本発明の他の実施の形態による画像データ再生装置の構成を示す図である。
【図２１】サムネイル画像データを３次元表示のために記録する画像ファイル形式を示す図である。
【図２２】主画像と１６０画素×１２０画素に縮小したサムネイル画像の組み合わせを示す図である。
【図２３】３Ｄ画像のデータを格納したものであることを示すシンボルを埋め込んだサムネイル画像を示す図である。
【図２４】主画像と３Ｄ画像のデータを格納したものであることを示すシンボルを埋め込んだサムネイル画像の組み合わせを示す図である。
【図２５】ピクチャーインピクチャーで表現されたサムネイルの例を示す図である。
【図２６】サムネイル画像が記録されたファイルを再生する画像データ再生装置の構成を示す図である。
【図２７】３Ｄ表示と２Ｄ表示の切り替えが可能な画像データ再生装置の構成を示す図である。
【図２８】本発明の他の実施の形態によるサムネイル画像をファイル中に記録する画像データ作成装置の構成を示す図である。
【符号の説明】
１００  画像データ作成装置
１０１  画像結合部
１０２  制御部
１０３  ３Ｄ情報作成部
１０４  多重化部
２００  画像データ再生装置
２０１  逆多重化部
２０２  ３Ｄ情報解析部
２０３  画像変換部
３０１〜３０８  撮像装置
４０１  画像表示パネル
４０２  パララックスバリア
４０３  左眼
４０４  右眼
５０１  左眼画像
５０２  右眼画像
【図１】
2004349731.tif 000003
【図２】
2004349731.tif 000004
【図３】
2004349731.tif 000005
【図４】
2004349731.tif 000006
【図５】
2004349731.tif 000007
【図６】
2004349731.tif 000008
【図７】
2004349731.tif 000009
【図８】
2004349731.tif 000010
【図９】
2004349731.tif 000011
【図１０】
2004349731.tif 000012
【図１１】
2004349731.tif 000013
【図１２】
2004349731.tif 000014
【図１３】
2004349731.tif 000015
【図１４】
2004349731.tif 000016
【図１５】
2004349731.tif 000017
【図１６】
2004349731.tif 000018
【図１７】
2004349731.tif 000019
【図１８】
2004349731.tif 000020
【図１９】
2004349731.tif 000021
【図２０】
2004349731.tif 000022
【図２１】
2004349731.tif 000023
【図２２】
2004349731.tif 000024
【図２３】
2004349731.tif 000025
【図２４】
2004349731.tif 000026
【図２５】
2004349731.tif 000027
【図２６】
2004349731.tif 000028
【図２７】
2004349731.tif 000029
【図２８】
2004349731.tif 000030