(57)【特許請求の範囲】
【請求項１】
１つの多眼式立体画像の構成要素である複数のモノキュラ画像の集合体として構成された立体画像データが記録される３Ｄ画像ファイルの生成装置であって、
上記３Ｄ画像ファイルは、上記立体画像データの全部又は一部に少なくとも上記複数のモノキュラ画像の相互の同質性に関する情報を含む３Ｄメタデータが付加されることにより、画像取り扱いの最小単位として構成される上記３Ｄ画像ファイルを生成する３Ｄ画像ファイル生成手段を具備することを特徴する３Ｄ画像ファイルの生成装置。
【請求項２】
上記立体画像データは、上記複数のモノキュラ画像の各々を１つの平面画像上の異なる位置領域に配置することにより構成された統合型立体画像データであり、
上記３Ｄ画像ファイルは、上記統合型立体画像データに上記３Ｄメタデータが付加されて構成されてなる１つの３Ｄ画像ファイルであることを特徴とする請求項１に記載の３Ｄ画像ファイルの生成装置。
【請求項３】
上記立体画像データは、上記複数のモノキュラ画像の各々をページ画像として有するマルチページ型立体画像データであり、
上記３Ｄ画像ファイルは、上記マルチページ型立体画像データに上記３Ｄメタデータが付加されてなる１つの３Ｄ画像ファイルであることを特徴とする請求項１に記載の３Ｄ画像ファイルの生成装置。
【請求項４】
上記３Ｄ画像ファイルは、上記複数のモノキュラ画像を個別に記録した複数の３Ｄ画像ファイルからなり、
上記複数の３Ｄ画像ファイルの少なくとも一部の３Ｄ画像ファイルには上記３Ｄメタデータが付加されており、かつこの一部の３Ｄ画像ファイルに付加された３Ｄメタデータは、他の３Ｄ画像ファイルとの関係を示す情報を更に含むことを特徴とする請求項１に記載の３Ｄ画像ファイルの生成装置。
【請求項５】
上記複数のモノキュラ画像の相互の同質性に関する情報は、上記複数のモノキュラ画像が露出されたタイミングの同時性を示す情報を含むことを特徴とする請求項１に記載の３Ｄ画像ファイルの生成装置。
【請求項６】
上記複数のモノキュラ画像が露出されたタイミングの同時性を示す情報は、上記複数のモノキュラ画像が各々露出されたときの撮影時刻に係る情報を含むことを特徴とする請求項５に記載の３Ｄ画像ファイルの生成装置。
【請求項７】
上記複数のモノキュラ画像の相互の同質性に関する情報は、上記複数のモノキュラ画像各々が同一の撮像装置で撮影されたか否かを示す情報を含むことを特徴とする請求項１に記載の３Ｄ画像ファイルの生成装置。
【請求項８】
上記複数のモノキュラ画像の相互の同質性に関する情報は、上記複数のモノキュラ画像が各々撮影されたときの撮影条件の同一性を示す情報を含むことを特徴とする請求項１に記載の３Ｄ画像ファイルの生成装置。
【請求項９】
請求項１乃至８の何れかに記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを記録する記録手段と、
１つの多眼式立体画像の構成要素である複数のモノキュラ画像を得るための少なくとも１つの撮像手段と、
上記撮像手段で得られた複数のモノキュラ画像の相互の同質性を判断する同質性判断手段と、
を具備し、
上記３Ｄ画像ファイル生成手段は、上記３Ｄ画像ファイルの生成に際して、上記同質性判断手段の判断結果に基づいて上記複数のモノキュラ画像の相互の同質性に関する情報を設定し、上記３Ｄメタデータを生成することを特徴とする撮像装置。
【請求項１０】
請求項１乃至８の何れかに記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを再生する画像再生装置であって、
上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、警告を行う警告手段を具備することを特徴とする画像再生装置。
【請求項１１】
請求項１乃至８の何れかに記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを再生する画像再生装置であって、
上記３Ｄ画像ファイルに付加された３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記３Ｄ画像ファイルの再生を中止する中止手段を具備することを特徴とする画像再生装置。
【請求項１２】
請求項１乃至８の何れかに記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを再生する画像再生装置であって、
上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、画像処理によって上記複数のモノキュラ画像の相互の同質性を高める補正処理を施す補正手段を具備することを特徴とする画像再生装置。
【請求項１３】
上記補正手段による補正処理が適正に行われなかった場合に、警告を行う警告手段を具備することを特徴とする請求項１２に記載の画像再生装置。
【請求項１４】
上記補正手段による補正処理が適正に行われなかった場合に、上記３Ｄ画像ファイルの再生を中止する中止手段を具備することを特徴とする請求項１２に記載の画像再生装置。
【請求項１５】
請求項１乃至８の何れかに記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを再生する画像再生装置であって、
上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記複数のモノキュラ画像相互の入れ替え処理を施す処理手段を具備することを特徴とする画像再生装置。
【請求項１６】
請求項１乃至８の何れかに記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを加工する画像加工装置であって、
上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、画像処理によって上記複数のモノキュラ画像の相互の同質性を高める補正処理を施す補正手段と、
当該補正手段の補正出力を３Ｄ画像ファイルとして記録する記録手段と、
を具備することを特徴とする画像加工装置。
【請求項１７】
上記補正手段による補正処理が適正に行われなかった場合に、警告を行う警告手段を具備することを特徴とする請求項１６に記載の画像加工装置。
【請求項１８】
上記補正手段による補正処理が適正に行われなかった場合に、上記３Ｄ画像ファイルの記録を中止する中止手段を具備することを特徴とする請求項１６に記載の画像加工装置。
【請求項１９】
請求項１乃至８の何れかに記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを加工する画像加工装置であって、
上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記複数のモノキュラ画像相互の入れ替え処理を施す処理手段と、
当該処理手段の処理出力を３Ｄ画像ファイルとして記録する記録手段と、
を具備することを特徴とする画像加工装置。
【請求項２０】
１つの多眼式立体画像の構成要素である複数のモノキュラ画像の集合体として構成された立体画像データが記録される３Ｄ画像ファイルの生成装置であって、
３Ｄ画像ファイル生成部により、上記立体画像データの全部又は一部に少なくとも上記複数のモノキュラ画像の相互の同質性に関する情報を含む３Ｄメタデータを付加して、画像取り扱いの最小単位として構成される上記３Ｄ画像ファイルを生成する３Ｄ画像メタデータ生成工程を有することを特徴する３Ｄ画像ファイルの生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像データを記録する３Ｄ画像ファイルの生成装置、３Ｄ画像ファイルを記録する撮像装置、３Ｄ画像ファイルを再生する画像再生装置、３Ｄ画像ファイルを生成する画像加工装置、及び３Ｄ画像ファイルの生成方法に関する。
【背景技術】
【０００２】
被写体の画像をその立体的情報を含むように撮影記録する手法には種々の方式がある。
【０００３】
その中でも、左右両眼の視点に対応する視差を持った２画像を記録する、所謂２眼式ステレオ撮影は構成が比較的簡単で安価な割に効果が高いため、古くから今日まで利用されている。
【０００４】
ここで用語について補足すれば、本明細書においては特記なき場合は３Ｄ、立体、ステレオは同義の言葉として用いる。いずれも被写体の３次元（3-dimendional）情報を、視覚的にリアルに再現するものである立体知覚（Stereoscopy）を実現するための立体視技術（Stereoscopic technology）の意味で用いられ、その利用形態や慣用により使い分けられる場合があるが、本質的な違いは無い。
【０００５】
このような２眼式ステレオ撮影を行うためには、特許文献１で示されるように、例えば左右両眼の視点に対応する視差を持った２つの光学系を有する２眼式のカメラを用いて撮影を行う方法がある。また、２眼式ステレオ撮影を単眼式のカメラで行う場合には、２台の単眼式のカメラを左右両眼の視点に対応する視差程度だけ離して配置して撮影を行う方法がある。また、このような２眼式のステレオ撮影を１台の単眼式のカメラで行う場合には、１回の撮影毎に位置を変えて計２回の撮影を行うようにすれば良い。更には、特許文献２で示されるように、カメラ本体にミラーやプリズムからなるステレオアダプタと呼ばれる機器を装着して撮影を行う方法もある。
【特許文献１】特開平８−３１７４２５号公報
【特許文献２】特開２００２−７７９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、ステレオ撮影では、左右異なる視点で各々撮影された画像（モノキュラ画像）の相互の同質性が保たれることが重要である。例えば、特許文献１のような２眼式のカメラを用いた場合や、特許文献２のようなステレオアダプタを装着する手法では、同一の撮影条件のもと、１回の撮影で左右２視点からの画像が得られるので比較的左右の画像の同質性が保たれやすい。これに対し、手持ちで位置を変えて２回の撮影を行い、左右２視点分の画像を記録するような場合には、手持ちのために１回目と２回目とで多少の傾きなどが生じやすく、撮影位置を完全に調節するのは非常に困難である。この場合、左右２視点の画像の同質性は低くなり、そのままでは再生画像の画質が悪くなる可能性が高い。このような２つの画像から立体画像を再生しようとしても正しく立体画像とならなかったり、最悪の場合には再生表示された画像がユーザーの眼に悪影響をおよぼしたりすることも考えられる。
【０００７】
このため、ステレオ撮影においては、複数の異なる視点で撮影された画像相互の同質性に関する情報を管理することが非常に重要である。
【０００８】
本発明は、上記の事情に鑑みてなされたもので、ステレオ撮影において撮影された複数のモノキュラ画像の同質性を管理することができる３Ｄ画像ファイルの生成装置、このような３Ｄ画像ファイルを記録することができる撮像装置、３Ｄ画像ファイルを再生することができる画像再生装置、良好な３Ｄ画像ファイルを生成することができる画像加工装置、及び３Ｄ画像ファイルの生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の第１の態様による３Ｄ画像ファイルの生成装置は、１つの多眼式立体画像の構成要素である複数のモノキュラ画像の集合体として構成された立体画像データが記録される３Ｄ画像ファイルの生成装置であって、上記３Ｄ画像ファイルは、上記立体画像データの全部又は一部に少なくとも上記複数のモノキュラ画像の相互の同質性に関する情報を含む３Ｄメタデータが付加されることにより、画像取り扱いの最小単位として構成される上記３Ｄ画像ファイルを生成する３Ｄ画像ファイル生成手段を具備することを特徴する。
また、上記の目的を達成するために、本発明の第２の態様による撮像装置は、請求項１乃至８の何れかに記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを記録する記録手段と、１つの多眼式立体画像の構成要素である複数のモノキュラ画像を得るための少なくとも１つの撮像手段と、上記撮像手段で得られた複数のモノキュラ画像の相互の同質性を判断する同質性判断手段と、を具備し、上記３Ｄ画像ファイル生成手段は、上記３Ｄ画像ファイルの生成に際して、上記同質性判断手段の判断結果に基づいて上記複数のモノキュラ画像の相互の同質性に関する情報を設定し、上記３Ｄメタデータを生成することを特徴とする。
これら第１及び第２の態様では、複数のモノキュラ画像から３Ｄ画像ファイルを生成する際に、立体画像データに、複数のモノキュラ画像の相互の同質性に関する情報を含む３Ｄメタデータが付加される。これにより、モノキュラ画像の相互の同質性を容易に管理することが可能となる。
【００１０】
また、上記の目的を達成するために、本発明の第２の態様による撮像装置は、第１の態様に記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを再生する画像再生装置であって、上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、警告を行う警告手段を具備することを特徴とする。
この第３の態様では、３Ｄメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には警告が行われる。これにより画像の再生前にモノキュラ画像の同質性が低いことを知ることができるから、ユーザーに不快感や徒労を与えることを未然に防ぐことができる。
【００１１】
また、上記の目的を達成するために、本発明の第４の態様による画像再生装置は、第１の態様に記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを再生する画像再生装置であって、上記３Ｄ画像ファイルに付加された３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記３Ｄ画像ファイルの再生を中止する中止手段を具備することを特徴とする。
この第４の態様では、３Ｄメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、立体画像の再生が中止される。これにより不適正な立体画像が再生されることがないから、ユーザーに不快感や徒労を与えることを未然に防ぐことができる。
【００１２】
また、上記の目的を達成するために、本発明の第５の態様による画像再生装置は、第１の態様に記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを再生する画像再生装置であって、上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、画像処理によって上記複数のモノキュラ画像の相互の同質性を高める補正処理を施す補正手段を具備することを特徴とする。
この第５の態様では、３Ｄメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、画像処理によって同質性を高める補正が行われる。これにより画像再生時に適正な立体画像が再生される。  
なお、この第５の態様においては、さらに上記補正手段による補正処理が適正に行われなかった場合に、警告を行う警告手段を具備すること、または上記３Ｄ画像ファイルの再生を中止する中止手段を具備することが望ましい。  
これらの手段により、良好な表示が行なわれない状況をユーザーに知らしめ、あるいは不良な３Ｄ表示を行なうことを回避できるので、ユーザーに不快感や徒労を与えることを未然に防ぐことができる。
【００１３】
また、上記の目的を達成するために、本発明の第６の態様による画像再生装置は、第１の態様に記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを再生する画像再生装置であって、上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記複数のモノキュラ画像相互の入れ替え処理を施す処理手段を具備することを特徴とする。
この第６の態様では、３Ｄメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、画像の入れ替えが行われる。これにより、撮影時に画像の誤配置が生じた場合にも、画像再生時に適正な立体画像が再生される。
【００１４】
また、上記の目的を達成するために、本発明の第７の態様による画像加工装置は、第１の態様に記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを加工する画像加工装置であって、上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、画像処理によって上記複数のモノキュラ画像の相互の同質性を高める補正処理を施す補正手段と、当該補正手段の補正出力を３Ｄ画像ファイルとして記録する記録手段と、を具備することを特徴とする。
この第７の態様では、３Ｄメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、画像処理によって同質性を高める補正が施されたものが３Ｄ画像ファイルとして記録される。これにより同質性の高い画像再生に適した３Ｄ画像ファイルを得ることができる。  
なお、この第７の態様においては、さらに上記補正手段による補正処理が適正に行われなかった場合に、警告を行う警告手段を具備すること、または上記３Ｄ画像ファイルの記録を中止する中止手段を具備することが望ましい。  
これらの手段により、良好な３Ｄ画像ファイルの再生成が行われない状況をユーザーに知らしめ、あるいは不良な３Ｄ画像ファイルが記録されることを回避できるので、媒体の浪費やユーザーの徒労を未然に防ぐことができる。
【００１５】
また、上記の目的を達成するために、本発明の第８の態様による画像加工装置は、第１の態様に記載の３Ｄ画像ファイルの生成装置により生成された３Ｄ画像ファイルを加工する画像加工装置であって、上記３Ｄ画像ファイルの３Ｄメタデータに含まれる上記複数のモノキュラ画像の相互の同質性に関する情報が、同質性が低いことを示すものであった場合に、上記複数のモノキュラ画像相互の入れ替え処理を施す処理手段と、当該処理手段の処理出力を３Ｄ画像ファイルとして記録する記録手段と、を具備することを特徴とする。
この第８の態様では、３Ｄメタデータに含まれている複数のモノキュラ画像の相互の同質性情報が、同質性が低いことを示すものであった場合には、画像の入れ替えが施されたものが３Ｄ画像ファイルとして記録される。これにより、撮影時に画像の誤配置が生じた場合にも、配置の正しい画像再生に適した３Ｄ画像ファイルを得ることができる。
また、上記の目的を達成するために、本発明の第９の態様による３Ｄ画像ファイルの生成方法は、１つの多眼式立体画像の構成要素である複数のモノキュラ画像の集合体として構成された立体画像データが記録される３Ｄ画像ファイルの生成装置であって、３Ｄ画像ファイル生成部により、上記立体画像データの全部又は一部に少なくとも上記複数のモノキュラ画像の相互の同質性に関する情報を含む３Ｄメタデータを付加して、画像取り扱いの最小単位として構成される上記３Ｄ画像ファイルを生成する３Ｄ画像メタデータ生成工程を有することを特徴する。
【発明の効果】
【００１６】
本発明によれば、ステレオ撮影において撮影された複数のモノキュラ画像の同質性を管理することができる３Ｄ画像ファイルの生成装置、このような３Ｄ画像ファイルを記録することができる撮像装置、３Ｄ画像ファイルを再生することができる画像再生装置、良好な３Ｄ画像ファイルを生成することができる画像加工装置、及び３Ｄ画像ファイルの生成方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施形態を説明する。
【００１８】
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ１００の内部構成を示すブロック図である。なお、図１のデジタルカメラ１００は、複数の視点位置からの撮影によって得られた多眼式立体画像の構成要素である複数の画像（モノキュラ画像）から、所定のフォーマットに従った３Ｄ画像ファイルを生成して記録する、ステレオ撮影が可能な単眼式のデジタルカメラを例としている。図１に示すように、デジタルカメラ１００は、撮像レンズ系１０１と、レンズ駆動機構１０２と、露出制御機構１０３と、フィルタ系１０４と、撮像素子１０５と、撮像素子ドライバ１０６と、プリプロセス回路１０７と、デジタルプロセス回路１０８と、カードインターフェイス（ＩＦ）１０９と、メモリカード１１０と、ＬＣＤ１１１と、システムコントローラ１１２と、操作スイッチ（ＳＷ）１１３と、操作表示部１１４と、レンズドライバ１１５と、ストロボ１１６と、露出制御ドライバ１１７と、ＦｌａｓｈＲｏｍ１１８と、計時部１１９とから構成されている。
【００１９】
撮像レンズ系１０１は、各種レンズから構成されるレンズ系であり、図示しない被写体からの像（以下、被写体像）を露出制御機構１０３及びフィルタ系１０４を介して撮像素子１０５に結像させる。この撮像レンズ系１０１は、レンズ駆動機構１０２によって駆動される。レンズ駆動機構１０２は、モータなどから構成されており、撮像レンズ系１０１を構成する各レンズをその光軸方向に駆動させる。このレンズ駆動機構１０２は、レンズドライバ１１５によって駆動制御される。露出制御機構１０３は、撮像素子１０５への露出量を制御するための機構である。この露出制御機構１０３は、絞りやシャッタと、これらを駆動するための駆動機構とから構成され、露出制御ドライバ１１７によって制御される。フィルタ系１０４は、ローパスフィルタ等から構成されており、撮像レンズ系１０１及び露出制御機構１０３を介して入射した被写体像における高周波成分などの所定の周波数成分を除去する。
【００２０】
撮像手段としての撮像素子１０５は、被写体像を光電変換して撮像信号を取得する。撮像素子１０５としては、例えば縦型オーバーフロードレイン構造を有するインターライン転送方式のプログレッシブ（順次）走査型のＣＣＤが用いられる。また、撮像素子１０５は、撮像素子ドライバ１０６によって駆動制御される。撮像素子ドライバ１０６は撮像素子１０５の駆動制御と撮像素子１０５において得られた撮像信号の読み出し制御とを行う。
【００２１】
プリプロセス回路１０７は、ゲインコントロールアンプやアナログ/デジタル（Ａ/Ｄ）変換器等を含む前処理回路である。このプリプロセス回路１０７は、撮像素子１０５から入力されてきた撮像信号をゲインコントロールアンプにおいて所定のゲインで増幅したり、Ａ/Ｄ変換器においてデジタル化したりする各種前処理を行う。デジタルプロセス回路１０８は、ホワイトバランス調整処理や階調変換処理、シャープネス処理などの各種デジタル画像処理を行う。また、処理後の画像データをＪＰＥＧ方式などの圧縮方式を用いて圧縮し、これによって得られた圧縮画像データを、カードＩＦ１０９を介してメモリカード１１０に記録させる。また、ＬＣＤ１１１は、例えばＬＣＤとその表示制御回路等から構成されており、デジタルプロセス回路１０８においてデジタル画像処理がなされた画像データに基づいて画像表示を行う。
【００２２】
システムコントローラ１１２は、露出制御機構１０３の絞り及びシャッタの動作制御、撮像素子ドライバ１０６の動作制御、プリプロセス回路１０７のゲインコントローラへのゲイン量の指示及びＡ/Ｄ変換器におけるデジタル化の際の量子化ビットの指示、デジタルプロセス回路１０８におけるホワイトバランス処理の際のホワイトバランスゲインの演算や、圧縮処理の際の圧縮方式や圧縮率の指示、レンズドライバ１１５や露出制御ドライバ１１７の動作制御等のカメラ全体の制御を統括的に行う。また、システムコントローラ１１２は、ステレオ撮影モード時において得られた複数のモノキュラ画像の相互の同質性を判断する同質性判断手段としての同質性判断部１１２ａ及び同質性判断部１１２ａにおいて判断された同質性に関する情報から３Ｄメタデータを生成する３Ｄメタデータ生成手段としての３Ｄメタデータ生成部１１２ｂとしての機能も有している。更に、システムコントローラ１１２は、デジタルプロセス回路１０８とともに、３Ｄメタデータ生成部１１２ｂで生成された３Ｄメタデータから３Ｄ画像ファイルを生成してメモリカード１１０に記録する記録手段としての機能も有している。
【００２３】
操作ＳＷ１１３は、本デジタルカメラの外部に露出配置された各種操作ボタンに連動してオンオフする各種スイッチである。この操作スイッチ１１３としては、例えば本デジタルカメラによるシャッタレリーズ動作を開始させるためのレリーズスイッチや、本デジタルカメラの撮影モードをステレオ撮影モードに切り替えるためのモード切り替えスイッチなどが含まれる。操作表示部１１４は、操作スイッチ１１３の操作状態を表示する。
【００２４】
ストロボ１１６は、撮影時の補助光照射等に用いられる発光部である。このストロボ１１６は、露出制御ドライバ１１７によって制御される。ＦｌａｓｈＲｏｍ１１８は、本デジタルカメラの制御プログラムや各種設定情報等を記憶させておくための不揮発性メモリである。計時部１１９は、撮影時刻を計時するために設けられている。なお、この計時部１１９は、システムコントローラ１１２に内蔵させるようにしても良い。
【００２５】
次に、図１のデジタルカメラにおけるステレオ撮影について説明する。なお、ステレオ撮影は、操作スイッチ１１３に含まれるモード切り替えスイッチによって本デジタルカメラの撮影モードがステレオ撮影モードに切り替えられた場合に行うことができる。
【００２６】
ここでは、左右２視点分のモノキュラ画像を得る２眼式のステレオ撮影を例にとって説明する。図１のデジタルカメラ１００は、２眼式のステレオ撮影を行うためのモードとして、２回の単眼撮影によって得られた左右２視点分のモノキュラ画像から３Ｄ画像ファイルを生成して記録する２テーク撮影モードと、１回の２眼撮影によって得られた左右２視点分の画像から３Ｄ画像ファイルを生成して記録する１テーク撮影モードの２種類のステレオ撮影モードを有している。これらステレオ撮影モードの切り替えはモード切り替えスイッチによって切り替えることができる。
【００２７】
図２は、２テーク撮影モードにおいて、左右２視点分のモノキュラ画像を取得する場合の例について示す図である。２テーク撮影モードにおいて、ユーザーは、あらかじめ決められた撮影順序のルールに従って、１回目の撮影時に図２（ｂ）に示すようにして左側の視点に対応する位置で撮影を行い、２回目の撮影時に図２（ａ）に示すようにして右側の視点に対応する位置で撮影を行う。ここで、１回目の撮影時と２回目の撮影時とでは、絞り値やシャッタスピードなどの撮影条件を同じくするような制御がシステムコントローラ１１２によってなされる。これにより、１回目の撮影時に左側のモノキュラ画像Ｌが取得され、２回目の撮影時に右側のモノキュラ画像Ｒが取得される。これらモノキュラ画像Ｌ、Ｒから後述するステレオ画像データが生成され、このステレオ画像データから３Ｄ画像ファイルが生成される。
【００２８】
なお、２テーク撮影モードにおける２回の撮影は、ユーザーによる２回のレリーズ操作を受けて実行するようにしても良いし、ユーザーによる１度のレリーズ操作により順次所定時間間隔で２回の撮影を実行するようにしても良い。
【００２９】
図３は、１テーク撮影モードにおいて、左右２視点分のモノキュラ画像を取得する場合の例について示す図である。１テーク撮影モードにおいて、ユーザーは、例えばデジタルカメラ１００にステレオアダプタ２００を装着した状態で撮影を行う。このステレオアダプタ２００は、複数のミラー２０１〜２０４から構成されており、異なる視点位置から入射した被写体の光束を撮像素子１０５の異なる領域に結像させる。つまり、左側の視点位置からステレオアダプタ２００に入射した光束（図３の下側）はミラー２０１及びミラー２０３で反射されて撮像素子１０５の右側の領域（図３の上側）に結像する。また、右側の視点位置からステレオアダプタ２００に入射した光束（図３の上側）はミラー２０２及びミラー２０４で反射されて撮像素子１０５の左側の領域（図３の下側）に結像する。このとき左右の配置が入れ替わるように見えるが、撮像レンズ系１０１による倒立結像の作用で、撮像素子上に結像される画像に対してはそのまま左視点画像が左に右視点画像が右に配置された並行配置となる。これにより撮像素子１０５の異なる領域でモノキュラ画像Ｌとモノキュラ画像Ｒとが取得される。これらモノキュラ画像Ｌ、Ｒから後述するステレオ画像データが生成され、このステレオ画像データから３Ｄ画像ファイルが生成される。
【００３０】
なお、ステレオアダプタ２００を装着しなくとも左右の視点位置に対応する位置に２台のデジタルカメラを配置し、これら２台のデジタルカメラを同時レリーズ可能なように例えばケーブルで接続して撮影を行うようにしても、１回の撮影で左右２視点分のモノキュラ画像を得ることができる。また、図１では示していないが、２つのレンズ系と２つの撮像素子を有する２眼式のデジタルカメラを用いて撮影を行っても良い。
【００３１】
次に、本一実施形態における３Ｄ画像ファイルの生成時の処理について説明する。ステレオ撮影では、左右のモノキュラ画像の相互の同質性が保たれていることが重要であるが、モノキュラ画像の相互の同質性を完全に保つことはほぼ不可能である。ただし、左右のモノキュラ画像の相互の同質性は撮影時において決定される情報であるため、撮影時に生成される３Ｄ画像ファイル内に同質性に関する情報を記録しておくことが同質性を管理する上では好ましい。
【００３２】
そこで、本一実施形態では、デジタルカメラ１００において３Ｄ画像ファイルを生成する際に、３Ｄ画像ファイルに２つのモノキュラ画像の相互の同質性に関する情報（以下、同質性タグと称する）を記録するようにする。この同質性タグには、２つのモノキュラ画像を１テーク撮影モードと２テーク撮影モードの何れで取得したかを記述するようにする。これは、１テーク撮影モードで撮影された場合の２つのモノキュラ画像の相互の同質性は高く、２テーク撮影モードで撮影された場合の２つのモノキュラ画像の相互の同質性は低いと考えられるためである。そして、１テーク撮影モードで取得された場合には、同質性タグに、２つのモノキュラ画像が１テーク撮影モードで取得されたことを示す「１」を設定し、２テーク撮影モードで取得された場合には、同質性タグに、２つのモノキュラ画像が２テーク撮影モードで取得されたことを示す「２」を設定するようにする。
【００３３】
以下、３Ｄ画像ファイル記録時の処理について図４のフローチャートを参照して説明する。なお、図４のフローチャートの処理は、ステレオ撮影モード時にシステムコントローラ１１２において実行されるものである。
【００３４】
１テーク撮影モード若しくは２テーク撮影モードでステレオ撮影が実行されると撮像素子１０５に結像された被写体像から左右２視点に対応した２つのモノキュラ画像Ｌ、Ｒが生成される。その後に図４のフローチャートの処理が開始され、システムコントローラ１１２内部の同質性判断部１１２ａにおいて、２つのモノキュラ画像が２テーク撮影モードで撮影されたものか否かが判断される（ステップＳ１）。
【００３５】
ここで、このステップＳ１での判断については、２通りのケースがあることについて補足説明する。すなわち第１のケースは、文字通り「２テーク撮影（左右視点の各モノキュラ画像を、タイミングの異なる２回の露出により取得する制御）による撮影か否か」であり、第２のケースは「２テーク撮影として扱うべき画像の同質性の低下の懸念があるか否か」である。
【００３６】
本実施形態の基本的な実施例としては第１のケースを採用する。すなわち、既に本発明の課題においても触れたように一般には１テーク撮影では同質性が保たれやすく、２テーク撮影では保たれにくいから、この判断にのみ従って同質性タグの設定を行うものである。この例は判断基準が極めて明確かつ実施に何の困難もないという利点を有している。
【００３７】
一方この点に関する変形実施例として、第２のケースを採用するものについて説明する。撮影時における２つのモノキュラ画像の相互の同質性は、２テーク撮影であっても保たれる場合があり、逆に１テーク撮影であっても保たれない場合がある。そこでこの例では、ステップＳ１の判断において、２つのモノキュラ画像の相互の同質性を判断するようにし、２つのモノキュラ画像の相互の同質性が保たれている場合には、２テーク撮影モードで撮影されたものであっても１テーク撮影モードで撮影されたものと見なす。逆に２つのモノキュラ画像の相互の同質性が保たれていない場合には、１テーク撮影モードで撮影されたものであっても２テーク撮影で撮影取得されたものと見なす。これらの判断は、２つのモノキュラ画像の撮影タイミングの同時性、２つのモノキュラ画像が異なるデジタルカメラで撮影されたものであるか否か、及び２つのモノキュラ画像の撮影条件の同一性を判断することにより行う。また、この判断は、ある許容範囲内で同一性が保たれていれば２つのモノキュラ画像の同一性が保たれている、即ち１テーク撮影モードで撮影されたものと判断する。この許容範囲はデジタルカメラ１００の仕様などに応じて適宜決定すれば良いものである。
【００３８】
例えば、２つのモノキュラ画像の撮影タイミングが大きく異なっている場合には、２回の撮影の間に手ぶれ（による被写体像の回転や位置ずれ、さらに被写体の動きによるずれを含む）などが発生している可能性もあるため、２つのモノキュラ画像の同質性が保たれていないと見なす。また、２つのモノキュラ画像が異なる（同一で無い）デジタルカメラで撮影された場合も、両デジタルカメラでレンズ系の特性（分光透過率や画角など）や撮像素子の特性（撮像素子の有効画素数や飽和レベルなど）、Ａ/Ｄ変換器の特性（デジタル化の際の量子化ビット数など）などが異なっている可能性があるため、２つのモノキュラ画像の同質性が保たれていないと見なす。この場合の特性の相違は、２つのカメラの機種が異なれば一層大きくなり易いが、同じ機種であっても個体差やセッティングによって異なり得るから、同一のカメラであるかによって同質性を判断している。異なるカメラを用いた時には、仮に同期式シャッタによって同一タイミングでの露光ができたとしても、カメラの雲台への取り付け角度が不適切であったりすれば画像の同質性はやはり保たれないケースがあることを参考までに指摘しておく。
【００３９】
更に、２つのモノキュラ画像の撮影条件が大きく異なっている場合も２テーク撮影モードと見なす。これは、例えば左側のモノキュラ画像Ｌの圧縮方式がＲＡＷモードに設定されており、右側のモノキュラ画像Ｒの圧縮方式がＪＰＥＧモードに設定されている場合や、モノキュラ画像Ｌとモノキュラ画像Ｒのそれぞれの撮影時におけるストロボ発光の有無の条件が異なっている場合などである。これは、例えば２回の撮影を行う場合で、１回目のモノキュラ画像Ｌの撮影時にはストロボを使用したが、２回目のモノキュラ画像Ｒの撮影時にはストロボのチャージが完了せずにストロボを使用できなかったような場合などに対応する。このほかにも、モノキュラ画像Ｌとモノキュラ画像Ｒをそれぞれ撮影したときの絞り値、シャッタスピード、撮影感度（ゲインコントロールアンプのゲイン量）などの画像の露出に関わる条件や、モノキュラ画像Ｌとモノキュラ画像Ｒのホワイトバランスの条件、色信号処理方法、階調特性などの画像処理に関わる条件、及びモノキュラ画像Ｌとモノキュラ画像Ｒの解像度、圧縮率、記録画素数などの画像の記録に関する条件などが大きく異なる場合にも２つのモノキュラ画像の同質性が保たれていないと見なす。
【００４０】
ここで再び図４のフローチャートの説明に戻れば、上記した２つの実施の例のいずれのケースであっても、ステップＳ１の判断において、２つのモノキュラ画像が２テーク撮影モードで撮影されたものと見なすべきであると判断された場合には、ステップＳ１をステップＳ２に分岐して、同質性タグに、２つのモノキュラ画像が２テーク撮影モードで撮影されたことを示す「２」が設定される（ステップＳ２）。一方、２つのモノキュラ画像が１テーク撮影モードで撮影されたものと見なすことができると判断された場合には、ステップＳ１をステップＳ３に分岐して、同質性タグに、２つのモノキュラ画像が１テーク撮影モードで撮影されたことを示す「１」が設定される（ステップＳ３）。
【００４１】
なお、同質性タグの情報は、ユーザーが操作スイッチ１１３を操作することによって手動で設定できるようにしても良い。
【００４２】
ステップＳ２若しくはステップＳ３において、若しくは手動で同質性タグが設定された後、３Ｄメタデータ生成部１１２ｂにおいて、同質性タグを含む３Ｄメタデータが生成される（ステップＳ４）。この３Ｄメタデータは、例えばデジタルカメラ用の汎用画像ファイルフォーマットであるＥｘｉｆのタグ情報の１つとして記録される情報であり、２つのモノキュラ画像の相互の同質性に関する情報（同質性タグ）のほかに、例えば当該３Ｄ画像ファイルがステレオ撮影によって得られたファイルであることを示す情報や、それぞれのモノキュラ画像の視点位置に関する情報、当該３Ｄ画像ファイルに記録されているステレオ画像データの記録・再生に係るパラメータなどが含まれて構成される。なお、３Ｄメタデータは、Ｅｘｉｆのタグ情報として記録するだけでなく、任意の形式で記録し得るものであり、例えばＡｄｏｂｅ社が提唱しているＸＭＰ（登録商標）のようなＸＭＬなどを用いて記述したテキストメタデータの形式で記録するようにしても良い。
【００４３】
ステップＳ４において、３Ｄメタデータが生成された後、３Ｄメタデータ以外の、例えばステレオ撮影時の露出条件（絞り値、シャッタスピードなど）や、記録時の圧縮方式などの各種情報がタグ情報として付加されてヘッダ情報部が生成される（ステップＳ５）。その後、このヘッダ情報部がステレオ画像データに付加されて３Ｄ画像ファイルが生成され、この３Ｄ画像ファイルがメモリカード１１０に記録され（ステップＳ６）、図４の処理が終了する。
【００４４】
図５は、図４の処理によって生成される３Ｄ画像ファイルの概念的な構成について示す図である。この３Ｄ画像ファイルは、２つのモノキュラ画像に基づいて生成されたステレオ画像データがＪＰＥＧ方式などで圧縮されて記録される画像データ部に、３Ｄメタデータを含むヘッダ情報部が付加されることにより、画像取り扱いの最小単位として構成される。
【００４５】
ここで、ステレオ画像データについて説明する。ステレオ画像データは、２つのモノキュラ画像の集合体として構成された立体画像データである。このステレオ画像データは、例えば図６（ａ）のように２つのモノキュラ画像Ｌ、Ｒの各々を１つの平面画像上の異なる位置領域に配置することにより構成した統合型立体画像データとして３Ｄ画像ファイル中に記録する。なお、ステレオアダプタ２００を用いた１テーク撮影モードの場合には撮像素子１０５で得られた画像をデジタルプロセス回路１０８で画像処理してから記録する。一方、２テーク撮影の場合には、１回目の撮影時で得られたモノキュラ画像Ｌをデジタルカメラ１００内部の図示しないバッファメモリに格納しておき、２回目のモノキュラ画像Ｒが取得された時点でモノキュラ画像Ｌ及びモノキュラ画像Ｒをリサイズして１つの画像の左右半分ずつの領域に合成したものを画像処理してから記録する。
【００４６】
なお、ステレオ画像の形式は、図６（ａ）の統合型立体画像データに限るものではない。例えば、図６（ｂ）のように２つの２つのモノキュラ画像Ｌ、Ｒの各々をページ画像として有するマルチページ型立体画像データの形式としても良い。更に、ステレオ画像データは、図６（ｃ）のように２つのモノキュラ画像Ｌ、Ｒを別々の３Ｄ画像ファイルＬ、Ｒに記録するようにして構成しても良い。ただし、この場合には別々に構成した３Ｄ画像ファイルＬ、Ｒの少なくとも何れか一方の３Ｄメタデータ中に、２つのモノキュラ画像Ｌ、Ｒが相互に関連していること（１つの立体画像の各構成要素であること）を示す情報を記述しておく必要がある。
【００４７】
次に、図４の処理に従ってメモリカード１１０に記録された３Ｄ画像ファイルを再生する画像再生装置について説明する。なお後述のように、この装置は３Ｄ画像の再生装置であると同時に、必要に応じて３Ｄ画像ファイルを再生成して記録する画像加工装置としても機能する。図９は、この画像再生装置の構成を示す図である。図９に示す画像再生装置３００は、制御部３０１と、ファイル入力部３０２と、画像再生部３０３と、補正部３０４とから構成されている。さらにこの装置が画像加工装置として機能する場合には、記録部３０５が追加される。
【００４８】
制御部３０１は、当該画像再生装置３００の各部の制御を統括的に行う。また、制御部３０１は、警告手段及び、再生あるいは記録を中止する中止手段としての機能も有している。ファイル入力部３０２は、メモリカード１１０に記録された３Ｄ画像ファイルを入力するためのインターフェイス部である。制御部３０１は、ファイル入力部３０２を介して読み取った３Ｄ画像ファイルの内容に基づいてステレオ画像データの再生処理を行う。また、補正部３０４は、ステレオ画像を構成するモノキュラ画像の相互の同質性が低い、即ち２テーク撮影モードで取得されたものである場合に画像処理によって、同質性を高める補正や画像の入れ替え処理を行う。
【００４９】
なお、記録部３０５は、例えば図１におけるカードＩＦ１０９、メモリカード１１０と同様の構成から成り、制御部３０１の制御の下に、制御部３０１または補正部３０４から送られたデータを所定の記録フォーマットで新たな３Ｄ画像ファイルとして記録する。なお、上記画像の入れ替え処理については、上記補正部３０４による画像処理によらずメタデータの書き換えによって行う場合も有り、その処理は制御部３０１が行う。
【００５０】
画像再生部３０３は、例えば３Ｄ画像を表示可能な直視型３ＤＬＣＤで構成されている。直視型３ＤＬＣＤは、パララックスバリヤと等価な効果を持つバックライトスリット（広義のパララックスバリヤ）が設けられており、ユーザーが見る位置によって異なる画像が見えるように構成されている。制御部３０１は、左側のモノキュラ画像Ｌと右側のモノキュラ画像Ｒを短冊状に分解し、交互の画素位置に配して再生表示することにより、３Ｄ画像表示を行う。
【００５１】
なお、画像再生部３０３としては、３ＤＬＣＤに限るものではなく、左右の画面に独立して画像表示を行うことができるヘッドマウントディスプレイなどでも良い。更には、３Ｄ画像を表示するものだけでなく、３Ｄプリントビュアー用のフォーマットでステレオ画像を印刷することができるようなプリンタを用いても良い。あるいはＣＲＴ、ＬＣＤなどの汎用ディスプレイに３Ｄプリントと同様のフォーマットで表示してビュアーで観察したり、公知の時分割表示を適用することも可能である。
【００５２】
ここでまず始めに、再生装置３００における同質性タグの最も単純な利用方法について説明する。それは同質性が低い場合には警告する、または再生を中止するというものである。すなわち再生の指令があったときには、当該ファイルのデータを読み込み以下の制御（図示省略）を実行する。すなわち第１の処理ステップとして同質性タグの値を判定し、その結果により以後の処理を分岐する。結果が１の場合、第２の処理ステップに移行して画像の３Ｄ表示（後述のノーマル表示）を行い、制御を終了する。結果が２の場合は画像の同質性が低いため、良好な表示が行なわれない可能性が高いので、第３の処理ステップに移行して、画像は非表示として（表示の中止）、かつ警告を行い制御を終了する。このとき変形例として、第３の処理ステップにおいては、画像の表示を行いつつ警告を行っても良いし、警告をせず画像を非表示とするのみでも良い。このような制御によれば、良好な表示が行われない状況をユーザーに知らしめ、また不良な３Ｄ表示を行うことを回避できるので、ユーザーに不快感や徒労を与えることを未然に防ぐことができる。
【００５３】
次に、３Ｄ画像ファイル再生時の画像の入れ替え処理とこのためのトライアル表示について説明する。画像の入れ替え処理は、モノキュラ画像ＬとＲが反転して記録されていた場合に必要となる、ＬとＲを入れ替える処理である。またトライアル表示は、モノキュラ画像Ｌ、Ｒを本来の配置で表示したノーマル表示の画像と、左右を入れ替えた（反転した）入れ替え表示の画像とを、ＬＣＤ１１１に表示して比較することにより、配置の正しいステレオ画像が得られているかをユーザーが確認するための機能である。
【００５４】
補足すれば、基本的な実施例に従って記録された３Ｄ画像ファイルの場合、２テーク撮影のときには、ユーザーがあらかじめ決められた撮影順序のルールに従って左右各視点の撮影を行うことを前提に各視点画像がＬ，Ｒに割り当てられるようになっていたから、ユーザーが順序を間違えた場合にはＬとＲが反転して記録されるおそれが生じることになる。これは２テーク撮影が有する原理的な問題点であり１つの課題であるが、同質性タグを有効利用することによって以下のようにこの課題を解決することができる。
【００５５】
図７は、トライアル表示を含む表示（再生）処理について示すフローチャートである。
【００５６】
この図７の処理は、ユーザーによって３Ｄ画像再生の指示がなされたときに制御部３０１において実行される。
【００５７】
始めに、３Ｄメタデータ中の同質性タグの読み取りが行われ、同質性タグが「２」に設定されているか否かが判断される（ステップＳ１１）。ステップＳ１１の判断において、同質性タグが「１」に設定されている場合には、上記したような問題は生じないから、正しいステレオ画像が得られているとしてステップＳ１４に分岐してノーマル表示を行い、その後図７の処理が終了する。
【００５８】
一方、ステップＳ１１の判断において、同質性タグが「２」に設定されている場合には、トライアル表示が実行される（ステップＳ１２）。このトライアル表示は、例えば、図８に示すように、ノーマル表示の画像１１１ａと、入れ替え表示の画像１１１ｂとをＬＣＤ１１１に同時に表示させることにより行う。なお、図示は、パララックスバリヤ式の直視型３ＤＬＣＤに対してＬ、Ｒの両モノキュラ画像を短冊状に分解して３Ｄ表示する際の配置がノーマル表示時に対して入れ替え表示時では反転している様子を模式的に（実際の分解はさらに細かく通常は画素単位で行なわれる）表現したものである。このとき、２画像を同時に表示するために、通常のノーマル表示に対して縮小表示またはトリミングによる部分表示となっている。ユーザーは画像１１１ａと画像１１１ｂとを比較して正しい画像を選択することができる。
【００５９】
ステップＳ１２のトライアル表示の後、ユーザーによって図８の上側、即ち画像１１１ａが選択されたか否かが判断される（ステップＳ１３）。ステップＳ１３の判断において、上側が選択された場合には、ステップＳ１３をステップＳ１４に分岐して画像１１１ａが選択されてＬＣＤ１１１に表示される（ステップＳ１４）。その後、図７の処理が終了する。一方、ステップＳ１３の判断において、下側が選択された場合には、ステップＳ１３をステップＳ１５に分岐して入れ替え表示が行われる（ステップＳ１５）。
【００６０】
その後、ステップＳ１６に進み、３Ｄ画像ファイルの再生成が行われる。ここでは上記したような表示段階でのモノキュラ画像の入れ替え処理にとどまらず、３Ｄ画像ファイルとしてのモノキュラ画像の入れ替え処理が行われる。この場合の入れ替え処理のやり方には下記２通りの方法が用いられ得る。１つは、ＬとＲのモノキュラ画像を実際に入れ替えるものであって、統合型立体画像の形式では画像データの書き換えを行う。もう１つは、画像データの方はそのままで、モノキュラ画像の左右が入れ替わるように３Ｄメタデータの書き換えを行うものである。
【００６１】
いずれの方法を用いた場合にも、入れ替えによって画像の誤配置は解消されるから、同質性タグが「２」から「１」に書き換えられる。このようにして再構成された３Ｄ画像ファイルが記録部３０５によってメモリカード１１０に記録されて再生成が完了する。その後、図７の処理が終了する。
【００６２】
図１０は、画像再生装置３００における画像再生の際の画像の補正処理について示すフローチャートである。この処理は上記図７で説明した３Ｄ画像ファイル再生時の画像の入れ替え処理とこのためのトライアル表示のための処理とは異なる観点で行われるものである。つまり、画像の補正処理に対して用いている同質性タグとは別途に用意した同質性タグを画像の入れ替え処理に用いるようにしても良いし、同一の同質性タグの中で画像の入れ替え処理が済みであることを示す値「３」、補正処理済みを示す値「０」を用意して、例えば画像入れ替え済みであるが、補正処理を行っていない画像に対して処理を行うようにしても良い。この図１０の処理は、ユーザーによって３Ｄ画像再生の指示がなされたときに制御部３０１において実行される。
【００６３】
ユーザーによって３Ｄ画像再生の指示がなされると、制御部３０１において３Ｄ画像ファイル中の同質性タグがチェックされる（ステップＳ２１）。そして、同質性タグが「２」に設定されているか否かが判断される（ステップＳ２２）。ステップＳ２２の判断において、同質性タグが「２」に設定されている場合には、２つのモノキュラ画像の相互の同質性が低く、このまま画像再生を行っても正しく再生されないおそれがあるので、ステップＳ２２をステップＳ２３に分岐して、補正部３０４においてステレオ画像データの補正が行われる（ステップＳ２３）。
【００６４】
ここで、補正処理の一例について図１１を参照して説明する。この補正においては、まず左側のモノキュラ画像Ｌ４０１と右側のモノキュラ画像Ｒ４０２との間で相関検出を行って、基準となる左側のモノキュラ画像Ｌ４０１の所定の画枠領域４０１ａ（位置補正のずれ余裕を見込んでＬ４０１全体より多少小さい領域を画像領域として設定したもの）の画像データに対して最も相関が高い領域４０２ｂの画像データを検出して切り出すことによって位置ずれの補正が行われる。その際、図１１の例では、領域４０２ｂ内の画像データは領域４０１ａ内の画像データに対して傾きを持っているので、この傾きも含めて補正するようにする。また、傾きを含めた位置ずれ補正を施した後、モノキュラ画像Ｌ４０１とモノキュラ画像Ｒ４０２との間で明るさ（露出）などが異なっている場合には、これも補正する。また両モノキュラ画像の解像度（画素密度）が異なっており、例えばモノキュラ画像Ｌ４０１の方が高解像度の場合には、相関検出の結果から画素（微小領域）の対応を求め、モノキュラ画像Ｒ４０２の画素データを微小領域ごとにモノキュラ画像Ｌ４０１の画素データに置き換えるようにすれば良い。
【００６５】
ステップＳ２３の補正処理の後、補正処理が適正に行われたか否かが判断される（ステップＳ２４）。例えば上記位置ずれが極めて大きかったときなど、補正処理を適正に行うことが不可能となる（補正しても救えない）場合があり得る。ステップＳ２４の判断において、補正処理が適正に行われなかった場合には、ステップＳ２４をステップＳ２５に分岐して、画像は非表示（再生中止）状態のままにて、正しく立体画像が再生されない旨がユーザーに警告される（ステップＳ２５）。この警告は画像再生部３０３がＬＣＤの場合などは表示によって行われる。ユーザーは、この警告を受けてモノキュラ画像の相互の同質性が低いことを知ることができ、この３Ｄ画像の再生を敢えて行うか中止するかを判断することができる。
【００６６】
ステップＳ２５の警告の後、ユーザーによって画像再生の指示がなされたか否かが判断される（ステップＳ２６）。ステップＳ２６の判断において、ユーザーによって画像再生の指示がなされていない場合には、ステップＳ２６をステップＳ２７に分岐して、次の処理を行う指示がなされたか否かが判断される（ステップＳ２７）。ステップＳ２７の判断において、次の処理を行う指示がなされていない場合には、ステップＳ２６に戻り、ユーザーの指示がなされるまで待機する。一方、ステップＳ２７の判断において、次の処理を行う指示がなされた場合には、３Ｄ画像の再生が中止され、次の処理に移行する。
【００６７】
また、ステップＳ２２の判断において、同質性タグが「１」である場合、ステップＳ２４の判断において、補正処理が適正に行われた場合、或いはステップＳ２６の判断において、画像再生の指示がなされた場合には、ステップＳ２８に分岐して、画像再生部３０３において３Ｄ画像の再生が行われる。このとき、Ｓ２４から分岐して来た場合に限り、補正処理後の画像データが同質性タグが２から１に書き換えられた３Ｄ画像ファイルとして再生成され記録部３０５にて記録される（ステップＳ２８）。その後、次の処理を行う指示がなされたか否かが判断される（ステップＳ２９）。ステップＳ２９の判断において、次の処理を行う指示がなされていない場合には、３Ｄ画像の再生が継続される。一方、ステップＳ２９の判断において、次の処理を行う指示がなされた場合には、３Ｄ画像の再生が中止され、次の処理に移行する。
【００６８】
以上説明したように、本一実施形態によれば、３Ｄ画像ファイルの生成時に、左右２視点のモノキュラ画像の相互の同質性に関する情報を同質性タグとして記録するようにしたので、簡単な構成でモノキュラ画像の同質性の情報を管理することができる。
【００６９】
また、同質性タグによって２テーク撮影モードであると判断された場合には、画像再生装置側でステレオ画像の補正を行ってから３Ｄ画像の再生を行うようにしたので、適正な３Ｄ画像を再生できる可能性を向上させることができる。また、補正処理が正しく行われなかった場合には警告が行われるので、ユーザーは、モノキュラ画像の相互の同質性が低いことを知ることができる。
【００７０】
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００７１】
例えば、上記した実施形態では、同質性タグとして２つのモノキュラ画像を１テーク撮影モードと２テーク撮影モードの何れによって取得したかを記録するようにしているが、撮影タイミングの同時性を示す情報として計時部１１９によって計時された時間差を記録するようにしても良い。また、ステップＳ２４において補正が適正に行われなかった場合には、３Ｄ画像の再生を中止してモノキュラ画像の何れか一方のみを２Ｄ表示するようにしても良い。
【００７２】
また、トライアル表示や、入れ替え処理、補正処理をデジタルカメラ１００側で行えるようにしても良い。
【００７３】
また、上記した実施形態では、２眼式のステレオ撮影を例にとって説明しているが、本発明は、３眼以上の任意の多眼式のステレオ撮影に応用可能である。この場合には、例えば、ｎ眼式ステレオ画像を構成するｎ個のモノキュラ画像全体に関して同質性が保たれていると判断される場合に同質性タグの値を１、そうでない場合には２として、３Ｄ画像ファイルを生成記録すれば良い。
【００７４】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラ１００の内部構成を示すブロック図である。
【図２】２テーク撮影モードにおいて、左右２視点分のモノキュラ画像を取得する場合の例について示す図である。
【図３】１テーク撮影モードにおいて、左右２視点分のモノキュラ画像を取得する場合の例について示す図である。
【図４】３Ｄ画像ファイル記録時の処理について示したフローチャートである。
【図５】３Ｄ画像ファイルの概念的な構成について示す図である。
【図６】モノキュラ画像から生成されるステレオ画像について示す図である。
【図７】トライアル表示を含む表示（再生）の処理について示したフローチャートである。
【図８】トライアル表示の際の表示例について示した図である。
【図９】画像再生装置の構成を示す図である。
【図１０】画像再生装置における画像再生の際の処理について示すフローチャートである。
【図１１】補正処理の一例について説明するための図である。
【符号の説明】
【００７６】
１００…デジタルカメラ、１０１…撮像レンズ系、１０２…レンズ駆動機構、１０３…露出制御機構、１０４…フィルタ系、１０５…撮像素子、１０６…撮像素子ドライバ、１０７…プリプロセス回路、１０８…デジタルプロセス回路、１０９…カードインターフェイス（ＩＦ）、１１０…メモリカード、１１１…ＬＣＤ、１１２…システムコントローラ、１１２ａ…同質性判断部、１１２ｂ…３Ｄメタデータ生成部、１１３…操作スイッチ、１１４…操作表示部、１１５…レンズドライバ、１１６…ストロボ、１１７…露出制御ドライバ、１１８…ＦｌａｓｈＲｏｍ、１１９…計時部、２００…ステレオアダプタ、３００…画像再生装置、３０１…制御部、３０２…ファイル入力部、３０３…画像再生部、３０４…補正部、３０５…記録部
【図１】
0004638783.tif 000002
【図２】
0004638783.tif 000003
【図３】
0004638783.tif 000004
【図４】
0004638783.tif 000005
【図５】
0004638783.tif 000006
【図６】
0004638783.tif 000007
【図７】
0004638783.tif 000008
【図８】
0004638783.tif 000009
【図９】
0004638783.tif 000010
【図１０】
0004638783.tif 000011
【図１１】
0004638783.tif 000012