(57)【特許請求の範囲】
【請求項１】
複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、
前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、
前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録手段と、
を備えたことを特徴とする立体撮像装置。
【請求項２】
前記記録手段は、前記付属情報として、想定した距離であって、前記立体画像を観察するのに適した視認者と立体ディスプレイとの距離である想定視距離及び前記複数の視点画像を取得したときの撮影回数を更に記録することを特徴とする請求項１に記載の立体撮像装置。
【請求項３】
前記最大視差量取得手段は、前記算出した各特徴点の視差量のうちの近景側の最大視差量を取得し、
前記最大ディスプレイサイズ取得手段は、前記取得した近景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得し、
前記記録手段は、前記取得した近景側の最大視差量を前記付属情報として前記３次元画像ファイルに記録することを特徴とする請求項１又は２に記載の立体撮像装置。
【請求項４】
前記撮像手段により取得されたＮ（Ｎは３以上の整数）枚の視点画像のうちの１つを代表画像として設定する代表画像設定手段を備え、
前記最大視差量取得手段は、前記代表画像と前記Ｎ枚の画像のうちの代表画像を除く（Ｎ−１）枚の視点画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得し、
前記最大ディスプレイサイズ取得手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、
前記記録手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量及び最大ディスプレイサイズを前記付属情報として前記３次元画像ファイルに記録することを特徴とする請求項１から３のいずれかに記載の立体撮像装置。
【請求項５】
前記Ｎ枚の視点画像に基づいて該視点画像よりも画像サイズが小さい表示用画像を生成する表示用画像生成手段を備え、
前記記録手段は、前記表示用画像を前記３次元画像ファイルに記録することを特徴とする請求項４に記載の立体撮像装置。
【請求項６】
前記撮像手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段を更に備えたことを特徴とする請求項１又は２に記載の立体撮像装置。
【請求項７】
前記複数の視点画像及び仮想視点画像のＮ枚の画像のうちの１つを代表画像として設定する代表画像設定手段を備え、
前記最大視差量取得手段は、前記代表画像と前記Ｎ枚の画像のうちの代表画像を除く（Ｎ−１）枚の画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得し、
前記最大ディスプレイサイズ取得手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、
前記記録手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量及び最大ディスプレイサイズを前記付属情報として前記３次元画像ファイルに記録することを特徴とする請求項６に記載の立体撮像装置。
【請求項８】
前記複数の視点画像及び仮想視点画像に基づいて該視点画像及び仮想視点画像よりも画像サイズが小さい表示用画像を生成する表示用画像生成手段を備え、
前記記録手段は、前記複数の視点画像と、前記仮想視点画像及び表示用画像のうちの少なくとも一方の画像とを前記３次元画像ファイルに記録することを特徴とする請求項７に記載の立体撮像装置。
【請求項９】
前記３次元画像ファイルは、先頭画像に続いて１ないし複数の画像が連続して格納されたマルチピクチャファイルであり、
前記記録手段は、前記先頭画像として前記代表画像設定手段により設定された代表画像を記録し、かつ、各画像の直前に該画像に対応する付属情報を記録することを特徴とする請求項４、５、７、８のいずれかに記載の立体撮像装置。
【請求項１０】
前記代表画像設定手段は、前記複数の視点画像のうちから１つの代表画像を設定し、
前記記録手段は、前記代表画像の次に前記表示用画像を記録し、該表示用画像の次に他の視点画像又は仮想視点画像を記録することを特徴とする請求項８に記載の立体撮像装置。
【請求項１１】
前記記録手段は、前記表示用画像を視点の並び順に、又は中央の視点に近い順に記録することを特徴とする請求項１０に記載の立体撮像装置。
【請求項１２】
前記記録手段は、前記複数の視点画像及び仮想視点画像を前記３次元画像ファイルに記録する際に、各画像が実視点の画像か仮想視点の画像かを示す視点情報を前記３次元画像ファイルの付属情報として記録することを特徴とする請求項７又は８に記載の立体撮像装置。
【請求項１３】
前記最大ディスプレイサイズ取得手段は、前記最大視差量取得手段により取得した遠景側の最大視差量に対応する立体ディスプレイ上での画像ずれ量が、人間の両眼間隔以下のディスプレイサイズのうちの最大のディスプレイサイズを、両眼融合可能な最大ディスプレイサイズとして取得することを特徴とする請求項１から１２のいずれかに記載の立体撮像装置。
【請求項１４】
前記最大ディスプレイサイズ取得手段は、前記最大視差量取得手段により取得した遠景側の最大視差量に基づいて、予め最大視差量に対応する最大ディスプレイサイズが記録された記憶手段から対応する最大ディスプレイサイズを読み出し、又は人間の両眼間隔を示す所定値を含む計算式を使用して前記最大ディスプレイサイズを算出することを特徴とする請求項１３に記載の立体撮像装置。
【請求項１５】
複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、
前記取得した複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成する表示用画像生成手段と、
前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段と、
前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする前記複数の大画面表示用画像間の視差ずらしを実施する視差ずらし手段と、
前記複数の視点画像及び大画面表示用画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記算出された画像ずれ量が人間の両眼間隔を示す所定値以下の場合には、前記複数の視点画像及び視差ずらし前の大画面表示用画像を前記３次元画像ファイルに記録し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記複数の視点画像及び視差ずらし後の大画面表示用画像を前記３次元画像ファイルに記録する記録手段と、
を備えたことを特徴とする立体撮像装置。
【請求項１６】
前記画像ずれ量算出手段は、予め想定された立体ディスプレイの想定ディスプレイ幅が記憶された記憶手段、又は出力先の立体ディスプレイから該立体ディスプレイのディスプレイサイズを読み取る読取手段を有し、前記取得した遠景側の最大視差量と前記記憶手段に記憶された想定ディスプレイ幅、又は前記読取手段により読み取ったディスプレイサイズとに基づいて前記想定された立体ディスプレイ又は出力先の立体ディスプレイ上での画像ずれ量を算出することを特徴とする請求項１５に記載の立体撮像装置。
【請求項１７】
複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像工程と、
前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出工程と、
前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得工程と、
前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得工程と、
前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録工程と、
を備えたことを特徴とする立体撮像装置の制御方法。
【請求項１８】
複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像工程と、
前記取得した複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成する表示用画像生成工程と、
前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出工程と、
前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得工程と、
前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出工程と、
前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする前記複数の大画面表示用画像間の視差ずらしを実施する視差ずらし工程と、
前記複数の視点画像及び大画面表示用画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録工程であって、前記算出された画像ずれ量が人間の両眼間隔を示す所定値以下の場合には、前記複数の視点画像及び視差ずらし前の大画面表示用画像を前記３次元画像ファイルに記録し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記複数の視点画像及び視差ずらし後の大画面表示用画像を前記３次元画像ファイルに記録する記録工程と、
を備えたことを特徴とする立体撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体撮像装置及びその制御方法に係り、特に、複数の視点画像を１つの３次元画像ファイルに記録する技術に関する。
【背景技術】
【０００２】
立体撮像装置は、左右に視差をもって並べられた２つの撮像部（撮像手段）を使って同一被写体を左右の視点から撮影し、左目用の画像と右目用の画像とをそれぞれ取得して記録媒体に記録している。この取得した左右の画像が記録媒体から読み出され、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左目用の画像と右目用の画像とが左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。【０００３】
ところが、３Ｄディスプレイには様々な画面のサイズのものがあり、記録された左右の画像の視差量が、当該左右画像を再生表示しようとする３Ｄディスプレイのサイズに対して適切でない場合も存在する。このような場合、画面からの飛び出し量や引っ込み量が過大となり、自然な立体画像として認識できないという問題点が発生する。【０００４】
この問題を解決するために、特許文献１には、左右画像を取得する２つの撮像部の光軸が交差し、ゼロ視差であるクロスポイントと撮像装置との距離であるクロスポイント（ＣＰ）情報を活用し、左右画像の視差量を再生時に調整し、表示される映像の立体感を調整する技術が開示されている。この技術によれば、画面サイズが異なる表示装置で再生しても、常に自然な飛び出し量の立体映像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１８００６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、左右画像の視差量を画面サイズに応じて再生時に調整するため、画像再生機器での処理が煩雑であるという欠点があった。【０００７】
本発明はこのような事情に鑑みてなされたもので、画像再生機器において立体画像を再生する際に、画面サイズに応じて視差量を調整する処理をできるだけ軽減させる立体撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために第一発明の立体撮像装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録手段とを備えたことを特徴とする。なお、ここでいう「遠景側」とは、撮像手段から被写体側に離間する遠位側を言うものであり、反対に「近景側」とは、遠景側とは反対に、被写体から撮像手段側に近づく近位側を言うものである。【０００９】
上記構成を採用した立体撮像装置によれば、取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出し、算出した各特徴点の視差量のうちの遠景側の最大視差量を取得し、遠景側の最大視差量に基づいて最大ディスプレイサイズを取得し、遠景側の最大視差量及び最大ディスプレイサイズを付属情報として３次元画像ファイルに記録するようにしたので、画像再生機器において当該３次元画像ファイルを読み出した際に、付属情報に記録されている最大ディスプレイサイズと表示しようとしている立体ディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。したがって、立体視可能と判断した場合には、記録されている画像をそのまま表示すればよく、再生機器における画面サイズに応じて視差量を調整する処理を軽減させることができる。【００１０】
また、第一発明の立体撮像装置において、前記記録手段は、前記付属情報として、想定した距離であって、前記立体画像を観察するのに適した視認者CB-STB6と立体ディスプレイとの距離である想定視距離及び前記複数の視点画像を取得したときの撮影回数を更に記録することが好ましい。【００１１】
これにより、画像再生機器において視差量を調整する場合であっても、適切に視差量を調整することができる。【００１２】
更に、第一発明の立体撮像装置において、前記最大視差量取得手段は、前記算出した各特徴点の視差量のうちの近景側の最大視差量を取得し、前記最大ディスプレイサイズ取得手段は、前記取得した近景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得し、前記記録手段は、前記取得した近景側の最大視差量を前記付属情報として前記３次元画像ファイルに記録することが好ましい。【００１３】
これにより、近景側も適切に立体視可能な最大ディスプレイサイズを決定することができる。【００１４】
更にまた、第一発明の立体撮像装置において、前記撮像手段により取得されたＮ（Ｎは３以上の整数）枚の視点画像のうちの１つを代表画像として設定する代表画像設定手段を備え、前記最大視差量取得手段は、前記代表画像と前記Ｎ枚の画像のうちの代表画像を除く（Ｎ−１）枚の視点画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得し、前記最大ディスプレイサイズ取得手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、前記記録手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量及び最大ディスプレイサイズを前記付属情報として前記３次元画像ファイルに記録することが好ましい。【００１５】
これにより、画像再生機器において（Ｎ−１）個の最大ディスプレイサイズを参照することができ、表示しようとするディスプレイサイズと比較することで、立体視に適切な画像を簡単に選択することができる。また、視差量を調整する場合であっても、画像毎の最大視差量を読み出すことで、容易に視差量の調整を行うことができる。【００１６】
加えて、第一発明の立体撮像装置において、前記Ｎ枚の視点画像に基づいて該視点画像よりも画像サイズが小さい表示用画像を生成する表示用画像生成手段を備え、前記記録手段は、前記表示用画像を前記３次元画像ファイルに記録することが好ましい。【００１７】
これにより、３次元画像ファイルを読み出した画像再生機器では、仮想視点画像が記録されている場合には視差調整を行うことなく仮想視点画像を用いて表示することができ、表示用画像が記録されている場合には表示用にサイズを調整することなく表示用画像をそのまま表示することができる。【００１８】
加えてまた、第一発明の立体撮像装置において、前記撮像手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段を更に備えたことが好ましい。【００１９】
これにより、撮像手段が２枚の視点画像を取得するだけで多視点画像を取得することが可能となり、撮像手段の簡略化、軽量化を計ることができる。【００２０】
また、第一発明の立体撮像装置において、前記複数の視点画像及び仮想視点画像のＮ枚の画像のうちの１つを代表画像として設定する代表画像設定手段を備え、前記最大視差量取得手段は、前記代表画像と前記Ｎ枚の画像のうちの代表画像を除く（Ｎ−１）枚の画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得し、前記最大ディスプレイサイズ取得手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、前記記録手段は、前記取得した（Ｎ−１）個の遠景側の最大視差量、及び最大ディスプレイサイズを前記付属情報として前記３次元画像ファイルに記録することが好ましい。【００２１】
これにより、画像再生機器において（Ｎ−１）個の最大ディスプレイサイズを参照することができ、表示しようとするディスプレイサイズと比較することで、立体視に適切な画像を簡単に選択することができる。また、視差量を調整する場合であっても、画像毎の最大視差量を読み出すことで、容易に視差量の調整を行うことができる。【００２２】
更に、第一発明の立体撮像装置において、前記複数の視点画像及び仮想視点画像に基づいて該視点画像及び仮想視点画像よりも画像サイズが小さい表示用画像を生成する表示用画像生成手段を備え、前記記録手段は、前記複数の視点画像と、前記仮想視点画像及び表示用画像のうちの少なくとも一方の画像とを前記３次元画像ファイルに記録することが好ましい。【００２３】
これにより、３次元画像ファイルを読み出した画像再生機器では、仮想視点画像が記録されている場合には視差調整を行うことなく仮想視点画像を用いて表示することができ、表示用画像が記録されている場合には表示用にサイズを調整することなく表示用画像をそのまま表示することができる。【００２４】
更にまた、第一発明の立体撮像装置において、前記３次元画像ファイルは、先頭画像に続いて１ないし複数の画像が連続して格納されたマルチピクチャファイルであり、前記記録手段は、前記先頭画像として前記代表画像設定手段により設定された代表画像を記録し、かつ、各画像の直前に該画像に対応する付属情報を記録することが好ましい。【００２５】
これにより、複数の画像と付属情報とを適切に記録することができる。【００２６】
加えて、第一発明の立体撮像装置において、前記代表画像設定手段は、前記複数の視点画像のうちから１つの代表画像を設定し、前記記録手段は、前記代表画像の次に前記表示用画像を記録し、該表示用画像の次に他の視点画像又は仮想視点画像を記録することが好ましい。【００２７】
これにより、画像再生機器における表示画像読み込みが早くなり、立体ディスプレイに画像を表示するまでの所要時間が縮小できる。【００２８】
加えてまた、第一発明の立体撮像装置において、前記記録手段は、前記表示用画像を視点の並び順に、又は中央の視点に近い順に記録することが好ましい。【００２９】
これにより、表示用画像を適切に記録することができる。【００３０】
また、第一発明の立体撮像装置において、前記記録手段は、前記複数の視点画像及び仮想視点画像を前記３次元画像ファイルに記録する際に、各画像が実視点の画像か仮想視点の画像かを示す視点情報を前記３次元画像ファイルの付属情報として記録することが好ましい。【００３１】
これにより、３次元画像ファイルを読み出した画像再生機器において、実視点の画像と仮想視点の画像とを区別することができる。【００３２】
更に、第一発明の立体撮像装置において、前記最大ディスプレイサイズ取得手段は、前記最大視差量取得手段により取得した遠景側の最大視差量に対応する立体ディスプレイ上での画像ずれ量が、人間の両眼間隔以下のディスプレイサイズのうちの最大のディスプレイサイズを、両眼融合可能な最大ディスプレイサイズとして取得することを特徴とする。【００３３】
これにより、適切に最大ディスプレイサイズを取得することができる。【００３４】
更にまた、第一発明の立体撮像装置において、前記最大ディスプレイサイズ取得手段は、前記最大視差量取得手段により取得した遠景側の最大視差量に基づいて、予め最大視差量に対応する最大ディスプレイサイズが記録された記憶手段から対応する最大ディスプレイサイズを読み出し、又は人間の両眼間隔を示す所定値を含む計算式を使用して前記最大ディスプレイサイズを算出することを特徴とする。【００３５】
これにより、適切に最大ディスプレイサイズを取得することができる。【００３６】
前記目的を達成するために第二発明の立体撮像装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、前記取得した複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成する表示用画像生成手段と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段と、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする前記複数の大画面表示用画像間の視差ずらしを実施する視差ずらし手段と、前記複数の視点画像及び大画面表示用画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記算出された画像ずれ量が人間の両眼間隔を示す所定値以下の場合には、前記複数の視点画像及び視差ずらし前の大画面表示用画像を前記３次元画像ファイルに記録し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記複数の視点画像及び視差ずらし後の大画面表示用画像を前記３次元画像ファイルに記録する記録手段と、を備えたことを特徴とする。【００３７】
上記構成を採用したの第二発明によれば、取得した複数の視点画像に基づいて視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成し、取得した複数の視点画像から近景側の最大視差量と遠景側の最大視差量とを取得し、少なくとも遠景側の最大視差量に基づいて、複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出し、算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする複数の大画面表示用画像間の視差ずらしを実施して記録するようにしたので、想定した大画面の立体ディスプレイを有する画像再生機器は、適切な視差量の画像を表示させることができる。【００３８】
また、第二発明の立体撮像装置において、前記画像ずれ量算出手段は、予め想定された立体ディスプレイの想定ディスプレイ幅が記憶された記憶手段、又は出力先の立体ディスプレイから該立体ディスプレイのディスプレイサイズを読み取る読取手段を有し、前記取得した遠景側の最大視差量と前記記憶手段に記憶された想定ディスプレイ幅、又は前記読取手段により読み取ったディスプレイサイズと、に基づいて前記想定された立体ディスプレイ又は出力先の立体ディスプレイ上での画像ずれ量を算出することが好ましい。【００３９】
これにより、適切に出力先の立体ディスプレイの幅を取得することができる。【００４０】
また、前記目的を達成するために第三発明の立体撮像装置の制御方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像工程と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出工程と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得工程と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得工程と、前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録工程とを備えたことを特徴とする。【００４１】
更に、前記目的を達成するために第四発明の立体撮像装置の制御方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像工程と、前記取得した複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の大画面表示用画像を生成する表示用画像生成工程と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出工程と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得工程と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出工程と、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記所定値とする前記複数の大画面表示用画像間の視差ずらしを実施する視差ずらし工程と、前記複数の視点画像及び大画面表示用画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録工程であって、前記算出された画像ずれ量が人間の両眼間隔を示す所定値以下の場合には、前記複数の視点画像及び視差ずらし前の大画面表示用画像を前記３次元画像ファイルに記録し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越える場合には、前記複数の視点画像及び視差ずらし後の大画面表示用画像を前記３次元画像ファイルに記録する記録工程とを備えたことを特徴とする。
【発明の効果】
【００４２】
本発明によれば、画像再生機器において立体画像を再生する際に、画面サイズに応じて視差量を調整する処理をできるだけ軽減させることができ、画面サイズにかかわらず視認者に自然な立体画像として認識させることができる。
【図面の簡単な説明】
【００４３】
【図１】２枚の視点画像を撮影する様子を示した図
【図２】３Ｄ画像ファイルのデータ構造を模式的に示した図
【図３】撮影、記録処理を示したフローチャート
【図４】図４Ａ及び図４Ｂは、２枚の視点画像の一例を示す図
【図５】４枚の視点画像を撮影する様子を示した図
【図６】３Ｄ画像ファイルのデータ構造を模式的に示した図
【図７】図７Ａから図７Ｃは、３Ｄ画像ファイルのデータ構造のその他の態様を模式的に示した図
【図８】仮想視点について説明するための図
【図９】図９Ａ及び図９Ｂは、３Ｄ画像ファイルのデータ構造を模式的に示した図
【図１０】視差ずらしの原理を説明するための図
【図１１】図１１Ａ及び図１１Ｂは、左右の視点画像と視差ずらしを示す図
【図１２】撮影、記録処理を示すフローチャート
【図１３】３Ｄ画像ファイルのデータ構造を模式的に示した図
【図１４】図１４Ａ及び図１４Ｂは、立体撮像装置の外観を示す図
【図１５】立体撮像装置の内部構成を示すブロック図
【発明を実施するための形態】
【００４４】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
【００４５】
［第１の実施形態］
第１の実施形態に係る３Ｄ画像ファイルについて説明する。
【００４６】
図１は、２つの撮像装置１０１−２、１０１−３の夫々の撮像手段によって、被写体１００について異なる視点から２枚の視点画像を撮影する（撮像工程）様子を示した図であり、図２は、図１に示す撮像装置１０１−２、１０１−３の夫々の撮像手段によって撮影された２枚の視点画像２０１−２、２０１−３が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。
【００４７】
図２に示す３Ｄ画像ファイルは、ＭＰフォーマットに準拠したＭＰファイルであり、同一被写体の複数の視点画像が連結されて１つのファイルにまとめられている。連結される各視点画像には、そのデータの先端にＳＯＩ（Start of Image）マーカが記録されるとともに、終端にＥＯＩ（End of Image）マーカが記録される。これにより、各画像の読込開始位置と終了位置を認識することができる。
【００４８】
さらに各視点画像データは、画像領域と付属情報領域とから構成される。付属情報領域には、撮影機器情報や撮影モードの情報等からなるＥｘｉｆ付属情報の他、本実施形態では、画像記録時に取得した最大ディスプレイサイズ（幅、高さ、単位：ｍｍ）、画像記録時に想定した視距離（立体画像を観察する際の視認者とディスプレイとの距離）（単位：ｍｍ）、最大視差量（近景）（％）、最大視差量（遠景）（％）、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）、各視点画像を取得した際の撮影回数、が含まれた付属情報が記録されている。
【００４９】
このような３Ｄ画像ファイルを記録するための撮影、記録処理について、図３のフローチャートを用いて説明する。
【００５０】
まず、複数の視点画像を取得する（ステップＳ１１）。ここでは、図１に示すように２つの撮像装置１０１−２、１０１−３によって被写体１００について１枚ずつ撮影を行い、２枚の視点画像２０１−２、２０１−３を取得する。なお、ここでは撮像装置１０１−２を視点番号２、撮像装置１０１−３を視点番号３とする。
【００５１】
次に、視差量算出手段を用いて２枚の視点画像２０１−２、２０１−３から複数の特徴点を抽出し（ステップＳ１２）、特徴点毎の視差量を算出する（ステップＳ１３、視差量算出工程）。ここで、視差量とは、視点画像間で対応する特徴点の、それぞれの視点画像の一端、例えば、左端からの距離の差を指し、単位はピクセルである。このように算出した特徴点毎の視差量から、最大視差量取得手段を用いて近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ１４、最大視差量取得工程）。
【００５２】
図４は２枚の視点画像の一例を示す図であり、図４Ａは左視点画像２０１−２を示し、図４Ｂは右視点画像２０１−３を示している。
【００５３】
図４の例では、近景側の最大視差量は２１３Ｎであり、この視差量を持つ特徴点（最大視差量位置（近景））は、それぞれ２１１Ｎ、２１２Ｎである。また、遠景側の最大視差量は２１３Ｆであり、この視差量を持つ特徴点（最大視差量位置（遠景））は、それぞれ２１１Ｆ、２１２Ｆである。即ち、この２枚の視点画像２０１−２、２０１−３に基づく立体画像を立体視した場合には、最大視差量位置（近景）が最も近くに見え、最大視差量位置（遠景）が最も離れて見えることになる。
【００５４】
これら近景側の最大視差量２１３Ｎ及び遠景側の最大視差量２１３Ｆの、画像幅に対する比率（％）が、最大視差量（近景）（％）、最大視差量（遠景）（％）となる。
【００５５】
このように算出した最大視差量に基づいて、最大ディスプレイサイズ取得手段を用いて最大ディスプレイサイズを取得する（ステップＳ１５、最大ディスプレイサイズ取得工程）。遠景側の視差量が人間の両眼間隔を超えると、画像のその位置は両眼融合不能となり、立体視ができなくなる。したがって、ステップＳ１４で算出した最大視差量（遠景）の画像幅に対する比率（％）から、視差が人間の両眼間隔を超えない最大ディスプレイサイズを取得する。
【００５６】
例えば、人間の両眼間隔を５０ｍｍと仮定し、最大視差量（遠景）の画像幅に対する比率が１０％であれば、立体視するのに許容される最大のディスプレイ幅は５００ｍｍとなる。即ち、幅５００ｍｍ以下のディスプレイであれば、最大視差位置（遠景）の視差量が両眼間隔５０ｍｍを超えることなく表示され、その結果、視認者は立体視画可能となる。ここで、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは２８１．２５ｍｍとなる。
【００５７】
なお、人間の両眼間隔は、対象とする視認者に応じて適宜決めればよい。例えば、成人だけを対象とする場合には、６５ｍｍ等の幅広の値に設定してもよい。
【００５８】
例えば、人間の両眼間隔を６５ｍｍと仮定し、最大視差量（遠景）の画像幅に対する比率が１５％であれば、立体視するのに許容される最大のディスプレイ幅は約４３３ｍｍとなる。また、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは約２４４ｍｍとなる。
【００５９】
また、人間の両眼間隔から算出するのではなく、予め最大視差量に対応する最大ディスプレイサイズが記録されているテーブルを用意しておき、このテーブルを参照することにより最大ディスプレイサイズを取得してもよい。
【００６０】
最後に、記録手段を用いて２枚の視点画像２０１−２、２０１−３と、付属情報とを、図２に示すように１つの３Ｄ画像ファイルとして記録する（ステップＳ１６、記録工程）。
【００６１】
即ち、視点画像２０１−２についてのＳＯＩマーカに続けて、ステップＳ１５において取得した最大ディスプレイサイズ、想定した視距離、ステップＳ１４において取得した最大視差量（近景）（％）、最大視差量（遠景）（％）、ステップＳ１１における撮像装置１０１−２、１０１−３の輻輳角、基線長、視点番号、及び撮影回数を付属情報に含んで記録し、その後視点画像２０１−２の画像情報、ＥＯＩマーカを記録する。
【００６２】
さらに、視点画像２０１−３のＳＯＩマーカ、付属情報、画像情報、ＥＯＩマーカを記録する。視点画像２０１−３の付属情報領域には、Ｅｘｉｆ付属情報のみを記録すればよい。
【００６３】
以上のように、図２に示す３Ｄ画像ファイルを記録することができる。
【００６４】
このように記録された３Ｄ画像ファイルは、３Ｄディスプレイに表示される際に画像再生機器によって読み出される。この際、画像再生機器において、３Ｄ画像ファイルの付属情報に記録されている最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、立体視可能か否かを容易に判別することができる。したがって、立体視可能と判断した場合には、記録されている画像をそのまま表示すればよく、画像再生機器における画面サイズに応じて視差量を調整する処理を軽減させることができる。
【００６５】
また、画像再生機器において視差量を調整する必要がある場合には、付属情報に記録されている想定視距離や撮影回数の情報を用いることにより、適切に視差量を調整することができる。
【００６６】
なお、本実施形態では、遠景側の最大視差量だけに基づいて最大ディスプレイサイズを決定したが、近景側の最大視差量を考慮して決定してもよい。近景側の最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能な最大ディスプレイサイズを決定することができるようになる。
【００６７】
例えば、近景の視差量が５０ｍｍ以下となるディスプレイサイズを最大ディスプレイサイズとしてもよい。近景側の視差量が大きくなると、視認者は立体視をするのに疲労を感じるため、所定量以下とすることが好ましいからである。
【００６８】
或いは、代表画像設定手段を用いて撮像手段により取得されたＮ（Ｎは３以上の整数）枚の視点画像のうちの１つを代表画像として設定し、最大視差量取得手段を用いて、代表画像と前記Ｎ枚の画像のうちの代表画像以外の（Ｎ−１）枚の視点画像とのそれぞれ異なる組み合わせからなる２つの画像に関連して（Ｎ−１）個の遠景側の最大視差量を取得することもできる。このとき、最大ディスプレイサイズ取得手段を用いて、取得した（Ｎ−１）個の遠景側の最大視差量に基づいて（Ｎ−１）個の最大ディスプレイサイズを取得し、かつ、記録手段を用いて、取得した（Ｎ−１）個の遠景側の最大視差量及び最大ディスプレイサイズを付属情報として３次元画像ファイルに記録する。これにより、画像再生機器において（Ｎ−１）個の最大ディスプレイサイズを参照することが可能となり、表示しようとするディスプレイサイズと比較することで、立体視に適切な画像を簡単に選択することができる。また、視差量を調整する場合であっても、画像毎の最大視差量を読み出すことにより、容易に視差量の調整を行うことができる。
【００６９】
［第２の実施形態］
第１の実施形態では、２視点から撮影した２枚の視点画像を例に説明したが、本発明に係る立体画像の視点の数は２点に限られず、多視点の視点画像であってもよい。
【００７０】
図５は、４つの撮像装置１０１−１〜１０１−４によって、被写体１００について異なる視点から４枚の視点画像を撮影する様子を示した図である。ここでは、撮像装置１０１−１〜１０１−４の視点番号を順に１〜４とする。
【００７１】
図６は、この４つの撮像装置１０１−１〜１０１−４によって撮影された４枚の視点画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。この３Ｄ画像ファイルには、４枚の視点画像の他に、表示用画像生成手段により生成された各視点画像のサイズを縮小した表示用画像が記録されている（表示用画像生成工程）。表示用画像としては、解像度が１９２０×１０８０のフルＨＤサイズの画像が適している。
【００７２】
これらの画像は、図６に示すように、視点番号１の視点画像（以下、視点画像（１）と呼ぶ）、視点番号１の表示用画像（以下、サムネイル画像（１）と呼ぶ）、視点番号２の視点画像（以下、視点画像（２）と呼ぶ）、視点番号２の表示用画像（以下、サムネイル画像（２）と呼ぶ）、視点番号３の視点画像（以下、視点画像（３）と呼ぶ）、視点番号３の表示用画像（以下、サムネイル画像（３）と呼ぶ）、視点番号４の視点画像（以下、視点画像（４）と呼ぶ）、視点番号４の表示用画像（以下、サムネイル画像（４）と呼ぶ）、の順に記録されている。
【００７３】
まず先頭画像として、基準視点である視点番号１で撮影された視点画像（１）が記録されており、その記録領域は、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。
【００７４】
付属情報領域には、第１の実施形態と同様に、撮影機器情報や撮影モードの情報等のＥｘｉｆ付属情報の他、最大ディスプレイサイズ、想定視距離、最大視差量（近景）、最大視差量（遠景）、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）、各視点画像を取得した際の撮影回数、等の付属情報が含まれて記録されている。
【００７５】
なお、この最大ディスプレイサイズ、最大視差量等は、当該３Ｄ画像ファイル全体を使用した場合の値が記録される。具体的には、基準視点で撮影された視点画像（１）を基準として、最も視差量が大きい視点画像（ここでは視点画像（４））から算出された最大視差量、及びこの最大視差量から取得された最大ディスプレイサイズが記録される。輻輳角、基線長等についても、同様の視点画像（ここでは視点画像（４））を撮影した装置との輻輳角、基線長が記録される。
【００７６】
さらに、画像情報領域には視点画像（１）の画像情報が記録され、続いてＥＯＩマーカが記録される。
【００７７】
視点画像（１）に続いて、視点画像（１）から生成されたサムネイル画像（１）が記録されており、その記録領域は、これまでと同様に、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。付属情報領域には、通常のＥｘｉｆ付属情報が記録される。
【００７８】
サムネイル画像（１）に続いて、視点画像（２）が記録されている。視点画像（２）の記録領域についても、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。
【００７９】
付属情報領域には、通常のＥｘｉｆ付属情報の他、当該視点画像（２）と基準視点で撮影された視点画像（１）とから算出された最大ディスプレイサイズ、想定視距離、最大視差量（近景）、最大視差量（遠景）、２枚の視点画像を撮影した装置の輻輳角、基線長、視点番号、２枚の視点画像を取得した際の撮影回数、等の付属情報が含まれて記録されている。
【００８０】
視点画像（２）に続いて、視点画像（２）から生成されたサムネイル画像（２）が記録されており、その後には視点画像（３）が記録されている。
【００８１】
視点画像（３）の記録領域についても、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有しており、付属情報領域には、通常のＥｘｉｆ付属情報の他、当該視点画像（３）と基準視点で撮影された視点画像（１）とから算出された最大ディスプレイサイズ等が同様に記録されている。
【００８２】
以下、視点画像（４）についても同様に記録されている。
【００８３】
このように、多視点の視点画像を記録する場合には、それぞれの視点画像の付属情報として、先頭画像との関係における最大ディスプレイサイズを記録することが好ましい。
【００８４】
このように記録された３Ｄ画像ファイルは、３Ｄディスプレイに表示される際に画像再生機器によって読み出される。この際、画像再生機器において、３Ｄ画像ファイルの付属情報に記録されている視点画像毎の最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。
【００８５】
なお、多視点画像の記録順は、図６に示した順序に限定されるものではない。
【００８６】
例えば、図７Ａに示すように、視点画像（１）、サムネイル画像（１）〜サムネイル画像（４）、視点画像（２）〜視点画像（４）の順に記録してもよい。表示用のサムネイル画像を先に記録しておくことで、表示を行うときのファイル読み出し時の画像読み込みが早くなり、３Ｄディスプレイに画像を表示するまでの所要時間の縮小が可能になる。また、各視点画像は主にプリントに使用されるものであり、プリントは所定の時間を要することから、ファイルの後半部に記録されていても、弊害が少ない。
【００８７】
さらに、各サムネイル画像の記録順は、３Ｄディスプレイに表示させる際の推奨画像を先に記録するようにしてもよい。例えば、サムネイル画像（２）とサムネイル画像（３）による立体表示が推奨されるのであれば、図７Ｂに示すように、先頭画像の視点画像（１）の次に、サムネイル画像（２）、サムネイル画像（３）を記録し、その後にサムネイル画像（１）、サムネイル画像（４）を記録してもよい。
【００８８】
２枚の画像の視差量が小さい方が、大きなディスプレイであっても立体視可能に表示が可能である。また、中央に近い視点の画像を用いた方が、立体視に適している。したがって、このような場合には、視点番号２と視点番号３における画像が推奨されるとして、サムネイル画像（２）とサムネイル画像（３）を先に記録しておくことが好ましい。
【００８９】
同様に、サムネイル画像（１）とサムネイル画像（３）による立体表示が推奨されるのであれば、図７Ｃに示すように、先頭画像の視点画像（１）の次に、サムネイル画像（１）、サムネイル画像（３）を記録し、その後にサムネイル画像（２）、サムネイル画像（４）を記録してもよい。
【００９０】
立体表示における推奨画像が存在する場合には、先頭画像である視点画像（１）の付属情報に、推奨画像における最大ディスプレイサイズ、想定視距離、最大視差量を記録してもよい。
【００９１】
［第３の実施形態］
第２の実施形態のような多視点画像は、全てが実際に撮影された画像である必要はなく、仮想視点に対応した仮想視点画像を含んでいてもよい。
【００９２】
例えば、図８に示すように、２つの撮像装置１０１−１、１０１−４によって、被写体１００について異なる視点（視点番号１、視点番号４）から２枚の視点画像を撮影する。さらに、仮想視点画像生成手段を用いて視点番号１と視点番号４とは異なる視点であって、実際には存在しない仮想視点における視点番号２、視点番号３の視点画像２、視点画像３を生成してもよい。仮想視点画像を生成するには、複数の撮影画像の各画素を内分する方法や、複数の撮影画像から生成された視差マップと、１枚の撮影画像を用いて生成する方法等があるが、特に限定されるものではない。
【００９３】
図９Ａは、このように取得した各視点画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。同図の例では、実際に撮影された２枚の視点画像（１）、視点画像（４）と、これらの表示用画像であるサムネイル画像（１）、サムネイル画像（４）、及び、仮想視点画像の表示用画像であるサムネイル画像（２）、サムネイル画像（３）が記録されている。
【００９４】
まず先頭画像として視点画像（１）が記録され、その後にサムネイル画像（２）、サムネイル画像（３）、サムネイル画像（１）、サムネイル画像（４）が記録され、続いて視点画像（４）が記録されている。ここでは、サムネイル画像の順序は、推奨順で記録されているが、例えば、左右のいずれか任意の方向からの視点の並び順に記録してもよいし、中央の視点に近い順に記録してもよい。また、サムネイル画像（２）、サムネイル画像（３）は、サムネイル画像（１）及びサムネイル画像（４）から生成してもよいし、視点画像（１）及び視点画像（４）から生成してもよい。
【００９５】
これまでと同様に、各画像の記録領域は、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。また、視点画像（１）の付属情報領域には、最大ディスプレイサイズ、想定視距離、最大視差量の他、各視点番号が実際に撮影が行われた視点（実視点）であるか、仮想視点であるかを示す視点情報が記録されている。
【００９６】
また、表示用の画像を有さず、プリント用の視点画像だけが記録されていてもよい。図９Ｂに示す例では、実際に撮影された２枚の視点画像（１）、視点画像（４）と、仮想視点画像である視点画像（２）、視点画像（３）が記録されている。
【００９７】
また、記録順としてはプリント又は表示の推奨順となっており、具体的には先頭画像として視点画像（２）が記録されており、その後に続いて視点画像（３）、視点画像（１）、視点画像（４）が記録されている。これまでと同様に、視点順に記録されていてもよい。
【００９８】
このように、仮想視点画像を生成して記録することで、実視点画像として２枚の画像があれば足りることになり、撮像装置の撮像光学系の簡略化、軽量化を計ることが可能となる。
【００９９】
［第４の実施形態］
また、画像ずれ量算出手段を用い、取得した遠景側の最大視差量に基づいて、複数の視点画像による立体画像を所定の大画面の立体ディスプレイに表示させた場合の、最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出し（画像ずれ量算出工程）、想定したサイズのディスプレイに表示すると、遠景側の視差量が人間の両眼間隔を超えると判断した場合に、視差ずらし手段を用いて当該サイズのディスプレイに表示しても立体視が可能になるように画像の視差量を調整してから記録するようにしてもよい（視差ずらし工程）。
【０１００】
本実施形態では、視差量の調整として視差ずらしを行う。
【０１０１】
図１０は、視差ずらしの原理を説明するための図である。また、図１１Ａは左視点画像、図１１Ｂは右視点画像を示す図である。ここで、座標（０、Ｄ）に視認者の左目、座標（ＸＢ、Ｄ）に視認者の右目があるとする。Ｚ＝０上に表示された左右の視点画像において、左視点画像の座標（ＸＬ、０）、かつ右視点画像の座標（ＸＲ、０）に表示された被写体は、座標（ＸＰ、ＹＰ）にあるように視認される。
【０１０２】
この状態で、図１１Ｂに示すように、右視点画像を左方向にＸＲ−ＸＲ´だけシフトしたとすると、図１０に示すように被写体の右視点画像の座標が（ＸＲ´、０）となる結果、被写体は座標（ＸＰ´、ＹＰ´）にあるように視認される。
【０１０３】
このように、視差ずらしを行うことで、視差量の調整を行うことが可能である。したがって、遠景側の視差量が人間の両眼間隔を超える場合に、視差ずらしを行うことで人間の両眼間隔内に収めることができ、適切に立体視することが可能となる。
【０１０４】
図１２は、本実施形態に係る３Ｄ画像ファイルを記録するための撮影、記録処理を示すフローチャートである。
【０１０５】
まず、複数の視点画像を取得する（ステップＳ２１）。ここでは、２枚の視点画像を撮影するものとする。次に、各２枚の視点画像から複数の特徴点を抽出し（ステップＳ２２）、特徴点毎の視差量を算出する（ステップＳ２３）。このように算出した特徴点毎の視差量から、近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ２４）。
【０１０６】
ここで、表示を行う想定ディスプレイについて、その表示幅を取得する。想定ディスプレイの表示幅は、記憶手段を用いて予め決められて記憶されていてもよいし、ＨＤＭＩ端子等の外部接続端子によって３Ｄディスプレイが接続されている場合には、読取手段を用いて当該接続に応じた通信により３Ｄディスプレイのサイズを読み取ってもよい。
【０１０７】
この表示幅のディスプレイに当該立体画像を表示した場合に、遠景側の最大視差位置が立体視可能か否かを判定する（ステップＳ２５）。具体的には、表示幅と遠景側の最大視差量（％）との積を算出し、算出した積が人間の両眼間隔５０ｍｍ以上であるか否かを判定する。
【０１０８】
算出した積が５０ｍｍ未満の場合は、撮影した２枚の視点画像をそのまま記録する（ステップＳ２７）。例えば、図２に示すデータ構造の３Ｄ画像ファイルとして記録してもよいし、表示用サムネイル画像や仮想視点画像を生成して記録してもよい。
【０１０９】
算出した積が５０ｍｍ以上の場合は、遠景側の最大視差位置が立体視可能となるように、当該積が５０ｍｍ未満になるように視差ずらしを行う（ステップＳ２６）。
【０１１０】
視差ずらしは、図１１に示すように、右視点画像を左方向にずらすことによって行ってもよいし、左視点画像を右方向にずらすことによって行ってもよい。また、左右視点画像両方をそれぞれ近づける方向にずらしてもよい。
【０１１１】
視差ずらし処理が終了したら、記録を行う（ステップＳ２７）。図１３は、ここで記録する３Ｄ画像ファイルのデータ構造を模式的に示した図である。この３Ｄ画像ファイルには、撮影された２枚の原画像の他に、各原画像のサイズを縮小した視差ずらし後の表示用画像及びサムネイル画像が記録されている。ここでは、表示用画像はフルＨＤサイズの画像であり、サムネイル画像はＶＧＡサイズの画像である。サムネイル画像は、例えば撮像装置の背面に設けられた小型の液晶ディスプレイに、画像検索のために表示する際等に用いられるものである。
【０１１２】
これらの画像は、図１３に示すように、視点番号１の表示用画像、視点番号２の表示用画像、視点番号１のサムネイル画像、視点番号２のサムネイル画像、視点番号１の原画像、視点番号２の原画像、の順に記録されており、それぞれの記録領域は、ＳＯＩマーカ（図では省略）、付属情報領域、画像情報領域、及びＥＯＩマーカ（図では省略）を有している。
【０１１３】
まず先頭画像として、基準視点である視点番号１の表示用画像が記録されており、その付属情報領域には、最大視差量が記録されている。
【０１１４】
次に記録されているのは、視点番号２の表示用画像であり、この画像は上記の視差ずらしを行った結果の画像である。視点番号２の表示用画像の付属情報領域には、視差ずらし処理済みである情報と、そのシフト量（単位：ピクセル）が記録されている。
【０１１５】
続いて視点番号１のサムネイル画像が記録されており、この付属情報領域にも、最大視差量が記録されている。
【０１１６】
さらに、視点番号２のサムネイル画像が記録されている。このサムネイル画像は、視差ずらし後の画像であってもよいし、視点番号２の原画像から生成した画像であってもよい。
【０１１７】
その後には、視点番号１の原画像及び視点番号２の原画像が記録されている。視点番号１の原画像の付属情報領域にも、最大視差量が記録されている。
【０１１８】
このような３Ｄ画像ファイルとすることで、想定したサイズのディスプレイに表示する際に、常に遠景側の最大視差位置が立体視可能となっており、視認者に適切に立体視させることが可能となる。
【０１１９】
また、ＶＧＡサイズのサムネイル画像も記録したため、画像検索時の表示にも有効である。
【０１２０】
なお、想定したディスプレイサイズを、先頭画像の付属情報領域に記録してもよい。想定ディスプレイサイズを記録しておくことにより、画像再生機器において、読み出した想定ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。
【０１２１】
［立体撮像装置の外観］
図１４は本発明に係る立体撮像装置の外観を示す図であり、図１４Ａは立体撮像装置を前面側から見た斜視図であり、図１４Ｂは背面図である。
【０１２２】
この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図１４に示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。
【０１２３】
カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。
【０１２４】
図１４Ｂに示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右視点画像、左視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右視点画像と左視点画像とを個別に見ることができるものなどが適用できる。
【０１２５】
上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切替えスイッチであり、操作スイッチ１８Ｂは、右視点画像と左視点画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮像と３Ｄ撮像とを切り替える切替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイッチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。
【０１２６】
MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作手段）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【０１２７】
尚、図１４Ａ上で、１５はステレオマイクである。
【０１２８】
［立体撮像装置の内部構成］
図１５は上記立体撮像装置１０の内部構成を示すブロック図である。
【０１２９】
図１５に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic
White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。
【０１３０】
左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系14-1(図１４)、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。
【０１３１】
ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。最大ディスプレイサイズの算出、視差ずらし、仮想視点画像の生成等も、ＣＰＵ３２によって行われる。
【０１３２】
なお、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の調整時の調整結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータや、最大視差量と最大ディスプレイサイズとの対応テーブル等が記憶されている。
【０１３３】
また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。
【０１３４】
撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。
【０１３５】
絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。
【０１３６】
メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。
【０１３７】
ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。
【０１３８】
上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。
【０１３９】
ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。
【０１４０】
画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。
【０１４１】
ＣＰＵ３２は、３Ｄ撮像モード時には左視点画像を撮像する撮像部20-1と同様に右視点画像を撮像する撮像部20-2を制御する。
【０１４２】
ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図にしたがって複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。
【０１４３】
ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。尚、動画撮影時には、前記ＡＦ評価値が常に最大値をとるようにフォーカスレンズを移動させる、いわゆる山登り制御が行われる。
【０１４４】
ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。
【０１４５】
デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。
【０１４６】
また、デジタル信号処理部４４は、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するディストーション補正回路、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路を含んで構成されている。
【０１４７】
圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。
【０１４８】
記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄ静止画は、ＭＰファイル、３Ｄ動画は、モーションＪＰＥＧ、Ｈ．２６４、ＭＰＥＧ４、ＭＰＥＧ４−ＭＶＣの動画ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から画像ファイルの読み出しを行う。
【０１４９】
また、記録制御部３８は、本発明に係るＭＰファイルを記録する際には、Ｅｘｉｆ付属情報の他、最大ディスプレイサイズ、想定視距離、最大視差量（近景）（％）、最大視差量（遠景）（％）、等を付属情報としてメモリカード４０に記録する。
【０１５０】
液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するためのライブビュー画像（以下、「スルー画」という）を表示する電子ビューファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ画像を表示させる場合には、ＶＲＡＭ５２に保持されている左視点画像と右視点画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。
【０１５１】
以上のように構成された立体撮像装置１０により、上記実施形態を実現することができる。なお、ここで説明した立体撮像装置１０は、左右２視点の画像を撮影するために２つの撮像部を備えているが、３つ以上の撮像部を備えて３点以上の視点画像を撮影するように構成してもよい。例えば、図５に示すように、４つの撮像装置１０１−１〜１０１−４のように４つの撮像部を備えることによって、４枚の視点画像を撮影するように構成してもよい。
【符号の説明】
【０１５２】
１０…立体撮像装置、14-1,14-2…撮影光学系、１６…液晶モニタ、20-1,20-2…撮像部、２１…フォーカスレンズ及びズームレンズ、２４…ＣＣＤ、２５…アナログ信号処理部、３２…中央処理装置（ＣＰＵ）、３４…操作部、４０…メモリーカード、４４…デジタル信号処理部、１００…被写体、１０１−１〜１０１−４…撮像装置、２１１Ｎ、２１２Ｎ…最大視差量位置（近景）、２１１Ｆ、２１２Ｆ…最大視差量位置（遠景）、２１３Ｎ…近景側の最大視差量、２１３Ｆ…遠景側の最大視差量
【図１】
0005449535.tif 000002
【図２】
0005449535.tif 000003
【図３】
0005449535.tif 000004
【図４】
0005449535.tif 000005
【図５】
0005449535.tif 000006
【図６】
0005449535.tif 000007
【図７】
0005449535.tif 000008
【図８】
0005449535.tif 000009
【図９】
0005449535.tif 000010
【図１０】
0005449535.tif 000011
【図１１】
0005449535.tif 000012
【図１２】
0005449535.tif 000013
【図１３】
0005449535.tif 000014
【図１４】
0005449535.tif 000015
【図１５】
0005449535.tif 000016