(57)【要約】立体撮影装置においては、複数の撮像部の仕様が互いに異なる場合には立体撮影ができないため、本発明の立体撮影装置は、第１の撮影部と、第１の撮影部と光学的仕様が異なる第２の撮影部と、演算処理部を有し、第１の撮影部および第２の撮影部は、同一の被写体を含む撮影対象について、第１の撮影画像および第２の撮影画像をそれぞれ出力し、第１の撮影画像は、第１の撮影部の光学的仕様によって定まる第１の画像特性を備え、第２の撮影画像は、第２の撮影部の光学的仕様によって定まる第２の画像特性を備え、演算処理部は画像処理部を備え、画像処理部は、第１の画像特性と、第２の画像特性との差分が最小となるように補正処理を行う。
2012026502.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮影部と、
前記第１の撮影部と光学的仕様が異なる第２の撮影部と、
演算処理部を有し、
前記第１の撮影部および前記第２の撮影部は、同一の被写体を含む撮影対象について、第１の撮影画像および第２の撮影画像をそれぞれ出力し、
前記第１の撮影画像は、前記第１の撮影部の光学的仕様によって定まる第１の画像特性を備え、
前記第２の撮影画像は、前記第２の撮影部の光学的仕様によって定まる第２の画像特性を備え、
前記演算処理部は画像処理部を備え、前記画像処理部は、前記第１の画像特性と、前記第２の画像特性との差分が最小となるように補正処理を行う
立体撮影装置。
【請求項２】
請求項１に記載した立体撮影装置において、
前記画像処理部が行う前記補正処理は、前記第１の撮影画像および前記第２の撮影画像の双方、またはいずれか一方に画像処理を施す処理である立体撮影装置。
【請求項３】
請求項１または２に記載した立体撮影装置において、
前記画像処理部が行う前記補正処理は、前記第２の画像特性が前記第１の画像特性と略同一となるように前記第２の撮影画像に画像処理を施す処理であるか、または、前記第１の画像特性が前記第２の画像特性と略同一となるように前記第１の撮影画像に画像処理を施す処理である立体撮影装置。
【請求項４】
請求項１から３のいずれか一項に記載した立体撮影装置において、
前記第１の撮影部および前記第２の撮影部はそれぞれ、レンズ系と撮影素子を備え、前記光学的仕様は、光学的な設計仕様であって、撮影画角、光軸、被写界深度、収差、または色特性のいずれか一以上を含む立体撮影装置。
【請求項５】
請求項１に記載した立体撮影装置において、
前記第１の撮影部および前記第２の撮影部はそれぞれ、レンズ系と、撮影素子と、自動焦点制御部を有し、
前記演算処理部は撮影制御部をさらに備え、
前記撮影制御部は、前記画像処理部の指示に基づいて、前記自動焦点制御部が定める焦点位置を可変し、前記画像処理部が行う前記補正処理は、前記第１の画像特性と前記第２の画像特性が略同一となるように前記撮影制御部を制御する処理である立体撮影装置。
【請求項６】
請求項５に記載した立体撮影装置において、
前記光学的仕様は、前記自動焦点制御部における制御方法である立体撮影装置。
【請求項７】
請求項１から６のいずれか一項に記載した立体撮影装置において、
前記演算処理部は状態記憶処理部をさらに備え、前記状態記憶処理部は、前記補正処理によって定まる補正値を保存する立体撮影装置。
【請求項８】
同一の被写体を含む撮影対象について、第１の画像特性を備える第１の撮影画像と、前記第１の画像特性と異なる第２の画像特性を備える第２の撮影画像をそれぞれ取得し、
前記第１の画像特性と、前記第２の画像特性との差分が最小となるように補正処理を行う
立体撮影方法。
【請求項９】
請求項８に記載した立体撮影方法において、
前記補正処理は、前記第１の撮影画像および前記第２の撮影画像の双方、またはいずれか一方に画像処理を施す処理である立体撮影方法。
【請求項１０】
請求項８に記載した立体撮影方法において、
前記補正処理は、前記第１の画像特性を変化させた第１の撮影画像を取得し、前記第２の画像特性を変化させた第２の撮影画像を取得する処理である立体撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体撮影装置および立体撮影方法に関し、特に、複数の撮影部を備えた立体撮影装置および立体撮影方法に関する。
【背景技術】
【０００２】
近年、複数の撮影部を用いて、被写体の立体的な撮影を可能とする立体撮影装置が開発されている。立体画像を得るためには光学系の等しい複数の撮影部（例えばカメラ）を用いることが望ましい。これは、人間の目は等しい光学系により処理された画像を、左右別々の目で視認することによって擬似的に立体感を体験しているからである。したがって、複数の撮影部を用いる場合、それぞれの撮像部の例えば光軸のズレなどに起因する画像のズレを抑制することが必要である。
このような、光軸のズレを補正する手段を備えた立体撮影装置の一例が特許文献１に記載されている。特許文献１に記載された立体撮影装置は、カメラ本体と、仕様が一致する２つの撮像ユニット（撮像部）と、これらの撮像ユニットをカメラ本体に接続するためのアダプタとで構成されている。そして、第１及び第２撮像部によって撮像された２つの画像間での主要被写体の位置ズレ量に基づいて、主要被写体の位置を光学的に一致させるための光軸補正角度を算出し、光軸角度を調節することとしている。
また、特許文献２には、第１および第２の撮影光学系の焦点距離を検出する焦点距離検出手段と、各焦点距離における光軸中心のずれ量を予め記憶した記憶手段と、記憶手段からの出力に基づき画像切出しエリアを制御する制御手段とを備えた立体撮影装置が記載されている。この構成により、撮影光学系の工作精度などによる光軸中心のずれに起因して撮影光学系に発生する各焦点距離における画像のずれを抑制することとしている。
【特許文献１】特開２００８−２５２２５４号公報（段落「００１３」、「００１７」）
【特許文献２】特開平０８−３１７４２４号公報（段落「００１０」、「０１４８」）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した関連する立体撮影装置においては、仕様が一致する２つの撮像部における光学系の工作精度などから生じる光軸中心のずれを補正することにより、立体撮影を可能としている。しかしながら、仕様が一致しない場合には立体撮影は不可であるとして撮影処理を終了することとしている（特許文献１の段落「００６０」、図８）。そのため関連する立体撮影装置においては、複数の撮像部の仕様が互いに異なる場合には立体撮影ができない、という問題があった。
本発明の目的は、上述した課題である、複数の撮像部の仕様が互いに異なる場合には立体撮影ができない、という課題を解決する立体撮影装置および立体撮影方法を提供することにある。
【課題を解決するための手段】
【０００４】
本発明の立体撮影装置は、第１の撮影部と、第１の撮影部と光学的仕様が異なる第２の撮影部と、演算処理部を有し、第１の撮影部および第２の撮影部は、同一の被写体を含む撮影対象について、第１の撮影画像および第２の撮影画像をそれぞれ出力し、第１の撮影画像は、第１の撮影部の光学的仕様によって定まる第１の画像特性を備え、第２の撮影画像は、第２の撮影部の光学的仕様によって定まる第２の画像特性を備え、演算処理部は画像処理部を備え、画像処理部は、第１の画像特性と、第２の画像特性との差分が最小となるように補正処理を行う。
本発明の立体撮影方法は、同一の被写体を含む撮影対象について、第１の画像特性を備える第１の撮影画像と、第１の画像特性と異なる第２の画像特性を備える第２の撮影画像をそれぞれ取得し、第１の画像特性と、第２の画像特性との差分が最小となるように補正処理を行う。
【発明の効果】
【０００５】
本発明の立体撮影装置によれば、複数の撮像部の仕様が互いに異なる場合であっても立体撮影をすることが可能になる。
【図面の簡単な説明】
【０００６】
図１は本発明の第１の実施形態に係る立体撮影装置の構成を示すブロック図である。
図２は本発明の第２の実施形態に係る立体撮影装置の構成を示すブロック図である。
図３は本発明の第２の実施形態に係る立体撮影装置における撮影画角の差を説明するための概略図である。
図４は本発明の第２の実施形態に係る立体撮影装置におけるレンズ系および撮影素子の相違に起因する画像特性間の差分を補正する処理を示すフローチャートである。
図５は本発明の第２の実施形態に係る立体撮影装置における光軸のずれを説明するための概略図である。
図６は本発明の第２の実施形態に係る立体撮影装置における光軸のずれに起因する画像特性間の差分を補正する処理を示すフローチャートである。
図７は本発明の第２の実施形態に係る立体撮影装置における被写界深度の差を説明するための概略図である。
図８は本発明の第２の実施形態に係る立体撮影装置における被写界深度の差に起因する画像特性間の差分を補正する処理を示すフローチャートである。
図９は本発明の第２の実施形態に係る立体撮影装置における収差の相違を説明するための概略図である。
図１０は本発明の第２の実施形態に係る立体撮影装置における収差の相違に起因する画像特性間の差分を補正する処理を示すフローチャートである。
図１１は本発明の第２の実施形態に係る立体撮影装置における色特性の相違を説明するための概略図である。
図１２は本発明の第２の実施形態に係る立体撮影装置における色特性の相違に起因する画像特性間の差分を補正する処理を示すフローチャートである。
図１３は本発明の第３の実施形態に係る立体撮影装置の構成を示すブロック図である。
図１４は本発明の第３の実施形態に係る立体撮影装置の自動焦点制御部における制御方法の相違を説明するための概略図である。
図１５は本発明の第３の実施形態に係る立体撮影装置の自動焦点制御部における制御方法の相違に起因する画像特性間の差分を補正する処理を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下に、図面を参照しながら、本発明の実施形態について説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る立体撮影装置１００の構成を示すブロック図である。立体撮影装置１００は、第１の撮影部１１０と、第１の撮影部と光学的仕様が異なる第２の撮影部１２０と、演算処理部１３０を有する。第１の撮影部１１０および第２の撮影部１２０は、同一の被写体を含む撮影対象について、第１の撮影画像および第２の撮影画像をそれぞれ演算処理部１３０に出力する。ここで、第１の撮影画像は、第１の撮影部１１０の光学的仕様によって定まる第１の画像特性を備え、第２の撮影画像は、第２の撮影部１２０の光学的仕様によって定まる第２の画像特性を備えている。さらに、演算処理部１３０は画像処理部１３１を備え、画像処理部１３１は、第１の画像特性と第２の画像特性との差分が最小となるように補正処理を行う。
このような構成とすることにより、本実施形態の立体撮影装置１００においては、画像特性が揃った複数の画像が得られるので、複数の撮像部の仕様が互いに異なる場合であっても立体撮影をすることが可能となる。
なお、立体撮影装置１００における３次元表示方式は、特に限定されず、視差バリア方式、シャッター方式、レンズ方式などいずれの表示方式であっても用いることができる。また、演算処理部１３０における処理は、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：ＣＰＵ）とプログラムを用いて行うこととしてもよく、また、専用の論理回路素子を用いることとしてもよい。
次に、本実施形態の立体撮影装置１００を携帯機器に搭載した場合について説明する。
近年では、携帯電話機などの携帯機器にも撮影装置としてのカメラが搭載されており、そのようなカメラにおいても高画素化の進展が著しい。一方、立体（以下では、「３次元」、「３Ｄ」：３  ｄｉｍｅｎｓｉｏｎ、とも言う）表示が可能な表示デバイスは開発段階であり、現在の画素数は最大でも高精細テレビ（ＨＤ−ＴＶ：Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）と同等の約２００万（２Ｍ）画素程度である。
ここで、高画素の２次元（２Ｄ）写真と３次元（３Ｄ）写真の撮影機能を共に携帯機器に搭載する場合を考える。このとき高画素の２つのカメラを搭載することは、価格の高騰、実装サイズおよび重量の増大を招くこと等から、必ずしも望ましくない。特に、携帯電話などの可搬機器は小型、軽量、低価格であることが重要な購入動機であり、実装面積が大きく、コストが高いデバイスを搭載することは得策ではない。
一方、３Ｄ写真撮影に最適化した低画素のカメラを２つ搭載することとすると、２Ｄ写真を撮影する場合には高画素の画像は得られない。
ここで、本実施形態による立体撮影装置１００の第１の撮影部１１０を２Ｄ撮影用の高画素撮影部とし、第２の撮影部１２０を２Ｄ撮影用とは光学的仕様が異なる３Ｄ撮影用の撮影部とすることができる。すなわち、２Ｄ撮影では高解像度の撮影が可能であり、３Ｄ撮影では３Ｄ撮影に使用する２つのカメラの光学系を揃えることなく、低コストかつ小型の低解像度カメラと２Ｄ撮影用の高解像度カメラを組み合わせて立体画像を生成することが可能となる。
このとき、３Ｄ撮影で使用する第２の撮影部１２０は可動式のカメラとしてもよい。例えば、携帯電話機に搭載されたインカメラを携帯電話機の外側に向けて使用することもできる。また、３Ｄ撮影で使用する第２の撮影部１２０は、携帯電話機本体から取り外しが可能な構成であってもよく、位置あわせが可能な取り付け部を設けることとしてもよい。
このように本実施形態によれば、携帯電話機など実装面積が限られ、低コストが求められる携帯機器においても、３Ｄ写真撮影が可能となる。
〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。図２は、本発明の第２の実施形態に係る立体撮影装置２００の構成を示すブロック図である。立体撮影装置２００は、第１の撮影部１１０と、第１の撮影部と光学的仕様が異なる第２の撮影部１２０と、演算処理部１３０を有する。第１の撮影部１１０および第２の撮影部１２０は、同一の被写体を含む撮影対象について、第１の撮影画像および第２の撮影画像をそれぞれ演算処理部１３０に出力する。ここで、第１の撮影画像は、第１の撮影部の光学的仕様によって定まる第１の画像特性を備え、第２の撮影画像は、第２の撮影部の光学的仕様によって定まる第２の画像特性を備えている。さらに、演算処理部１３０は画像処理部１３１を備え、画像処理部１３１は、第１の画像特性と第２の画像特性との差分が最小となるように補正処理を行う。ここまでの構成は第１の実施形態による立体撮影装置１００と同じである。
本実施形態の第１の撮影部１１０および第２の撮影部１２０は、互いに異なる光学系を構成するレンズ系２１１、２２１と撮影素子２１２、２２２をそれぞれ備えている。また、立体撮影装置２００では、撮影した画像または撮影中の画像を表示するための表示装置２４０、および撮影した画像を保存する保存装置２５０が演算処理部１３０に接続された構成とした。これにより、撮影者は異なる二つの光学系を意識することなく左右の目にそれぞれ適切な画像を得ることができ、３Ｄ画像をモニタしながら３Ｄ写真の撮影が可能となる。表示装置２４０としては液晶表示装置を、保存装置２５０としてはメモリーカードなどの記録媒体を用いることができるが、これらに限らず他の表示装置、保存装置であってもよい。
さらに、本実施形態の立体撮影装置２００では、画像処理部１３１が行う補正処理によって定まる補正値を保存する状態記憶処理部２３２を備える構成とした。状態記憶処理部２３２には初回の起動時、あるいは、ある一定期間ごとに補正値を保存しておくことができる。この構成により、補正値が一定とみなせることが知られている場合には、画像処理部１３１における補正処理を簡略化し、処理負荷の低減を図ることができる。例えば、光軸のずれは一度補正値を求めれば、実装構造上その値が変化することは極めて少ないので、次回以降はその補正値を用いることができ、補正処理を簡略にすることができる。
なお、保存装置２５０に保存する３次元画像を圧縮するために、エンコード処理部を演算処理部１３０にさらに備えることとしてもよい。
次に、画像処理部１３１が行う補正処理について、さらに詳細に説明する。画像処理部１３１は第１の画像特性と第２の画像特性との差分が最小となるように補正処理を行う。本実施形態では、第１の撮影画像および第２の撮影画像の双方、またはいずれか一方に画像処理を施すこととした。上記の差分を最小とする補正処理としては、例えば、第２の画像特性が第１の画像特性と略同一となるように第２の撮影画像に画像処理を施す処理であるか、または、第１の画像特性が第２の画像特性と略同一となるように第１の撮影画像に画像処理を施す処理とすることができる。
ここで、各撮影部の光学的仕様とは、光学的な設計仕様であって、（１）撮影画角、（２）光軸、（３）被写界深度、（４）収差、または（５）色特性などがあげられる。各撮影部の光学的仕様によってそれぞれの画像特性が定まり、光学的仕様の相違に起因して各画像特性の間に差分が生じる。そこで以下では、上述した光学的仕様ごとに画像処理部１３１が行う補正処理について説明する。
まず図３、図４を用いて、レンズ系の差分または撮影素子の差分による撮影画角の差を補正する処理について説明する。図３は撮影画角の差を説明するための概略図、図４はレンズ系および撮影素子の相違に起因する画像特性間の差分を補正する処理を示すフローチャートである。
図３に示すように、レンズ系の設計または撮影素子の大きさにより、撮影可能な範囲が大きく異なる。また、撮影素子の画素数の差により、同じ画素数に撮影される範囲も異なるものとなる。これらの差分を部分クロップ、リサイズ処理等の画像処理により補正する。
図４を用いて、レンズ系および撮影素子が異なる場合の補正処理について説明する。撮影素子２１２および撮影素子２２２はそれぞれ同一の被写体を含む撮影対象を撮影する（ステップＳ１１、Ｓ１２）。画像処理部１３１は、これらの二つの画像の一部または全部をスキャンし、それぞれの特徴点のピクセル数を比較する。そして、撮影素子の大きさの相違を吸収するように画像を拡大または縮小する処理を行う（ステップＳ１３）。以下に具体的に説明する。撮影素子の画素数が大きく異なる場合、例えば、撮影素子２１２の画素数が１６Ｍピクセル（Ｐｉｘｅｌ）であり、他方の撮影素子２２２の画素数が５Ｍピクセル（Ｐｉｘｅｌ）である場合を考える。同一距離の場所から、大きさが例えば１０ｃｍである被写体を撮影すると、撮影素子２１２では例えば１７０ピクセル（Ｐｉｘｅｌ）の画像となり、他方の撮影素子２２２では例えば１００ピクセル（Ｐｉｘｅｌ）の画像となる。つまり、撮影素子によって異なる画素（ピクセル）数の画像が得られることになる。このとき、画素（ピクセル）数が異なる画像をそのまま切り出しても大きさは一致しない。そこでまず、撮影素子２１２および撮影素子２２２から得られるそれぞれの画像が等しい画素数（例えば１００ピクセル）となるように画像を拡大または縮小する処理を行う（ステップＳ１３）。
次に画像処理部１３１は、画面の一部を切り出す処理を行う。これは画素（ピクセル）数が等しい場合であっても、レンズ系または撮影素子が異なると画角が変化し、一方の撮影部ではより広い範囲が撮影され、他方の撮影部ではより狭い範囲が撮影されることになるからである。
具体的には画像処理部１３１はまず、撮影素子２１２および撮影素子２２２の大小を比較する（ステップＳ１４）。そして、広い方の撮影範囲を狭い撮影範囲と同等になるように切り出す処理を行う。つまり、撮影素子２１２の方が大きければ、画像処理部１３１は撮影素子２１２の撮影範囲を撮影素子２１３と同等になるように切り出す（ステップＳ１５）。一方、撮影素子２１３の方が大きい場合は、撮影素子２１３の撮影範囲を撮影素子２１２の撮影範囲と同等になるように切り出す処理を行う（ステップ１６）。
このように、画面全体の拡大縮小または画面の一部を切り出す処理により、同一の画角、同一の画像サイズ（縦横のピクセル数）となるように補正することができる。
次に図５、図６を用いて、撮影部の差分による光軸のずれを補正する処理について説明する。図５は撮影部の差分による光軸のずれを説明するための概略図、図６は光軸のずれに起因する画像特性間の差分を補正する処理を示すフローチャートである。
図５に示すように、一般にカメラ等の撮影部は、レンズ系と撮影素子が一体化されたユニット（モジュール）構成をとる。このようなユニット（モジュール）構成は、メーカーごとに設計思想および組み立て精度が異なるため、光軸、つまり撮影対象の中心がずれる可能性がある。また、ユニット（モジュール）構成を採用しない場合であっても、異なる設計思想で作られたレンズ系と撮影素子の位置関係はずれる可能性がある。一方、量産工程において、これらのずれを精密に調整して作製することとすると、製造コストの増大を招くため望ましくない。本実施形態によれば、光軸のずれにより生じた撮影範囲のずれを、部分クロップおよび回転処理等の画像処理によって補正することができる。
図６を用いて、撮影部の差分による光軸のずれが生じている場合の補正処理について説明する。撮影素子２１２および撮影素子２２２はそれぞれ同一の被写体を含む撮影対象を撮影する（ステップＳ２１、Ｓ２２）。画像処理部１３１は、これらの二つの画像の一部または全部をスキャンし、それぞれの特徴点を抽出する（ステップＳ２３）。そして画像処理部１３１は、これらの特徴点の位置の相対的なずれを検出し（ステップＳ２４）、この位置ずれを吸収するように画像の変形処理を行う（ステップＳ２５）。このように、画面の一部を変形する処理により、撮影対象の中心が同一となるように補正することができる。
次に図７、図８を用いて、レンズ系の焦点距離の違いによる被写界深度の差を補正する処理について説明する。図７はレンズ系の焦点距離の違いによる被写界深度の差を説明するための概略図、図８は被写界深度の差に起因する画像特性間の差分を補正する処理を示すフローチャートである。
図７に示すように、レンズ系の焦点距離が異なる場合、被写界深度、すなわちピントが合っているように見える範囲または距離が異なる。つまり、一方の撮影部ではピントが合っているように見えるが、他方の撮影部ではピントがずれているように見えることになる。この影響を排除するため、ピントが合っている方の画像にソフト処理を施すことにより補正処理を行う。
図８を用いて、レンズ系の焦点距離の違いによって被写界深度に差が生じている場合の補正処理について説明する。撮影素子２１２および撮影素子２２２はそれぞれ同一の被写体を含む撮影対象を撮影する（ステップＳ３１、Ｓ３２）。画像処理部１３１は、これらの二つの画像の一部または全部をスキャンし、それぞれの特徴点を抽出する（ステップＳ３３）。次に、これらの特徴点のピクセルのコントラストを比較し、ぼけの量を検出する（ステップＳ３４）。そして画像処理部１３１は、ぼけ量の少ない方の画像を、ぼけ量の多い画像にあわせて、周辺ピクセルとの平均化を行うソフト化処理を行う（ステップＳ３５）。このように、ピントが合っている方の画像について周辺の画像を平均化してぼかすことにより、被写界深度の差による影響を排除するように補正することができる。
次に図９、図１０を用いて、レンズ系構成の違いによる収差の相違を補正する処理について説明する。図９はレンズ系構成の違いによる収差の相違を説明するための概略図、図１０は収差の相違に起因する画像特性間の差分を補正する処理を示すフローチャートである。
図９に示すように、レンズ系構成の違いにより、収差に相違が生じる。ここで収差には、球面収差、ディストーション、非点収差、像面湾曲、色収差、コマ収差などが含まれる。これらの収差によって、撮影された画像にごくわずかなゆがみや色のにじみが生じる。これらのゆがみは画像変形処理によって、色のにじみはＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ赤緑青）色それぞれに対して異なるパラメタを用いて変形処理を行うことにより補正する。
図１０を用いて、レンズ系構成の違いによって収差に相違が生じている場合の補正処理について説明する。撮影素子２１２および撮影素子２２２はそれぞれ同一の被写体を含む撮影対象を撮影する（ステップＳ４１、Ｓ４２）。画像処理部１３１は、これらの二つの画像の一部または全部をスキャンし、画面の四隅、中央、及びそれらの中間点におけるそれぞれの特徴点の相対的なズレを検出する（ステップＳ４３）。そして各点におけるズレ量から、幾何学的な画像のゆがみを計算する（ステップＳ４４）。画像処理部１３１は、この計算値にあわせて、全画面に対してピクセルの位置を補正する（ステップＳ４５）。例えば、二つの画像の一方に他方の画像を合致させる処理を行う。なお色収差の場合には、ステップＳ４３からステップＳ４５の処理を赤色、緑色、青色の三原色に対してそれぞれ行い、三色のズレを最小化するように補正を行う。このように、少なくとも一方の画像に対して変形処理を施すことにより、収差の相違による影響を排除するように補正することができる。
次に図１１、図１２を用いて、撮影素子の違いによる色特性の相違を補正する処理について説明する。図１１は撮影素子の違いによる色特性の相違を説明するための概略図、図１２は色特性の相違に起因する画像特性間の差分を補正する処理を示すフローチャートである。
図１１に示すように、受像センサー等の撮影素子２１２、２２２の特性の違いにより、同一の被写体を含む撮影対象を同じ時間に撮影した場合であっても、明るさや色味などの色特性に相違が生じる。ここで色特性には、色、明るさ、解像度、ノイズ、ホワイトバランスなどの他、自動露出（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ：ＡＥ）制御が含まれる。これらのうち、色、明るさ、ホワイトバランスについては、画像処理によってそれぞれ色補正、ガンマ補正、レベル補正を行う。また、ノイズに関しては色値の加算平均処理等を行うことにより補正する。このとき、同一の撮影対象における色や明るさは同一であるはず、という原則に従い、いずれか一方の画像のトーンカーブを調整して、他方の画像の色や明るさに合せることができる。ここでトーンカーブとは、画像を階調補正するツールであり、横軸を元の明るさ（入力値）とし、縦軸を変更後の明るさ（出力値）としたものを言う。
図１２を用いて、撮影素子特性の違いによって色特性に相違が生じている場合の補正処理について説明する。撮影素子２１２および撮影素子２２２はそれぞれ同一の被写体を含む撮影対象を撮影する（ステップＳ５１、Ｓ５２）。画像処理部１３１は、これらの二つの画像の全部をスキャンし、それぞれのヒストグラムを抽出する（ステップＳ５３）。そして、これらのヒストグラムの差分から特定の色情報のズレを算出する（ステップＳ５４）。次に画像処理部１３１は両者のヒストグラムが同じになるように、トーンカーブを調整して双方の色味を合わせる補正処理を行う。
以上説明したように、本実施形態による立体撮影装置２００によれば、複数の撮像部における各種の光学的仕様が互いに異なる場合であっても、立体撮影をすることが可能になる。
〔第３の実施形態〕
次に、本発明の第３の実施形態について説明する。図１３は、本発明の第３の実施形態に係る立体撮影装置３００の構成を示すブロック図である。立体撮影装置３００は、第１の撮影部３１０と、第１の撮影部と光学的仕様が異なる第２の撮影部３２０と、演算処理部３３０を有する。第１の撮影部３１０および第２の撮影部３２０は、同一の被写体を含む撮影対象について、第１の撮影画像および第２の撮影画像をそれぞれ演算処理部３３０に出力する。ここで、第１の撮影画像は、第１の撮影部の光学的仕様によって定まる第１の画像特性を備え、第２の撮影画像は、第２の撮影部の光学的仕様によって定まる第２の画像特性を備えている。さらに、演算処理部３３０は画像処理部１３１を備え、画像処理部１３１は、第１の画像特性と第２の画像特性との差分が最小となるように補正処理を行う。
また、立体撮影装置３００では、撮影した画像または撮影中の画像を表示するための表示装置２４０、および撮影した画像を保存する保存装置２５０が演算処理部３３０に接続された構成とした。ここまでの構成は第２の実施形態による立体撮影装置２００と同様である。
本実施形態の第１の撮影部３１０および第２の撮影部３２０は、互いに異なる光学系を構成するレンズ系２１１、２２１と撮影素子２１２、２２２に加えて、自動焦点制御部３１３、３２３をそれぞれ備えている。このとき、各撮影部の光学的仕様によって、自動焦点制御部３１３、３２３における制御方法が定まる。また、本実施形態の立体撮影装置３００では、演算処理部３３０は撮影制御部３３３をさらに備え、撮影制御部３３３は画像処理部１３１の指示に基づいて、自動焦点制御部３１３、３２３が定める焦点位置を可変する。
次に、画像処理部１３１が行う補正処理について、さらに詳細に説明する。画像処理部１３１は第１の画像特性と第２の画像特性が略同一となるように撮影制御部３３３を制御する。つまり、画像処理部１３１は第１の画像特性を変化させた第１の撮影画像を取得し、第２の画像特性を変化させた第２の撮影画像を取得する。このようにして、各撮影部が備える自動焦点制御部３１３、３２３における制御方法の相違に起因する画像特性間の差分を補正することができる。
図１４は、自動焦点制御部３１３、３２３における制御方法の相違を説明するための概略図である。自動焦点制御部３１３、３２３における制御方法の差により自動焦点検出したときの焦点の位置にずれが生じる。このとき画像処理部１３１は撮影制御部３３３に対して、第１の撮影部３１０が備えるレンズ系２１１を第１の距離（例えば１ｍｍ）だけ移動させる指示を行う。それに対して、第２の撮影部３２０が備えるレンズ系２２１は第２の距離（例えば、１．１ｍｍ）だけ移動させる指示を行う。このような制御によって、自動焦点の制御方法の相違に起因する画像特性間の差分を補正する。
図１５は、自動焦点の制御方法の相違に起因する画像特性間の差分を補正する処理を示すフローチャートである。撮影素子２１２および撮影素子２２２はそれぞれ同一の被写体を含む撮影対象を撮影する（ステップＳ６１、Ｓ６２）。画像処理部１３１は、これらの二つの画像のフォーカス位置（通常は画面の中央付近）をスキャンし、それぞれのコントラストを抽出する（ステップＳ６３）。そして、これらのコントラストの差分からフォーカスのズレを検出する（ステップＳ６４）。その後、画像処理部１３１は撮影制御部３３３を制御することによって、自動焦点制御部３１３、３２３が定めた焦点位置を前後に移動させて微調整を行い、コントラストが一致するように制御する（ステップＳ６５）。このとき、自動焦点制御部３１３、３２３のいずれか一方が定めた焦点位置についてのみ調整することとしてもよい。
このように、自動焦点制御部が定めた焦点位置を調整することにより、自動焦点制御部における制御方法の相違に起因する画像特性間の差分を補正することができる。したがって、本実施形態の立体撮影装置３００によれば、複数の撮像部の光学的仕様が互いに異なり、自動焦点制御部における制御方法が相違する場合であっても立体撮影をすることが可能になる。
上述した実施形態においては、撮影部における光学的仕様の相違に起因する画像特性間の差分を補正する処理について、個々の光学的仕様ごとに補正処理を行うこととして説明した。しかし、各光学的仕様の全てについて、または必要に応じて二以上を選択して補正処理を行うこととしてもよい。
本発明は上記実施形態に限定されることなく、特許請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲内に含まれるものであることはいうまでもない。
この出願は、２０１０年８月２４日に出願された日本出願特願２０１０−１８７０１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０００８】
１００、２００、３００    立体撮影装置
１１０、３１０    第１の撮影部
１２０、３２０    第２の撮影部
１３０、３３０    演算処理部
１３１    画像処理部
２１１、２２１    レンズ系
２１２、２２２    撮影素子
２３２    状態記憶処理部
２４０    表示装置
２５０    保存装置
３１３、３２３    自動焦点制御部
３３３    撮影制御部
【図１】
2012026502.tif 000003
【図２】
2012026502.tif 000004
【図３】
2012026502.tif 000005
【図４】
2012026502.tif 000006
【図５】
2012026502.tif 000007
【図６】
2012026502.tif 000008
【図７】
2012026502.tif 000009
【図８】
2012026502.tif 000010
【図９】
2012026502.tif 000011
【図１０】
2012026502.tif 000012
【図１１】
2012026502.tif 000013
【図１２】
2012026502.tif 000014
【図１３】
2012026502.tif 000015
【図１４】
2012026502.tif 000016
【図１５】
2012026502.tif 000017
【国際調査報告】
2012026502.tif 000018
2012026502.tif 000019
2012026502.tif 000020