(57)【要約】【課題】従来の撮像装置では、ステレオベースの値を自由に変更することができない。その結果、左右画像の視差量を調整することができないので、ユーザは好みに応じた立体感を楽しむことができない。【解決手段】本発明の撮像装置は、被写体の光学像を形成する第１光学系と、第１光学系と並列に配置され、被写体の光学像を形成する第２光学系と、第１光学系により形成された光学像を撮像し、第１画像を生成する第１撮像素子と、第２光学系により形成された光学像を撮像し、第２画像を生成する第２撮像素子と、画像処理部と、を備える。画像処理部は、第１画像に対する第２画像の視差量から被写体の奥行き情報を生成し、奥行き情報に基づいて、第１画像に対する任意の視差量を有した第３画像を、第１画像から生成する。【選択図】図４
2012182695.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学像を形成する第１光学系と、
前記第１光学系と並列に配置され、被写体の光学像を形成する第２光学系と、
前記第１光学系により形成された光学像を撮像し、第１画像を生成する第１撮像素子と、
前記第２光学系により形成された光学像を撮像し、第２画像を生成する第２撮像素子と、
画像処理部と、を備え、
前記画像処理部は、前記第１画像に対する前記第２画像の視差量から被写体の奥行き情報を生成し、
前記奥行き情報に基づいて、前記第１画像に対する任意の視差量を有した第３画像を、前記第１画像から生成する、撮像装置。
【請求項２】
前記第２光学系は、前記第１光学系の広角端と同等もしくはそれ以上の画角を有する単焦点の光学系であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１光学系は、光学的にズーム可能に構成されていることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像処理部は、
前記第１画像の全画像領域に対応する前記第２画像上の画像領域を第４画像として切り出すトリミング処理部と、
前記第１画像と前記第４画像の画像サイズを一致させる画像サイズ調整処理部と、
画像サイズ調整後の前記第１画像と前記第４画像を用いて視差量を求める視差量生成部と、を有し被写体の奥行き情報を生成することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記第１撮像素子の長手方向を第１方向としたとき、
前記第２光学系は、前記第１光学系と前記第１方向に並んで配置されている、
請求項１に記載の撮像装置。
【請求項６】
前記第１撮像素子の長手方向を第１方向としたとき、
前記第２光学系は、前記第１光学系と前記第１方向に並んだ位置とは異なる位置に配置されている、
請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像撮影に用いられる撮像装置に関する。
【背景技術】
【０００２】
２つのレンズ鏡筒を水平方向に並べて左右画像の撮影を行うことでステレオ画像を生成する撮像装置が提案されている（特許文献１参照）。
【０００３】
例えば特許文献１には次のような撮像装置が開示されている。特許文献１の撮像装置は、ズーム駆動可能なメインレンズ系を介して得られた画像データを減数処理して、サブレンズ系を介して得られた画像データと等価な状態の画像データを生成する。次に、この画像データとサブレンズ系を介して得られた画像データとをパターンマッチングによって比較し、メインレンズ系を介して得られた画像データに相当する画像データを、サブレンズ系を介して得られた画像データの中から切り出して、記録部に記録させる（要約参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２１０２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の撮像装置では、サブレンズ系の位置が固定されているので、ステレオベースの値を自由に変更することができない。その結果、左右画像の視差量を調整することができないので、ユーザは好みに応じた立体感を楽しむことができない。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、ユーザが自由に視差量を調整することができる、ユーザが好みに応じた立体感を楽しむことのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題は以下の撮像装置により解決することができる。すなわち、本発明の撮像装置は、被写体の光学像を形成する第１光学系と、第１光学系と並列に配置され、被写体の光学像を形成する第２光学系と、第１光学系により形成された光学像を撮像し、第１画像を生成する第１撮像素子と、第２光学系により形成された光学像を撮像し、第２画像を生成する第２撮像素子と、画像処理部と、を備える。画像処理部は、第１画像に対する第２画像の視差量から被写体の奥行き情報を生成し、奥行き情報に基づいて、第１画像に対する任意の視差量を有した第３画像を、第１画像から生成する。
【発明の効果】
【０００８】
上記撮像装置により、ユーザが自由に視差量を調整することができるので、ユーザが好みに応じた立体感を楽しむことのできる撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１のデジタルカメラの外観を示す概略斜視図
【図２】実施の形態１のデジタルカメラの概略断面図
【図３】実施の形態１のデジタルカメラの内部構成を示すブロック図
【図４】実施の形態１のデジタルカメラの動作手順を示すフローチャート
【図５】実施の形態１のＣＰＵにおける処理の説明図
【図６】実施の形態２のデジタルカメラの外観を示す概略斜視図
【図７】実施の形態３のデジタルカメラの外観を示す概略斜視図
【発明を実施するための形態】
【００１０】
＜実施の形態１＞
以下、実施の形態１における撮像装置について、図１〜図５を用いて説明する。図１は実施の形態１における撮像装置としてのデジタルカメラの外観を示す概略斜視図である。図２はデジタルカメラの概略断面図である。図３はデジタルカメラの内部構成を示すブロック図である。図４はデジタルカメラの動作手順を示すフローチャートである。図５は画像処理部としてのＣＰＵにおける処理の説明図である。
【００１１】
図１および図２に示すように、実施の形態１デジタルカメラ１は、メイン鏡筒２とサブ鏡筒３を備える。また、デジタルカメラ１は、メインＣＣＤ５とサブＣＣＤ７を備える。このＣＣＤの長手方向を水平方向としたとき、メイン鏡筒２とサブ鏡筒３は水平方向に並んで設けられる。
【００１２】
図２の断面図に示すように、メイン鏡筒２は、３つのレンズ群Ｌ１、Ｌ２、Ｌ３からなる第１光学系としてのメイン光学系４を備える。またメイン鏡筒２は、メイン光学系４により形成される光学像を電気信号に変換する第１撮像素子としてのメインＣＣＤ５を備える。なお、撮像素子はＣＣＤ撮像素子に限定されない。例えば、撮像素子としてＣＭＯＳ撮像素子を用いてもよい。メイン光学系４はズームレンズである。第１レンズ群Ｌ１は、光軸方向に移動することにより合焦動作を行う。また、第３レンズ群Ｌ３は、光軸方向に移動することによりズーミングを行う。なお、メイン光学系４はこの光学構成に限定されるわけではない。メイン光学系４は、ズーム可能な他の構成であってもよい。メイン光学系４は、単焦点光学系であってもよい。
【００１３】
また図２の断面図に示すように、サブ鏡筒３は、１つのレンズ群Ｌ４からなる第２光学系としてのサブ光学系６を備える。またサブ鏡筒３は、サブ光学系６により形成される光学像を電気信号に変換する第２撮像素子としてのサブＣＣＤ７を備える。撮像素子はＣＣＤ撮像素子に限定されない。例えば、撮像素子としてＣＭＯＳ撮像素子を用いてもよい。サブ光学系６は、単焦点のレンズである。また、サブ光学系６は、メイン光学系４の広角端と同一もしくはそれよりも画角の広いレンズである。このサブ光学系６は、焦点距離が短く、被写界深度が深いもの即ち、パンフォーカス特性を有するものとする。これにより、レンズのＡＦ動作が不要となり、ＡＦ機構が不要となる。なお、サブ光学系６の構成はこれに限定されない。サブ光学系６は、パンフォーカス特性を持たず、ＡＦ動作を行うものとしてもよい。この場合、ＡＦ機構が必要となり、デジタルカメラ１のサイズ増大などのデメリットがある。その反面、一般的にパンフォーカス特性を持つ光学系よりもパンフォーカス特性を持たない光学系でＡＦ動作を行う方が画質の面で優れている。そのため、このような構成では後段の処理がし易くなるというメリットがある。サブ光学系６の構成は適宜選択が可能である。
【００１４】
次に図３を用いてデジタルカメラ１の内部構成について説明する。
【００１５】
メインＣＣＤ５から出力された画像信号は、アナログ信号処理部１０ａから、デジタル信号処理部１１を経て、メモリＩＦ１３を介して画像メモリ１４へと順次処理される。またサブＣＣＤ７から出力された画像信号は、アナログ信号処理部１０ｂから、デジタル信号処理部１１へと順次処理される。
【００１６】
アナログ信号処理部１０ａ、１０ｂは、メインＣＣＤ５、サブＣＣＤ７から出力される画像信号に対して、それぞれのＣＣＤに応じたゲイン調整等のアナログ信号処理を施す。デジタル信号処理部１１は、アナログ信号処理部１０ａ、１０ｂから出力された画像信号に対して、画像信号のノイズ除去や輪郭強調等のデジタル信号処理を施す。デジタル信号処理部１１は、画像処理部１２を備えている。この画像処理部１２で後述する奥行き情報の生成や左右画像の生成が行われる。画像メモリ１４は、ＳＤカード等の脱着可能なメモリ媒体である。画像メモリ１４は、出力されるデジタル信号処理部１１で処理された画像信号をメモリＩＦ１３を介して記憶する。またデジタル信号処理部１１で処理された画像信号は画像表示部１５へと送られ、画像表示部１５でユーザに対して提示される。
【００１７】
ＣＰＵ１６は、デジタルカメラ１の上述の処理を含め、構成要素全体を制御している。
【００１８】
レンズドライバ１９はＣＰＵ１６からの指示に基づき、メイン光学系４におけるＡＦ動作やズーム動作の実行に関する情報をレンズ駆動機構２０に出力する。レンズ駆動機構２０はレンズドライバ１９の出力に基づき、フォーカスレンズ群である第１レンズ群Ｌ１やズームレンズ群である第３レンズ群Ｌ３を駆動する。
【００１９】
またＣＣＤ駆動制御部１８はＣＰＵ１６からの出力に基づき、メインＣＣＤ５、サブＣＣＤ７の駆動制御を行う。
【００２０】
プログラム記録部１７はＣＰＵ１６で実行すべき全ての処理内容を記憶している不揮発性メモリである。
【００２１】
操作スイッチ部２１はユーザがデジタルカメラ１に対して操作意図を伝える為のインターフェースとしてのスイッチである。その中には生成する視差画像の視差量のオフセット量を指定する視差量指定スイッチ（図示せず）が含まれる。具体的には例えば視差量を「強」、「中」、「弱」から選択するようなスイッチである。
【００２２】
次に、本実施の形態におけるデジタルカメラ１の動作について、図４のフローチャートに従って説明する。
【００２３】
ユーザにより操作スイッチ部２１を介してデジタルカメラ１の電源が入れられ、操作スイッチ部２１に含まれる図示しないレリーズボタンが押下されるとＣＰＵ１６はそれを検知し、２枚の画像の撮影処理を実行する（Ｓ１０）。ここで２枚の画像とはメイン鏡筒２から得られた第１画像としてのメイン画像１００とサブ鏡筒３から得られた第２画像としてのサブ画像１０１である。
【００２４】
次にサブ画像１０１は画像処理部１２内のトリミング処理部１２ａでトリミング処理される。トリミング処理とは、メイン画像１００とサブ画像１０１の画角を一致させる為に、サブ画像１０１からメイン画像１００の画角に相当する領域を切り出し、第４画像としてのトリミング画像１０２を作成する処理である（Ｓ１１）。
【００２５】
次に画像処理部１２内の画像サイズ調整処理部１２ｂでメイン画像１００とトリミング画像１０２の画像サイズ調整処理を行う。画像サイズ調整処理とは、メイン画像１００とトリミング画像１０２の画像サイズを一致させる処理である（Ｓ１２）。
【００２６】
次に画像処理部１２内の視差量生成部１２ｃで画像サイズ調整後のメイン画像１００とトリミング画像１０２を使って被写体の奥行き情報である視差量分布１０４を求める（Ｓ１３）。
【００２７】
次に求めた視差量分布１０４を用いて、メイン画像１００から１組のステレオ画像としての左画像１０５と右画像１０６を生成する（Ｓ１４）。
【００２８】
最後に左画像１０５と右画像１０６をＭＰＯファイル形式で１枚のステレオ画像として画像メモリ１４に保存する（Ｓ１５）。
【００２９】
以下にＳ１１〜Ｓ１５の各ステップについて図５を用いて詳しく説明する。
【００３０】
Ｓ１１ではトリミング処理部１２ａに図５（ａ）に示すメイン画像１００とサブ画像１０１が入力される。サブ光学系６はメイン光学系４の広角端と同じかそれより広い画角を有する。そのため、メイン画像１００に写り込む領域はサブ画像１０１に写り込む領域に含まれる。そこでサブ画像１０１からメイン画像１００の画角に相当する領域を切り出す。切り出しサイズは、撮影時のメイン鏡筒２の焦点距離とサブ鏡筒３の焦点距離から算出する。例えば３５ｍｍ換算焦点距離がメイン鏡筒２では５４ｍｍ、サブ鏡筒３では２７ｍｍで、サブ画像１０１の画像サイズを１５３６×１１５２画素とすると、トリミング画像１０２の画像サイズは、上記画素数を２７／５４倍して７６８×５７６画素となる。また切り出し位置は、サブ画像１０１とトリミング画像１０２の画像中心が一致するような位置となる。
【００３１】
Ｓ１２では画像サイズ調整処理部１２ｂでメイン画像１００とトリミング画像１０２の画像サイズ調整処理、即ち両者の画素数を一致させる処理を行う。メイン画像１００とトリミング画像１０２の画像サイズは撮影時のメイン鏡筒２の焦点距離やメインＣＣＤ５、サブＣＣＤ７の画素数によって変わる。画像サイズは大きい方に合わせても小さい方に合わせてもよい。ここでは計算量が低減するメリットを勘案し、画像サイズを小さい方に合わせる。具体的な処理としては画像サイズが大きい方の画像の画素数が、小さい方の画像の画素数と一致するように画像のリサンプリング（ここでは画像縮小処理）を行う。図５（ａ）ではメイン画像１００の方がトリミング画像１０２よりも画像サイズが大きい場合を示している。縮小画像１０３はメイン画像１００を、画像サイズがトリミング画像１０２と一致するようリサンプリング処理が施された画像である。
【００３２】
Ｓ１３では、視差量生成部１２ｃに縮小画像１０３とトリミング画像１０２が入力され、公知のブロックマッチング処理による視差量分布の算出が行われる。具体的には、メイン鏡筒２から得られた画像、ここでは縮小画像１０３を基準画像として、この画像を所定のサイズのブロックにわける（図５（ｃ））。次に各ブロックの位置に応じたトリミング画像１０２上の検査領域１０７を設定する。各ブロックの絵柄をテンプレートとし、検査領域１０７内を順次走査する。各走査位置でのＳＡＤ（Sum of Absolute Difference）、即ちテンプレートブロックと各走査位置におけるトリミング画像１０２の差の絶対値和を算出する。その値が最も小さくなる位置即ちマッチング位置を探し出す。以上の処理を縮小画像１０３上の全てのブロックについて行うことにより視差量分布１０４を得る。
【００３３】
Ｓ１４では視差画像生成部１２ｄにメイン画像１００と視差量分布１０４が入力される。本実施の形態ではメイン鏡筒２はサブ鏡筒３に対して右側にあるので、メイン画像１００を右画像とし、それに対応する左画像を、視差量分布１０４を参照して生成する。具体的にはメイン画像１００の各画素を、それに対応する視差量分だけ水平方向にシフトする。そうすると画素のデータが欠落する画素ができる。この欠落した画素を周辺の画素からの補間処理で埋める。これにより左画像（左画像１０５および右画像１０６）を生成することができる。なお、ユーザは、この視差量を適宜調整することができる。具体的には、ユーザは、操作スイッチ部２１に含まれる視差量指定スイッチを操作することで、視差量を調整することができる。視差量指定スイッチは、例えば、「強」、「中」、「弱」といった文字が表示されたスイッチである。立体感を強調したい場合には、「強」を選択することで、視差量を大きくすることができる。Ｓ１５ではＳ１４で生成した左右画像をＭＰＯファイル生成部１２ｅに入力し、ＭＰＯファイルを生成する。生成したＭＰＯファイルはメモリＩＦ１３を介して画像メモリ１４に保存される。
【００３４】
以上のように構成した撮像装置であれば、メイン鏡筒とサブ鏡筒が全く同じものでなくとも３Ｄ画像の生成が可能である。また、本実施形態の撮像装置では、ユーザが自由に視差量を調整することができるので、ユーザは好みに応じた立体感を楽しむことができる。
【００３５】
＜実施の形態２＞
次に、実施の形態２の撮像装置について図６を用いて説明する。
【００３６】
図６は、本実施の形態の撮像装置としてのデジタルカメラ６１を示す概略斜視図である。本実施の形態のデジタルカメラ６１は、サブ鏡筒６３の位置が実施の形態１のデジタルカメラ１と異なる。
【００３７】
デジタルカメラ６１は、メイン鏡筒６２と、サブ鏡筒６３と、フラッシュ６４と、ＡＦ補助光源６５と、を備える。また、デジタルカメラ６１は、メインＣＣＤおよびサブＣＣＤを備える。このＣＣＤの長手方向を水平方向とし、前述の実施の形態１におけるサブ鏡筒３の位置を基準位置としたとき、本実施の形態のサブ鏡筒６３は、メイン鏡筒６２に対して垂直方向にシフトした位置に設けられている。すなわち、サブ鏡筒６３は、メイン鏡筒６１と水平方向に並んだ位置とは異なる位置に配置されている。
【００３８】
なお、本実施形態では、メイン鏡筒６２とサブ鏡筒６３とが水平方向に並んで配置されていないので、パターンマッチングを行う場合は、検査領域１０７を垂直方向に広げる、または、シフトさせる必要がある。
【００３９】
このような構成により、カメラ本体内部の部品の配置が容易となる。また、ユーザの手が触れにくい位置にサブ鏡筒６３が配置されているので、サブ鏡筒６３が汚れたり、撮影時にユーザの指が入ってしまうような状況を避けることができる。
【００４０】
また、サブ鏡筒６３は視差量を算出するためのものなので、被写体の視差量を算出できるのであれば、必ずしも２つの鏡筒を水平方向に並べて配置する必要はない。したがって、サブ鏡筒６３が配置される位置はメイン鏡筒６２の水平方向に配置しなくてもよいので、従来よりも設計の自由度が高くなる。
【００４１】
＜実施の形態３＞
次に、実施の形態３の撮像装置について図７を用いて説明する。
【００４２】
図７は、本実施の形態の撮像装置としてのデジタルカメラ７１を示す概略斜視図である。本実施形態のデジタルカメラ７１は、サブ鏡筒７３の位置が実施の形態１および２と異なる。
【００４３】
デジタルカメラ７１は、メイン鏡筒７２と、サブ鏡筒７３と、フラッシュ７４と、を備える。フラッシュ７４は、カメラ本体上部に設けられている。すなわち、サブ鏡筒７３は、メイン鏡筒７１と水平方向に並んだ位置とは異なる位置に配置されている。フラッシュ７４が使用されないときは、カメラ本体内部に収納される。また、サブ鏡筒６３も、カメラ本体上部に設けられている。このサブ鏡筒７３も、ステレオ画像撮影を行わないときは、カメラ本体内部に収納される。ユーザは、サブ鏡筒７３をポップアップさせることで、ステレオ画像撮影を行うことができる。
【００４４】
このような構成により、ユーザの手が触れにくい位置にサブ鏡筒６３が配置されているので、サブ鏡筒６３が汚れたり、撮影時にユーザの指が入ってしまうような状況を避けることができる。また、ユーザがサブ鏡筒７３をポップアップさせることでステレオ撮影モードが開始されるので、容易に通常撮影モードとステレオ撮影モードの変更を行うことができる。
【００４５】
また、サブ鏡筒７３は視差量を算出するためのものなので、被写体の視差量を算出できるのであれば、必ずしも２つの鏡筒を水平方向に並べて配置する必要はない。したがって、サブ鏡筒７３が配置される位置はメイン鏡筒７２の水平方向に配置しなくてもよいので、従来よりも設計の自由度が高くなる。
【産業上の利用可能性】
【００４６】
本発明は、２つのレンズ鏡筒を備えステレオ画像を撮影可能な撮像素子に有用である。
【符号の説明】
【００４７】
１  デジタルカメラ
２  メイン鏡筒
３  サブ鏡筒
４  メイン光学系
５  メインＣＣＤ
６  サブ光学系
７  サブＣＣＤ
１６  ＣＰＵ
【図１】
2012182695.tif 000003
【図２】
2012182695.tif 000004
【図３】
2012182695.tif 000005
【図４】
2012182695.tif 000006
【図５】
2012182695.tif 000007
【図６】
2012182695.tif 000008
【図７】
2012182695.tif 000009