(57)【要約】【課題】ミラーレスタイプでオートフォーカスの精度や速度の向上を図る。【解決手段】カメラボディには、装着部と第２撮像部とが設けられている。装着部には、交換レンズ１３が着脱自在に装着される。装着部の奥には、交換レンズ１３により結像する被写体像を撮像する第１撮像素子２０が配されている。第２撮像部１４は、第２撮影レンズ２３と第２撮像素子２４とで構成されている。測距部４２は、第１及び第２の撮影素子２０，２４から得られる２つの画像の相関演算により被写体距離を測定し、交換レンズ１３の合焦を制御する。【選択図】図３
2012133194.tif 000002
【特許請求の範囲】
【請求項１】
第１撮影レンズを有する交換式のレンズ鏡筒が着脱自在に装着される装着部と、前記第１撮影レンズで結像する被写体像を撮像する第１撮像素子と、前記装着部に対して所定の基線長の分だけ離して設けられている第２撮影レンズと、前記第２撮影レンズで結像する被写体像を撮像する第２撮像素子と、前記第１及び第２の撮影素子から得られる２つの画像に基づいて被写体距離を測定する測距手段と、を備えていることを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記測距手段は、２つの画像の相関演算により測距を行うことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２記載の撮像装置において、
前記測距手段で測定した距離にいる被写体に第１撮影レンズを合焦させる合焦手段を備えることを特徴とする撮像装置。
【請求項４】
請求項１ないし３いずれか１項記載の撮像装置において、
前記２つの画像の像倍率を取得する手段と、前記２つの画像の像倍率が異なる場合、何れか一方の画像の像倍率を拡大又は縮小処理して他方の画像の像倍率に合わせる相対倍率補正を行う倍率補正手段と、を備えることを特徴とする撮像装置。
【請求項５】
請求項１ないし４いずれか１項記載の撮像装置において、
前記交換レンズが前記装着部に装着されているか否かを検出する検出手段と、前記交換レンズが前記装着部に非装着の時に、前記第２撮像素子から得られる画像を外部に表示する表示手段と、レリーズ操作に応答して前記画像を記録媒体に記録する記録手段と、を備えることを特徴とする撮像装置。
【請求項６】
請求項１ないし５いずれか１項記載の撮像装置において、
前記装着部に装着可能な複数の交換レンズに対応する焦点距離の情報を記憶する記憶手段と、前記複数の交換レンズの中からその時点で装着部に装着されてない所望の交換レンズを一つ選択する選択手段と、前記選択した交換レンズに対応する焦点距離の情報を前記記憶手段から読み出し、読み出した焦点距離と前記第２撮影レンズの焦点距離との差分に基づいて、前記第２撮像素子から得られる画像を拡大又は縮小処理して、もしくは表示手段の表示倍率を変更して仮想撮影画像を生成し、前記仮想撮影画像を表示部に表示するシミュレーション表示制御手段と、を備えることを特徴とする撮像装置。
【請求項７】
請求項１ないし６いずれか１項記載の撮像装置において、
請求項１に記載の第２撮影レンズと第２撮像素子の代わりに、
複数の撮影開口の背後に設けた複数の撮影レンズと、前記複数の撮影レンズにより結像される被写体像をそれぞれ撮像する複数の撮像素子と、前記複数の撮像素子から同時に取得した視差の異なる複数の画像に対して位置合わせ処理を行った後に一つの画像に合成する合成処理手段と、を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズ交換式の撮像装置に関する。
【背景技術】
【０００２】
一眼レフ型の電子カメラには、ピント合わせを迅速に行うことができる位相差式ＡＦを採用しているものが多い。位相差式ＡＦは、クイックリターンミラーの一部をハーフミラーとし、その裏面にメインのミラーとは逆向きに立ち上がるサブミラーを取り付け、サブミラーを介して被写体光像を、測距のみに用いる撮像素子に送り込んでいる。
【０００３】
ところで、ミラーレスタイプの電子カメラが知られている。この電子カメラは、クイックリターンミラーが無い分、カメラボディの厚みを薄くすることができる（特許文献１）。また、位相差式ＡＦで測距できないほどバックフォーカスの短い撮影レンズを使用することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６１５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ミラーレスタイプの電子カメラでは、クイックリターンミラーが無いため、コントラストＡＦを採用せざるを得ない。このため、オートフォーカスの精度や速度が位相差式ＡＦに比べて不十分であった。
【０００６】
本発明は上記事情に鑑みてなされたものであり、ミラーレスタイプでオートフォーカスの精度や速度の向上を図ったレンズ交換式の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する撮像装置の一態様は、第１撮影レンズを有する交換レンズが着脱自在に装着される装着部と、前記第１撮影レンズにより結像する被写体像を撮像する第１撮像素子と、前記装着部に対して所定の基線長分だけ離して設けられている第２撮影レンズと、前記第２撮影レンズにより結像する被写体像を撮像する第２撮像素子と、前記第１及び第２の撮影素子から得られる２つの画像に基づいて被写体距離を測定する測距手段と、を備えていることを特徴とするものである。
【発明の効果】
【０００８】
本発明の撮像装置によれば、第１及び第２撮像素子から得られる２つの画像の相関演算により測距を行うため、正確でかつ高速なオートフォーカス撮影を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】レンズ交換式の電子カメラを示す斜視図である。
【図２】電子カメラの要部を示す断面図である。
【図３】電子カメラの電気的構成を示すブロック図である。
【図４】電子カメラの動作を示すフローチャートである。
【図５】図４で説明したＡＦ処理の動作を示すフローチャートである。
【図６】図４で説明した号が記録モードの動作を示すフローチャートである。
【図７】所望する交換レンズを装着する時の仮想撮像画像を生成する別の実施例の電子カメラを示すブロック図である。
【図８】図７で説明した電子カメラのシミュレーションモードの動作を示すフローチャートである。
【図９】第２撮像部の代わりに多眼撮像部を用いた他の実施形態の電子カメラを示すブロックである。
【発明を実施するための最良の形態】
【００１０】
電子カメラ１０は、図１に示すように、カメラボディ１１の前面に装着部（マウント部）１２が設けられている。装着部１２には、交換レンズ１３が周知のバヨネット結合により着脱自在に取り付けられる。また、カメラボディ１１の前面には、装着部１２から基線長分だけ離した位置に第２撮像部１４が設けられている。第２撮像部１４は、交換レンズ１３が装着されていない時に撮影を行うためのものである。カメラボディ１１の上面には、シャッタボタン１５、電源スイッチ１６、及び録画スタート/ストップボタン１７が配されている。
【００１１】
装着部１２の奥には、図２に示すように、第１撮像素子２０が配されている。第１撮像素子２０は、交換レンズ１３が内蔵する第１撮影レンズ２１の光軸２１ａ上に撮像面の中心が直交するように配され、第１撮影レンズ２１により結像する被写体像を撮像する。これら第１撮影レンズ２１と第１撮像素子２０とは第１撮像部２２を構成する。なお、第１撮影レンズ２１は、ズームレンズになっている。
【００１２】
第２撮像部１４は、第２撮影レンズ２３、第２撮像素子２４、及び固定絞り（図示無し）で構成されている。第２撮影レンズ２３は、沈胴式鏡筒に保持されており、カメラボディ１１に対して鏡筒が出入りすることで、カメラボディ１１の内部に収納される非撮影位置とこれから外部に突出する撮影位置との間で移動する。
【００１３】
第２撮像素子２４は、撮像面の中心が第２撮影レンズ２３の光軸２３ａ上に直交するように配されている。第２撮影レンズ２３は、固定焦点になっており、第２撮像部１４は、固定焦点と固定絞りとの作用によりパンフォーカスを達成している。第２撮影レンズ２３の焦点距離は、第１撮影レンズ２１のワイド端と同じに設定されている。第２撮像素子２４は、第１撮像素子２０よりも低画素で、かつ消費電力の少ない撮像素子が用いられている。また、第２撮影レンズ２３の光軸２３ａは、第１撮影レンズ２１の光軸２１ａに対して略平行になっている。
【００１４】
カメラボディ１１の背後には、ＬＣＤ２５が配されている。ＬＣＤ２５には、タッチパネル操作部２６が組み込まれている。モードの変更やズーム操作等は、全てタッチパネル操作部２６を利用して入力する。勿論、ＬＣＤ２５には、スルー画像に重ねてメニューの文字や操作ボタン等の絵柄が表示され、操作し易くなっている。
【００１５】
電子カメラ１０は、図３に示すように、第１ＡＦＥ（アナログ・フロントエンド）３０、第１フレームメモリ３１、第２ＡＦＥ３２、第２フレームメモリ３３、ＣＰＵ３５、測距部４２、コントラストＡＦ部４３、ＲＯＭ４４、ＲＡＭ４５、Ｉ／Ｆ（インターフェース）４６、ＶＲＡＭ４７、及び表示制御部４８を備えており、これらは各々バス４９に接続されている。ＣＰＵ３５には、マウント接点３６、第１撮像素子ドライバ３７、第２撮像素子ドライバ３８、鏡筒繰出し用ドライバ３９、変倍・合焦用ドライバ４０、及び絞り用ドライバ４１が接続されている。
【００１６】
ＡＦＥ３２は、周知のＣＤＳ（相関二重サンプリング）／ＡＧＣ（ゲイン・コントロール・アンプ回路）５０、Ａ／Ｄ５１、及び信号処理回路５２で構成されており、ＣＰＵ３５とともにＴＧ３４から供給されるパルスに同期して動作する。なお、ＡＦＥ３０もＡＦＥ３２と同じ構成になっている。信号処理回路５２は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。ＣＰＵ３５は、各部を統括的に制御する。
【００１７】
第１撮像素子２０は、第１撮影レンズ２１により結像する被写体像を撮像して第１画像信号を出力する。第１画像信号は、第１ＡＦＥ３０に取り込まれる。第１ＡＦＥ３０は、第１画像信号をデジタルの第１画像データに変換した後に前述した補正をして第１フレームメモリ３１に出力する。
【００１８】
同様に、第２撮像素子２４は、第２撮影レンズ２３により結像する被写体像を撮像して第２画像信号を出力する。第２ＡＦＥ３２は、第２画像信号を取り込んでデジタルの第２画像データに変換して前述した補正をした後に第２フレームメモリ３３に出力する。第１及び第２画像データは、フレーム画像、又はフィールド画像になっており、第１及び第２フレームメモリ３１，３３に個別に格納されていく。第１及び第２フレームメモリ３１，３は、ＳＤＲＡＭなどの容量半導体メモリによって構成され、信号処理回路５２によって補正された、１フレームもしくは数フレーム分の画像データをそれぞれ蓄積する。
【００１９】
マウント接点３６は、交換レンズ１３と装着部１２との間で種々の信号を授受するためのものである。ＣＰＵ３５が交換レンズ１３から受信する信号としては、装着信号、及び焦点距離や開放絞り値等のレンズ情報等である。
【００２０】
逆にＣＰＵ３５が交換レンズ１３に送信する信号としては、絞り用ドライバ４１を介して交換レンズ１３に内蔵の絞りの径を制御するための絞り用駆動信号、及び変倍・合焦用ドライバ４０を介して交換レンズ１３に内蔵の変倍及び合焦用のアクチュエータを駆動するための変倍又は合焦用駆動信号等である。ＣＰＵ３５は、装着信号の受信の可否に応じて交換レンズ３が装着されたか否かを検出する。
【００２１】
ＣＰＵ３５は、第１及び第２撮像素子２０，２４の電荷蓄積時間（電子シャッタ）を各々制御し、また、第１撮像素子２０から得られる第１画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて絞り径や電子シャッタの値を変えて露出を制御する。なお、第２撮像部１４に対しては、パンフォーカスを達成しているため、電子シャッタのみの制御となる。
【００２２】
コントラストＡＦ部４３は、スルー画像表示中に第１撮影レンズ２１のＡＦ処理を粗く行うものであり、第１撮影レンズ２１の合焦位置をずらしながら取り込んだ第１画像データに基づいて明暗差（コントラスト）が大きなところを探して第１撮影レンズ２１を被写体に大まかに合焦させる。第１撮影レンズ２１を大まかなステップで合焦させるため、第１撮影レンズ２１の合焦動作を迅速に行える。なお、コントラストＡＦ部４３は、コントラストのピークをＣＰＵ３５にフィードバックし、ＣＰＵ３５は、第１撮影レンズ２１の合焦位置をずらす動作を制御する。
【００２３】
測距部４２は、シャッタレリーズに応答して第１撮影レンズ２１のＡＦ処理を高精度で行うものであり、相対倍率補正部５５と、相関演算部５６とを備えている。相対倍率補正部５５は、第１及び第２撮像部２２，１４の撮影倍率（像倍率）を合わせる演算を行う。相関演算部５６は、同時期に取り込んだ第１及び第２画像データに基づいて両画像の相対的なずれ量（視差量）を求め、求めたずれ量から被写体距離を算出する。ＣＰＵ３５は、算出した被写体距離に応じた合焦位置に第１撮影レンズ２１を移動させる。
【００２４】
ここで、三角測量について説明する。第１及び第２撮像素子２０，２４の撮像中心間距離を基線長Ｄとし、物点Ｐが光軸２１ａ上に位置する場合、第１撮影レンズ２１の主点から物点Ｐまでの距離を被写体距離ｚ、物点Ｐが第２撮像素子２４の撮像面上で結像する位置の光軸２３ａから基線方向へのずれ量（視差量）をΔ、撮影レンズの焦点距離ｆ（どちらの撮影レンズ２１，２３も同一）とすると、［数１］に記載の近似式が成立する。ずれ量Δは、一次元の像相関演算により求めるので、［数１］の式を変形すれば、ずれ量Δから被写体距離Ｚを算出することができる。ずれ量Δは、画素の単位となるが、補間画像によって０．１画素単位（サブピクセル単位）で演算することも可能である。
【００２５】
［数１］
Δ＝Ｄ・ｆ／ｚ
ＲＯＭ４４は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ４５は、ＣＰＵ３５のワークメモリとして、また、各部の一時的なメモリとして使用される。Ｉ／Ｆ４６には、第１又は第２画像データを記録する記録部５７が接続されている。
【００２６】
本実施例では、第２撮像部１４で動画を記録中に、第１撮像部２２で静止画を記録することもできる。この場合には、動画用と静止画用とでデータを個別に記録する複数の記録部を設けてもよい。また、圧縮部を設け、静止画撮影の場合は、例えばＪＰＥＧ方式で、動画撮影の場合は、例えばＭＰＥＧ方式でそれぞれ圧縮した形式で記録するのが好適である。
【００２７】
記録部５７としては、内蔵用の半導体メモリやハードディスク等を使用することができる。また、例えばカードメモリ等、着脱自在な記録部としてもよい。
【００２８】
ＣＰＵ３５は、第１又は第２フレームメモリ３１，３３から読み出した1フレーム分の画像データを、ＬＣＤ２５の解像度と画素数等に基づいて拡大又は縮小処理して表示用画像データを生成してＶＲＡＭ４７に出力する。
【００２９】
表示制御部４８は、ＶＲＡＭ４７から表示用画像データを読み出してＬＣＤ２５に表示するように制御する。ＬＣＤ２５には、スルー画像の画像データ、もしくは記録部５７から読み出して再生した画像データが表示される。
【００３０】
次に、上記構成の電子カメラ１０の作用について、図４を参照しながら説明する。電子カメラ１０の電源スイッチ１６をオンすると（Ｓ−１）、最初は撮影モードで動作する（Ｓ−２）。
【００３１】
撮影モードでは、ＣＰＵ３５が鏡筒繰出し用ドライバ３９を制御して、第２撮影レンズ２３を収納位置から撮影位置に繰り出す（Ｓ−３）。そして、装着信号が得られるか否かをＣＰＵ３５が監視し、得られない場合には（Ｓ−４）、第２撮像素子２４を駆動して（Ｓ−５）、第２撮像素子２４から取り込んだ第２画像データをスルー画像としてＬＣＤ２５に表示する（Ｓ−６）。
【００３２】
シャッタボタン１５を半押し操作すると（Ｓ−７）、その時点に取り込んだ第２画像データに基づいてＡＥ処理がなされ（Ｓ−８）、そのまま全押し操作をすると（Ｓ−９）、交換レンズ１３を装着してなくても、第２撮像素子２４から取り込んだ第２画像データを静止画像として記録部５７に記録することができる（Ｓ−１０）。
【００３３】
交換レンズ１３を取り付ける場合には、電源スイッチ１６をオフにする（Ｓ−１１）。交換レンズ１３を装着部１２に取り付けた後には、再び電源スイッチ１６をオンする（Ｓ−１）。これに応答してＣＰＵ３５は、マウント接点３６を介して装着信号を受け取る（Ｓ−４）。装着信号を受け取ると、ＣＰＵ３５は、第１及び第２撮像素子２０，２４を駆動する（Ｓ−１２）。そして、第１撮像素子２０から得られる第１画像データをスルー画像としてＬＣＤ２５に表示する（Ｓ−１３）。勿論、第１撮影レンズ２１の合焦は、コントラストＡＦ部４３の制御により大まかに行われている。
【００３４】
ズーム操作を行うと、ＣＰＵ３５は、その操作に応答して変倍・合焦用ドライバ４０を制御して第１撮影レンズ２１の焦点距離を可変する（Ｓ−１４）。構図を決めた後に、シャッタボタン１５を半押し操作すると（Ｓ−１５）、その時点に取り込んだ第１画像データと第２画像データとに基づいて測距部４２がＡＦ処理を実行し（Ｓ−１６）、また、第１画像データに基づいてＣＰＵ３５がＡＥ処理を実行する（Ｓ−１７）。
【００３５】
ここで、測距部４２のＡＦ処理の動作を説明する。本実施形態では、第１撮影レンズ２１がズームレンズ、また、第２撮影レンズ２３が固定焦点であるので、図５に示すように、相対倍率補正部５５が第１撮影レンズ２１の現時点のズーム倍率の情報を取得し（Ｓ−１８）、第２撮像素子２４から得られる第２画像データを拡大又は縮小処理して第１画像データと同じ像倍率になるように補正する（Ｓ−１９）。このとき、画素数も補間等の処理をして等しくする。相関演算部５６は、同じ倍率になっている２つの画像データに基づいて一次元像相関演算（パターンマッチング）を実行し、被写体領域（特徴領域）にある被写体像の相対的なずれ量（像間距離）を求め（Ｓ−２０）、求めたずれ量に基づいて被写体距離を算出する（Ｓ−２１）。
【００３６】
なお、被写体領域の検出は、周知の顔画像をパターンマッチング等により検出する顔画像検出手段や、犬や猫等のペットの画像をパターンマッチング等により検出するペット画像検出手段を用いればよい。
【００３７】
ＣＰＵ３５は、算出した被写体距離に基づいて第１撮影レンズ２１を高精度に合焦させる（Ｓ−２２）。そして、シャッタボタン１５の全押し操作が行われると（Ｓ−２３）、その操作に応答して取り込んだ第１画像データを静止画像として記録部５７に記録する（Ｓ−２４）。
【００３８】
撮影モードの他に、本実施形態では、図６に示すように、動画記録モード（Ｓ−２５）、及び再生モード（Ｓ−２６）がある。
【００３９】
動画記録モードは、第２撮像部１４で動画を記録するモードである。このモードでは、交換レンズ１３を装着していれば、第２撮像部１４で動画を記録中に、第１撮像部２２で静止画を同時に記録することができる（Ｓ−２７）。第２撮像部１４で動画を記録する場合には、静止画記録用のシャッタボタン１５とは異なる位置に設けられている録画スタート/ストップボタン１７を操作する（図１参照）。なお、再生モードは、記録部５７に記録したデータをＬＣＤ２５に表示するモードである。
【００４０】
上記実施形態では、スルー画像表示中に第１撮影レンズ２１の合焦を行うコントラストＡＦ部４３を設けているが、コントラストＡＦ部４３を省略して、第１撮影レンズ２１の合焦処理を測距部４２で常に行うようにしてもよい。
【００４１】
また、上記各実施形態では、第２撮影レンズ２３を固定焦点として説明しているが、焦点切替え式やズームレンズの構造を採用してもよい。この場合には、第１及び第２撮影レンズ２１，２３のズーム倍率をそれぞれ取得し、一方の画像データ（例えば、第１画像データ）の像倍率に合うように、他方の画像データ（例えば、第２画像データ）の像倍率を補正すればよい。
【００４２】
ところで、交換レンズ１３を装着してない状態で、所望する交換レンズ１３を装着したときの画角をシミュレーションして事前に構図を決めることができれば、適切な交換レンズ１３を迅速に選択することができるので好適である。
【００４３】
そこで、図７に示す電子カメラ６０には、レンズ情報記録部６１、及び仮想撮影画像生成部６２を備えている。レンズ情報記録部６１は、装着部１２に装着可能な複数の交換レンズ１３に対応する焦点距離の情報を予め記憶している。
【００４４】
図８に示すように、シミュレーションモードを選択すると（Ｓ−２８）、タッチパネル操作部２６の操作により複数の交換レンズ１３の中からその時点で装着部１２に装着されてない所望の交換レンズ１３を一つ選択する。例えば、交換レンズ１３の識別番号に焦点距離の情報を対応付けした一覧表をＬＣＤ２５に表示する。これら情報は、レンズ情報記憶部６１、又はＲＯＭ４４に予め記憶しておく。撮影者は、タッチパネル操作部２６を利用して一覧表から所望する交換レンズ１３を選択する（Ｓ−２９）。選択した交換レンズ１３の情報は、ＣＰＵ３５を介して仮想撮影画像生成部６２に取り込まれる。
【００４５】
仮想撮影画像生成部６２は、選択した交換レンズ１３に対応する焦点距離の情報をレンズ情報記憶部６１から読み出し、読み出した焦点距離と第２撮影レンズ２３の焦点距離との差分に基づいて、第２撮像素子２４から得られる第２画像データを拡大又は縮小処理して仮想撮影画像を生成する（Ｓ−３０）。ＣＰＵ３５は、生成した仮想撮影画像をＬＣＤ２５にスルー画像として表示するように制御する（Ｓ−３１）。このように、撮影で利用したい交換レンズ１３を通して得られる画角をシミュレーションしたスルー画像を見ながら、構図を事前に決めることができるので、交換レンズを適切に選ぶことができ、またその後の構図合わせも迅速に行える。
【００４６】
また、第２撮像部１４の代わりに、多眼撮像部を設けてもよい。多眼撮像部７０は、図９に示すように、複数の個眼撮像部７０ａ〜７０ｚで構成されている。個眼撮像部７０ａ〜７０ｚは、撮影開口６９の背後に設けた小径の撮影レンズ７１、低画素の撮像素子７２、ＡＦＥ７３、及びフレームメモリ７４で構成されている。撮影レンズ７１は、二次元（行列）状に配列されている。撮像素子７２は、撮影レンズ７１の光軸に対して撮像面が垂直になるように配されており、撮影レンズ７１により結像される被写体像を撮像して画像信号を出力する。画像信号は、ＡＦＥ７３によりデジタルの画像データに変換されて出力される。つまり、１回のレリーズ操作で視差の異なる複数の画像データを同時に取り込む。
【００４７】
撮影レンズ７１は単焦点レンズであり、各個眼撮像部７０ａ〜７０ｚは固定絞りとの作用によりパンフォーカスを達成している。
【００４８】
各画像データは、第１画像データよりも撮影倍率が低く、かつ低解像な縮小画像データとなっており、フレームメモリ７４に個別に取り込まれた後、合成処理部７５に出力される。合成処理部７５では、各縮小画像データを、位置合わせ処理した後に加算平均化処理により高解像な合成画像データを生成する。
【００４９】
合成した第２画像データは、交換レンズ１３が装着されている時には、測距部４２で被写体距離を算出するときに第２画像データとして用いる。また、交換レンズ１３が装着されていないときには、スルー画像としてＬＣＤ２５に表示される。
【００５０】
また、合成処理手段としては、高精細な合成画像データを生成することに加えて、自然なぼけ画像を生成することができるように構成してもよい。ぼけ画像を生成する場合には、同時に取り込んだ視差の異なる、かつぼけを含む複数の画像を取得後に、位置合わせ処理を行い、その後、合成開口撮影法により自然なボケ像が得られる画像を生成すればよい。  合成開口撮影法では、各画像の撮影位置推定を行い、撮影位置が密で規則的になるように、不足する撮影位置間の中間画像（仮想焦点面画像）を作成する。これらを含めて画像の重ね合わせによってぼけ画像を作成し、ぼけ部分を滑らかなグラデーションに近づける。
【００５１】
また、仮想口径の大きさ、形状、及び重み付け等のぼけパラメータを外部から入力するように構成すれば、中間画像の撮影位置の範囲や合成時の各画像の重み付けを調節することができるので、ぼけ像を自由に制御することができる。
【００５２】
また、複数の撮像レンズを個別に合焦させる合焦手段と、１回のレリーズ操作でピント位置の異なる複数枚の画像を同時に撮像する撮像手段と、これら複数枚の画像から全焦点画像を生成する合成手段と、を設けてもよい。
【００５３】
また、視差の異なる複数の画像から、所望する交換レンズを装着して得られる画像に生じる収差をシミュレーションした疑似収差画像を生成する収差シミュレーション生成部を設け、疑似収差画像をＬＣＤ２５に表示してもよい。収差としては、球面収差、像面湾曲、軸上色収差、倍率色収差、ディストーション等が望ましい。
【００５４】
上記実施形態で説明した撮像素子としては、ＣＣＤやＣＭＯＳ等のイメージセンサを用いることができる。また、上記実施形態において、撮像装置として電子カメラを例に説明したが、これに限るものではなく、例えば、ビデオカメラ等に本発明を適用しても良い。
【００５５】
本発明の第２撮像素子としては、前記第１撮像素子よりも低画素のものを採用してもよい。本発明の測距手段は、２つの画像の相関演算により測距を行う。具体的には、一次元像相関演算（パターンマッチング）により２つの画像の相対的なずれ量（像間距離）を求める。その後、２つの画像の相対的なずれ量から被写体距離を算出する。２つの撮像系の光軸が理想的に並行である場合、被写体距離の逆数に比例するので、前記ずれ量が求まればれ被写体距離が算出することができる。測距手段で算出した距離にいる被写体に第１撮影レンズを合焦させる合焦手段を備えるのが望ましい。
【００５６】
ところで、撮影時点で２つの画像の像倍率が異なる場合がある。この現象は、２つの撮影レンズが焦点距離の異なる固定焦点の場合、もしくは何れか一方又は両方がズームレンズの場合に起こる。この場合には、測距手段が測距を行う前に、２つの画像の像倍率に応じて相対倍率補正をする倍率補正手段を備える。相対倍率補正としては、何れか一方の画像を拡大又は縮小処理して他方の画像と同じ像倍率に補正する。このとき、画素数も補間等の処理をして等しくする。測距手段は、相対倍率補正をした２つの画像に基づいて相対的なずれ量を求めればよい。
【００５７】
また、交換レンズを装着してなくても撮影が行えるようにするのが好適である。この場合には、交換レンズが装着部に装着されているか否かを検出する検出手段と、交換レンズが装着部に非装着の時に、第２撮像素子から得られる画像を外部に表示する表示手段と、レリーズ操作に応答して前記画像を記録媒体に記録する記録手段と、を備えるのが望ましい。
【００５８】
また、交換レンズを装着してなくても、装着して撮影した時の像倍率等を仮想的に確認することができると、交換レンズの選択が容易に行える。
【００５９】
そこで、前記装着部に装着可能な複数の交換レンズに対応する焦点距離の情報を記憶する記憶手段と、前記複数の交換レンズの中からその時点で装着部に装着されてない所望の交換レンズを一つ選択する選択手段と、前記選択した交換レンズに対応する焦点距離の情報を前記記憶手段から読み出し、読み出した焦点距離と前記第２撮影レンズの焦点距離との差分に基づいて、第２撮像素子から得られる画像を拡大又は縮小処理して、もしくは表示手段の表示倍率を変更して仮想撮影画像を生成し、前記仮想撮影画像を表示部に表示するシミュレーション表示制御手段と、を備える。
【００６０】
ところで、第１撮像素子よりも低画素の第２撮像素子を使用する場合、第２撮像素子から得られる画像を補間処理により拡大して仮想撮影画像を生成すると、ぼやけたような粗い画像に見え易い。
【００６１】
そこで、第２撮像素子としては、複数の撮影開口の背後に設けた複数の撮影レンズと、各撮影レンズにより結像される被写体像をそれぞれ撮像する個眼撮像素子と、で構成したものでもよい。複数の撮影開口は、２次元（行列）状に配列にするのが好適である。個眼撮像素子は、第１撮像素子よりも低画素のものを使用する。
【００６２】
この例では、視差の異なる複数の画像を同時に取得することができる。これら画像の視差をゼロにする位置合わせ処理を行った後に、例えば加算平均化処理等により合成して一つの高精細な合成画像を生成する合成処理手段を備えればよい。この合成画像を、第２撮像素子から得られる第２画像として用いればよい。
【符号の説明】
【００６３】
１０，６０  電子カメラ
１４  第１撮像部
２０  第１撮像素子
２１  第１撮影レンズ
２２  第２撮像部
２３  第２撮影レンズ
２４  第２撮像素子
４２  測距部
【図１】
2012133194.tif 000003
【図２】
2012133194.tif 000004
【図３】
2012133194.tif 000005
【図４】
2012133194.tif 000006
【図５】
2012133194.tif 000007
【図６】
2012133194.tif 000008
【図７】
2012133194.tif 000009
【図８】
2012133194.tif 000010
【図９】
2012133194.tif 000011