(57)【要約】【課題】複数の画像による画像処理の効果を撮影者がリアルタイムに確認できる撮像装置を提供すること。【解決手段】撮像装置（１）は、互いに異なる光軸を有する第１の撮影ユニット（１１）および第２の撮影ユニット（２１）と、前記第１の撮影ユニットと前記第２の撮影ユニットのうち少なくとも一方から得られる画像に対し画像処理を行う画像処理手段（３０）と、前記画像処理手段により画像処理された画像を表示する表示手段（５０）と、前記画像処理手段により画像処理された画像を記録する記録手段（６０）と、を有し、前記画像処理手段は、前記表示手段に画像を表示する際は第１の画像処理を行い、前記記録手段に画像を記録する際は前記第１の画像処理の処理時間よりも処理時間が長い第２の画像処理を行う。【選択図】  図１
2015103879.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる光軸を有する第１の撮影ユニットおよび第２の撮影ユニットと、
前記第１の撮影ユニットと前記第２の撮影ユニットのうち少なくとも一方から得られる画像に対し画像処理を行う画像処理手段と、
前記画像処理手段により画像処理された画像を表示する表示手段と、
前記画像処理手段により画像処理された画像を記録する記録手段と、を有し、
前記画像処理手段は、前記表示手段に画像を表示する際は第１の画像処理を行い、前記記録手段に画像を記録する際は前記第１の画像処理の処理時間よりも処理時間が長い第２の画像処理を行う、
ことを特徴とする撮像装置。
【請求項２】
シャッター機能を有する操作手段と、
前記操作手段の状態を判別する判別手段と、をさらに有し、
前記画像処理手段は、前記操作手段の状態に基づいて前記第１の画像処理または前記第２の画像処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、前記判別手段により前記操作手段が操作されていないと判別された場合は前記第１の画像処理を行い、前記判別手段により前記操作手段が操作されたと判別された場合は前記第２の画像処理を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１の撮影ユニットおよび前記第２の撮影ユニットから得られる２つの画像信号に基づいて被写体距離を算出する算出手段をさらに有し、
前記第１の画像処理および前記第２の画像処理は、前記被写体距離に基づいて画像処理を行うことを特徴とする請求項１ないし３のいずれか一項に記載の撮像装置。
【請求項５】
前記第１の画像処理は、前記得られた画像を所定の領域を有するブロックで分割し、該分割されたブロックごとに前記被写体距離を算出し、該ブロックごとに算出された被写体距離に応じてブロックを統合することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記所定の領域は、前記得られた画像の画素よりも大きい領域であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記算出手段は、前記ブロックの代表画素の被写体距離を算出することを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記第２の画像処理は、前記得られた画像の画素ごとに前記被写体距離を算出することを特徴とする請求項４ないし７のいずれか一項に記載の撮像装置。
【請求項９】
前記第１の画像処理および前記第２の画像処理は、前記被写体距離に応じたボケ効果を画像に付加する処理であることを特徴とする請求項４ないし８のいずれか一項に記載の撮像装置。
【請求項１０】
前記第１の画像処理は、前記統合されたブロックごとに前記被写体距離に応じたボケ効果を付加する処理を行うことを特徴とする請求項５に記載の撮像装置。
【請求項１１】
前記第１の画像処理および前記第２の画像処理は、前記被写体距離と焦点距離に基づく画像拡大処理であることを特徴とする請求項４ないし８のいずれか一項に記載の撮像装置。
【請求項１２】
前記第１の画像処理は、前記統合されたブロックごとに前記被写体距離と焦点距離に基づく画像拡大処理を行うことを特徴とする請求項５に記載の撮像装置。
【請求項１３】
互いに異なる光軸を有する第１の撮影ユニットおよび第２の撮影ユニットを備えた撮像装置の制御方法であって、
前記第１の撮影ユニットと前記第２の撮影ユニットのうち少なくとも一方から得られる画像に対し画像処理を行う画像処理ステップと、
前記画像処理ステップにより画像処理された画像を表示する表示ステップと、
前記画像処理ステップにより画像処理された画像を記録する記録ステップと、を有し、
前記画像処理ステップは、前記表示ステップで画像を表示する際は第１の画像処理を行い、前記記録ステップで画像を記録する際は前記第１の画像処理の処理時間よりも処理時間が長い第２の画像処理を行う、
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像系を有する撮像装置に関し、特に複眼の撮像装置の画像処理に関するものである。
【背景技術】
【０００２】
特許文献１には、複数の撮像系で複数の画像を取得し、画像処理によって画像を加工する撮像装置が開示されている。
【０００３】
特許文献２には、画像処理により画像にボケを付加する撮像装置が開示されている。ここで、特許文献２ではボケを付加する画像処理を付加した画像を、カメラのモニターにあたる電子ビューファインダーに表示する形態が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２８８７９９号公報
【特許文献２】特開２００８−０１５７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では画像処理を画像の記録のときに行っており、カメラのモニターには撮影画像を表示する形態であったので、画像処理による効果を撮影者が確認することができなかった。また、特許文献２では撮影者は付加する画像処理の結果をモニターで確認することができるが、複雑な画像処理を行うために画像処理に時間がかかり、モニターに被写体の画像をリアルタイムで表示することが困難であった。このように、上述した特許文献に開示された従来技術では、撮影者は画像処理の効果をリアルタイムで確認することができなかった。
【０００６】
本発明は、上記課題を鑑み、複数の画像による画像処理の効果を撮影者がリアルタイムに確認できる撮像装置およびその制御方法を提供することを例示的目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての撮像装置は、互いに異なる光軸を有する第１の撮影ユニットおよび第２の撮影ユニットと、前記第１の撮影ユニットと前記第２の撮影ユニットのうち少なくとも一方から得られる画像に対し画像処理を行う画像処理手段と、前記画像処理手段により画像処理された画像を表示する表示手段と、前記画像処理手段により画像処理された画像を記録する記録手段と、を有し、前記画像処理手段は、前記表示手段に画像を表示する際は第１の画像処理を行い、前記記録手段に画像を記録する際は前記第１の画像処理の処理時間よりも処理時間が長い第２の画像処理を行う、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の画像による画像処理の効果を撮影者がリアルタイムに確認できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例にかかる撮像装置のブロック図である。
【図２】本発明の実施例にかかる撮像動作を説明する図である。
【図３】本発明の実施例にかかる撮影画像の一例と距離情報マップの図である。
【図４】第１の画像処理において距離情報マップに基づくブロックを統合した領域を表す図である。（実施例１）
【図５】ブロックを統合した各領域における第１の画像処理を説明する図である。（実施例１）
【図６】第１の画像処理により得られる画像の図である。（実施例１）
【図７】本発明の実施例にかかる電子ズームを行う領域を示す図である。（実施例２）
【図８】第１の画像処理において距離情報マップに基づくブロックを統合して領域を表す図である。（実施例２）
【図９】ブロックを統合した各領域における第１の画像処理を説明する図である。（実施例２）
【図１０】第１の画像処理により得られる画像の図である。（実施例２）
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１１】
図１は、本発明の実施例における撮像装置１のブロック図である。図１に示すように、本発明の実施例における撮像装置１は、第１の撮影ユニット１１と、第２の撮影ユニット２１を備える複眼撮像装置である。図中上段が第１の撮影ユニット１１を示し、下段が第２の撮影ユニット２１を示す。第１の撮影ユニット１１と第２の撮影ユニット２１は、互いに異なる光軸を有し、互いに共通する一部の被写体領域を撮像可能とする位置に設けられる。
【００１２】
第１の撮影ユニット１１は、第１の撮影レンズ１２、第１の撮像素子１３、第１の撮像回路１４、第１のレンズ駆動装置１５、第１のメモリ１６等から成る。第２の撮影ユニット２１は、第１の撮影ユニット１１と同様に、第２の撮影レンズ２２、第２の撮像素子２３、第２の撮像回路２４、第２のレンズ駆動装置２５、第２のメモリ２６等を有する。本実施例では、第１の撮影レンズ１２および第２の撮影レンズ２２は互いの光軸がほぼ平行になるように配置される。ここで、ほぼ平行とは、完全に平行な場合と、許容誤差の範囲内で完全に平行な場合からずれている場合とを含む意味である。以下の実施例においても同様である。
【００１３】
撮影レンズ（撮像光学系）１２，２２を介して撮像素子１３，２３の受光面に結像した被写体像は、撮像素子１３，２３において光電変換され、映像信号（画像信号）として順次読み出される。撮像素子１３，２３から読み出された映像信号は、Ａ／Ｄ変換されＲ、Ｇ、Ｂの点順次のデジタル信号に変換されて出力される。
【００１４】
制御回路３０は撮像装置１全体を総括制御し、シャッター４０やモード選択部４１や操作部４２から入力される各種入力信号に基づいて、該当する回路を制御する。ここで、モード選択部４１は、撮影の条件（自動露出、絞り優先、シャッター優先など）や撮影画像の画像処理（被写体距離に基づく画像処理、色調変換、モノクロ化など）をユーザー（撮影者）が選択するための部材である。即ち、制御回路３０は、撮像系の絞り、シャッター値を設定して露出制御を行い、ホワイトバランスを設定する。また、制御回路３０は、レンズ駆動装置１５，２５を制御し、撮影レンズ１２，２２のフォーカス位置を設定する。この制御回路３０は、画像処理回路と兼用されており、撮像回路１４，２４から出力される画像信号をモード選択部４１および操作部４２から信号に基づいてメモリ３３の作業領域を利用して後述する被写体距離に基づく画像処理を行う。換言すれば、制御回路３０は、第１の撮影ユニット１１と第２の撮影ユニット２１のうち少なくとも一方から得られる画像に対し画像処理を行う画像処理手段として機能する。
【００１５】
距離情報取得回路３１は、デジタル信号に変換された２つの映像信号から、特徴点対応処理などにより画面上の視差（画素ズレ）を検出する。また、第１の撮影ユニット１１と第２の撮影ユニット２１の光軸の幅（基線長）から、被写体の距離を計算して距離情報マップを作成する。換言すれば、距離情報取得回路３１は、第１の撮影ユニット１１および第２の撮影ユニット２１から得られる２つの画像信号に基づいて被写体距離を算出する算出手段として機能する。また、算出された被写体距離に基づいて距離情報マップを生成する生成手段として機能する。
【００１６】
被写体距離に基づく画像処理は、撮影レンズを介して撮像した画像を電気的な処理で加工することであるが、画像を記録するときだけでなく、記録する前にも画像処理の効果を確認できるとよい。そのために、被写体距離に基づく画像処理に、簡易的な画像処理で演算時間の短い第１の画像処理と厳密な画像処理で演算時間の長い第２の画像処理の２つの方法を用意する。本発明では、後述するように、液晶モニター５０に画像を表示する際は第１の画像処理を行い、外部記憶装置６０に画像を記録する際は該第１の画像処理の処理時間よりも処理時間が長い第２の画像処理を行う。
【００１７】
画像再生装置３２は、距離情報マップに基づいて処理された画像データを制御回路（画像処理回路）３０において第１の画像処理されたのち画像表示手段である液晶モニター５０に供給する。こうして、撮像素子で捉えた映像が液晶モニター５０の画面に表示される。換言すれば、液晶モニター５０は、第１の画像処理された画像を表示する表示手段として機能する。
【００１８】
シャッター４０の押圧操作等によって発せられる撮影開始信号を受信する前は、液晶モニター５０に（例えば、第１の画像処理が施された）プレビュー画像が表示され、撮影開始信号を受信すると液晶モニター５０の画面が静止する。そして、撮影開始信号の受信に呼応して、撮像回路１４，２４から読み出された画像信号は、制御回路（画像処理回路）３０で第２の画像処理されたのち、必要に応じて圧縮処理され、記録手段（記録媒体）である外部記憶装置６０に記録される。換言すれば、外部記憶装置６０は、第２の画像処理された画像を記録する記録手段として機能する。また、制御回路３０は、シャッター４０（操作手段）の状態を判別する判別手段として機能する。
【００１９】
なお、記録媒体の形態は、着脱自在な外部記憶装置６０に限らず撮像装置１に内蔵した内部メモリでもよい。また、撮影開始信号はリモコンや外部接続機器などのシャッター機能を有する操作手段により撮像装置１の外部から加えられる場合もある。さらに液晶モニター５０の画面上がタッチパネルとなっており、タッチパネルへの撮影者のタッチによって発せられてもよい。
【００２０】
上述の記録処理が完了すると、画面のフリーズを解除してプレビュー画像表示に戻る。
【００２１】
同期信号発生回路３４は、第１の撮影ユニット１１と第２の撮影ユニット２１に対して信号処理の同期信号を与える。
【００２２】
つぎに、被写体距離に基づく画像処理（第１の画像処理および第２の画像処理）に関して説明する。
【００２３】
被写体距離に基づく画像処理は第１の撮影ユニット１１からの映像信号に対して、距離情報マップの距離の情報に応じて画像を加工する画像処理である。特に撮影ユニットにおける撮影レンズの仕様（焦点距離、Ｆナンバー）などを仮想的に設定できるような画像処理に有効である。このような画像処理を行うモードを、光学パラメーター拡張モードとする。光学パラメーター拡張モードは、撮像装置１の撮影条件を選択できるモード選択部４１によって選択できる。
【００２４】
本実施例における画像処理は操作部４２からのＦナンバーの指示に従い、画像に被写体の距離情報に応じたボケ効果を付加する画像処理である。
【００２５】
つぎに、図２のフローチャートを用いて、被写体距離に基づく画像処理の制御の流れについて説明する。図２のフローチャートは、制御回路３０の指令に基づいて実行される。
【００２６】
まず、撮像装置１に電源が供給されると、それぞれの撮影ユニット１１，２１が駆動制御され撮像素子１３，２３からの映像信号が取得できる状態になる（不図示）。
【００２７】
Ｓ２０１では、第１の撮像素子１３から第１の撮影レンズ１２による画像の第１の映像信号を取得する。
【００２８】
Ｓ２０２では、取得した第１の映像信号を第１のメモリ１６に格納する。
【００２９】
Ｓ２０３では、第２の撮像素子２３から第２の撮影レンズ２２による画像の第２の映像信号を取得する。
【００３０】
Ｓ２０４では、取得した第２の映像信号を第２のメモリ２６に格納する。
【００３１】
Ｓ２０５では、制御回路３０はモード選択部４１が光学パラメーター拡張モードになっているかどうかを判別する。
【００３２】
Ｓ２０５にて、光学パラメーター拡張モードではないときには（Ｓ２０５のＮｏ）、Ｓ２０６で通常撮影モードに移行し、以下の画像処理は実行しない。
【００３３】
Ｓ２０５にて、光学パラメーター拡張モードのときには（Ｓ２０５のＹｅｓ）、Ｓ２０７に進む。
【００３４】
Ｓ２０７では、操作部４２から撮影者が設定したＦナンバー情報を操作部情報として取得する。また、各撮影ユニットそれぞれの撮影レンズ１２，２２のＦナンバーを被写界深度が増大するＦナンバーに変更する。
【００３５】
Ｓ２０８では、第１のメモリ１６から第１の映像信号を読み出す。
【００３６】
Ｓ２０９では、第２のメモリ２６から第２の映像信号を読み出す。
【００３７】
Ｓ２１０では、制御回路３０はシャッター４０が切られたどうかを判別する。
【００３８】
Ｓ２１０にて、シャッター４０が切られていないときには（Ｓ２１０のＮｏ）、第１の画像処理を行うフローであるＳ２１１へ進む。
【００３９】
Ｓ２１０にて、シャッター４０が切られているときには（Ｓ２１０のＹｅｓ）、第２の画像処理を行うフローであるＳ２１６へ進む。
【００４０】
まず、第１の画像処理を行うフローについて説明する。
【００４１】
Ｓ２１１では、制御回路３０は画面に所定の領域のブロックを設定する。ここで、所定の領域のブロックは、少なくとも画像の画素よりも大きい領域を有するものであるとする。
【００４２】
そして、ブロックの代表画素（例えば中央の画素）の距離情報を距離情報取得回路３１において２つの映像信号から計算し、距離情報マップを作成する。
【００４３】
Ｓ２１２では、制御回路３０はブロックごとの距離情報からブロックを統合する。
【００４４】
Ｓ２１３では、制御回路３０は統合したブロックごとに距離情報に応じたボケ付加の第１の画像処理を行い、全ての領域（統合したブロック領域）の画像処理を実行した結果の映像信号をメモリ３３に格納する。
【００４５】
Ｓ２１４では、メモリ３３から第１の画像処理後の映像信号を読み出す。
【００４６】
Ｓ２１５では、読み出した映像信号を、液晶モニター５０に表示し、Ｓ２０１へ戻る。
【００４７】
つぎに、第２の画像処理を行うフローについて説明する。
【００４８】
Ｓ２１６では、第１の撮影ユニット１１からの映像信号の画素の距離情報を距離情報取得回路３１において２つの映像信号から計算し、距離情報マップを作成する。
【００４９】
Ｓ２１７では、制御回路３０は画素の距離情報に応じたボケ付加の第２の画像処理をメモリ３３を使って行い、全ての画素の画像処理を実行した結果の映像信号をメモリ３３に格納する。
【００５０】
Ｓ２１８では、メモリ３３から第２の画像処理後の映像信号を読み出す。
【００５１】
Ｓ２１９では、読み出した映像信号を、外部記憶装置６０に記録し、Ｓ２０１へ戻る。
【００５２】
ここで、第１の画像処理に関して、以下で詳細に説明する。
【００５３】
図３（ａ）は第１の撮影ユニット１１から得られる画像の一例で、図３（ｂ）は第１および第２の撮影ユニット１１，２１から得られる２つの画像から求められた距離情報マップを模式的に表した図である。
【００５４】
図３（ｂ）ではピントを合わせている被写体の距離を０として撮像装置１に近づく方向を正、遠ざかる方向を負として表している。なお、単位はｍであり、無限遠相当の距離を＊で表している。図３（ｂ）に示す被写体距離情報は画面を適当なブロックに分割したブロックごとに求められる。図３（ｂ）では説明のためにブロック数が少ないが、実際にはもっと多くのブロック（例えば撮像エリアの辺の１／１００から１／１０００程度）に分割するのが望ましい。なおここで、分割した所定の領域を有するブロックは、少なくとも画像の画素よりも大きい領域を有するものであるとする。
【００５５】
図４に、上述した距離情報により統合されたブロック（すなわち、図３（ｂ）の太線で区切られたブロック）からなる分割された領域の状態を示す。ここでピントを合わせている被写体から所定の距離以内をインフォーカスＩ、それ以外をアウトフォーカスの領域として分割する。さらにアウトフォーカスの領域はそれぞれの被写体の距離に応じて４つの領域Ｏ１，Ｏ２，Ｏ３，Ｏ４に分割している。
【００５６】
それぞれの距離範囲についてまとめたものを表１に示す。
【００５７】
Δはピントを合わせている被写体からの距離である。Δ’は実際に画像処理を行う時に使用する距離情報である。ここで、画像処理を行う時に実際に使用する距離情報Δ’とは、各領域Ｉ，Ｏ１，Ｏ２，Ｏ３，Ｏ４を代表する距離のことである。各距離を代表する距離は、領域ごとに算出した平均値であってもよいし、予め設定された代表距離であってもよい。
【００５８】
【表１】
2015103879.tif 000003
【００５９】
撮像装置１から最も離れた領域Ｏ４の画像に対して、領域を代表する距離（Δ’）と操作部４２からのＦナンバーに応じたボケ関数をコンボリューションする。これを表したものが図５（ａ）である。これによって得られた画像をメモリ３３に記録する。
【００６０】
次に撮像装置１から領域Ｏ４の次に最も離れた領域Ｏ３の画像に対して、領域を代表する距離（Δ’）と操作部４２からのＦナンバーに応じたボケ関数をコンボリューションする。これを表したものが図５（ｂ）である。これによって得られた画像をメモリ３３に上書きして記録する。
【００６１】
次に撮像装置１から領域Ｏ３の次に最も離れた領域Ｉの画像はピントが合っている領域であるので処理しない。これを表したものが図５（ｃ）である。これをメモリ３３に上書きして記録する。
【００６２】
次に撮像装置１から領域Ｉの次に最も離れた領域Ｏ２の画像に対して、領域を代表する距離（Δ’）と操作部４２からのＦナンバーに応じたボケ関数をコンボリューションする。これを表したものが図５（ｄ）である。これによって得られた画像をメモリ３３に上書きして記録する。
【００６３】
次に撮像装置１から領域Ｏ２の次に最も離れた領域Ｏ１の画像に対して、領域を代表する距離（Δ’）と操作部４２からのＦナンバーに応じたボケ関数をコンボリューションする。これを表したものが図５（ｅ）である。これによって得られた画像をメモリ３３に上書きして記録する。
【００６４】
これらの画像処理によって得られた画像を画像再生装置３２は、メモリ３３から読み出し液晶モニター５０に表示する。これを表したものが図６である。
【００６５】
次に、第２の画像処理に関して、以下で詳細に説明する。
【００６６】
第２の画像処理では、距離情報は画素ごとに求められる。被写体の距離の符号は第１の画像処理と同じである。
【００６７】
ここで第１の画像処理と同様に距離と操作部４２からのＦナンバーに応じたボケ関数をコンボリューションする。
【００６８】
第２の画像処理では画面内の画素ごとに撮像装置１から最も遠い領域から順番にコンボリューションによるボケ付加の処理を行い、逐次メモリ３３に上書きして記録する。
【００６９】
この画像処理を全ての画素に対して実行したあと、外部記憶装置６０に記録する。
【００７０】
このように撮影中に液晶モニターに表示するときには画像処理を簡略化し、撮影者が指示した効果を示しつつリアルタイムに画像を表示できるようにし、撮影者が撮影を指示して記録する時には、詳細な画像処理を実行しきれいなボケを付加する。
【００７１】
第１の画像処理は画像の領域を５つの領域に限定し、４つの領域に同一のボケ関数をコンボリューションするだけの処理とすることで、第２の画像処理のように精密な画像処理よりも処理時間を大幅に短縮することが可能となる。これによってボケを付加するというような複雑な画像処理の効果をリアルタイムで液晶モニターで確認することができ、撮影者の意図する効果を適切に設定して画像を記録することができるようになる。
【００７２】
なお、上記の説明では、距離情報をピントが合わせられている被写体からの実距離で距離情報マップを作製したが、実距離の逆数で距離情報マップを作成し、実距離の逆数に応じて画像処理をする方法でもよい。
【００７３】
また画像を記録する時の画像は撮影レンズ１２，２２の絞りを調節してパンフォーカス状態で画像を取得して、イメージサイズが３５ｍｍフルサイズとして計算したボケを付加するようにするとより良い画像が得られる。
【００７４】
また、記録した後に記録した映像信号を圧縮して液晶モニター５０に表示してもよい。
【００７５】
これにより撮像装置１に設けられた撮影レンズ１２，２２のＦナンバーよりも明るいＦナンバーを指示したとき、指示したＦナンバーに応じたボケ効果を画像に持たせ光学的にぼかしたのと同様な効果を液晶モニター５０で確認しながら撮影することが可能となる。
【実施例２】
【００７６】
以下、画像処理で効果的に電子ズーミングする本発明の第２の実施例について説明する。
【００７７】
第２の実施例における撮像装置の構成は図１で示した実施例１の構成と同じである。
【００７８】
本実施例では、図７に示すように取得した画像の一部（点線で囲まれた領域）を拡大して仮想的にズーミングを行う。本実施例における画像処理は操作部４２からの焦点距離の指示に従い、画像に被写体の距離情報に応じた拡大処理を行う画像拡大処理である。
【００７９】
以下、第２の実施例における第１の画像処理に関して説明する。
【００８０】
距離情報マップは実施例１と同様にして作成され、画面を適当なブロックに分割したブロックごとに求められた距離情報で、図４と同様に図８のようにブロックを統合した領域を定義する。
【００８１】
ここでピントを合わせている被写体からの距離に応じて画面を５つの領域Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５に分割している。撮像装置１から最も離れた領域Ｐ５の画像に対して、領域を代表する距離と操作部４２からの焦点距離に応じて画像を拡大し、画素と画素の間のデータはリニア補間して生成する。このとき拡大の処理を単純に画像を拡大するのではなく、焦点距離による縦倍率も考慮して画像を作成することで、レンズの焦点距離を長くした効果を加えることができるようになる。これを表したのが図９（ａ）である。これによって得られた画像をメモリ３３に記録する。このとき必要な画像の大きさからはみ出した画像は無視する。
【００８２】
次に撮像装置１から領域Ｐ５の次に最も離れた領域Ｐ４の画像に対して、領域を代表する距離と操作部４２からの焦点距離に応じて画像を拡大し、画素と画素の間のデータはリニア補間して生成する。これを表したのが図９（ｂ）である。これによって得られた画像をメモリ３３に記録する。このとき必要な画像の大きさからはみ出した画像は無視する。
【００８３】
次に撮像装置１から領域Ｐ４の次に最も離れた領域Ｐ３の画像に対して、領域を代表する距離と操作部４２からの焦点距離に応じて画像を拡大し、画素と画素の間のデータはリニア補間して生成する。これを表したのが図９（ｃ）である。これによって得られた画像をメモリ３３に記録する。このとき必要な画像の大きさからはみ出した画像は無視する。
【００８４】
次に撮像装置１から領域Ｐ３の次に最も離れた領域Ｐ２の画像に対して、領域を代表する距離と操作部４２からの焦点距離に応じて画像を拡大し、画素と画素の間のデータはリニア補間して生成する。これを表したのが図９（ｄ）である。これによって得られた画像をメモリ３３に記録する。このとき必要な画像の大きさからはみ出した画像は無視する。
【００８５】
次に撮像装置１から領域Ｐ２の次に最も離れた領域Ｐ１の画像に対して、領域を代表する距離と操作部４２からの焦点距離に応じて画像を拡大し、画素と画素の間のデータはリニア補間して生成する。これを表したのが図９（ｅ）である。これによって得られた画像をメモリ３３に記録する。このとき必要な画像の大きさからはみ出した画像は無視する。
【００８６】
この画像処理によって得られた画像を図１０に示す。画像再生装置３２は、メモリ３３から画像の映像信号を読み出し液晶モニター５０に表示する。
【００８７】
次に第２の画像処理に関して説明する。
【００８８】
第２の画像処理では距離情報は画素ごとに求められる。第２の画像処理でも、第１の画像処理と同様に距離と操作部４２からの焦点距離に応じて画像を拡大する。
【００８９】
第２の画像処理では、画面内の画素ごとに撮像装置１から最も遠い領域からから順番に拡大し、逐次メモリ３３に上書きする。さらに拡大した画素間をバイキュービック補間などの方法で第１の画像処理より滑らかに補間を行い、最終的に画像処理した結果の画像の映像信号を外部記憶装置６０に記録する。
【００９０】
このように撮影中に液晶モニターに表示するときには画像処理を簡略化し、撮影者が指示した効果を示しつつリアルタイムに画像を表示できるようにし、撮影者が撮影を指示して記録する時には、詳細な画像処理を実行しレンズで拡大したような遠近感を付加する。
【００９１】
この説明において距離情報をピントが合わせられている被写体からの実距離でマップを作製したが、実距離の逆数でマップを作成し、実距離の逆数に応じて画像処理をする方法でもよい。
【００９２】
これにより撮像装置に設けられた撮影レンズの望遠側の焦点距離よりも長い焦点距離を指示したとき、指示した焦点距離に応じたバース効果を画像に持たせ光学的に拡大したのと同様な効果を液晶モニターで確認しながら撮影することが可能となる。
【００９３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００９４】
本発明の複眼撮像装置は、ビデオカメラやコンパクトデジタルカメラなどの光学装置に好適に利用できる。
【符号の説明】
【００９５】
第１の撮影ユニット  １１
第２の撮影ユニット  ２１
制御回路  ３０
液晶モニター  ５０
外部記憶装置  ６０
【図１】
2015103879.tif 000004
【図２】
2015103879.tif 000005
【図３】
2015103879.tif 000006
【図４】
2015103879.tif 000007
【図５】
2015103879.tif 000008
【図６】
2015103879.tif 000009
【図７】
2015103879.tif 000010
【図８】
2015103879.tif 000011
【図９】
2015103879.tif 000012
【図１０】
2015103879.tif 000013