(57)【特許請求の範囲】
【請求項１】
互いに異なる画角を有する複数の画像の撮影条件情報を取得する撮影条件取得手段と、
前記複数の画像に含まれる被写体の距離情報を取得する距離情報取得手段と、
画角情報を取得する画角情報取得手段と、
前記撮影条件情報、前記距離情報、および、前記画角情報を用いて算出された解像度の劣化量に基づいて、前記複数の画像から前記画角情報に対応する画像を生成する画像生成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記複数の画像における視点の位置を互いに合わせる位置合わせ手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影条件情報、前記距離情報、および、前記画角情報に基づいて重みを決定する重み決定手段を更に有し、
前記画像生成手段は、前記重みに基づいて前記画角情報に対応する前記画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記重み決定手段は、
前記撮影条件情報、前記距離情報、および、前記画角情報に基づいて、前記複数の画像の解像度の劣化量を算出し、
前記解像度の劣化量に基づいて前記重みを決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
撮影モードを選択するモード選択手段を更に有し、
前記撮影モードは、解像度優先モードおよびＳ／Ｎ優先モードを含み、
前記重み決定手段は、前記モード選択手段により選択された前記撮影モードに応じて前記重みを決定することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記重み決定手段は、更に前記複数の画像の特徴量に基づいて、前記重みを決定することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記複数の画像の特徴量は、該複数の画像のエッジ強度であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記撮影条件情報、前記距離情報、および、前記画角情報に基づいて、前記複数の画像にボケを付加するボケ付加手段を更に有し、
前記画像生成手段は、前記ボケ付加手段によりボケを付加された複数の画像から前記画角情報に対応する前記画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項９】
前記ボケ付加手段は、
前記撮影条件情報、前記距離情報、および、前記画角情報に基づいて、前記複数の画像の解像度の劣化量を算出し、
前記解像度の劣化量に基づいて前記ボケを付加することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記ボケ付加手段は、前記解像度の劣化量が小さいほど前記ボケを大きくすることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記ボケ付加手段は、前記複数の画像の被写界深度の相違が互いに小さくなるように、前記ボケを付加することを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記ボケ付加手段は、前記複数の画像の被写界深度が互いに同一になるように前記ボケを付加することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記複数の画像は、同一の画角で取得された複数の画像を含むことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記距離情報取得手段は、視点の異なる前記複数の画像に基づいて、前記距離情報を取得することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
互いに異なる画角を有する複数の画像を撮像する撮像手段と、
前記複数の画像の撮影条件情報を取得する撮影条件取得手段と、
前記複数の画像に含まれる被写体の距離情報を取得する距離情報取得手段と、
画角情報を取得する画角情報取得手段と、
前記撮影条件情報、前記距離情報、および、前記画角情報を用いて算出された解像度の劣化量に基づいて、前記複数の画像から前記画角情報に対応する画像を生成する画像生成手段と、を有することを特徴とする撮像装置。
【請求項１６】
互いに異なる画角を有する複数の画像の撮影条件情報を取得するステップと、
前記複数の画像に含まれる被写体の距離情報を取得するステップと、
画角情報を取得するステップと、
前記撮影条件情報、前記距離情報、および、前記画角情報を用いて算出された解像度の劣化量に基づいて、前記複数の画像から前記画角情報に対応する画像を生成するステップと、を有することを特徴とする画像処理方法。
【請求項１７】
互いに異なる画角を有する複数の画像の撮影条件情報を取得するステップと、
前記複数の画像に含まれる被写体の距離情報を取得するステップと、
画角情報を取得するステップと、
前記撮影条件情報、前記距離情報、および、前記画角情報を用いて算出された解像度の劣化量に基づいて、前記複数の画像から前記画角情報に対応する画像を生成するステップと、をコンピュータに実行させるように構成されていることを特徴とするプログラム。
【請求項１８】
請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光学系を配列して構成された複眼撮像装置に関する。
【背景技術】
【０００２】
複眼撮像装置は、通常の撮像装置が有する１つの結像光学系（レンズ）を複数に分割することにより、個々のレンズの小型化を実現している。しかし、従来の複眼撮像装置は、機械的な移動機構が必要であり、撮像系が大型化する。このため、従来の複眼撮像装置では、光学系を構成するレンズの位置を移動させる方式により撮影画角を可変にする光学的なズーム機能を付加することは困難である。また従来から、撮影画像の所望の領域を拡大することにより画像処理によりズームを実現する技術（デジタルズーム）が知られている。この方法では、ズーム倍率を大きくするほど拡大倍率も大きくなり、それに伴って解像度が劣化してしまう。
【０００３】
特許文献１には、画角の異なる短焦点（広角）のレンズユニットと長焦点（望遠）のレンズユニットとを配置し、被写体の同じ部分を含むように撮像する撮像装置が開示されている。特許文献１の撮像装置は、ズーム倍率が小さい場合には画角の広いカメラを用いて電子ズーム処理を行い、ズーム倍率が大きい場合には画角の狭いカメラを用いてデジタルズーム処理を行う。この際、短焦点レンズに対応する撮像素子により得られるワイド画像の一部に、長焦点レンズに対応する撮像素子により得られるズームアップ画像を嵌め込むことで、デジタルズーム処理による解像度劣化を低減させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−５５２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の撮像装置では、異なる画角を有するレンズユニット間で被写界深度が異なるため、立体被写体を撮影する際に、複数の画像を合成して生成される画像の画質が劣化してしまう。
【０００６】
そこで本発明は、被写界深度の相違に起因する合成画像の画質劣化を低減可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、互いに異なる画角を有する複数の画像の撮影条件情報を取得する撮影条件取得手段と、前記複数の画像に含まれる被写体の距離情報を取得する距離情報取得手段と、画角情報を取得する画角情報取得手段と、前記撮影条件情報、前記距離情報、および、前記画角情報を用いて算出された解像度の劣化量に基づいて、前記複数の画像から前記画角情報に対応する画像を生成する画像生成手段とを有する。
【０００８】
本発明の他の側面としての撮像装置は、互いに異なる画角を有する複数の画像を撮像する撮像手段と、前記複数の画像の撮影条件情報を取得する撮影条件取得手段と、前記複数の画像に含まれる被写体の距離情報を取得する距離情報取得手段と、画角情報を取得する画角情報取得手段と、前記撮影条件情報、前記距離情報、および、前記画角情報を用いて算出された解像度の劣化量に基づいて、前記複数の画像から前記画角情報に対応する画像を生成する画像生成手段とを有する。
【０００９】
本発明の他の側面としての画像処理方法は、互いに異なる画角を有する複数の画像の撮影条件情報を取得するステップと、前記複数の画像に含まれる被写体の距離情報を取得するステップと、画角情報を取得するステップと、前記撮影条件情報、前記距離情報、および、前記画角情報を用いて算出された解像度の劣化量に基づいて、前記複数の画像から前記画角情報に対応する画像を生成するステップとを有する。
【００１０】
本発明の他の側面としてのプログラムは、互いに異なる画角を有する複数の画像の撮影条件情報を取得するステップと、前記複数の画像に含まれる被写体の距離情報を取得するステップと、画角情報を取得するステップと、前記撮影条件情報、前記距離情報、および、前記画角情報を用いて算出された解像度の劣化量に基づいて、前記複数の画像から前記画角情報に対応する画像を生成するステップと、をコンピュータに実行させるように構成されている。
【００１１】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１２】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１３】
本発明によれば、被写界深度の相違に起因する合成画像の画質劣化を低減可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１、３、４における撮像装置の正面図である。
【図２】実施例１、３における撮像装置のブロック図である。
【図３】実施例１における撮影画像の説明図である。
【図４】実施例１〜３における画像処理を示すフローチャートである。
【図５】各実施例における幾何変換処理の説明図である。
【図６】各実施例における距離情報算出処理を示すフローチャートである。
【図７】各実施例における対応領域抽出手法の説明図である。
【図８】各実施例における距離情報算出結果の説明図である。
【図９】実施例１における重み算出処理を示すフローチャートである。
【図１０】実施例１における重み算出処理の説明図である。
【図１１】実施例１〜３における画像処理の効果の説明図である。
【図１２】実施例２における撮像装置の正面図である。
【図１３】実施例２における撮像装置のブロック図である。
【図１４】実施例２における重み算出処理を示すフローチャートである。
【図１５】実施例３における重み算出処理を示すフローチャートである。
【図１６】実施例３におけるエッジ強度による重み算出処理の説明図である。
【図１７】実施例４における撮像装置のブロック図である。
【図１８】実施例４における画像処理を示すフローチャートである。
【図１９】実施例４におけるボケ付加処理を示すフローチャートである。
【図２０】実施例４におけるボケ付加処理の説明図である。
【図２１】実施例４における画像処理の効果の説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【実施例１】
【００１６】
まず、実施例１における画像処理装置について説明する。本実施例の画像処理装置は、画角の異なる複数の画像（撮影画像データ）と使用者により指定された画角情報（指定画角）とに基づいて、その指定画角に対応する画像（画角画像データ）を生成する。この際、指定画角を大きくすることにより、広角の画角画像データが得られる。一方、指定画角を小さくすることにより、望遠の画角画像データが得られる。すなわち使用者は、指定画角を変えることにより、画角画像データのズーム倍率を変更することができる。本実施例の画像処理は、撮像の際のプレビュー画像データを生成する処理として、または、撮像後に任意のズーム倍率の画像データを生成する処理として利用可能である。
【００１７】
まず、図１を参照して、本実施例における撮像装置の外観について説明する。図１は、撮像装置１００の正面図であり、複数の撮像部を備えた多眼方式による多視点撮像装置（複眼撮像装置）の一例を示している。図１に示されるように、撮像装置１００は、カラー画像データを取得可能な４つの撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂ（複数の撮像部）、および、撮像ボタン１０３を備えている。撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂは、それぞれの光軸が互いに平行になるように配置されている。
【００１８】
本実施例において、撮像部１０１ａ、１０１ｂの画角をθ１、撮像部１０２ａ、１０２ｂの画角をθ２とする。すなわち、撮像部１０１ａ、１０１ｂが互いに同じ画角であり、撮像部１０２ａ、１０２ｂが互いに同じ画角である。なお、θ１＞θ２とし、撮像部１０１ａ、１０１ｂのほうが撮像部１０２ａ、１０２ｂよりも広い画角を有するものとする。使用者が撮像ボタン１０３を押下すると、撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂは、被写体の光情報をセンサ（撮像素子）で受光する。そして、センサにより受光された信号はＡ／Ｄ変換され、複数のデジタルデータ（撮像画像データ）が同時に得られる。このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像した撮像画像データ群を得ることができる。なお、本実施例の撮像装置１００は、４つの撮像部を有するが、撮像部の数は２つ以上であればこれに限定されるものではない。
【００１９】
次に、図２を参照して、撮像装置１００の構成について説明する。図２は、撮像装置１００のブロック図である。撮像装置１００は、撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂ、および、Ａ／Ｄ変換器２１０を有する。また撮像装置１００は、画像処理部２２０、距離情報算出部２３０（距離情報取得手段）、情報入力部２４０（画角情報取得手段）、撮像制御部２５０、および、撮影条件取得部２６０（撮影条件取得手段）を有し、これらは画像処理装置を構成する。また撮像装置１００は、システムコントローラ２７０、記録媒体２８０、および、表示部２９０を有する。画像処理部２２０は、視点位置合わせ部２２１（位置合わせ手段）、幾何変換部２２２、重み算出部２２３（重み決定手段または解像度劣化量算出手段）、および、画像生成部２２４（画像生成手段）を含む。距離情報算出部２３０（距離情報取得手段）は、基準画像選択部２３１、対応点抽出部２３２、および、視差量算出部２３３を含む。
【００２０】
なお、撮像装置１００は、レンズ一体型の撮像装置であるが、これに限定されるものではない。撮像装置は、結像光学系（光学系）を有するレンズ装置と、レンズ装置が着脱可能に装着されて撮像素子を有する撮像装置本体とから構成されてもよい。本実施例ではレンズ一体型の撮像装置の場合について説明する。
【００２１】
次に、図３を参照して、本実施例における撮影画像について説明する。図３は、撮影画像の説明図である。説明を簡単にするため、図３には、図１を参照して説明した撮像装置１００の４つの撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂの配置で、同一の被写体（人物）にフォーカスを合わせて撮像した場合の画像をそれぞれ示している。撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂにより得られた画像（撮影画像）を、それぞれ、Ｉ１０１ａ、Ｉ１０１ｂ、Ｉ１０２ａ画像、Ｉ１０２ｂとする。
【００２２】
図３に示されるように、撮像部１０１ａ、１０１ｂに対応する画像Ｉ１０１ａ、Ｉ１０１ｂは、広い被写体空間を撮像した画像である。一方、撮像部１０２ａ、１０２ｂに対応する画像Ｉ１０２ａ、Ｉ１０２ｂは、その撮像部の画角に応じて、撮像される被写体空間が狭い。また本実施例において、各撮像部における撮像素子のサイズ、画素のサイズ、および、光学系のＦ値のそれぞれは、互いに同一に設定されている。一方、各撮像部における光学系の焦点距離は互いに異なっている。この際、撮像部の被写界深度は、光学系の焦点距離およびＦ値に応じて決定されるため、本実施例では撮像部１０１ａ、１０１ｂの被写界深度が深く、撮像部１０２ａ、１０２ｂの被写界深度が浅い。このため、フォーカスを合わせた人物被写体（人物１８１）よりも遠方に位置する被写体（山１８２）に関し、画像Ｉ１０２ａ、Ｉ１０２ｂにおける山１８２の解像度は、画像Ｉ１０１ａ、Ｉ１０１ｂにおける山１８２の解像度よりも劣化している。
【００２３】
図２において、Ａ／Ｄ変換器２１０は、各撮像部に含まれる撮像素子から出力されるアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部２２０に供給する。画像処理部２２０は、Ａ／Ｄ変換器２１０からの各画像データに対して所定の画素補間処理や色変換処理、ガンマ処理、および、ノイズ低減処理などを行い、また、撮像した各画像データを用いて所定の演算処理を行う。
【００２４】
視点位置合わせ部２２１は、後述のように、画像データ（撮影画像データ）の視点位置を合わせる。幾何変換部２２２は、撮像部１０１ａ、１０１ｂの画角θ１、撮像部１０２ａ、１０２ｂの画角θ２、および、使用者により指定される指定画角θ’に基づいて、画像を拡大または縮小する。重み算出部２２３は、撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂの撮影条件（撮影条件情報）、指定画角θ’、および、被写体距離情報に基づいて、複数の画像を合成する際の重み（重み付け情報）を決定する。画像生成部２２４は、重み算出部２２３により算出された重みを、幾何変換部２２２により変換された画像データに乗算することにより、複数の画像を合成する。これにより、使用者が所望する画像（指定画角画像）が生成される。
【００２５】
基準画像選択部２３１は、各撮像部により結像された複数の視差画像から、被写体距離情報を算出するための基準画像を選択する。対応点抽出部２３２は、視差画像内における対応する画素（対応点）を抽出する。視差量算出部２３３は、対応点抽出部２３２により抽出された全ての対応点の視差量をそれぞれ算出する。距離情報算出部２３０は、視差量算出部２３３により算出された視差量に基づいて、画像内の被写体距離情報を算出する。
【００２６】
情報入力部２４０は、使用者が所望の撮影条件（指定画角θ’、Ｆ値、露出時間など）を選択して入力する情報を検知し、システムコントローラ２７０にデータ（入力情報）を供給する。撮像制御部２５０は、システムコントローラ２７０からの情報に基づいて、各撮像部に設けられたフォーカスレンズ（不図示）を移動させ、各撮像部の絞り値（Ｆ値）、露出時間、および、各撮像部に対応する撮像素子を制御することにより、必要な画像を取得する。撮影条件取得部２６０は、各撮像部の焦点距離、Ｆ値、各撮像部の間隔距離（基線長）などを含む撮影条件（撮影条件情報）を取得する。
【００２７】
記録媒体２８０は、複数の静止画や動画を格納するとともに、画像ファイルを構成する場合のファイルヘッダを格納する。また記録媒体２８０は、各種情報を一時的に格納するように構成してもよい。表示部２９０は、撮影の際のプレビュー画像、撮影画像、メニュー機能、焦点距離範囲、画角範囲などを表示し、液晶表示素子などから構成される。また表示部２９０は、タッチスクリーン機能を有していてもよい。この場合、タッチスクリーンを用いた撮像指示や、ズーム指示などの使用者による指示を、情報入力部２４０の入力として扱うことも可能である。なお、撮像装置１００の構成要素は前記以外にも存在するが、本実施例の主眼ではないため、それらの説明を省略する。以下、指定画角θ’はθ２≦θ’≦θ１の範囲にあるものとして説明する。
【００２８】
次に、図４を参照して、本実施例における画像処理装置における一連の処理（画像処理）の手順について説明する。図４は、本実施例における画像処理を示すフローチャートである。図４の各ステップは、主に、システムコントローラ２７０の指令に基づいて、撮像装置１００の各部により実行される。ここで、撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂにより撮像した画像データに対応する画像（撮影画像）を、それぞれ、Ｉ１ａ（ｘ，ｙ）、Ｉ１ｂ（ｘ，ｙ）、Ｉ２ａ（ｘ，ｙ）、Ｉ２ｂ（ｘ，ｙ）とする。
【００２９】
まずステップＳ１００において、画像処理部２２０は、撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂおよびＡ／Ｄ変換器２１０を介して複数の画像（画像信号）を取得する。画像処理部２２０は、取得した複数の画像信号に対して所定の演算処理を行い、複数の画像データを生成する。この際、特に画像処理部２２０において、複数の画像の輝度レベルやホワイトバランスが一致するように補正処理を行うことが好ましい。このような補正処理により、後段の画像合成における輝度むらや色むらなどの弊害を低減することができる。
【００３０】
続いて、ステップＳ１０１において、撮影条件取得部２６０は、各撮像部の焦点距離、Ｆ値、各撮像部の間隔距離（基線長）などを含む撮影条件（撮影条件情報）を取得する。そして、ステップＳ１０２において、距離情報算出部２３０は、複数の画像から算出される視差量と、既知の情報である各撮像部の焦点距離および基線長に関するデータ（撮影条件情報）とに基づいて、被写体の距離情報を算出する。なお、ステップＳ１０２の距離情報算出処理の詳細については後述する。続いて、ステップＳ１０３において、情報入力部２４０は、使用者により入力された、使用者が所望する指定画角θ’（指定画角情報）を記録媒体２８０やシステムコントローラ２７０などから取得する。
【００３１】
続いて、ステップＳ１０４において、視点位置合わせ部２２１は、ステップＳ１００、Ｓ１０１、Ｓ１０３にて取得した複数の画像データ、撮影条件情報、および、指定画角情報を用いて、画像（視点）の位置合わせを行う。位置合わせ後の画像をＪ１ａ（ｘ，ｙ）、Ｊ１ｂ（ｘ，ｙ）、Ｊ２ａ（ｘ，ｙ）、Ｊ２ｂ（ｘ，ｙ）とする。なお、ステップＳ１０４の視点位置合わせ処理の詳細については後述する。
【００３２】
続いて、ステップＳ１０５において、幾何変換部２２２は、各画像の幾何変換、すなわち画像の拡大処理または縮小処理を行う。図５は、幾何変換部２２２による幾何変換処理の説明図である。図５において、画像３０１は視点の位置合わせ後の画像Ｊ１ａであり、画像３０２は視点位置合わせ後の画像Ｊ２ａである。前述のように、撮像部１０１ａの画角θ１は、指定画角θ’以上であり、撮像部１０２ａの画角θ２は、指定画角θ’以下である。画像３０３は、画像３０１をｔａｎθ１／ｔａｎθ’倍に拡大した画像である。画像３０４は、画角がθ’になるように画像３０３をトリミングした画像である。画像３０５は、画像３０２をｔａｎθ２／ｔａｎθ’倍に縮小した画像である。画像３０６は、画角がθ’になるように周辺に０を埋めた（周辺を黒にした）画像である。
【００３３】
幾何変換部２２２は、視点位置合わせ部２２１による視点の位置合わせ後の画像３０１、３０２に基づいて、画像３０４、３０６をそれぞれ生成する。以下、画像３０４、３０６を、それぞれ、幾何変換画像Ｋ１ａ（ｘ，ｙ）、Ｋ２ａ（ｘ，ｙ）と表す。同様の幾何変換により、画像Ｊ１ｂ（ｘ，ｙ）、Ｊ２ｂ（ｘ，ｙ）に基づいて、幾何変換画像Ｋ１ｂ（ｘ，ｙ）、Ｋ２ｂ（ｘ，ｙ）を生成することができる。
【００３４】
続いて、図４のステップＳ１０６において、重み算出部２２３は、幾何変換後の各撮像画像データに対する重み（重み係数ｗ１ａ（ｘ，ｙ）、ｗ２ａ（ｘ，ｙ）、ｗ１ｂ（ｘ，ｙ）、ｗ２ｂ（ｘ，ｙ））を算出する。重みは、ステップＳ１０１、Ｓ１０２、Ｓ１０３にて取得した撮影条件情報、被写体の距離情報、および、指定画角情報に基づいて決定される。なお、重み算出部２２３の処理の詳細については後述する。
【００３５】
最後に、ステップＳ１０７において、画像生成部２２４は、幾何変換画像Ｋ１ａ（ｘ，ｙ）、Ｋ２ａ（ｘ，ｙ）のそれぞれに、重み係数ｗ１ａ（ｘ，ｙ）、ｗ２ａ（ｘ，ｙ）を乗算し、以下の式（１）に従って加算合成を行う。
【００３６】
【数１】
0006436783.tif 000002
【００３７】
生成された指定画角θ’の画像データは、記録媒体２８０に記憶される。画像生成部２２４は、同様に、幾何変換画像Ｋ１ｂ（ｘ，ｙ）、Ｋ２ｂ（ｘ，ｙ）を合成し、指定画角画像データを生成することも可能である。以上で、指定画角画像の生成処理は終了する。
【００３８】
次に、図６を参照して、被写体の距離情報算出処理（図４のステップＳ１０２）について説明する。図６は、距離情報算出処理を示すフローチャートである。図６の各ステップは、主に、システムコントローラ２７０の指令に基づいて距離情報算出部２３０により実行される。ここでは、最も広い被写体空間を撮像する撮像部１０１ａ、１０１ｂにより得られる視差画像を用いた場合の処理について説明する。
【００３９】
まずステップＳ２００において、システムコントローラ２７０は、使用者の操作に応じて撮影指示信号が情報入力部２４０に入力されると、撮像部１０１ａ、１０１ｂの光学系（結像光学系）を介して形成された光学像を各撮像部の撮像素子上に結像させる。そしてシステムコントローラ２７０は、その視差画像を、Ａ／Ｄ変換器２１０を介して画像処理部２２０に転送する。画像処理部２２０は、転送された視差画像に対して所定の演算処理を行い、撮像部１０１ａ、１０１ｂのそれぞれに対応する画像データ（視差画像データ）を生成する。
【００４０】
続いて、ステップＳ２０１において、基準画像選択部２３１は、視差画像データのうち一方を、視差量を算出するための基準画像として選択する。本実施例において、撮像部１０１ａを介して得られる画像（視差画像データ）を基準画像（基準画像データ）として選択する。
【００４１】
続いて、ステップＳ２０２において、対応点抽出部２３２は、基準画像選択部２３１により選択された基準画像に対して、撮像部１０１ｂを介して得られる画像を参照画像（参照画像データ）とする。そして対応点抽出部２３２は、参照画像の中から、基準画像と対応する画素（対応点）を検出する。ここで、対応する画素（対応点）とは、例えば図３に示される人物被写体（人物１８１）に対して得られる視差画像データにおいて、同一の人物被写体に対応する夫々の画素である。
【００４２】
ここで、図７を参照して、対応する被写体領域（画素）の抽出手法（対応領域抽出手法）について詳述する。図７は、対応領域抽出手法の説明図である。図７に示されるように、画像の座標（ｘ，ｙ）を、各画像の左上を原点として定義し、水平方向をｘ軸、垂直方向をｙ軸とする。また、基準画像データＩ１ａ（ｘ，ｙ）（本実施例では図３の画像Ｉ１０１ａに相当）の画像座標（ｘ，ｙ）の輝度をＦ１（ｘ，ｙ）とし、参照画像データＩ１ｂ（ｘ，ｙ）（本実施例では図３の画像Ｉ１０１ｂに相当）の輝度をＦ２（ｘ，ｙ）とする。
【００４３】
基準画像データにおける任意の座標（ｘ，ｙ）（図７中の基準画像データＩ１ａ（ｘ，ｙ）の縦線で示される画素）に対応する参照画像データの画素（図７中の参照画像データＩ１ｂ（ｘ，ｙ）の縦線で示される画素）の探索について説明する。この場合、座標（ｘ，ｙ）における基準画像データの輝度Ｆ１（ｘ，ｙ）と最も類似する参照画像データの輝度を探すことで求めることができる。ただし、一般的に、任意の画素と最も類似する画素を探すことは難しい。このため、画像の座標（ｘ，ｙ）の近傍の画素も利用し、ブロックマッチングと呼ばれる手法にて類似画素を探索する。
【００４４】
例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。基準画像データの任意の座標（ｘ，ｙ）の画素と、その前後（ｘ−１，ｙ）、（ｘ＋１，ｙ）の２つの画素の計３画素の輝度値はそれぞれ、Ｆ１（ｘ，ｙ）、Ｆ１（ｘ−１，ｙ）、Ｆ１（ｘ＋１，ｙ）となる。一方、座標（ｘ，ｙ）からｘ方向にｋだけずれた参照画像データの画素の輝度値はそれぞれ、Ｆ２（ｘ＋ｋ，ｙ）、Ｆ２（ｘ＋ｋ−１，ｙ）、Ｆ２（ｘ＋ｋ＋１，ｙ）となる。このとき、基準画像データの座標（ｘ，ｙ）の画素と、参照画像データの画素との類似度Ｅは、以下の式（２）のように定義される。
【００４５】
【数２】
0006436783.tif 000003
【００４６】
式（２）において、逐次、ｋの値を変えて類似度Ｅの値を計算し、最も小さい類似度Ｅを与える座標（ｘ＋ｋ、ｙ）が、基準画像データの座標（ｘ，ｙ）に対する参照画像データの対応点（対応領域）である。ここでは簡単のため、水平方向に基線を有する視差画像について説明したが、同様の原理を用いて垂直方向や斜め方向に対しても対応点（対応領域）を検出することが可能である。
【００４７】
続いて、図６のステップＳ２０３において、視差量算出部２３３は、対応点抽出部２３２により抽出された各対応点の視差量を算出する。例えば、ブロックマッチング法で得られた基準画像データの各画素に対応する参照画像データの各画素との画素位置の差分を、対応点の視差量として算出する。続いて、ステップＳ２０４において、距離情報算出部２３０は、視差量算出部２３３により算出された視差量、既知の情報である結像光学系の焦点距離、および、撮像部の基線長データに基づいて、被写体の距離情報を算出する。
【００４８】
ここで、図８を参照して、被写体の距離情報の一例について説明する。図８は、距離情報算出結果の説明図であり、被写体の距離情報の一例を示している。図８において、距離情報４０１は図３中の画像Ｉ１０１ａに対応し、距離情報４０２は図３中の画像Ｉ１０２ａに対応する。ここでは、白色から黒色のグラデーションにより距離が示されている。すなわち、近距離に位置する人物被写体（人物４１１ａ、４１１ｂ）は白色で示され、遠距離に位置する山被写体（山４１２ａ、４１２ｂ）は灰色で示されている。異なる画角画像間において、各撮像部の画角は異なるが被写体距離は同一であるため、同一被写体領域は同様の距離情報として算出されている。
【００４９】
なお本実施例では、撮像部１０１ａ、１０１ｂを用いた場合の距離情報の算出処理について説明したが、同様の原理により他の撮像部（例えば撮像部１０２ａ、１０２ｂの対）を用いて距離情報を算出することもできる。また、画角の異なる画像を用いて対応点を抽出する場合、広い画角の画像から狭い画角の画像に対応する部分を切り出して対応点を抽出することがより好ましい。
【００５０】
最後に、ステップＳ２０５において、システムコントローラ２７０は、距離情報算出部２３０により算出された被写体の距離情報を、記録媒体２８０に記録し、本フローを終了する。
【００５１】
次に、図４のステップＳ１０４における各画像の視点位置合わせについて詳述する。視点位置合わせ部２２１は、各撮像部で撮影した画像Ｉ１ａ（ｘ，ｙ）、Ｉ１ｂ（ｘ，ｙ）、Ｉ２ａ（ｘ，ｙ）、Ｉ２ｂ（ｘ，ｙ）の位置合わせを行う。ここでは、画像Ｉ２ａ（ｘ，ｙ）を画像Ｉ１ａ（ｘ，ｙ）の視点位置に合わせる場合について説明する。撮像部１０１ａにより得られた画像Ｉ１を、図５の画像３０１と画像３０３との関係のように、ｔａｎθ１／ｔａｎθ２に拡大してトリミングし、この画像をＩ１’とする。
【００５２】
続いて、画像Ｉ２（ｘ，ｙ）と画像Ｉ１’（ｘ，ｙ）の各画素（領域）における視差を求める。このとき視差を求めるのは、図５の場合では、画像３０４の領域のみである。視差量については、距離情報算出の際に行ったブロックマッチングにより、Ｉ１’（ｘ，ｙ）から見たＩ２（ｘ，ｙ）の視差（ｄｘ（ｘ，ｙ），ｄｙ（ｘ，ｙ））を求めることができる。画素（領域）ごとに視差を求めることができれば、ブロックマッチングに限定されるものではなく、例えばグラフカットなどの他の手法を用いてもよい。
【００５３】
最後に、画像Ｉ２（ｘ，ｙ）を視差（−ｄｘ（ｘ，ｙ）、−ｄｙ（ｘ，ｙ））だけずらし、以下の式（３）で表されるように、画像Ｉ２’（ｘ，ｙ）を算出する。
【００５４】
【数３】
0006436783.tif 000004
【００５５】
これにより、撮像部１０２ａにより得られた画像の視点位置を撮像部１０１ａに合わせた画像を得ることができる。
【００５６】
ここでは、画像Ｉ１ａ（ｘ，ｙ）、Ｉ２ａ（ｘ，ｙ）を用いた場合の視点位置合わせ処理について説明したが、同様の原理によって、他の撮像画像の対（例えば、画像Ｉ１ａ（ｘ，ｙ）、Ｉ１ｂ（ｘ，ｙ）の対）についても視点位置合わせ処理が可能である。また、本実施例では各撮像部の光軸が平行であるとしたが、平行でない場合でも適用可能である。ただし、その場合、撮影前に予めカメラの位置姿勢を推定しておく必要がある。推定方法としては、大きさが既知のパターンを撮影して、対応点からカメラの位置姿勢を推定する方法を用いることができる。また、あるシーンを複数枚撮影して特徴点の対応をとることにより、カメラの位置姿勢を推定してもよい。カメラの位置姿勢のパラメータから導出される射影変換を画像に施すことにより、光軸が平行な場合に撮影された画像に変換することができる。
【００５７】
以上により、視点位置を合わせた画像をそれぞれ、Ｊ１ａ（ｘ，ｙ）、Ｊ１ｂ（ｘ，ｙ）、Ｊ２ａ（ｘ，ｙ）、Ｊ２ｂ（ｘ，ｙ）とする。以上が視点位置合わせ部２２１による視点位置合わせの処理である。
【００５８】
次に、図９を参照して、画像の重み算出処理（図４のステップＳ１０６）について説明する。図９は、重み算出処理を示すフローチャートである。図９の各ステップは、主に、システムコントローラ２７０の指令に基づいて、重み算出部２２３により実行される。
【００５９】
まず、ステップＳ３００において、重み算出部２２３は、図４のステップＳ１０１、Ｓ１０２、Ｓ１０３にて得られた撮影条件情報、距離情報、および、指定画角情報に基づいて、各画像における解像度の劣化量を算出する。各画像における解像度の劣化要因としては、被写体距離、撮像部の撮影条件である焦点距離およびＦ値に応じて決定される被写界深度に起因するデフォーカス領域のボケ量がある。また、幾何変換部２２２による指定画角θ’への拡大または縮小処理による補間劣化がある。このような２つの解像度の劣化量は、前段の各ステップで得られた撮影条件情報、距離情報、および、指定画角情報に基づいて算出可能である。
【００６０】
続いて、ステップＳ３０１において、重み算出部２２３は、各画像における解像度の劣化量に基づいて、画像合成の際における重み（重み係数）を決定する。ここで、図１０を参照して、ステップＳ３０１における重みの決定方法について説明する。図１０は、重み算出部２２３による重み算出処理の説明図である。図１０において、破線５０３は、撮像部１０２ａの画角θ２の範囲を示している。５０１は、画像３０４に対する重み係数である。重み係数５０１において、破線５０３で示される画角範囲よりも外側では重み係数として１が格納され、破線５０３の内部では画像３０４の解像度の劣化量に基づいて重み係数が決定される。重み係数５０１のうち、白部分は重み係数が０であることを示している。５０２は、画像３０６に対する重み係数である。重み係数５０２のうち、白部分は重み係数が１であることを示しており、黒部分は重み係数が０であることを示している。
【００６１】
ここで、フォーカスを合わせた被写体（人物）については、被写界深度によるボケ量の差はほとんど生じない。このため、人物被写体領域に関しては、幾何変換による拡大または縮小劣化のみが生じる。このとき、拡大劣化による解像度の劣化量が大きくなるため、重み係数５０１における破線５０３の内部の人物被写体領域は、重み係数５０２における人物被写体よりも解像度の劣化が大きいと判定され、重み係数が０に設定される。一方、重み係数５０２においては、人物被写体領域における解像度の劣化が小さいと判定されるため、重み係数が１に設定されている。
【００６２】
また本実施例では、各撮像部における撮像素子サイズ、画素サイズ、および、光学系のＦ値は、それぞれ同一に設定されている。一方、各撮像部における光学系の焦点距離は互いに異なる。撮像部の被写界深度は、光学系の焦点距離およびＦ値に応じて決定されるため、本実施例では撮像部１０１ａの被写界深度が深く、撮像部１０２ａの被写界深度が浅くなっている。このため、フォーカスを合わせた人物よりも遠方に位置する被写体（山）は、撮像部１０２ａに対応する撮影画像では、被写界深度に起因して解像度が大きく劣化する。本実施例では、山被写体については、幾何変換による拡大劣化よりも被写界深度に起因する解像度劣化のほうが大きい。このため、重み係数５０２における人物被写体部分以外の遠方に位置する被写体部分は、重み係数が０に設定される。反対に、重み係数５０１における遠方に位置する被写体部分は、解像度劣化が小さいと判定されるため、重み係数が１に設定される。
【００６３】
次に、図１１を参照して、本実施例における画像処理の効果について説明する。図１１は、本実施例の画像処理の効果の説明図である。図１１において、６０１は、指定画角に合わせて広角側の画像を拡大してトリミングした画像と望遠側の画像を縮小した画像とを、単純に合成した画像である。６０２は、本実施例の画像処理により生成された指定画角の画像である。６０３は、望遠側の画角領域を示している。
【００６４】
図１１を見るとわかるように、画像６０１では、画角領域６０３内において、山被写体部分が望遠側の被写界深度に起因する解像度劣化の影響により、解像度が大きく劣化している。また、画角領域６０３の境界部において、解像度の段差が大きくなっている。また、人物被写体においても、画角領域６０３内で広角側の拡大処理に起因する解像度劣化の影響により、若干、解像度が劣化している。一方、画像６０２では、画像の重み処理を行ったことにより画像６０１に生じている上記の解像度に関する問題が解決されている。
【００６５】
以上のように、本実施例によれば、任意の指定画角に対応する指定画角画像データを生成することができる。すなわち、離散的に画角の異なる複数の光学系を有する複眼撮像装置において、被写界深度が異なることに起因する合成画像の画質劣化を低減することが可能となる。また、画像Ｋ１ｂ（ｘ，ｙ）、Ｋ２ｂ（ｘ，ｙ）を合成することにより、画像に生じるノイズを低減することができ、画像のＳ／Ｎを向上させることが可能である。また、生成された画像に対して前段で取得された被写体距離情報に基づいたボケ付加処理を行うことにより、任意の被写界深度を有する画像を生成することも可能となる。
【実施例２】
【００６６】
次に、本発明の実施例２における撮像装置について説明する。
【００６７】
まず、図１２を参照して、本実施例における撮像装置の外観について説明する。図１２は、撮像装置１０００の正面図であり、複数の撮像部を備えた多眼方式による多視点撮像装置（複眼撮像装置）の一例を示している。図１２に示されるように、撮像装置１０００は、カラー画像データを取得可能な２つの撮像部１００１、１００２（複数の撮像部）、および、撮像ボタン１００３を備えている。撮像部１００１、１００２は、それぞれの光軸が互いに平行になるように、基線長Ｒだけ離れて配置されている。
【００６８】
本実施例では、撮像部１００１の画角をθ１、撮像部１００２の画角をθ２とする。なお、θ１＞θ２とし、撮像部１００１のほうが撮像部１００２よりも広い画角を有するものとする。使用者が撮像ボタン１００３を押下すると、撮像部１００１、１００２は、被写体の光情報をセンサ（撮像素子）で受光する。そして、センサにより受光された信号はＡ／Ｄ変換され、複数のデジタルデータ（撮像画像データ）が同時に得られる。また撮像装置１０００は、レーザ測距装置などの光波測距計を用いて被写体の距離を検出する測距部１００４を備える。このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像した撮像画像データ群を得ることができる。
【００６９】
次に、図１３を参照して、撮像装置１０００の構成について説明する。図１３は、撮像装置１０００のブロック図である。撮像装置１０００は、撮像部１００１、１００２、測距部１００４、モード選択部１２４１を有する情報入力部１２４０、および、距離情報算出部１２３０を有する点で、図２を参照して説明した実施例１の撮像装置１００とは異なる。本実施例の撮像装置１０００における他の構成は、実施例１の撮像装置１００と同様であるため、それらの説明を省略する。なお本実施例において、撮像部１００１による撮影画像は図３の画像Ｉ１０１ａと同様であり、撮像部１００２による撮影画像は図３の画像Ｉ１０２ａと同様である。
【００７０】
距離情報算出部１２３０は、レーザ測距装置などの光波測距計を有する測距部１００４からの情報に基づいて、画像内の被写体の距離情報を算出する。情報入力部１２４０は、使用者が所望の撮影条件（指定画角θ’、Ｆ値、露出時間など）を選択して入力する情報（データ）を検知し、システムコントローラ２７０にそのデータを供給する。モード選択部１２４１（モード選択手段）は、使用者が所望する撮影モードを選択する。本実施例の撮像装置１０００は、画像の解像度を優先する解像度優先モードまたは画像のノイズレベルを優先するＳ／Ｎ優先モードのいずれかを選択可能であるが、これに限定されるものではない。
【００７１】
本実施例の画像処理装置における一連の処理の手順は図４と同様であるため、その説明は省略する。距離情報算出処理については、実施例１とは異なり、レーザ測距装置を用いるため、実施例１に説明した距離算出処理は不要である。また、視点位置合わせ処理については、実施例１と同様のため、その説明は省略する。
【００７２】
次に、図１４を参照して、本実施例における画像の重み算出処理（図４のステップＳ１０６）について説明する。図１４は、本実施例における重み算出処理を示すフローチャートである。図１４の各ステップは、主に、システムコントローラ２７０の指令に基づいて、重み算出部２２３により実行される。
【００７３】
まず、ステップＳ４００において、重み算出部２２３は、図４のステップＳ１０１、Ｓ１０２、Ｓ１０３にて得られた撮影条件情報、距離情報、および、指定画角情報に基づいて、各画像における解像度の劣化量を算出する。続いてステップＳ４０１において、重み算出部２２３は、モード選択部１２４１を介して選択された、使用者が所望する撮影モード選択情報を取得する。本実施例では、画像の解像度を優先する解像度優先モードまたは画像のノイズレベルを優先するＳ／Ｎ優先モードのいずれかが選択される。
【００７４】
続いて、ステップＳ４０２において、重み算出部２２３は、各画像における解像度の劣化量および撮影モード選択情報に基づいて、画像合成を行う際の重み（重み係数）を決定する。ここで、ステップＳ４０２における重みの決定方法について説明する。解像度優先モードの場合における重みの決定方法は、実施例１と同様である。一方、Ｓ／Ｎ優先モードの場合、解像度の劣化量の大小関係に応じて重みを単純に０か１に設定するのではなく、ある程度の解像度劣化を許容し、各領域の重みを０と１の間の数値で設定する。
【００７５】
例えば、図１０において重み係数５０１における破線５０３の内部の人物被写体部分は、重み係数５０２における人物被写体部分に対して拡大処理劣化分の程度が小さいと判定され、重み係数が０．３に設定される。また、重み係数５０２における人物被写体部分以外の遠方に位置する被写体部分は、被写界深度に起因する劣化の程度が大きいと判定され、重み係数を０．２に設定される。このように、解像度劣化の程度に応じて、解像度劣化が大きい画像領域についても合成画像として使用することにより、僅かな解像度劣化は生じるものの、合成画像のノイズを低減する効果を得ることができる。
【００７６】
本実施例によれば、解像度優先モードの場合には実施例１と同様の効果を得ることができ、Ｓ／Ｎ優先モードの場合には最小限の解像度劣化を許容しつつ生成画像のノイズを低減することができる。
【実施例３】
【００７７】
次に、本発明の実施例３における撮像装置について説明する。本実施例は、重み算出処理に関し、図９を参照して説明した実施例１の処理に加えて画像のエッジ強度を判定材料として用いる点で、実施例１の重み算出処理とは異なる。なお、本実施例における撮像装置の構成は、実施例１の撮像装置１００と同様であるため、その説明は省略する。
【００７８】
図１５を参照して、本実施例における画像の重み算出処理（図４のステップＳ１０６）について説明する。図１５は、本実施例における重み算出処理を示すフローチャートである。図１５の各ステップは、主に、システムコントローラ２７０の指令に基づいて、重み算出部２２３により実行される。
【００７９】
まず、ステップＳ５００において、重み算出部２２３は、図４のステップＳ１０１、Ｓ１０２、Ｓ１０３にて得られた撮影条件情報、距離情報、および、指定画角情報に基づいて、各画像における解像度の劣化量を算出する。
【００８０】
続いて、ステップＳ５０１において、重み算出部２２３は、各画像のエッジ（先鋭領域）を検出し、その強度（エッジ強度）を算出する。ここで、図１６を参照して、重み算出部２２３により算出されたエッジ強度に基づいて重み（重み係数）を決定する方法（重み算出処理）について説明する。図１６は、重み算出処理の説明図である。
【００８１】
本実施例において、エッジ強度Ｇ（ｘ，ｙ）は、以下の式（４）で表されるソーベルフィルタを用いて、以下の式（５）により算出される。
【００８２】
【数４】
0006436783.tif 000005
【００８３】
【数５】
0006436783.tif 000006
【００８４】
式（５）において、＊は畳み込み、Ｉは画像をそれぞれ示している。式（５）で表されるエッジ強度Ｇ（ｘ，ｙ）の値が閾値Ｔ以上の場合、重み算出部２２３は、その領域をエッジ（エッジ領域）であると判定し、その画素を中心としたｓ×ｓのサイズのブロックの重み（重み係数）を決定する。
【００８５】
画素値が［０，２５５］の場合、例えば、閾値Ｔ＝２０、ブロックサイズｓ＝１０を採用する。図１６に示されるように、画像３０４と画像３０６に対して前述のエッジ強度を算出し、エッジであると判定された領域について、２つの画像間でのエッジ強度を比較し、エッジ強度が低い部分を重み０（黒部分）に設定する。例えば、図１６の重み係数７０１では、人物被写体のエッジ領域に関して、拡大処理による劣化によってエッジ強度が下がるため、重み係数が０になる。一方、図１６の重み係数７０２では、山被写体のエッジ領域に関して、被写界深度に起因する劣化によりエッジ強度が下がるため、重み係数が０となる。
【００８６】
続いて、図１５のステップＳ５０２において、重み算出部２２３は、各画像における解像度の劣化量およびエッジ強度に基づいて、画像合成を行う際の重み（重み係数）を決定する。ここで、ステップＳ５０２における重みの決定方法について説明する。ステップＳ５０２において、重み算出部２２３は、図１０に示される解像度の劣化量に基づく重みと、図１６に示されるエッジ強度に基づく重みとを加算または乗算することにより、合成重み（合成重み係数）を決定する。
【００８７】
このように、エッジ領域およびその周辺領域に関しては、エッジ強度の低い領域の重みを０に設定し、エッジ強度の高い領域の重みを１に設定することにより、エッジ領域の解像度を維持する。一方、ベタ領域に関しては、両画像を合成に使用することにより、Ｓ／Ｎを向上させることができる。また、距離情報の算出エラーやエッジ強度の算出エラーが生じた際に、２つの情報に基づいて重みを決定することができるため、画像合成の際の重み決定時のエラーを低減させることが可能である。
【００８８】
本実施例によれば、重み算出の際にエッジ強度を用いることにより、エッジ領域の解像度を維持するとともに、ベタ領域に関しては両画像を合成に使用することによりＳ／Ｎを向上させることができる。また、距離情報の算出エラーやエッジ強度の算出エラーが生じた際に、２つの情報に基づいて重みを決定することができるため、画像合成の際の重み決定時のエラーを低減させることが可能である。
【実施例４】
【００８９】
次に、本発明の実施例４における撮像装置について説明する。
【００９０】
まず、図１７を参照して、本実施例における撮像装置の構成について説明する。図１７は、撮像装置２０００のブロック図である。撮像装置２０００は、重み算出部２２３に代えてボケ付加部２２５（ボケ付加手段および解像度劣化量算出手段）を有する点で、図２を参照して説明した実施例１の撮像装置１００とは異なる。本実施例の撮像装置２０００における他の構成は、実施例１の撮像装置１００と同様であるため、それらの説明を省略する。
【００９１】
ボケ付加部２２５は、撮像部１０１ａ、１０１ｂ、１０２ａ、１０２ｂの撮影条件情報、被写体の距離情報、および、指定画角情報に基づいて、画像合成の際に各画像が同様の被写界深度となるようにボケを付加する。本実施例の画像処理部２２０は、画像合成の際における重み算出処理に代えてボケ付加処理を行う点で、実施例１と異なる。
【００９２】
次に、図１８を参照して、本実施例における画像処理装置における一連の処理（画像処理）の手順について説明する。図１８は、本実施例における画像処理を示すフローチャートである。図１８の各ステップは、主に、システムコントローラ２７０の指令に基づいて、撮像装置２０００の各部により実行される。なお、図１８のステップＳ６００〜６０５は、図４のステップＳ１００〜１０５とそれぞれ同様である。
【００９３】
ステップＳ６０６において、ボケ付加部２２５は、撮影条件情報、被写体の距離情報、および、指定画角情報に基づいて、幾何変換後の各撮像画像データに対してボケを付加する。ボケ付加部２２５による処理の詳細については後述する。最後に、ステップＳ６０７において、画像生成部２２４は、被写界深度が同等となるようにボケ付加された各画像を合成し、指定画角画像データを生成する。生成された指定画角画像データは、記録媒体２８０に記憶される。以上で、図１８のフローは終了する。
【００９４】
次に、図１９を参照して、ボケ付加部２２５によるボケ付加処理について詳述する。図１９は、ボケ付加処理を示すフローチャートである。図１９の各ステップは、主に、システムコントローラ２７０の指令に基づいて、ボケ付加部２２５により実行される。
【００９５】
まず、ステップＳ７００において、ボケ付加部２２５は、ステップＳ６０１、Ｓ６０２、Ｓ６０３にて得られた撮影条件情報、被写体の距離情報、および、指定画角情報に基づいて、各画像における解像度の劣化量を算出する。
【００９６】
続いてステップＳ７０１において、ボケ付加部２２５は、各画像における解像度の劣化量に基づいて、各画像にボケを付加する。ここで、図２０を参照して、ステップＳ７０１におけるボケ付加処理について説明する。図２０は、ボケ付加処理の説明図である。図２０において、破線８０３は、撮像部１０２ａの画角θ２の範囲を示している。８０１は、画像３０４に対して画像３０６と同様の被写界深度の画像となるように、被写体の距離情報に基づいてボケを付加した画像である。
【００９７】
本実施例では、各撮像部の撮像素子サイズ、画素サイズ、および、光学系のＦ値は、それぞれ同一に設定されている。一方、光学系の焦点距離は互いに異なる。この際、撮像部の被写界深度は、光学系の焦点距離およびＦ値に応じて決定されるため、本実施例では、撮像部１０１ａの被写界深度は深く、撮像部１０２ａの被写界深度は浅い。このため、フォーカスを合わせた人物よりも遠方に位置する被写体（山）は、撮像部１０２ａに対応する画像では被写界深度に起因して解像度が大きく劣化する。
【００９８】
本実施例では、山被写体については、幾何変換による拡大劣化よりも被写界深度に起因する解像度劣化のほうが大きい。このため、画像８０１における人物被写体部分以外の遠方に位置する被写体部分に距離に応じたボケを付加することで、画像８０２と同様の被写界深度画像としている。具体的には、画像３０４に対してぼかし効果のあるフィルタによるフィルタ処理を実行する。本実施例では、ぼかし量を調整可能なガウシアンフィルタを使用する。ここで本実施例では、ぼかし量としてのフィルタ係数にガウス分布の標準偏差を、被写体の距離情報に基づいて可変となるように設定する。
【００９９】
次に、図２１を参照して、本実施例における画像処理の効果について説明する。図２１は、本実施例における画像処理の効果の説明図である。９０１は、指定画角に合わせて広角側の画像を拡大してトリミングした画像と望遠側の画像を縮小した画像とを、単純に合成した画像である。９０２は、本実施例の画像処理により生成された指定画角の画像である。９０３は、望遠側の画角領域を示している。
【０１００】
図２１を見るとわかるように、画像９０１では、画角領域９０３の境界部において解像度の段差が大きくなっている。一方、画像９０２では、各画像が同等の被写界深度画像となるようにボケ付加処理を実施してから合成することにより、画像９０１に生じている前記の問題が解決されている。
【０１０１】
以上のように、本実施例によれば、任意の指定画角に対応する指定画角画像データを生成することができる。すなわち、離散的に画角の異なる複数の光学系を有する複眼撮像装置において、被写界深度が異なることに起因する合成画像の画質劣化を低減することが可能となる。また、画像Ｋ１ｂ（ｘ，ｙ）、Ｋ２ｂ（ｘ，ｙ）を合成することにより、画像に生じるノイズを低減することができ、画像のＳ／Ｎを向上させることが可能である。また、生成された画像に対して前段で取得された被写体距離情報に基づいたボケ付加処理を行うことにより、任意の被写界深度を有する画像を生成することが可能である。
【０１０２】
このように各実施例において、画像処理装置は、撮影条件取得手段（撮影条件取得部２６０）、距離情報取得手段（距離情報算出部２３０、１２３０）、画角情報取得手段（情報入力部２４０、１２４０）、および、画像生成手段（画像生成部２２４）を有する。撮影条件取得手段は、互いに異なる画角を有する複数の画像の撮影条件情報を取得する。距離情報取得手段は、複数の画像に含まれる被写体の距離情報を取得する。画角情報取得手段は、画角情報（指定画角情報）を取得する。画像生成手段は、撮影条件情報、距離情報、および、画角情報に基づいて、複数の画像から画角情報に対応する画像（指定画角画像）を生成する。
【０１０３】
好ましくは、画像生成手段は、撮影条件情報、距離情報、および、画角情報を用いて算出された解像度の劣化量に基づいて、複数の画像から画角情報に対応する画像を生成する。また好ましくは、画像処理装置は、複数の画像における視点の位置を互いに合わせる位置合わせ手段（視点位置合わせ部２２１）を更に有する。
【０１０４】
好ましくは、画像処理装置は、撮影条件情報、距離情報、および、画角情報に基づいて重みを決定する重み決定手段（重み算出部２２３）を更に有する。そして画像生成手段は、重みに基づいて画角情報に対応する画像を生成する。より好ましくは、重み決定手段は、撮影条件情報、距離情報、および、画角情報に基づいて、複数の画像の解像度の劣化量を算出し、解像度の劣化量に基づいて重みを決定する。また好ましくは、画像処理装置は、撮影モードを選択するモード選択手段（モード選択部１２４１）を更に有する。撮影モードは、解像度優先モードおよびＳ／Ｎ優先モードを含む。そして重み決定手段は、モード選択手段により選択された撮影モードに応じて重みを決定する。また好ましくは、重み決定手段は、更に複数の画像の特徴量に基づいて、重みを決定する。より好ましくは、複数の画像の特徴量は、複数の画像のエッジ強度である。
【０１０５】
好ましくは、画像処理装置は、撮影条件情報、距離情報、および、画角情報に基づいて、複数の画像にボケを付加するボケ付加手段（ボケ付加部２２５）を更に有する。そして画像生成手段は、ボケ付加手段によりボケを付加された複数の画像から画角情報に対応する画像を生成する。より好ましくは、ボケ付加手段は、撮影条件情報、距離情報、および、画角情報に基づいて、複数の画像の解像度の劣化量を算出し、解像度の劣化量に基づいてボケを付加する。より好ましくは、ボケ付加手段は、解像度の劣化量が小さいほどボケを大きくする。また好ましくは、ボケ付加手段は、複数の画像の被写界深度の相違が互いに小さくなるようにボケを付加する。より好ましくは、ボケ付加手段は、複数の画像の被写界深度が互いに同一になるようにボケを付加する。
【０１０６】
好ましくは、複数の画像は、同一の画角で取得された複数の画像を含む。また好ましくは、距離情報取得手段は、視点の異なる複数の画像に基づいて距離情報を取得する。
【０１０７】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１０８】
各実施例によれば、離散的に画角の異なる複数の光学系を介して形成された画像に関し、被写界深度の相違に起因する合成画像の画質劣化を低減可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【０１０９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１１０】
２２４  画像生成部（画像生成手段）
２３０  距離情報算出部（距離情報算出取得手段）
２４０  情報入力部（画角情報取得手段）
２６０  撮影条件取得部（撮影条件取得手段）
【図１】
0006436783.tif 000007
【図２】
0006436783.tif 000008
【図３】
0006436783.tif 000009
【図４】
0006436783.tif 000010
【図５】
0006436783.tif 000011
【図６】
0006436783.tif 000012
【図７】
0006436783.tif 000013
【図８】
0006436783.tif 000014
【図９】
0006436783.tif 000015
【図１０】
0006436783.tif 000016
【図１１】
0006436783.tif 000017
【図１２】
0006436783.tif 000018
【図１３】
0006436783.tif 000019
【図１４】
0006436783.tif 000020
【図１５】
0006436783.tif 000021
【図１６】
0006436783.tif 000022
【図１７】
0006436783.tif 000023
【図１８】
0006436783.tif 000024
【図１９】
0006436783.tif 000025
【図２０】
0006436783.tif 000026
【図２１】
0006436783.tif 000027