(57)【要約】【課題】リフォーカス時の仮想のピント位置を入力するためのＵＩと撮像時にピント位置を入力するためのＵＩとが別個独立に存在していることは、ユーザの使い勝手としてよいとはいえない。【解決手段】撮像装置によって撮像された撮像データを用いて、当該撮像データに係る撮像パラメータの少なくとも一部が変更されたパラメータに従った合成画像データを生成する画像合成手段を備えた画像処理装置であって、前記合成画像データの生成に使用するパラメータは、前記撮像装置に具備された、前記撮像パラメータを調整するための操作手段を介して設定されることを特徴とする。【選択図】図６
2014039125.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された撮像データを用いて、当該撮像データに係る撮像パラメータの少なくとも一部が変更されたパラメータに従った合成画像データを生成する画像合成手段を備え、
前記合成画像データの生成に使用するパラメータは、前記撮像装置に具備された、前記撮像パラメータを調整するための操作手段を介して設定される
ことを特徴とする画像処理装置。
【請求項２】
前記撮像装置は多眼方式の撮像装置であり、前記撮像データは複数視点の撮像データであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像パラメータは、ピント位置、被写界深度、ズーム倍率のうち少なくとも１つを含み、
前記合成画像データの生成に使用するパラメータは、前記ピント位置、前記被写界深度、前記ズーム倍率にそれぞれ対応する仮想ピント位置、仮想絞り値、仮想ズーム倍率のうち少なくとも１つを含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像合成手段は、前記撮像装置の姿勢に応じて仮想ピント面の傾きを変更した合成画像データを生成することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像処理装置を具備したことを特徴とする撮像装置。
【請求項６】
前記合成画像データを表示する表示手段をさらに備えたことを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮像装置によって撮像された撮像データを用いて、当該撮像データに係る撮像パラメータの少なくとも一部が変更された複数のパラメータに従った複数の合成画像データを生成する画像合成手段と、
前記複数の合成画像データの中から特定の合成画像データを表示する表示手段と、
を備え、
前記特定の合成画像データは、前記撮像装置に具備された前記撮像パラメータを調整するための操作手段を介して設定された選択条件に従って選択され表示される
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置を具備したことを特徴とする撮像装置。
【請求項９】
単眼方式の撮像装置によって撮像パラメータを変更しながら撮像された複数の撮像データから、特定の撮像データを選択する画像選択手段を備え、
前記特定の撮像データを選択するための条件が、前記撮像装置に具備された、前記撮像パラメータを調整するための操作手段を介して設定される
ことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置を具備したことを特徴とする撮像装置。
【請求項１１】
前記特定の撮像データを表示する表示手段をさらに備えたことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮像装置によって撮像された撮像データを用いて、当該撮像データに係る撮像パラメータの少なくとも一部が変更されたパラメータに従った合成画像データを生成する画像合成ステップを含み、
前記合成画像データの生成に使用するパラメータは、前記撮像装置に具備された、前記撮像パラメータを調整するための操作手段を介して設定される
ことを特徴とする画像処理方法。
【請求項１３】
撮像装置によって撮像された撮像データを用いて、当該撮像データに係る撮像パラメータの少なくとも一部が変更された複数のパラメータに従った複数の合成画像データを生成する画像合成ステップと、
前記複数の合成画像データの中から特定の合成画像データを表示する表示ステップと、
を含み、
前記特定の合成画像データは、前記撮像装置に具備された前記撮像パラメータを調整するための操作手段を介して設定された選択条件に従って選択され表示される
ことを特徴とする画像処理方法。
【請求項１４】
単眼方式の撮像装置によって撮像パラメータを変更しながら撮像された複数の撮像データから、特定の撮像データを選択する画像選択ステップを含み、
前記特定の撮像データを選択するための条件が、前記撮像装置に具備された、前記撮像パラメータを調整するための操作手段を介して設定される
ことを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１〜４、７、９のいずれか１項に記載の画像処理装置、又は請求項５、６、８、１０、１１のいずれか１項に記載の撮像装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パラメータの設定方法に関する。
【背景技術】
【０００２】
これまで、カメラのピント調整を誤って撮像した場合は、ピント調整をやり直して再撮像する必要があった。また、奥行きの異なる複数の被写体に対してそれぞれにピントが合った画像を得たい場合には、被写体毎にピントを合わせた撮像を複数回行う必要があった。
【０００３】
近年、光学系に新たな光学素子を追加することで多視点（複数視点）からの画像を取得し、後で画像処理によってピント位置を調節すること（リフォーカス）が可能なライトフィールドフォトグラフィという技術が発展している。
【０００４】
この技術を用いれば、撮像後にピント調整を行えるため、撮像時のピント調整の失敗を画像処理で補うことができるという利点がある。さらに、画像処理方法を変えることで画像中の任意の被写体にピントを合わせた複数の画像を一枚の撮像画像から得る事ができ、撮像回数を減らす事ができるという利点もある。
【０００５】
ライトフィールドフォトグラフィでは、複数視点の撮像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、前述したリフォーカスも可能となる。ＬＦを取得するための撮像装置としてはメインレンズの後ろにマイクロレンズアレイを置いたPlenoptic Camera（例えば、特許文献１）や、小型のカメラ（個眼カメラ）を並べたカメラアレイが知られている。いずれも被写体を異なる方向から撮像した複数視点の撮像データを一回の撮像で得る事ができる。ライトフィールドフォトグラフィとは、複数視点の撮像データから仮想の光学条件下での仮想センサの取得する画像を計算することと言い換えることもできる。なお、以下では、この仮想のセンサが取得する画像を計算する処理を「リフォーカス処理」と呼ぶこととする。リフォーカス処理としては、取得した複数視点の撮像データを仮想センサ上に射影変換し加算して平均化する方法が知られている（例えば、特許文献２）。
【０００６】
そして、ピント位置を変更しながらリフォーカス処理された画像（以下、リフォーカス画像）を表示する方法としては、例えば、特許文献３の方法がある。この方法では、ピント位置を調整するユーザインターフェィス（ＵＩ）を、リフォーカス画像が表示される画面上に用意し、該ＵＩを介して、ユーザがピント位置を変更する。更に、特許文献３には、リフォーカス画像が表示される画面において、ピント位置を合わせたい被写体をユーザが指示し、当該指示された被写体にピント位置が調整されたリフォーカス画像を表示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１２４２１３号公報
【特許文献２】国際公開第２００８／０５０９０４号パンフレット
【特許文献３】米国特許出願公開第２００８／０１３１０１９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献３に開示された方法では、リフォーカス時に使用する仮想のピント位置調整用のＵＩと、撮像時に使用するピント位置調整用のＵＩとが異なっている。このようにリフォーカス時の仮想のピント位置を入力するためのＵＩと撮像時にピント位置を入力するためのＵＩとが別個独立に存在していることは、ユーザの使い勝手としてよいとはいえない。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、撮像装置によって撮像された撮像データを用いて、当該撮像データに係る撮像パラメータの少なくとも一部が変更されたパラメータに従った合成画像データを生成する画像合成手段を備え、前記合成画像データの生成に使用するパラメータは、前記撮像装置に具備された、前記撮像パラメータを調整するための操作手段を介して設定されることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザは撮像時と同じ感覚で画像合成時等におけるパラメータ設定が可能となり、ユーザにとって使い勝手の良い、パラメータ入力用のＵＩが実現できる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の内部構成を示すブロック図である。
【図２】撮像部の内部構成を示す図である。
【図３】（ａ）は撮像装置の外観を示す図であり、（ｂ）は撮像レンズ鏡筒の側面を示す図である。
【図４】通常の撮像光学系の構成を示す図である。
【図５】撮像部の構成を、通常の撮像光学系に対応させて示した図である。
【図６】実施例１に係る画像処理部の内部構成を示すブロック図である。
【図７】実施例１に係る画像処理部における画像処理の流れを示すフローチャートである。
【図８】画像合成部の内部構成を示す図である。
【図９】実施例１に係る画像合成部における画像合成処理の流れを示すフローチャートである。
【図１０】画像合成に使用する画素位置の一例を示した図である。
【図１１】実施例１に係る画素位置算出部における画素位置の算出方法を説明する図である。
【図１２】メモリ部に格納された中間データの一例である。
【図１３】合成画像の拡大・縮小処理とその後のトリミングを説明する図である。
【図１４】撮像部の構成の一例を示す図である。
【図１５】実施例２に係る画像処理部の内部構成を示したブロック図である。
【図１６】実施例２に係る画像処理部における画像処理の流れを示すフローチャートである。
【図１７】画像合成パラメータをまとめたテーブルの一例である。
【図１８】選択条件に合った合成画像の表示態様の一例を示す図である。
【図１９】実施例３に係る画像処理部の内部構成を示したブロック図である。
【図２０】撮像装置の姿勢変化に応じて、仮想センサの傾きが変化する様子を示す図である。
【図２１】実施例３における画素位置の算出方法を説明する図である。
【図２２】撮像装置の姿勢変化に応じて合成画像が変化する様子を説明する図である。
【図２３】ピント位置を段階的に変更したブラケット撮像（フォーカスブラケット撮像）の説明図である。
【図２４】フォーカスブラケット撮像によって得られた撮像画像の一例を示す図である。
【図２５】実施例４に係る画像処理部の内部構成を示したブロック図である。
【図２６】実施例４に係る画像処理部における画像処理の流れを示すフローチャートである。
【図２７】画像処理部及び／又は表示部が、撮像部とは別個に存在する３種類の態様を説明する図である。
【発明を実施するための形態】
【００１２】
［実施例１］
図１は、本実施例に係る撮像装置の内部構成を示すブロック図である。
【００１３】
撮像部１００は、被写体の光情報を撮像素子で受光し、受光した信号をＡ／Ｄ変換して、カラー撮像データ（デジタルデータ）を取得する。撮像部１００の詳細については後述する。
【００１４】
中央処理装置（ＣＰＵ）１０１は、以下に述べる各部を統括的に制御する。
【００１５】
ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。
【００１６】
ＲＯＭ１０３は、ＣＰＵ１０１で実行される制御プログラム等を格納している。
【００１７】
バス１０４は各種データの転送経路であり、例えば、撮像部１００によって取得されたデジタル撮像データはこのバス１０４を介して所定の処理部に送られる。
【００１８】
ユーザの指示を受け取る操作部１０５には、ボタンやモードダイヤルなどが含まれる。操作部の詳細については後述する。
【００１９】
撮像画像や文字の表示を行う表示部１０６には、例えば、液晶ディスプレイが用いられる。表示部１０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部１０５の入力として扱うことも可能である。
【００２０】
表示制御部１０７は、表示部１０６に表示される撮像画像や文字の表示制御を行う。
【００２１】
撮像部制御部１０８は、フォーカスを合わせる、シャッターを開く・閉じる、開口絞りを調節するなどの、ＣＰＵ１０１からの指示に基づいた撮像系の制御を行う。
【００２２】
デジタル信号処理部１０９は、バス１０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
【００２３】
エンコーダ部１１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。
【００２４】
外部メモリ制御部１１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。
【００２５】
画像処理部１１２は、撮像部１００で取得されたカラー撮像データ或いは、デジタル信号処理部１０９から出力されるカラー撮像データから、リフォーカス処理などの画像合成処理を行う。画像処理部１１２の詳細については後述する。なお、画像処理部１１２は、撮像装置から独立した画像処理装置としても成立し得るものである。
【００２６】
姿勢検出部１１３は、撮像時に変化する撮像装置（撮像部１００）の姿勢を、ジャイロセンサなどを使用して検出する。この姿勢検出部１１３での検出結果は、実施例３において利用される。
【００２７】
なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。
【００２８】
図２は、撮像部１００の内部構成を示す図である。
【００２９】
撮像部１００は、撮像レンズ２０１〜２０３、開口絞り（以下、単に「絞り」と呼ぶ。）２０４、シャッター２０５、マイクロレンズアレイ２０６、光学ローパスフィルタ２０７、ｉＲカットフィルタ２０８、カラーフィルタ２０９、光電変換する撮像素子（以下、センサ）２１０及びＡ／Ｄ変換部２１１で構成される。撮像レンズ２０１〜２０３は夫々、ズームレンズ２０１、フォーカスレンズ２０２、ぶれ補正レンズ２０３である。絞りを調整することにより、撮像部１００に入射される入射光量を調整することができる。なお、各レンズのサイズがマイクロメートル単位、あるいはミリメートル単位であっても、各レンズのサイズに関わらず「マイクロレンズ」と呼ぶことにする。
【００３０】
図３の（ａ）は、本実施例に係る撮像装置の外観を示す図である。撮像装置のボディ３００の上部には、ビューファインダの接眼窓３０１の他、操作部１０５として、自動露出（ＡＥ）ロックボタン３０２、自動焦点（ＡＦ）の測距点を選択するボタン３０３、撮像操作をするためのレリーズボタン３０４がある。また、撮像モード選択ダイヤル３０５、外部表示部３０６、電子ダイヤル３０７などがある。電子ダイヤル３０７は、他の操作ボタンと併用してカメラに数値を入力したり、撮像モードを切り換えたりするための多機能信号入力部である。また、液晶ディスプレイの外部表示部３０６には、シャッタスピード、絞り、撮像モードなどの撮像条件や、その他の情報が表示される。撮像装置のボディ３００の背面には、撮像した画像、撮像画像から生成された合成画像、各種設定画面などを表示する液晶モニタ３０８、液晶モニタ３０８の表示をオンオフするためのスイッチ３０９、十字キー３１０、メニューボタン３１１などがある。撮像レンズ鏡筒３１２は、撮像装置のボディ３００の前面にあり、ズーム調整リング３１３を回転することにより、ズームレンズ２０１を駆動させ、画角（ズーム倍率）を調整する。撮像／再生切替ボタン３１６は、撮像を行う撮像モードと画像の表示を行う再生モードとを切り替えるためのボタンである。再生モードにおいては、撮像モードの下で撮像された画像（撮像画像）に対して後述のリフォーカス処理等を施して表示することが可能である。
【００３１】
図３の（ｂ）は、撮像レンズ鏡筒３１２の側面を示す図である。レンズ鏡筒３１２には、ズーム調整リング３１３の他に、フォーカス調整リング３１４と絞り調整リング３１５がある。フォーカス調整リング３１４を回転することにより、フォーカスレンズ２０２を駆動させ、撮像時のピント位置を調整する。絞り調整リング３１５を回転することにより、絞り２０４の開口率を調整し、撮像時の絞り値を調整する。すなわち、撮像時に適用される各種の撮像パラメータ（ピント位置、絞り値、ズーム倍率など）が、操作部１０５の一部としての各種調整リングによって設定される。
【００３２】
なお、詳細は後述するが、これら各種の調整リングは、撮像後の画像合成処理において用いる画像合成パラメータ（仮想のピント位置など）を設定する際にも使用される。
【００３３】
＜リフォーカスの原理＞
図４は、通常の撮像光学系の構成を示す図であり、ピントがずれてしまった状態を表している。なお、図４では、説明を簡単にするため、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、ズームレンズなどの構成については省略してある。また、レンズ構成についても、メインレンズ４０２でレンズ群を代表して表している。物点４０１からの光はメインレンズ４０２で集光され、センサ４０４の一部領域４０５に到達している。メインレンズ４０２で集光された光が一点に結像する前にセンサ４０４に到達しているので、センサ４０４の一部領域４０５では物点４０１からの光が広がって記録され、鮮鋭性の低いぼけた画像になっている。鮮鋭性の高い画像を得たい場合には、ピント位置を調整し、物点４０１の像がセンサ４０４上の１点に結像されるようにして再度撮像を行う必要がある。
【００３４】
図５は、図２で示した撮像部１００の構成を、図４で示した通常の撮像光学系に対応させて示した図である。図５では、図２のマイクロレンズアレイ２０６に対応するマイクロレンズアレイ５０５が追加され、センサ５０４の位置がメインレンズ５０２により近い位置に変更されている。図５において、物点５０１から放たれた光はメインレンズ５０２により集光された後、結像する前にマイクロレンズアレイ５０５を通過して、センサ５０４により記録される。この時、物点５０１から放たれた光は、センサ５０４上の複数の画素位置において、光線の方向と光線の強度に応じた値として記録される。つまり、１つのマイクロレンズにより生成されるセンサ上（撮像素子上）の光学像は、物点５０１を異なる方向から観察した画像となるため、センサ５０４では複数視点の画像が一枚の画像として記録されることになる。
【００３５】
リフォーカス処理では、この光線群を延長し、仮想センサ位置における光強度の計算を通して、仮想センサに記録される画像（リフォーカス画像）を演算により求めることができる。いま、仮想センサＡ（５０８）の位置で記録される画像を計算すると、物点５０１のからの光は広がり、ぼけた画像が得られる。一方、仮想センサＢ（５０９）の位置で記録される画像を計算すると、物点５０１からの光は一点に集まり、ピントが合った画像が得られる。このように、仮想センサの位置を調整し、該仮想センサ位置で記録される画像を計算によって取得する処理が、通常の光学系でピント位置を調整する行為に相当する。
【００３６】
更に、仮想センサＢ（５０９）の位置で記録される画像を計算する際に、物点５０１からの放たれた全ての光をリフォーカス処理の演算に使用せず、メインレンズ５０２（或いは、絞り５０３）における通過場所に応じて光を選択する。これにより、仮想的に絞り５０３の開口率（絞り値）を変更させた画像を計算することができる。例えば、メインレンズ５０２の中心付近を通過する光線のみをリフォーカス処理の演算に使用することで、絞り５０３を絞った状態での画像を計算によって得ることができる。例えば、光線Ｂ（５１２）、光線Ｃ（５１３）、光線Ｄ（５１４）、光線Ｅ（５１５）を選択することで、絞り５０３を絞った状態でのリフォーカス画像の生成が可能である。
【００３７】
逆に、絞り５０３を開いた状態でのリフォーカス画像を得たい場合には、メインレンズ５０２を通過する全ての光線をリフォーカス処理の演算に使用すればよい。例えば、光線Ａ（５１１）から光線Ｆ（５１６）までの光線をリフォーカス処理の演算に使用する。仮想的な絞りの開口率とリフォーカス処理時に使用する光線の関係については後述する。
【００３８】
このように、リフォーカス処理に使用する光線を選択することにより、絞りを物理的に絞った状態と等価な画像を計算によって得ることができる。すなわち、撮像後に被写界深度を仮想的に調整することが可能となる。
【００３９】
なお、図５に示されるように、より多くの異なる方向から物点５０１を観察した画像を得るためには、撮像部１００に具備される絞り５０３をできるだけ開いた状態で撮像する方が好ましい。
【００４０】
以上が、撮像後にピント位置・被写界深度を調整した画像を計算により得るリフォーカス処理の原理である。
【００４１】
＜画像処理部の構成図＞
図６は、画像処理部１１２の内部構成を示したブロック図である。
【００４２】
撮像データ取得部６０１は、撮像部１００からバス１０４を経由して供給されるカラー撮像データ（入力撮像データ）を取得する。
【００４３】
画像合成パメータ取得部６０２は、画像合成部６０４における処理で必要となる画像合成パラメータを取得する。画像合成パラメータとは、画像合成処理で用いる各種のパラメータであって、例えば、仮想ピント位置、仮想絞り値、仮想ズーム倍率などを指す。この場合において、前述の撮像／再生切替ボタン３１６が押下されて再生モードに切り替わると、切り替わった以降になされた上記各種調整リングに対する操作が、画像合成パラメータの設定のための操作として扱われる。
【００４４】
光学パラメータ取得部６０３は、画像合成部６０４における処理で必要となる撮像部１００の光学パラメータを取得する。光学パラメータとは、物理的に定まった光学系の各種パラメータであって、例えば、マイクロレンズの光学中心位置や、マイクロレンズとセンサとの距離σrealなどを指す。
【００４５】
画像合成部６０４は、撮像データ取得部６０１で取得された撮像データ及び光学パラメータを基に、上述の画像合成パラメータに従った合成画像を生成する。生成された合成画像のデータは表示部１０６に出力される。
【００４６】
図７は、本実施例に係る画像処理部１１２における画像処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。
【００４７】
撮像／再生切替ボタン３１６の押下によって撮像モードから再生モードへと切り替えられると、ステップ７０１において、撮像データ取得部６０１は、撮像部１００が記録した撮像データを取得する。上述の通り、画像合成処理の対象となる撮像データは、絞り値（Ｆナンバー）が小さい値（例えば、Ｆ２．８）に設定された状態（絞りが開放された状態）で撮像されることが好ましい。なお、ここで取得される撮像データには、撮像時のピント位置、絞り値、ズーム倍率といった撮像パラメータも含まれる。
【００４８】
ステップ７０２において、光学パラメータ取得部６０３は、上述の光学パラメータを取得する。
【００４９】
ステップ７０３において、画像合成パラメータ取得部６０２は、上述の画像合成パラメータを取得する。具体的には、撮像時において撮像パラメータの設定に使用した各種調整リング（ここでは、フォーカス調整リング３１４、絞り調整リング３１５、ズーム調整リング３１３）の操作量に応じた入力値を取得する。例えば、ユーザが、フォーカス調整リング３１４を所定方向に任意の量だけ回転させることで、当該回転量に応じた値が仮想ピント位置の入力値として取得され、設定される。仮想絞り値についても同様である。仮想ズーム倍率は、ズーム調整リング３１３を介して得られた入力値（画角＝レンズ焦点距離）と撮像時のズーム倍率（画角）との比較によって求められる。例えば、ズーム調整リング３１３によって、撮像モードの下ではレンズ焦点距離５０ｍｍに設定され、再生モードの下ではレンズ焦点距離７５ｍｍに設定された場合を想定する。この場合、仮想のズーム倍率は１.５倍（生成される画像の画角は、撮像時よりも狭い）となる。このように、本実施例では、撮像時に使用する各種調整リングを介して、ユーザは画像合成パラメータを設定できる。
【００５０】
ステップ７０４において、画像合成部６０４は、画像合成パラメータ取得部６０２から供給される画像合成パラメータと、光学パラメータ取得部６０３から供給される光学パラメータを使用して、撮像データに対し画像合成処理を実施する。画像合成処理の詳細については後述する。
【００５１】
ステップ７０５において、画像合成部６０４は、生成された合成画像データを表示部１０６に出力し、表示部１０６において合成画像が表示される。
【００５２】
ステップ７０６において、画像処理部１１２は、画像合成パラメータの変更指示（ユーザによる各種操作リングの操作）の有無を判定する。画像合成パラメータの変更指示があったと判定された場合には、ステップ７０３へ戻る。そして、変更後の画像合成パラメータに従った画像合成処理が行なわれ、新たな合成画像が表示される（ステップ７０４、７０５）。一方、画像合成パラメータの変更指示が無いと判定された場合は、本処理を終了する。
【００５３】
＜画像合成処理＞
次に、画像処理部１１２内の画像合成部６０４の詳細について説明する。
【００５４】
図８は、画像合成部６０４の内部構成を示す図である。
【００５５】
画像合成部６０４は、画素位置算出部８０１、色導出部８０２、画素値算出部８０３、メモリ部８０６および画像拡大部８０７からなり、さらに画素値算出部８０３は、メモリ部８０４と画素値生成部８０５とで構成される。
【００５６】
画像合成部６０４では、上記各部によって、撮像データ取得部６０１から順次送られてくる撮像データ（デジタル値）から、合成画像の画素値の算出を行い、算出が完了した画素値から順に出力する処理を行う。以下、詳しく説明する。
【００５７】
図９は、本実施例に係る画像合成部６０４における画像合成処理の流れを示すフローチャートである。なお、説明を簡単にするため、撮像データ取得部６０１から供給されるデジタル値の撮像データ（入力撮像データ）を１次元として説明する。
【００５８】
ステップ９０１において、画素位置算出部８０１は、画像合成パラメータおよび光学パラメータを、バス（不図示）から取得する。画像合成パラメータの取得については上述のとおりである。光学パラメータは、予めＲＡＭ１０２等に保持されているものを読み出すことで取得される。
【００５９】
ステップ９０２において、画素値算出部８０３は、入力撮像データにおいて画像合成に使用する画素位置と画素値を取得する。画像合成に使用する画素位置については、ステップ９０１で取得した画像合成パラメータのうち、仮想絞り値を参照して取得する。
【００６０】
図１０の（ａ）及び（ｂ）は、画像合成に使用する画素位置の一例を示した図である。図中の白色で示された部分が画像合成に使用する画素位置であり、反対に、黒色で示された部分が画像合成に使用しない画素位置である。図１０の（ａ）は仮想絞り値がＦ２．８に設定された時の画素位置、同（ｂ）は仮想絞り値がＦ１１に設定された時の画素位置をそれぞれ示している。このように、絞り調整リング３１５で調整可能な範囲において、複数の絞り値に対応する画素位置を、予めＲＡＭ１０２等に保持しておく。画素値算出部８０３は、保持されたこれらの情報を参照することで、取得された仮想絞り値に応じた画素位置を取得し、当該取得された画素位置に対応する、撮像画像データにおける画素値を取得する。
【００６１】
図９のフローチャートの説明に戻る。
【００６２】
ステップ９０３において、画素値算出部８０３は、注目画素位置の初期値を設定する。例えば、撮像画像の左上端の画素を最初の注目画素として設定する。
【００６３】
ステップ９０４において、画素値算出部８０３は、設定された注目画素の画素位置が画像合成に使用する画素位置であるかどうかを判定する。画像合成に使用する画素位置であるかどうかの判定は、例えば、ステップ９０２で取得した画素位置を表すテーブル（使用する画素位置を示す白色部分の画素を１、使用しない部分の画素位置を示す黒色部分の画素を０で示したテーブル）と比較する等により行う。注目画素の画素位置が、画像合成に使用する画素位置（白色部分に該当）であると判定された場合は、ステップ９０５に進む。一方、注目画素の画素位置が、画像合成に使用しない画素位置（黒色部分に該当）であると判定された場合は、ステップ９１０に進む。
【００６４】
ステップ９０５おいて、画素位置算出部８０１は、入力撮像データの各画素の合成画像における画素位置を算出する。
【００６５】
図１１はこの算出方法を説明する図である。いま、センサ１１０１上のセンサ画素領域１１０３に対応する画素が、画像合成部６０４に入力されたと仮定する。この場合、画像合成部６０４は、センサ画素領域１１０３に対応する仮想センサ１１０２上の投影領域１１０６を計算することになる。ここで、Ｏｘ（ｍ，ｎ）は、マイクロレンズ１１０４の光学中心の位置であり、（ｍ，ｎ）はマイクロレンズのインデックスを表す番号、ｘは入力画素の位置（この図では、センサ画素領域１１０３の中心位置）を表す。また、Ｘ１及びＸ２は、後述する計算によって求められるセンサ画素領域１１０３の上端部と下端部に対応する仮想センサ１１０２上の位置である。この算出されたＸ１とＸ２との間の領域がセンサ画素領域１１０３の仮想センサ１１０２上における投影領域１１０６となる。図１１に示す通り、センサ画素領域１１０３を、マイクロレンズ１１０４の光学中心を基準として仮想センサ１１０２に投影した投影領域１１０６が、入力された撮像データの画素（図１１では、センサ画素領域１１０３）に対応する合成画像上での位置となる。なお、σrealはセンサ１１０１と各マイクロレンズ１１０４との距離であり、σvirtualは各マイクロレンズ１１０４と仮想センサ１１０２との距離である。すなわち、このマイクロレンズ１１０４から距離σvirtualだけ離れた位置が仮想センサ１１０２の位置であり、フォーカス調整リング３１４を介してユーザによって設定される。図１１から明らかなように、投影領域１１０６はセンサ画素領域１１０３に対して拡大されており、その拡大率はσvirtual/σreal倍となる。本ステップでは、以下の式（１）及び式（２）に従って、投影領域１１０６を規定するＸ１及びＸ２の位置を算出することになる。
Ｘ１＝Ｏｘ（ｍ，ｎ）＋（σvirtual／σreal）（ｘ＋ｓ／２−Ｏｘ（ｍ，ｎ））
・・・式（１）
Ｘ２＝Ｏｘ（ｍ，ｎ）＋（σvirtual／σreal）（ｘ−ｓ／２−Ｏｘ（ｍ，ｎ））
・・・式（２）
上記式（１）及び式（２）において、sはセンサ画素領域１１０３のサイズである。算出されたＸ１及びＸ２の情報は画素値算出部８０３に送られる。このようにして、入力撮像データの各画素の画素位置と、任意のリフォーカス位置に応じた合成画像における画素位置とが対応付けられる。
【００６６】
図９のフローチャートの説明に戻る。
【００６７】
ステップ９０６において、色導出部８０２は、入力撮像データにおける各画素の色を導出する。具体的には、画素位置と色の対応を示すテーブルを参照して、各画素の色を導出する。色の種別としては、カラーフィルタアレイのフィルタ分光感度に応じて、ＲＧＢ、赤外＋ＲＧＢ、ＣＭＹなどがある。ここでは、ＲＧＢの三色の場合を考える。画素位置と色の対応を示すテーブルは、例えば、解像度が６００万画素の場合、縦２０００×横３０００のテーブルであり、ＲＯＭ１０３等に保持しておけばよい。さらに、撮像部１００が、ベイヤー配列のカラーフィルタアレイを具備するなど、画素位置と色の関係が数式的に明らかな場合は、画素位置から所定の演算により色を求めても良い。
【００６８】
ステップ９０７において、画素値算出部８０３は、メモリ部８０４内のデータ（中間データ）を更新する。具体的には、ステップ９０５で算出された合成画像における画素位置とステップ９０６で導出された色に対応する、入力された撮像データの画素値をメモリ部８０４に格納する。
【００６９】
図１２は、メモリ部８０４に格納された中間データの一例を示している。図１２において、インデックス１２０１〜１２０３には、それぞれ１又は複数の画素値が保持されている。本ステップでは、画素位置算出部８０１から受け取った合成画像の画素位置と色導出部８０２から受け取った色の情報とに従って画素値が追加・格納され、中間データが更新される。なお、図１２の例では、合成画像の画素位置が整数で表記されているが、上記式（１）、（２）で算出されるＸ１、Ｘ２は一般に非整数である。そこで、合成画像の画素位置を特定するための数値として非整数を許容し、小数部分を重みとして合成画像の画素値の計算に用いてもよい。例えば、合成画像の画素位置を示す座標（１０，１０．４）に対して画素値２０、同じく座標（１０，１０．１）に対して画素値１０が割り当てられている場合を考える。この場合、合成画像の画素位置を示す座標(１０，１０)には、(０．１＊２０＋０．４＊１０)／(０．１＋０．４)にといった重み付けの計算により画素値１２を割り当てる、といった具合である。
【００７０】
ステップ９０８において、画素値算出部８０３は、所定のインデックスについて中間データの更新が完了したかどうか、すなわち、いずれかのインデックスに画素値がすべて揃ったかどうかを判定する。例えば、図１２のインデックス１２０１（座標（１０，１０）の画素位置で、かつ、色がＲの部分）において２つの画素値（２４及び２６）が格納されると、中間データの更新が完了と判定される。この判定は、例えば、格納されるはずの画素値の数をインデックス毎に予め計算しておき、格納された画素値の数がその数に達したかどうかにより行うことができる。
【００７１】
ここで、インデックス毎の格納されるはずの画素値の数は、以下のようにして予め求めておく。まず、全ての画素値が１となるようなダミーの撮像画像を用意し、これを入力撮像データとしてステップ９０５〜ステップ９０７の処理を行う。そして、全ての画素について処理を行った後、格納された画素値の数をインデックス毎にカウントすれば良い。
【００７２】
このような判定処理により、いずれかのインデックスについて、追加されるはずの画素値がすべて揃ったと判定された場合にはステップ９０９に進む。一方、いずれのインデックスについても画素値が揃っていないと判定された場合にはステップ９０５に戻り、次の合成画像上における画素位置に対して、ステップ９０５〜ステップ９０７の処理を繰り返す。
【００７３】
ステップ９０９において、画素値生成部８０５は、更新が完了したインデックスの中間データ（複数視点画像の画素値）をメモリ部８０４から取得し、これらの平均値を算出して合成画像の画素値として出力する。
【００７４】
ステップ９１０において、画像合成部８０５は、入力撮像データのすべての画素に対して、上述の処理が完了したかどうかを判定する。未処理の画素がなければ、ステップ９１２に進む。一方、未処理の画素があればステップ９１１に進む。
【００７５】
ステップ９１１において、画素値算出部８０３は、入力撮像データ上の注目画素位置を更新する。そして更新後の注目画素位置について、ステップ９０３以下の処理を繰り返す。
【００７６】
ステップ９１２において、画像合成部６０４は、画素値算出部８０３から供給される各画素の値をメモリ部８０６に格納する。
【００７７】
ステップ９１３において、画像拡大部８０７は、画像合成パラメータのひとつとして供給される仮想ズーム倍率の値に応じて、合成画像を拡大或いは縮小し、拡大或いは縮小された画像をトリミングする。
【００７８】
図１３は、合成画像の拡大・縮小処理とその後のトリミングを説明する図である。図１３の（ａ）は、仮想のズーム倍率が１．０を越える場合について説明する図である。この場合、合成画像１３０１が所与のズーム倍率に応じて拡大され、拡大画像１３０２が生成される。拡大処理には、線形補間、キュービック補間などの補間処理が用いられる。その後、拡大画像１３０２の中央付近が、合成画像１３０１と同じ画像サイズになるようにトリミングされ、トリミング画像１３０３が生成される。図１３の（ｂ）は、仮想のズーム倍率が１．０未満の場合を説明する図である。合成画像１３０１が所与のズーム倍率に応じて縮小され、縮小画像１３０４が生成される。その後、縮小画像１３０４の周辺部に対し、合成画像１３０１と同じ画像サイズになるように適当な画素値（例えば、画素値０）が与えられ、トリミング画像１３０５が生成される。
【００７９】
以上の処理により、ユーザが指定した画像合成パラメータに応じた合成画像データが出力される。
【００８０】
なお、図9で示したフローチャートでは、画像の拡大／縮小及びトリミングを最後に行っていたが、これを他の処理に先立って行ってもよい。すなわち、画像合成処理の最初の段階でステップ９１３に相当する処理を入力撮像データに対して行い、トリミング後の撮像画像に基づいて、ステップ９０２以下の処理を行うようにしてもよい。
【００８１】
また、本実施例では、撮像部１００の構成の一例として、メインレンズ５０２とセンサ５０４との間にマイクロレンズアレイ５０５を配置する構成について説明したが、その他の構成から成る撮像部を使用しても構わない。
【００８２】
図１４は、撮像部１００の構成の別の一例を示す図である。図１４において撮像部１００は、複数の個眼カメラ１４０１により構成される。個眼カメラ１４０１は、センサ１４０２とレンズ１４０３とで構成される。１４０４は光軸である。物点１４０５からの光は、個眼カメラ１４０１内のセンサ１４０２により記録される。例えば、センサ１４０２上の画素１４０６は、光線１４０７の強度を記録している。物体側に仮想センサ１４０８、１４０９を置いた場合を考え、光線群を仮想センサ１４０８、１４０９の方向へ延長し、仮想センサ１４０８、１４０９において光線強度を平均するものとする。すると、仮想センサ１４０８において計算される画像は、物点１４０５にピントがあっていないぼけた画像となる。一方、仮想センサ１４０９において計算される画像は、物点１４０５にピントが合った画像となる。このように、仮想センサの位置を変更することにより、ピント位置を調整した画像を撮像後に、計算によって取得することができる。
【００８３】
ここで、仮想絞りの開口の制御について説明する。光線群を仮想センサ上で合成する際に、中心付近の個眼カメラ１４０１から供給される撮像データのみを使用して画像合成すると、開口絞りを絞った状態でのリフォーカス画像を生成することが可能である。一方、個眼カメラから供給される全ての撮像データを使用して画像合成すると、開口絞りを開いた状態でのリフォーカス画像を生成することが可能である。
【００８４】
図１４のように、複数の個眼カメラ１４０１で構成される撮像部のフォーカス位置と絞り値を設定するための手段は、複数の個眼カメラ１４０１を覆うようなリング状の操作部でも、電子ダイヤルによる操作部でも差支えない。撮像時に使用する操作部と、撮像後の画像合成時に使用する操作部が同一であれば、本実施例１は適用可能である。
【００８５】
さらに、画像合成処理は上述の方法に限定されない。撮像データに対し、ピント位置、被写界深度、ズーム倍率を、後から画像処理により調整するものであればよい。
【００８６】
例えば、ピント位置を画像処理によって変更する方法としては、ピントの合った被写体位置からの相対的な距離に応じて、撮像データにフィルタ処理を施す方法が知られている。この場合、最初に被写界深度の深い撮像データとシーンの距離マップを取得する。距離マップは、撮像装置とは別に距離センサを設けて取得したり、撮像装置の撮像データを解析して取得する。次に、フォーカスを合わせたい被写体に対してはフィルタ処理を行わずオリジナルの撮像データを用い、フォーカスを合わせたい被写体以外の領域については該被写体からの相対的な距離を距離マップから求める。そして、フォーカスを合わせたい被写体からの相対距離が近い領域については、ボケ量が小さくなるフィルタ処理を実施（例えば、フィルタサイズを相対的に小さく設定）する。一方、フォーカスを合わせたい被写体からの相対距離が遠い領域については、ボケ量が大きくなるフィルタ処理を実施（例えば、フィルタサイズを相対的に大きく設定）する。このような方法で、ピント位置を変更してもよい。
【００８７】
被写界深度の度合いの調整も、上記と類似の手法で画像処理によって調整可能である。すなわち、撮像データに対するフィルタリング処理において、フィルタサイズをより大きく設定することでボケ量が増大し、被写界深度の狭い画像データを生成することができる。反対に、被写界深度の深い画像データを生成するためには、フィルタサイズを小さくしてやればよい。
【００８８】
以上のとおり本実施例に係る発明によれば、撮像パラメータの設定に使用する操作部を介して、画像合成パラメータの設定も行うため、ユーザは撮像時と同じ感覚で、仮想ピント位置等の画像合成パラメータの設定を行うことができる。
【００８９】
［実施例２］
実施例１では、撮像装置に具備された操作部を介して与えられる画像合成パラメータに応じて、ピント位置等の異なる合成画像を生成する態様について説明した。次に、予め様々な内容の画像合成パラメータに対応する合成画像を自動で生成しておき、撮像装置に具備された操作部を介して与えられる選択条件（仮想ピント位置等）に合った画像を選択して表示部に表示する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【００９０】
＜画像処理部の構成図＞
図１５は、本実施例に係る画像処理部１１２の内部構成を示したブロック図である。実施例１に係る図６で示した画像処理部１１２と比較すると、画像合成パラメータ生成部１５０１、メモリ部１５０２、画像選択部１５０３、パラメータ取得部１５０４が追加されている。
【００９１】
画像合成パラメータ生成部１５０１は、画像合成部６０４で使用する仮想ピント位置、仮想絞り値、仮想ズーム倍率といった画像合成パラメータを生成する。
【００９２】
メモリ部１５０２は、画像合成部６０４で生成された合成画像を格納するための一時記憶領域である。
【００９３】
画像選択部１４０３は、選択条件取得部１４０４から供給される、画像合成パラメータに対応した選択条件に応じて、メモリ部１５０２に格納された複数の合成画像から１又は複数の合成画像を選択する。
【００９４】
その他の処理部については、図６と同様であるため説明を省略する。
【００９５】
図１６は、実施例２に係る画像処理部１１２における画像処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。
【００９６】
ステップ１６０１において、撮像データ取得部６０１は、撮像部１００が取得した撮像データを取得する。
【００９７】
ステップ１６０２において、光学パラメータ取得部６０３は、前述の光学パラメータを取得する。
【００９８】
ステップ１６０３において、画像合成パラメータ生成部１５０１は、画像合成に使用する仮想ピント位置、仮想絞り値（Ｆナンバー）、仮想ズーム倍率といったパラメータについて、それぞれの可変範囲内で複数の値を生成する。以下に具体例を示す。まず、仮想ピント位置の場合は、例えばメインレンズを通過する光線が一点に交わるピント位置の前後１００μｍについて、５μｍ刻みで仮想センサの位置が設定されるような仮想ピント位置を生成する。つまり、現在のピント位置に対して、−１００μｍ，−９５μｍ，…，９５μｍ，１００μｍの４１通りの仮想ピント位置を生成するといった具合である。次に、仮想絞り値の場合は、例えばメインレンズの開口絞りを解放にした状態から1段階ずつ段階的に絞ったＦナンバーを生成する。開口絞りを解放にした状態をＦ２．８とし、Ｆ２．８，Ｆ４，Ｆ５．６，Ｆ８，Ｆ１１，Ｆ１６，Ｆ２２の７通りの絞り値を生成するといった具合である。また、仮想ズーム倍率の場合は、例えば０．５倍から２倍までを０．１刻みにて２１通りのズーム倍率を生成するといった具合である。なお、生成する各パラメータの上限値及び下限値については、予め設定しておいたものを読み出して参照してもよいし、本ステップの開始段階で操作部を介してユーザが入力するようにしてもよい。
【００９９】
図１７は、画像合成パラメータ生成部１５０１によって生成された画像合成パラメータをまとめたテーブルの一例である。４１通りの仮想ピント位置、７通りの仮想絞り値、２１通りの仮想ズーム倍率が含まれており、全体で６０２７（＝４１×７×２１）通りの組合せからなる画像合成パラメータとなっている。
【０１００】
図１６のフローチャートの説明に戻る。
【０１０１】
ステップ１６０４において、画像合成部６０４は、画像合成パラメータ生成部１５０１から供給される画像合成パラメータと、光学パラメータ取得部６０３から供給される光学パラメータとを使用して画像合成処理を実施する。図１７で示した画像合成パラメータの場合、６０２７通りの合成画像が生成されることになる。画像合成処理の内容は実施例１と同様であるため説明を省略する。
【０１０２】
ステップ１６０５において、画像合成部６０４で生成された合成画像が、メモリ部１５０２に格納される。この時、どのような画像合成パラメータの下で生成された合成画像であるのかが識別可能なように、使用された画像合成パラメータと合成画像とを対応付けて、ＲＯＭ１０３等に保持しておく。
【０１０３】
ステップ１６０６において、画像処理部１１２は、ステップ１６０３で生成した全ての画像合成パラメータの組合せに対して合成画像が生成されたか否かを判定する。未処理の画像合成パラメータがあると判定された場合には、ステップ１６０７に進む。一方、全ての画像合成パラメータに対して合成画像が生成されたと判定された場合は、ステップ１６０８に進む。
【０１０４】
ステップ１６０７において、画像合成パラメータ生成部１５０１は、画像合成パラメータを更新する。そして、すべての画像合成パラメータについて処理が完了するまで、ステップ１６０４〜ステップ１６０６の処理を繰り返し行う。
【０１０５】
ステップ１６０８において、選択条件取得部１５０４は、操作部１０５を介して指定される選択条件を取得する。実施例１における画像合成パラメータと同様、ここでの選択条件は、フォーカス調整リング３１４、絞り調整リング３１５、ズーム調整リング３１３を介して、ユーザによって設定されることになる。
【０１０６】
ステップ１６０９において、画像選択部１５０３は、選択条件取得部１５０４から供給される選択条件を参照し、メモリ部１５０２に格納された合成画像データから、当該選択条件に合う好適な合成画像を選択する。この場合において、選択条件と完全に一致する合成画像がメモリ部１５０２に格納されていない場合には、格納されている合成画像のうち、選択条件に最も近い合成画像を選択する等すればよい。選択された合成画像は、表示部１０６に表示される。図１８は、選択条件に合った合成画像の表示態様の一例を示す図である。この例では、選択条件に最も合う合成画像が液晶モニタ３０８の中央に、その次に選択条件に合っている合成画像の一部が液晶モニタ３０８の両サイドに表示されており、操作部を介した選択条件の変更に応じて合成画像がスクロール表示されるようになっている。
【０１０７】
ステップ１６１０において、画像処理部１１２は、選択条件の変更指示（ユーザによる操作部１０５の操作）の有無を判定する。選択条件の変更指示があったと判定された場合には、ステップ１６０８へ戻る。そして、変更後の選択条件に従った合成画像の選択が行なわれる（ステップ１６０９）。一方、選択条件の変更指示が無いと判定された場合は、本処理を終了する。
【０１０８】
以上説明したように、本実施例に係る発明によれば、所定の範囲で生成された画像合成パラメータに対応する複数の合成画像を予め生成してメモリに格納し、その中からユーザが指定した選択条件に合った合成画像が選択される。これにより、より高速に所望の合成画像を表示させることが可能となる。
【０１０９】
［実施例３］
実施例１及び実施例２では、仮想センサ面がメインレンズの光軸と直交する平面であることを前提として画像合成処理を実施する態様であった。次に、撮像装置の姿勢に応じて仮想センサ面を変化させ、当該変化した仮想センサ面における合成画像を生成し表示する態様について、実施例３として説明する。なお、実施例１及び２と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【０１１０】
＜画像処理部の構成図＞
図１９は、本実施例に係る画像処理部１１２の内部構成を示したブロック図である。実施例１に係る図６で示した画像処理部１１２と比較すると、画像合成パラメータ取得部６０２に対し、姿勢検出部１１３からの入力が追加されている。すなわち、本実施例における画像合成パメータ取得部６０２は、仮想ピント位置、仮想絞り値、仮想ズーム倍率の他に、姿勢検出部１１３から撮像装置（或いは撮像部１００）の姿勢に関する情報（姿勢情報）を画像合成パラメータとして取得する。そして、画像合成部６０４では、撮像装置の姿勢も加味した合成画像を生成する。
【０１１１】
本実施例に係る画像処理部１１２における画像処理（図７のフローチャート参照）は、画像合成処理の中身を除いて実施例１と異なるところがない。すなわち、撮像装置の姿勢情報は、画像合成パラメータの1つとして入力され（ステップ７０３）、画像合成処理（ステップ７０４）を経て合成画像データが出力される（ステップ７０５）。そして、撮像装置の姿勢に変化があるかどうかが“画像合成パラメータの変更の指示の有無”の1つとして判定され（ステップ７０６）、姿勢に変化があればステップ７０３に戻り、変化後の姿勢に従った画像合成処理（ステップ７０４）が繰り返されることになる。以下では、本実施例に特有の画像合成処理の中身について説明することとする。
【０１１２】
＜画像合成処理＞
本実施例における画像合成部６０４の内部構成は、実施例１に係る図８で示した画像合成部６０４の内部構成と同じである。違いは、画素位置算出部８０１が、光学パラメータだけでなく姿勢情報も考慮した画素位置を算出する点にある。以下、詳しく説明する。
【０１１３】
図２０の（ａ）及び（ｂ）は、撮像装置の姿勢変化に応じて、仮想センサの傾き（メインレンズの光軸に対する傾き）が変化する様子を示している。ここで、図５と同様、物点２００２から放たれた光はメインレンズ２００３により集光された後、結像する前にマイクロレンズアレイ２００４を通過して、センサ２００５により記録される。そして、物点２００２から得られる光線群を延長し、仮想センサＣ（２００６）の位置における画像を計算しており、物点２００２からの光は広がり、ぼけた画像が得られる。図２０の（ａ）は画像合成処理の開始時における状態を示しており、仮想センサＣ（２００６）の傾きは、光軸２００７に対し直交する角度（９０度）であることが分かる。同図において、撮像部２００１の光軸２００７はグローバル座標系のＺ軸と一致している。図２０の（ｂ）は、一定時間の経過後、撮像部２００１がＹ軸回りに角度＋θｙだけ回転した状態を示している（反時計まわりの回転をプラス方向の回転と設定）。画像処理の間、Ｚ軸方向と直交する方向において処理開始時と同じ姿勢を保つように、姿勢検出部１１３から供給される姿勢情報に基づき、仮想センサＣ（２００６）の傾きが角度−θｙだけ回転した仮想センサＤ（２００８）の位置となるよう制御される。
【０１１４】
本実施例に係る画像合成部６０４における画像合成処理の流れ自体は実施例１に係る図９のフローチャートと同じである。以下では、図９のフローチャートに従って、本実施例における画像合成処理について説明する。なお、実施例１と同様、撮像データ取得部６０１から供給されるデジタル値の撮像データ（入力撮像データ）を１次元として説明する。
【０１１５】
ステップ９０１において、画素位置算出部８０１は、画像合成に必要となる画像合成パラメータ、光学パラメータおよびカメラ姿勢情報を、バス（不図示）から取得する。画像合成パラメータと光学パラメータについては、実施例１と同様である。カメラ姿勢情報は、撮像装置のカメラ姿勢に関する情報である。より具体的には、姿勢検出部１１３から供給される撮像装置のＸＹＺの各軸方向に対する回転量がカメラ姿勢情報である。ここでは、説明を簡単にするため、Ｙ軸方向に対する撮像装置の回転量θyのみを、カメラ姿勢情報として説明する。
【０１１６】
ステップ９０２及びステップ９０３は実施例１と同様である。
【０１１７】
ステップ９０４において、画像合成部６０４の画素位置算出部８０１は、入力撮像データの各画素の合成画像における画素位置を算出する。
【０１１８】
図２１は、本実施例におけるステップ９０４での画素位置の算出方法を説明する図である。図１１の実施例１の算出方法と比べると、仮想センサ２１０５が、−θｙだけ回転した角度に設定されているのが分かる。ここで、センサ２１０１上のセンサ画素領域２１０３に対応する画素が画像合成部６０４に入力されたと仮定する。この場合、画像合成部６０４は、センサ画素領域２１０３に対応する仮想センサ２１０５上の投影領域２１０６を計算することになる。なお、図２１において、Ｏｘ（ｍ，ｎ）は、マイクロレンズ２１０４の光学中心の位置である。（ｍ，ｎ）はマイクロレンズのインデックスを表す番号である。ｘは入力画素の位置（この図では、センサ画素領域２１０３の中心位置）を表す。Ｘ３及びＸ４は、後述する計算によって求められるセンサ画素領域２１０６の上端部と下端部に対応する仮想センサ２１０５上の位置である。この算出されたＸ３とＸ４との間の領域がセンサ画素領域２１０３の仮想センサ２１０５上における投影領域２１０６となる。図２１に示す通り、センサ画素領域２１０３を、マイクロレンズ２１０４の光学中心を基準として仮想センサ２１０５に投影した投影領域２１０６が、入力された撮像データの画素（図２１では、センサ画素領域２１０６）に対応する合成画像上での位置となる。図１１において、σrealはセンサ２１０１と各マイクロレンズとの距離であり、σvirtual（ｘ）は画素位置ｘにおけるマイクロレンズ２１０４と仮想センサ２１０５との距離である。この画素位置ｘにおけるマイクロレンズ２１０４と仮想センサ２１０５間の距離σvirtual（ｘ）は、以下の式（３）に従って、算出される。
σvirtual（ｘ）＝σvirtual・cosθy −（ｘ−ｓ／２）sinθy
・・・式（３）
ここで、σvirtualは、フォーカス調整リング３１４を介してユーザによって設定される、マイクロレンズ２１０４と、マクロレンズ２１０４と並行する向きに位置する仮想センサ２１０７との距離である。sはセンサ画素領域２１０３のサイズである。
【０１１９】
ステップ９０４における合成画像における画素位置の算出処理では、以下の式（４）から式（９）に従って、投影領域２１０６を規定するＸ３及びＸ４の位置を算出する。
Ｘ３＝ｘ３／（１−ｋ１・tanθy）
・・・式（４）
Ｘ４＝ｘ４／（１−ｋ２・tanθy）
・・・式（５）
ｋ１＝（ｘ３−ｘ）／（σvirtual−σreal）
・・・式（６）
ｋ２＝（ｘ４−ｘ）／（σvirtual−σreal）
・・・式（７）
ｘ３＝Ｏｘ（ｍ，ｎ）＋（σvirtual（ｘ）／σreal）（ｘ＋ｓ／２−Ｏｘ（ｍ，ｎ））
・・・式（８）
ｘ４＝Ｏｘ（ｍ，ｎ）＋（σvirtual（ｘ）／σreal）（ｘ−ｓ／２−Ｏｘ（ｍ，ｎ））
・・・式（９）
上記式（４）から式（９）において、sはセンサ画素領域２１０３のサイズである。算出されたＸ３及びＸ４の情報は画素値算出部８０３へ出力される。このようにして、入力撮像データの各画素の画素位置と姿勢情報に基づいた、任意のリフォーカス位置に応じた合成画像における画素位置とが対応付けられる。
【０１２０】
以降のステップ９０５〜ステップ９１３は、実施例1と同様であるため説明を省略する。
【０１２１】
図２２は、撮像装置の姿勢変化に応じて合成画像が変化する様子を説明する図である。当初、撮像装置の姿勢は、図２０の（ａ）で示すような状態（カメラ姿勢Ａ）であったとする。このときの仮想ピント位置におけるピント面が仮想ピント面Ａである。この場合、表示部１０６には、被写体Ｘにピントが合った合成画像２２０１が表示されることになる。その後、撮像装置の姿勢が図２０の（ｂ）で示すような状態（カメラ姿勢Ｂ）のように変化したとする。このときの仮想ピント位置におけるピント面は仮想ピント面Ｂのようになる。この場合、表示部１０６には、被写体Ｘ、Ｙ、Ｚのすべてにピントが合った合成画像２２０２が表示されることになる。
【０１２２】
このように本実施例では、撮像装置の姿勢に仮想ピント面の傾きを連動させた画像合成処理が可能となる。本来の撮像であれば、撮像装置の姿勢変化に応じて変化するであろうグローバル座標系でのピント面の変化を、仮想ピント面の傾きを撮像装置の姿勢変化に応じて変更させることで再現し、画像合成を行うことができる。
【０１２３】
なお、実施例２のように、想定される撮像装置の姿勢に対して予め複数の合成画像を用意し、撮像装置の姿勢に応じた合成画像を選択、表示するようにしてもよい。
【０１２４】
以上説明したように、本実施例に係る発明によれば、撮像装置の姿勢に応じて、仮想ピント面の傾きを変更させることにより、撮像装置の姿勢に連動したより自然な合成画像の表示が可能となる。
【０１２５】
［実施例４］
実施例１〜３では、複数視点の画像を一度に取得可能な多眼方式の撮像装置で取得される撮像データを用いる態様であった。次に単眼方式の撮像装置によって得られた撮像データを用い、ピント位置等を変化させた画像を、画像合成処理を行うことなく表示する態様について、実施例４として説明する。なお、実施例１〜３と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【０１２６】
本実施例に係る単眼方式の撮像装置の撮像部の構成は、図２の中のマイクロレンズアレイ２０６を省略した構成である。撮像装置のその他の主要な構成は実施例１等で述べた多眼方式の撮像装置と異なるところがないので、その説明は省略する。
【０１２７】
本実施例では、撮像パラメータを少しずつ変更しながら複数枚の画像を取得するブラケット撮像により、複数の撮像データを取得する。具体的には、フォーカス調整リング３１４、絞り調整リング３１５、ズーム調整リング３１３を段階的に変化させた撮像データを取得する。ブラケット撮像による撮像データには、撮像時のパラメータが撮像画像と一体となって保持されるものとする。つまり、実施例１〜３では、複数視点の画像を含む１の撮像データから、ピント位置等を変更した合成画像を演算によって生成していたが、本実施例では、ブラケット撮像によって得られた複数の撮像データから、所望の撮像画像を選択し表示する。
【０１２８】
図２３は、ピント位置を段階的に変更したブラケット撮像（フォーカスブラケット撮像）の説明図である。フォーカスブラケット撮像では、撮像装置２３００に具備されるフォーカス調整を行う操作部を使用しながらピント位置を段階的に変化させて、複数回の撮像を行う。図２３において、撮像装置２３００からそれぞれ異なる距離に３つの被写体２３０１〜２３０３が存在している。被写体２３０１は撮像装置２３００から最も近い位置、被写体２３０２は中程度の位置、被写体２３０３は最も離れた位置にそれぞれ位置している。本実施例では、近傍の被写体から遠方の被写体までが含まれるようにピント位置を連続的に変化させ、各ピント位置での撮像データを取得する。図２４は、図２３の状況下でフォーカスブラケット撮像によって得られた撮像画像の一例を示している。撮像画像２４０１は、被写体２３０１にピントが合っている撮像画像である。撮像画像２４０２は、被写体２３０２にピントが合っている撮像画像である。撮像画像２４０３は、被写体２３０３にピントが合っている撮像画像である。なお、実際のフォーカスブラケット撮像では、主要な被写体２３０１〜２３０３が存在しない部分（例えば、被写体２３０１と被写体２３０２の間）にピントを合わせた撮像も行われる。そして、得られた撮像データにおいては、撮像時のピント位置の情報が撮像画像に関連付けられて記録される。
【０１２９】
このようなブラケット撮像が、絞り値やズーム倍率といった他の撮像パラメータについても同様に行われる。
【０１３０】
＜画像処理部の構成図＞
図２５は、本実施例に係る画像処理部１１２の内部構成を示したブロック図である。実施例２に係る画像処理部１１２（図１５を参照）と比較すると、画像合成パラメータ生成部１５０１、画像合成部６０４、光学パラメータ取得部６０３を備えていないことが分かる。他の共通している各部（撮像データ取得部６０１、メモリ部１５０２、画像選択部１５０３、選択条件取得部１５０４は、実施例２に係る画像処理部１１２におけるそれらと同様であるため説明を省略する。
【０１３１】
図２６は、本実施例に係る画像処理部１１２における画像処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。
【０１３２】
ステップ２６０１において、撮像データ取得部６０１は、前述のブラケット撮像によって得られた複数の撮像データを取得する。ここで取得される個々の撮像データには、撮像時のピント位置、絞り値、ズーム倍率等の情報が、各撮像画像に付帯されている。
【０１３３】
ステップ２６０２において、取得した撮像データがメモリ部１５０２に格納される。
【０１３４】
ステップ２５０３において、選択条件取得部１５０４は、操作部１０５から供給される仮想ピント位置、仮想絞り値、仮想ズーム倍率といった選択条件を取得する。これらの選択条件は、実施例２と同様、フォーカス調整リング３１４、絞り調整リング３１５、ズーム調整リング３１３を介して、ユーザによって設定される。
【０１３５】
ステップ２６０４において、画像選択部１５０３は、選択条件取得部１５０４から供給される選択条件を参照し、メモリ部１５０２に格納された複数の撮像データから、当該選択条件に合った好適な撮像画像を選択する。選択された撮像画像のデータは表示部１０６に送られ、表示部１０６で表示される。
【０１３６】
ステップ２６０５において、画像処理部１１２は、選択条件についての新たな入力（変更指示）の有無を判定する。選択条件の変更指示があったと判定された場合には、ステップ２６０３に戻り、新たに入力された選択条件に従って、ステップ２６０３及びステップ２６０４の処理を繰り返し行う。一方、選択条件の変更指示がないと判定された場合は、本処理を終了する。
【０１３７】
以上説明したように、本実施例に係る発明によれば、ブラケット撮像で得られた複数の撮像データを用い、ピント位置等を変化させた画像を、画像合成処理を行うことなく表示するが可能となる。
【０１３８】
［実施例５］
実施例１〜４では、撮像データを取得する撮像部、画像合成処理を行う画像処理部、合成画像を表示する表示部がすべて一体となった撮像装置の存在を前提としていた。次に、画像処理部、表示部、撮像部が、一体ではない態様について、実施例５として説明する。
【０１３９】
なお、画像処理部における画像合成処理自体は、実施例１等と異なるところがないため説明を省略する。また、画像合成に必要となるパラメータ（仮想ピント位置、仮想絞り値、仮想ズーム倍率など）が、撮像時に使用する操作部（フォーカス調整リング、絞り調整リング、ズーム調整リング等）を介してユーザによって設定される点も、実施例1等と同様である。
【０１４０】
図２７は、画像処理部及び／又は表示部が、撮像部とは別個に存在する３種類の態様を説明する図である。
【０１４１】
図２７の（ａ）は、撮像部と画像処理部とが一体で、表示部としてのモニタが別途存在する態様である。撮像装置２７０１で撮像された撮像データは、撮像装置２７０１の内部に具備される（不図示）画像処理部にて処理されて合成画像が生成され、生成された合成画像データは表示部としてのモニタ２７０２に送られ、表示される。
【０１４２】
図２７の（ｂ）は、撮像部、画像処理部、表示部が、それぞれ別個に存在する態様である。撮像装置２７０３で撮像された撮像データは、画像処理部としてのＰＣ２７０４に転送され、ＰＣ２７０４にて画像合成処理が実施される。そして、生成された合成画像データは表示部としてのモニタ２７０５に送られ、表示される。なお、実施例４のように、ブラケット撮像によって撮像データを取得する場合には、画像処理部としてのＰＣ２７０４は画像合成処理を実施せず、撮像データの保持及び画像の選択のみを行うようにすればよい。
【０１４３】
図２７の（ｃ）は、撮像部と表示部とが一体で、画像処理部としてのＰＣが別途存在する態様である。撮像装置２７０６で撮像された撮像データは、画像処理部としてのＰＣ２７０８に転送され、ＰＣ２７０８にて画像合成処理が実施される。そして、生成された合成画像データは表示部としての液晶モニタ２７０７を有する撮像装置２７０６に送られ、表示される。
【０１４４】
なお、図２７の（ａ）〜（ｃ）において、撮像装置と表示部との間、撮像装置と画像処理部との間、画像処理部と表示部との間のデータ送信は、例えばケーブル等で両者を結線した有線接続によって実現される。もちろん、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線接続を利用して実現しても構わない。
【０１４５】
また、図２７の（ｂ）及び（ｃ）において、画像合成処理の対象となる撮像データを取得する撮像装置と、画像合成パラメータを入力する撮像装置とが同一である必要はない。画像合成パラメータの入力に使用する撮像装置とは異なる撮像装置で撮像した撮像データに対して、画像合成処理を実施しても差し支えない。この場合、画像処理部としてのＰＣは、そのメモリ部に、撮像に用いる撮像装置の撮像パラメータを予め格納しておくなどしておけばよい。
【０１４６】
［その他の実施形態］
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【図１】
2014039125.tif 000003
【図２】
2014039125.tif 000004
【図３】
2014039125.tif 000005
【図４】
2014039125.tif 000006
【図５】
2014039125.tif 000007
【図６】
2014039125.tif 000008
【図７】
2014039125.tif 000009
【図８】
2014039125.tif 000010
【図９】
2014039125.tif 000011
【図１０】
2014039125.tif 000012
【図１１】
2014039125.tif 000013
【図１２】
2014039125.tif 000014
【図１４】
2014039125.tif 000015
【図１５】
2014039125.tif 000016
【図１６】
2014039125.tif 000017
【図１７】
2014039125.tif 000018
【図１８】
2014039125.tif 000019
【図１９】
2014039125.tif 000020
【図２０】
2014039125.tif 000021
【図２１】
2014039125.tif 000022
【図２３】
2014039125.tif 000023
【図２５】
2014039125.tif 000024
【図２６】
2014039125.tif 000025
【図２７】
2014039125.tif 000026
【図１３】
2014039125.tif 000027
【図２２】
2014039125.tif 000028
【図２４】
2014039125.tif 000029