(57)【要約】【課題】リフォーカス可能範囲を有効に利用できる画像処理装置を提供する。【解決手段】リフォーカス処理を行う画像処理装置であって、第１のピント位置を特定する特定手段（１１１ｂ）と、前記第１のピント位置をリフォーカス可能範囲に含むリフォーカス範囲設定情報を取得する取得手段（１０５）と、前記第１のピント位置に対するリフォーカス可能範囲が前記リフォーカス範囲設定情報に基づくリフォーカス可能範囲となるように第２のピント位置を求める算出手段（１０５）と、を有することを特徴とする。【選択図】図１
2015204587.tif 000002
【特許請求の範囲】
【請求項１】
リフォーカス処理を行う画像処理装置であって、
第１のピント位置を特定する特定手段と、
前記第１のピント位置をリフォーカス可能範囲に含むリフォーカス範囲設定情報を取得する取得手段と、
前記第１のピント位置に対するリフォーカス可能範囲が前記リフォーカス範囲設定情報に基づくリフォーカス可能範囲となるように第２のピント位置を求める算出手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第１のピント位置に対するリフォーカス可能範囲を求める第２算出手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写体空間の距離情報を取得する第２取得手段を有し、
前記第２算出手段は、前記距離情報を用いて前記リフォーカス可能範囲を求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
撮像部から複数の視差画像データを取得する第３取得手段を有し、
前記第２取得手段は、前記視差画像データの視差情報を用いて前記距離情報を取得することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記リフォーカス可能範囲は、撮像部の画像取得条件に応じて取得されることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像取得条件は、前記撮像部から取得される視差画像データの画角領域に応じて取得されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
所定のピント位置に対するリフォーカス可能範囲の情報を記憶する記憶手段を有し、
前記算出手段は、前記記憶手段から前記第１のピント位置に対するリフォーカス可能範囲を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記算出手段は、フォーカス機構を動かしながらリフォーカス可能範囲を算出し、前記第２のピント位置を求めることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
所定のピント位置に対するリフォーカス可能範囲の情報を記憶する記憶手段を有し、
前記算出手段は、前記記憶手段を参照して前記第２のピント位置を求めることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記リフォーカス範囲設定情報は、前記第１のピント位置に対するリフォーカス可能範囲の割合であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記リフォーカス可能範囲の割合とは、前記第１のピント位置を基準とした前側のリフォーカス可能範囲と後ろ側のリフォーカス可能範囲の割合であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第２のピント位置は、前記第１のピント位置を基準として、前側のリフォーカス可能範囲および後ろ側のリフォーカス可能範囲のうちリフォーカス可能範囲が広がる方向にあることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
複数の視差画像データを取得可能な撮像部と、
前記撮像部から得られた視差画像データを基にリフォーカス処理を行う請求項１乃至１２のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項１４】
前記撮像部は、フォーカス機構を有し、
前記フォーカス機構を駆動して前記第２のピント位置に合焦させることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記撮像装置は表示手段を有し、前記第１のピント位置を特定した後から撮影実行までの間は前記第１のピント位置にピントが合った画像を前記表示手段に表示することを特徴とする請求項１３または１４に記載の撮像装置。
【請求項１６】
前記撮像装置は表示手段を有し、前記第１のピント位置を特定した撮影により取得した画像を再生するときは、前記第１のピント位置にピントが合った画像を前記表示手段に表示することを特徴とする請求項１３乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
リフォーカス処理を行う画像処理方法であって、
第１のピント位置を特定する特定ステップと、
前記第１のピント位置をリフォーカス可能範囲に含むリフォーカス範囲設定情報を取得する取得ステップと、
前記第１のピント位置に対するリフォーカス可能範囲が前記リフォーカス範囲設定情報に基づくリフォーカス可能範囲となるように第２のピント位置を求める算出ステップと、を有することを特徴とする画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１９】
コンピュータに、請求項１７に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リフォーカス処理を行う画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体に関する。
【背景技術】
【０００２】
非特許文献１、２、３には、各々構成は異なるが、「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することで被写体空間の３次元的な情報を得ることができる。前述の撮像装置では、ライトフィールドの取得と撮影後の画像処理によって、リフォーカスと呼ばれる画像のピント位置変更や、撮影視点の変更、被写界深度の調節等が可能となる。
【０００３】
また、リフォーカス機能をオートフォーカスの補助として応用した例が特許文献１で開示されている。また、特許文献２には複数の被写体を被写界深度内に収めるべく、絞りで決定される被写界深度に関連させてピント位置をずらして撮影する技術が開示されている。特許文献３には像面の被写体分布を計算して、多くの被写体についてリフォーカス可能にした技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１０９３１０号公報
【特許文献２】特開昭５９−１４６０２９号公報
【特許文献３】特許第４７６６１３３号
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ  Ｎｇ，ｅｔ  ａｌ．，“Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ”，２００５  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＣＴＳＲ
【非特許文献２】Ｔｏｄｏｒ  Ｇｅｏｒｇｉｅｖ，ｅｔ  ａｌ．，“Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ  ｗｉｔｈ  Ｐｌｅｎｏｐｔｉｃ  ２．０  Ｃａｍｅｒａ”，２００９  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ
【非特許文献３】Ａａｒｏｎ  Ｉｓａｋｓｅｎ，ｅｔ  ａｌ．，“Ｄｙｎａｍｉｃａｌｌｙ  Ｒｅｐａｒａｍｅｔｅｒｉｚｅｄ  Ｌｉｇｈｔ  Ｆｉｅｌｄｓ”，ＡＣＭ  ＳＩＧＧＲＡＰＨ，ｐｐ．２９７−３０６（２０００）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したリフォーカス機能によって撮影後にピント位置の変更ができるが、ピント位置を変更できる範囲は有限（範囲は撮像装置の仕様により異なる）であり、完全に任意の位置にピント位置を変更できるわけではない。また、最初にフォーカス機構にて合焦したピント位置を基準として前側（カメラ側）方向と後ろ側（背景側）方向でリフォーカス可能な距離範囲も異なっていた。よって、撮影後にユーザーが意図した点にピント位置を変更できない場合があった。特許文献１にはリフォーカス可能な距離範囲から被写体が外れた場合にフォーカス機構により合焦位置をずらす技術が開示されているが、合焦位置を基準とした前後のリフォーカス可能範囲を有効に利用する手法については言及していない。
【０００７】
また特許文献２では複数の被写体にピントが合った写真を作成するために、撮影時には最初の合焦位置ではないピント位置にずらして撮影している。この手法では複数の被写体にピントが合った写真（１つの被写体しかない場合よりも被写界深度の深い写真）は得られるが、ユーザーが意図したピント位置にピントを合わせ、その他の部分はボケている画像を作ることができない。また、合焦位置を基準とした前後のリフォーカス可能範囲を有効に利用する手法についても言及されていない。
【０００８】
特許文献３では像面上の焦点検出位置それぞれについて像面ずれ量を算出し、像面ずれ量の分布を計算することで被写体群の領域を特定し、被写体群全体をリフォーカス可能な距離範囲に入るようにフォーカス機構の制御を行っている。しかしながら、焦点検出位置数が増加すればするほど像面分布を算出する計算コストがかかってしまう。また、像面ずれの分布から算出した被写体群が必ずしもユーザーが意図した被写体とはならないことがあるという課題があった。また、合焦位置を基準とした前後のリフォーカス可能範囲を有効に利用する手法についても言及はされていない。
【０００９】
そこで本発明は、リフォーカス可能範囲を有効に利用できる画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することを例示的目的とする。
【課題を解決するための手段】
【００１０】
本発明の一側面としての画像処理装置は、リフォーカス処理を行う画像処理装置であって、第１のピント位置を特定する特定手段と、前記第１のピント位置をリフォーカス可能範囲に含むリフォーカス範囲設定情報を取得する取得手段と、前記第１のピント位置に対するリフォーカス可能範囲が前記リフォーカス範囲設定情報に基づくリフォーカス可能範囲となるように第２のピント位置を求める算出手段と、を有することを特徴とする。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、リフォーカス可能範囲を有効に利用できる画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１乃至３における撮像装置のブロック図である。
【図２】本発明の実施例１における撮像部の概略構成図である。
【図３】本発明の実施例２における撮像部の概略構成図である。
【図４】図３の撮像部の変形例を示した概略構成図である。
【図５】本発明の実施例３における撮像部の概略構成図である。
【図６】本発明の実施例１における撮像部の断面図である。
【図７】本発明の実施例２における撮像部の断面図である。
【図８】本発明の実施例３における結像光学系の断面図である。
【図９】本発明の実施例４における結像光学系の断面図である。
【図１０】本発明の実施例２のリフォーカス画像生成に関する説明図である。
【図１１】本発明の実施例１のリフォーカス画像生成に関する説明図である。
【図１２】本発明の実施例１におけるリフォーカス制御範囲の説明図である。
【図１３】本発明の実施例２におけるリフォーカス制御範囲の説明図である。
【図１４】本発明の実施例３におけるリフォーカス制御範囲の説明図である。
【図１５】本発明の実施例３における撮像部の概略構成図である。
【図１６】本発明の実施例１乃至４における撮影時の処理フローの説明図である。
【図１７】本発明の実施例１乃至４における撮影シーンの例を示した図である。
【図１８】本発明の実施例１の撮像部における光学配置の説明図である。
【図１９】本発明の実施例４における画像処理システムのブロック図である。
【図２０】本発明の実施例４における画像処理システムの概略構成図である。
【図２１】本発明の実施例４の単視点画像取得部のブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１５】
本発明の実施形態における撮像部は、被写体空間を複数の視点から撮影した複数の視差画像、つまりライトフィールドを取得する。換言すれば、本発明の実施形態における撮像部は、被写体空間における光の２次元強度分布と光線の角度情報を取得可能である。ここで「被写体空間」とは、本発明の撮像装置で取得可能な画角内の実空間のことである。撮像部の例として、図２乃至４に示した結像光学系の像側にレンズアレイを配置した構成や、図５に示した複数の結像光学系を配列した構成などが挙げられる。また、その他にライトフィールドを取得する例として、結像光学系と撮像素子を有する撮像装置を用いて、該撮像装置の位置を変化させながら、複数回撮影を行う方法が考えられる。この時、視差画像は互いに異なる時間における被写体空間を撮像していることとなる。故に、被写体空間に移動物体が存在する場合、正しい視差情報を得ることができない。よって、撮像部は図２乃至５に示したような、同時に複数の視差画像を得られる構成が望ましい。
【００１６】
図２乃至５の構成で取得された視差画像は、画素の抽出や並び換え、合成等の処理を行うことで、リフォーカスや被写界深度制御、視点の変更等が行える。本発明では上記処理を再構成と呼び、再構成によって生成された画像を再構成画像と呼ぶ。特にリフォーカス処理の施された画像をリフォーカス画像と呼ぶこととする。リフォーカス画像は、ノイズリダクション等の処理や、被写界深度制御等の再構成処理が施されていてもよい。
【００１７】
さらに、以下の実施例の説明は、簡単のために１次元系を用いて行う場合があるが、２次元系に関しても同様の議論が成り立つ。
【実施例１】
【００１８】
本発明を適用した撮像装置の第１の実施例について説明する。図１は本発明の撮像装置における基本構成を示している。
【００１９】
撮像部１００は、図２乃至４に示される、結像光学系１０１、レンズアレイ１０２、撮像素子１０３を有しており、それらが図２のように配されている。撮像部１００の詳細については後述する。撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子である。結像光学系１０１及びレンズアレイ１０２を通過して撮像素子１０３へ入射した光線のエネルギーは、アナログの電気信号へと変換される。該アナログ信号はＡ／Ｄコンバータ１０４で、さらにデジタル信号へと変換される。該デジタル信号は、画像処理部１０５にて所定の処理を施され、表示画像を生成する。つまり、画像処理部１０５は、撮像部１００から撮像データ（複数の視差画像データ）を取得する取得手段（第３取得手段）として機能する。また、画像処理部１０５は、撮像部１００で取得された撮像データから、後述するリフォーカス処理などの画像生成処理を行う画像処理装置として機能する。画像処理部１０５の詳細については後述する。生成された表示画像は、液晶ディスプレイなどの表示部１０６に出力される。ユーザーは該表示画像を見て、どのような画像が撮影可能か確認しながら撮影を行うことができる。また、表示部１０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザー指示を入力として扱うことも可能である。表示画像の生成には、画像取得条件や、露出状態予測部１１３や記憶部１０９からの情報、距離情報取得部１０５ａで得られた距離情報等が用いられる。ここで画像取得条件とは、上記アナログ信号を取得した際の撮像部１００の構成や、絞りなどの露出状態、合焦位置、ズームレンズにおける焦点距離などである。この画像取得条件は、状態検知部１０８がシステムコントローラ１１１から直接取得してもよいし、撮像部１００に関する情報については制御部１０７から得ることもできる。本実施例において、撮像部１００の構成に関する情報は記憶部１０９に記憶されている。露出状態予測部１１３とは、測光部１１２の情報から撮影時の露出状態の予測を行う部材である。距離情報取得部１０５ａ（第２取得手段）は、入力された視差情報から被写体空間の距離情報を取得する部材である。
【００２０】
システムコントローラ１１１は表示指令部１１１ｃを有し、表示指令部１１１ｃからの信号によって、表示部１０６は表示のＯＮ／ＯＦＦ及び、表示画像の切換えを行う。例えば、撮像装置がレリーズボタンを有している場合、ユーザーが該レリーズボタンを第１の位置まで押している間、表示指令部１１１ｃは表示画像の表示信号を表示する。この時、第１の位置より深い第２の位置まで該レリーズボタンが押されると、撮影が実行される。ただし、本発明はこれに限定されず、表示指令部１１１ｃは他の手法で信号を送ってもよい。また、システムコントローラ１１１は、撮像部１００が合焦する被写体を指定する合焦被写体指定部１１１ｂ（特定手段）を有する。合焦被写体指定部１１１ｂからの信号によって、制御部１０７内にある合焦制御部１０７ａが撮像部１００のフォーカス機構（フォーカスレンズやその駆動手段）を駆動し、指定被写体に合焦を行う。撮影指令部１１１ｄによって撮影が実行される際は、測光部１１２の情報に基づいて制御部１０７が撮像部１００の露出を調節し、撮影が実行される。この時、撮像素子１０３で取得された画像は、前述と同様の経路を辿って画像処理部１０５に入力され、所定の処理を施された後、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。また同時に、状態検知部１０８から得られた撮影時の画像取得条件も記録される。さらに、画像記録媒体１１０に記録する画像は、再構成処理を施した画像でもよい。
【００２１】
画像記録媒体１１０に保存された画像を表示部１０６に表示する際は、画像処理部１０５で撮影時の画像取得条件に基づいた処理が施される。その結果、表示部１０６には所望の設定（解像度、視点、ピント位置、被写界深度など）で再構成された画像が表示される。再構成画像の解像度は、合成画像解像度指定部１１１ａで指定される。また高速化のため、所望の設定を予め記憶部１０９に記憶し、画像記録媒体１１０を介さず再構成画像を表示部１０６で表示させてもよい。
【００２２】
なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。以上の一連の制御は、システムコントローラ１１１により行われる。
【００２３】
次に、実施例１における撮像部１００の構成に関して説明する。撮像部１００は、図２に示したような配置をしている。レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。さらに、レンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３が、概ね共役関係となるように構成されている。被写体面２０１からの光線は、結像光学系１０１及びレンズアレイ１０２を介することで、該光線の被写体面２０１上における位置と角度に応じて、撮像素子１０３の異なる画素へ入射する。これにより視差画像データ（ライトフィールドデータ）が取得される。ここでレンズアレイ１０２は、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子１０３では、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。
【００２４】
実施例１における撮像部１００の断面図は、図６で示される。図６の結像光学系１０１は単焦点レンズである。フォーカス群ＩＦが光軸上を移動して合焦を行う。ＳＰは開口絞りである。レンズアレイ１０２は、本実施例では固体の単レンズによって構成されているが、複数枚からなっていてもよいし、液体レンズ、液晶レンズ、回折光学素子などを使用してもよい。また、実施例１においてレンズアレイ１０２を構成する小レンズは、両側が凸形状となっているが、片側の面が平面でもよく、非球面にしてもよい。
【００２５】
ここからはリフォーカス処理に関して説明する。リフォーカスに関しては、「Ｆｏｕｒｉｅｒ  Ｓｌｉｃｅ  Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ  Ｎｇ著、２００５  ＡＣＭ  Ｔｒａｎｓ．  Ｇｒａｐｈ．２４，７３５−７４４参照）で詳しく説明されているので、ここでは簡単に述べる。リフォーカスの基本的な原理は、図２乃至５のいずれの構成でも共通である。ここでは図２の構成を例にとって説明する。図２では、結像光学系の瞳が２次元で９つ（１次元で３つ）に分割されているため、９視点の画像が取得されていることとなる。ここで、ある分割された瞳に対応する画像を単視点画像と呼ぶこととする。９つの単視点画像は互いに視差があるため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、ずれて合成されることとなる。このずれによって異なる被写体距離に位置する被写体はボケる。この時のボケは、合成に使用した単視点画像に対応した瞳で決まり、９枚全ての画像を合成すると結像光学系１０１で撮影した画像のボケを再現することができる。単視点画像の合成で重ね合わせる被写体は任意なので、これにより結像光学系１０１で任意の被写体に合焦して撮影した画像を再現することができる。これが撮影後のピント制御、つまりリフォーカスの原理である。
【００２６】
ここで、実施例１における単視点画像の生成方法を説明しておく。図１１は、図２のレンズアレイ１０２と撮像素子１０３の関係を描いた図である。破線の円は、１つの小レンズを通過した光線が入射する画素の領域を表している。図１１は小レンズが格子配置された場合に対応しているが、小レンズの配置はこれに限定されない。例えば、六回対称性（ハニカム構造）を持った配置をしていてもよいし、規則的な配置から各小レンズを微小にずらしてもよい。図１１の斜線は、結像光学系１０１の同じ瞳領域を通過した光線が入射する画素を表している。よって、斜線の画素を抽出することで、結像光学系１０１の瞳の下部から被写体空間を見た単視点画像が生成できる。同様に、破線で表された各円に対する相対位置が同じ画素を抽出することで、他の単視点画像も生成できる。
【００２７】
次に、撮影後にピント位置変更が可能なリフォーカス可能範囲に関して説明する。リフォーカスは単視点画像を重ね合わせて行うため、各単視点画像内でボケている被写体にピントを合わせ直すことはできない。これはボケた画像を重ね合わせても、高周波成分は得られず、ボケたままだからである。つまり、リフォーカス可能範囲は結像光学系１０１の分割された瞳に依存する。瞳を小さく分割するほど、各単視点画像の被写界深度が深くなるため、リフォーカス可能範囲は広がる。ただし、単視点画像における被写界深度とリフォーカス可能範囲は必ずしも一致しない。それは単視点画像とそれらを再構成した再構成画像の解像度比によって、リフォーカス可能範囲が変化するためである。例えば、再構成画像の解像度が各視点の画像の解像度より低い場合、再構成画像における空間成分のサンプリングピッチは単視点画像に対して大きくなる。そのため、単視点画像よりも再構成画像は被写界深度が深くなり、それに伴ってそのリフォーカス可能範囲も広がる。逆に、再構成画像の解像度が単視点画像よりも大きい場合、リフォーカス可能範囲は単視点画像の被写界深度よりも小さくなる。ここまでの議論から、リフォーカス可能範囲は単視点画像の被写界深度に依存するため、撮影時の合焦位置を基準として前後でリフォーカス可能範囲が異なることがわかる（合焦位置よりも前側のリフォーカス可能範囲が、後ろ側のそれに比べて狭い）。また、再構成画像の正確なリフォーカス可能範囲を取得するためには、単視点画像を再構成する時の条件を加味する必要があることが分かる。
【００２８】
では具体的に、再構成画像のリフォーカス可能範囲を算出する。再構成画像の被写界深度に対応する焦点深度を考える。該焦点深度の許容錯乱円の大きさをε、光線の角度成分のサンプリングピッチをΔｕとする。この時、リフォーカスの係数α±は以下の式（１）のように与えられる。
【００２９】
【数１】
2015204587.tif 000003
【００３０】
式（１）を用いて表される像側（撮像素子側）でのリフォーカス可能範囲は、結像光学系１０１の像側主平面と被写体面２０１に対する結像光学系１０１の像側共役面との間隔をｓ２とすると、α±とｓ２の積で表され、α＋ｓ２〜α−ｓ２までの範囲となる。これから結像光学系１０１に対して共役な範囲が、物体側のリフォーカス可能範囲となる。図１２に示すように、リフォーカス可能範囲の中心位置は結像光学系１０１の合焦位置となる。この場合、レンズアレイ１０２の位置がリフォーカス可能範囲の中心位置となる。式（１）の関係は、図２乃至図５のいずれの構成でも成り立つ。実施例１に関して、その関係を表したものが図１２である。ここで、像側のリフォーカス可能範囲とは、結像光学系１０１を介して物体側のリフォーカス可能範囲と共役な範囲を指す。また、Δｙは光の２次元強度分布のサンプリングピッチであり、図２の構成ではレンズアレイ１０２のピッチΔＬＡに等しい。式（１）は、撮像素子１０３の画素ピッチΔが、結像光学系１０１の射出瞳距離Ｐに対して十分小さいことから、次の式（２）のように近似できる。
【００３１】
【数２】
2015204587.tif 000004
【００３２】
ここで、結像光学系１０１の射出瞳距離Ｐとは、結像光学系１０１の射出瞳面と被写体面２０１に対する結像光学系１０１の像側共役面との間隔である。また、Ｎは結像光学系１０１の瞳の１次元分割数、Ｆは結像光学系１０１のＦ値である。
【００３３】
また像側のリフォーカス可能範囲ｄｒｅｆｏｃｕｓは式（２）より、
【００３４】
【数３】
2015204587.tif 000005
【００３５】
となる。これを物体側のリフォーカス可能範囲に変換するには結像光学系１０１に対して共役な範囲を求めれば良く、これは被写界深度を求める公式を応用して得られる。
【００３６】
いま、物体側のリフォーカス可能範囲をＤｒｅｆｏｃｕｓとする。物体側のリフォーカス可能範囲のうち、被写体面２０１から撮像装置側の範囲をＤｎｅａｒ（前側リフォーカス可能範囲）とし、被写体面２０１から離れる方向の範囲をＤｆａｒ（後ろ側リフォーカス可能範囲）とする。ここでは、合焦位置（被写体面２０１）を基準として前側（カメラ側）方向のリフォーカス範囲を「前側リフォーカス可能範囲」、後ろ側（背景側）方向のリフォーカス範囲を「後ろ側リフォーカス可能範囲」と呼ぶこととする。ｓ１を被写体面２０１と結像光学系１０１の物体側主平面との距離とする。ｆを結像光学系１０１が物体距離無限遠の位置に結像している時の焦点距離とする。いずれも記号の符号は方向に寄らず正とする。このとき、
【００３７】
【数４】
2015204587.tif 000006
【００３８】
となり、ＤｆａｒとＤｎｅａｒはそれぞれ、
【００３９】
【数５】
2015204587.tif 000007
【００４０】
【数６】
2015204587.tif 000008
【００４１】
と表すことができる。
【００４２】
ではここから、本発明の特徴である所望のリフォーカス可能範囲を得る過程を、図１６に示したフローチャートを用いて示す。図１６に示すフローチャートは画像処理部１０５で実行される。
【００４３】
前述したようにリフォーカス可能範囲は有限であり、フォーカス機構で合焦した位置の前後でもリフォーカス可能範囲は異なる。またユーザー側の視点で見るとリフォーカス可能範囲が有限なのであれば、撮影シーンに応じてリフォーカス可能範囲を制御して有効に利用したいと思うことがありうる。
【００４４】
そこで本発明の撮像装置に「リフォーカス範囲設定情報」を取得・保持する手段を有するようにした。取得されたリフォーカス範囲設定情報は、記憶部１０９に保持されていてもよい。リフォーカス範囲設定情報には、ユーザーが指定した第１のピント位置を基準とした前後のリフォーカス可能範囲（の関係）についての情報が含まれている。よって、最終的に得られる撮影画像においても第１のピント位置がリフォーカス可能な範囲に含まれることになる。
【００４５】
リフォーカス範囲設定情報は、事前にユーザーが撮像装置上に登録しておいた値を用いても良いし、あらかじめ撮像装置上に組み込まれている値からユーザーが撮影時に選んでもよい。また外部のＰＣ等の機器からリフォーカス範囲設定情報を撮像装置へ転送して使用しても良い。もちろん撮像装置内に保持されているリフォーカス範囲設定情報は１つでも複数でも構わず、ユーザーがどのリフォーカス範囲設定情報を利用するか選ぶことができるようにしても良い。
【００４６】
図１６に示すフローチャートのうちステップＳ１０１が、撮影時に利用するリフォーカス範囲設定情報を画像処理部１０５（取得手段）が認識（取得）する工程である。
【００４７】
次のステップＳ１０２は、ユーザーが第１のピント位置を指定する工程である。ここでユーザーが撮影時にピントを合わせたい被写体を特定する。
【００４８】
次のステップＳ１０３ではステップＳ１０２でユーザーが特定した被写体について、実際にフォーカス機構を駆動させて合焦させる工程である。このステップの目的は、後述するステップで行う撮像装置から第１のピント位置までの距離情報の取得と、それを用いた第１のピント位置における前後のリフォーカス可能範囲を取得するための準備ステップである。そのため、フォーカスの方式に位相差ＡＦを使用するときは、必ずしもステップＳ１０３の工程は必要ではない。位相差ＡＦとは視差画像を使用してフォーカス機構を駆動する距離を求める方法であり、該距離を求めるために実際にフォーカス機構を駆動させる必要がない。フォーカス機構を駆動する距離がわかれば、撮像装置と第１のピント位置までの距離がわかる。このような場合はステップＳ１０３の工程を省略しても良い。
【００４９】
次のステップＳ１０４は、撮像装置から第１のピント位置までの距離の情報を取得する工程である。撮像装置から第１のピント位置までの距離を求める方法はフォーカスの方式によって異なる。位相差ＡＦの場合については前述したので、ここではコントラストＡＦやマニュアルフォーカスの場合を説明する。コントラストＡＦとは山登りＡＦとも呼ばれるもので、撮像装置にて取得した画像のコントラストをもとにフォーカス機構を自動的に駆動させて合焦位置を決める方式である。またマニュアルフォーカスはユーザー自身がフォーカス機構を駆動させて合焦位置を決める方式である。これらのフォーカス方式の場合に撮像装置から第１のピント位置までの距離を求めようとするとフォーカス機構の移動距離から求める方法が使用できる。
【００５０】
撮像部内に有する結像光学系の仕様により、撮像装置から第１のピント位置までの距離に対応したフォーカス機構の移動距離が決まる。これは幾何光学的に計算で求まるものなのでその都度計算しても良いし、フォーカス機構の移動距離と、撮像装置と第１のピント位置までの距離の対応テーブルをあらかじめ持っていてそのテーブルを参照しても良い。
【００５１】
この場合はステップＳ１０３の工程で実際にフォーカス機構を第１のピント位置に合焦するまで動かすことによって、ステップＳ１０４で撮像装置から第１のピント位置までの距離の情報を取得することができる。
【００５２】
このようにフォーカス方式により距離情報の取得工程は若干異なるが、距離情報を取得するための方法としてフォーカス機構を用いることには限定されない。例えば従来技術のＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）などの手法や、赤外線などを利用した測距部を用いて距離情報を取得してもよい。
【００５３】
次に、ステップＳ１０４で得られた距離情報をもとに画像処理部１０５（第２算出手段）は、ステップＳ１０５で第１のピント位置における前後のリフォーカス可能範囲を算出する。
【００５４】
前述したようにリフォーカス可能範囲は、各単視点画像と再構成画像の解像度比によって変化するが、まずは説明を簡単にするため、解像度比が１の場合を考える。像側のリフォーカス可能範囲が式（２）の範囲内に収まっていれば、リフォーカスが可能な領域を取得できていることとなる。よって、被写体面２０１に対する結像光学系１０１の像側共役面と像側のリフォーカス可能範囲の間隔ｄｒが以下の式（７）を満たせばよい。
【００５５】
なおｄｒは距離を表すものであり符号は方向に寄らず正である。
【００５６】
【数７】
2015204587.tif 000009
【００５７】
ここで図１８から、幾何学的にＮＦ＝σ／Δだと分かる。図１８は図２の構成において、各パラメータの関係を示した図であり、σはレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。図１８の破線は１つの小レンズに対応する撮像素子１０３の領域を表し、斜線の画素は光線の入射しない不感帯を表す。実施例１では不感帯が発生しないようにレンズアレイ１０２が構成されており、この場合はΔＬＡ＝ＮΔとなる。ただし、構成はこれに限らず、不感帯が存在していてもよい。焦点深度を決める許容錯乱円の大きさを、空間成分のサンプリングピッチΔｙ＝ΔＬＡで特徴付けると、式（７）は以下の式（８）のように書き換えられる。
【００５８】
【数８】
2015204587.tif 000010
【００５９】
次に、単視点画像と再構成画像の解像度比が異なる一般的な場合について考える。再構成画像と再構成に使用する単視点画像の画角は等しいから、解像度比が異なる場合、両者のΔｙが異なることとなる。許容錯乱円は一般にΔｙが小さいほど小さく、大きいほど大きくなる。よって、式（８）は単視点画像と再構成画像のΔｙの比をとって、以下の式（９）のように拡張できる。
【００６０】
【数９】
2015204587.tif 000011
【００６１】
ここで、Ｒｍｏｎｏは合成に使用する単視点画像の解像度、Ｒｓｙｎｔｈは再構成画像の解像度を表す。ＲｍｏｎｏとＲｓｙｎｔｈの比の平方根をとることで、Δｙの比となる。図１８から単視点画像の解像度Ｒｍｏｎｏは以下の式（１０）で表されることが分かる。
【００６２】
【数１０】
2015204587.tif 000012
【００６３】
ここでＲｔｏｔａｌは撮像素子１０３の有効画素数である。式（９）及び式（１０）から、像側のリフォーカス可能範囲が満たすべき以下の条件式（１１）が求まる。
【００６４】
【数１１】
2015204587.tif 000013
【００６５】
条件式（１１）の範囲に像側のリフォーカス可能範囲を定めることで、撮影後にリフォーカスが可能な領域を取得することができる。条件式（１１）は理論的に負の値をとることができない。また、条件式（１１）が０の時はピント制御ができないことを意味するので、条件式（１１）の下限を超えることはできない。条件式（１１）の上限は、再構成画像のピント位置における点像の広がりを表し、小さいほど鮮鋭なリフォーカスが行える。条件式（１１）の上限を超えると、点像の広がりが大きくなり、ピント位置にも関わらずボケてしまう。つまりリフォーカスができていないこととなる。
【００６６】
望ましくは、以下の式（１１ａ）の範囲内とすることで、より鮮鋭な再構成画像を得ることができる。
【００６７】
【数１２】
2015204587.tif 000014
【００６８】
さらに望ましくは、以下の式（１１ｂ）の範囲内とすることで、更に鮮鋭な合焦画像を得ることができる。
【００６９】
【数１３】
2015204587.tif 000015
【００７０】
実施例１における条件式（１１）の値は、表１に示した通りである。実施例１における撮像素子１０３の有効画素数はＲｔｏｔａｌ＝４６．７×１０６（ｐｉｘ）であり、レンズアレイ１０２の像側主平面と撮像素子１０３の間隔はσ＝０．０３７４（ｍｍ）である。ここでｐｉｘは画素数を表す単位である。撮像素子１０３の画素ピッチはΔ＝０．００４３（ｍｍ）、レンズアレイ１０２のピッチはΔＬＡ＝０．０１２９（ｍｍ）である。結像光学系１０１の焦点距離はｆ＝１４．０（ｍｍ）、Ｆ値はＦ＝２．９、１次元瞳分割数はＮ＝３である。再構成画像の解像度Ｒｓｙｎｔｈは、合成画像解像度指定部１１１ａによって、８．０×１０６ｐｉｘ、５．２×１０６ｐｉｘ、２．０×１０６ｐｉｘの３種類から選択することができる。それぞれの解像度に対するｄｒの値は表１に示した通りである。ここで、単視点画像１枚当たりの解像度が５．２×１０６ｐｉｘのため、８．０×１０６ｐｉｘの再構成画像を生成するためには、画素ずらし超解像などによる高解像度化が必要となる。また、再構成画像の解像度は上記の値以外をとってもよいし、種類も３種類でなくてよい。ただしその際は、条件式（７）を満たすようにｄｒが決定される。
【００７１】
ここまではリフォーカス可能範囲を算出する方法を説明したが、撮影時に随時算出していると処理が多くなってしまう。これを防ぐために、予め画像取得条件に対するリフォーカス可能範囲のテーブルを記憶部１０９に記憶しておき、リフォーカス可能範囲を算出する代わりに対応するデータを読込むようにしてもよい。該テーブルは離散的なデータしか載せる事ができないため、テーブル上に解がない場合は補間処理をして、解を算出しても良い。もしくはリフォーカス可能範囲データをフォーカス群位置や被写体距離の関数として持っておいても良い。このように記憶部１０９（記憶手段）は、所定のピント位置に対するリフォーカス可能範囲の情報が記憶されていてもよい。
【００７２】
また、リフォーカス可能範囲を取得する他の方法として、リフォーカスした再構成画像を実際に生成して、ピント位置に存在する被写体のコントラスト等を評価する方法が考えられる。しかしこの手法では、ピント位置を動かしながら再構成画像を生成し、逐次リフォーカスができているかを判断しなければならないため、処理に時間がかかってしまう。また、リフォーカスしたピント位置に被写体が存在していない場合、評価を行うことができないため、正確なリフォーカス可能範囲が取得できない。よって、リフォーカス可能範囲の取得には、先に述べた手法を用いることが望ましい。
【００７３】
図１６のフローチャートの説明に戻る。
【００７４】
次のステップＳ１０６は第２のピント位置を決定する工程である。ここではステップ１０１で取得したリフォーカス範囲設定情報と、ステップＳ１０２で特定した第１のピント位置と該第１のピント位置におけるリフォーカス可能範囲に応じて第２のピント位置を決める。ここで決まった第２のピント位置に合焦するように実際にフォーカス機構を駆動させることになる。そこで次に、この第２のピント位置を決定する方法について述べる。リフォーカス範囲設定情報の内容として、例えばリフォーカス範囲設定情報が撮像装置内にプリセットされていてユーザーが撮影時に選ぶような場合を例に挙げる。考えられるモードとしては、（Ａ）「後ろ優先モード」、（Ｂ）「前優先モード」、（Ｃ）「等距離モード」、（Ｄ）「比率カスタマイズモード」などが挙げられ、各モードについて図１７を用いながら説明する。図１７の（Ａ）、（Ｂ）、（Ｃ）に関しては、具体的な値はメーカー側が設定した値が入っており、（Ｄ）に関してはユーザーが任意の値を入力する（もしくはあらかじめ決められた比率を選ぶ）モードである。例えば（Ａ）に関しては、第１のピント位置を基準にして、前側のリフォーカス可能範囲と後ろ側リフォーカス可能範囲を３：７の比率でリフォーカス可能範囲が得られる位置に第２のピント位置を決定する例である。第１のピント位置における前側リフォーカス可能範囲がＤｎｅａｒ１、また、後ろ側リフォーカス可能範囲がＤｆａｒ１となっているとする。このときの比率（第１のピント位置に対するリフォーカス可能範囲の割合）がＤｎｅａｒ１：Ｄｆａｒ１＝４：６であったとする。現状ではＤｆａｒ１が不足しているのがわかる。そこで後ろ側のリフォーカス可能範囲を広げるべく、第１のピント位置よりも後ろにピント位置を移動させて、第１のピント位置を基準として第２のピント位置でのリフォーカス可能範囲の前後の比率が３：７になるような位置に決めると良い。換言すれば、第１のピント位置に対するリフォーカス可能範囲がリフォーカス範囲設定情報に基づくリフォーカス可能範囲となるような第２のピント位置を求める。第２のピント位置は、第１のピント位置を基準として、前側のリフォーカス可能範囲および後ろ側のリフォーカス可能範囲のうちリフォーカス可能範囲が広がる方向にあるといえる。この第２のピント位置の決め方としては、実際に少しずつフォーカス機構を動かしてリフォーカス可能範囲を算出して解析的に決めても良い。または、任意のピント位置における前後のリフォーカス可能範囲をテーブルとしてあらかじめ記憶部１０９で持っておいて、そのテーブルを参照して第２のピント位置を算出しても良い。（Ｂ）については逆に７：３になるような位置に第２のピント位置を決定する例である。前述同様このときのＤｎｅａｒ１：Ｄｆａｒ１＝４：６であったとする。現状ではＤｎｅａｒ１が不足しているのがわかる。そこで前側のリフォーカス可能範囲を広げるべく、第１のピント位置よりも前にピント位置を移動させて、第１のピント位置を基準として第２のピント位置でのリフォーカス可能範囲の前後の比率が７：３になるような位置に決めると良い。この第２のピント位置の決め方については前述の（Ａ）の時と同様の方法で良い。ただし、必ずしも（Ａ）や（Ｂ）のようなモードにおいて、このような比率に限られるものではない。（Ｃ）に関しては５：５となるような位置に第２のピント位置を決定する例である。また、（Ｄ）の例に関してはユーザーがこの比率を決めるモードであり、第１のピント位置を基準にして、前側のリフォーカス可能範囲と後ろ側リフォーカス可能範囲を１：９の比率となるような位置に第２のピント位置を決定するなど極端な設定も可能となる。（Ｃ）や（Ｄ）についても第２のピント位置を決める方法は前述の（Ａ）や（Ｂ）と同じ方法で構わない。このように、画像処理部１０５（算出手段）では、第１のピント位置に対するリフォーカス可能範囲が所定のリフォーカス可能範囲の割合となるような第２の位置を求めることができる。
【００７５】
ただし、撮像部の仕様とフォーカス機構による合焦位置の関係によっては、後ろ側リフォーカス可能範囲Ｄｆａｒが計算値として無限大の値を取る事がある。このような場合は前後のリフォーカス可能範囲を比率等で取る事ができなくなるため、図１の表示部１０６などにその旨を警告表示するようにすると好ましい。
【００７６】
次のステップＳ１０７はステップＳ１０６で決定した第２のピント位置に合焦するために実際にフォーカス機構を駆動させてフォーカシングを行う工程である。
【００７７】
次のステップＳ１０８はステップＳ１０７で合焦した第２のピント位置において実際に撮影を行う工程であり、これによって撮影画像が保存されて一連の工程が終了する。
【００７８】
単純に第１のピント位置での前後のリフォーカス可能範囲と第２のピント位置での前後のリフォーカス可能範囲を比較すると、前側よりも後ろ側の方がリフォーカス可能範囲が広いというのは変わらない。しかし、ユーザーにとっては第１のピント位置に合焦した写真を撮影している（と感じている）ため、前述の工程を踏むことで、前後のリフォーカス可能範囲の制御が可能となる。
【００７９】
ここまでで特定した第１のピント位置から第２のピント位置を求める手法について説明してきたが、この各工程同士の間に、確認工程などの他の工程が挿入されても構わない。
【００８０】
また、好ましくはステップＳ１０２の第１のピント位置の特定工程からステップＳ１０８の撮影工程（撮影実行）までの間、表示部１０６には第１のピント位置にピントが合った画像が表示されていることが好ましい。このときの表示画像は、第２のピント位置にフォーカス機構が駆動・合焦した後で、第１のピント位置にピントが合ったリフォーカス画像を表示しても良い。また、撮影直前までは実際に第１のピント位置にフォーカス機構が駆動・合焦した画像を表示し、撮影の直前に第２のピント位置にフォーカス機構が駆動・合焦しても良い。また、表示画像を、各工程によって実際にフォーカス機構が駆動・合焦した画像とリフォーカス画像を内部的に切り替えて表示しても良い。
【００８１】
撮影実行後に保存・再生される画像のプレビュー画像も、第１のピント位置にピントが合ったリフォーカス画像を表示することが好ましい。このようにすることで、フォーカス機構の駆動による物理的な合焦位置の変更をユーザーに意識させずに、前後のリフォーカス可能範囲のみを制御することが可能となるため好ましい。
【００８２】
以上の構成により、有限であるリフォーカス可能範囲を有効に利用でき、ユーザーが意図したピント位置での画像を的確に取得できるような画像処理装置、撮像装置、画像処理方法を提供することができる。
【実施例２】
【００８３】
本発明を適用した撮像装置の第２の実施例について説明する。図１は、実施例２における基本構成を示しており、その説明は実施例１と同様である。
【００８４】
実施例２における撮像部１００は図３で表した配置をしており、その断面図は図７で示される。結像光学系１０１はズームレンズである。物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、及び、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍時に第１レンズ群Ｌ１と第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、及び、第４レンズ群Ｌ４が光軸上を移動する。フォーカス時は第２レンズ群Ｌ２を駆動する。図３に示すようにレンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側へ配置され、像側共役面２０２と撮像素子１０３とが、レンズアレイ１０２を介して共役関係になるように配置されている。被写体面２０１からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、該光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。図３及び４の構成では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が、撮像素子１０３で取得される。図４の構成は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除けば、図３に示した構成と同様である。図３との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させることである。しかし、図３及び４に示した構成は、どちらも結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。よって以下の議論は、図４の構成に関しても同様に成立する。
【００８５】
次に、本実施例でのリフォーカス処理の例に関して説明する。定性的には実施例１と同様で、結像光学系１０１の分割された瞳の画像を、ピントを合わせたい被写体距離に対応したずれ量で重ね合わせればよい。では、図１０を用いて具体的な手法を説明する。図１０は、図３の構成において、レンズアレイ１０２と撮像素子１０３の部分を詳細に記述した図である。本実施例においてレンズアレイ１０２は、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。実施例１と同様に、レンズアレイ１０２の形状はこれに限らない。図１０の一点鎖線は、各小レンズの画角を表す。撮像素子１０３で得られた画素値を、該画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することで、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。ここで仮想結像面２０３とは、リフォーカスによりピントを合わせたい物体側の面と、結像光学系１０１を介して共役な面のことを指す。例えば、図３の被写体面２０１にピントの合った画像を生成するためには、像側共役面２０２に仮想結像面２０３を設定すればよい。図１０において、リフォーカス画像生成の際に投影した画素は、破線で表され、分かりやすくするために重ねずにずらして描画した。リフォーカスしたリフォーカス画像の生成は、前述の画素を投影する方法と同様の画素の重なりになるならば、各画素を平行移動させて合成する方法でもよい。この時、画素に入射した光束が通過したレンズアレイ１０２の領域が同じの場合、それらの画素の平行移動量は同じになる。つまり、図３及び４におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１０２の領域に応じて決まる。
【００８６】
次に、リフォーカス可能範囲に関して説明する。本実施例におけるリフォーカス可能範囲も、実施例１と同様に式（１）で記述される。その関係は、図１３に示した通りである。図１３中のΔｙは、図３及び４における光の２次元強度分布のサンプリングピッチを表し、Δｙ＝Δσ１／σ２である。これは、結像光学系１０１が形成した像を、レンズアレイ１０２が虚物体として見ることで、撮像素子１０３へσ２／σ１倍で縮小結像するためである。ここで、σ１は像側共役面２０２とレンズアレイ１０２の物体側主平面の間隔、σ２はレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。実施例２においても、Δ≪Ｐから式（１）は式（２）に近似できる。
【００８７】
実施例２における所望のリフォーカス可能範囲を得る過程も、図１６に示したフローチャートで表され、実施例１と同様の部分は説明を省く。
【００８８】
ステップＳ１０５（図１６）の際に、再構成画像のリフォーカス可能範囲を算出・取得する。算出方法は実施例１と同様の考え方で像側のリフォーカス可能範囲を算出する。図１３から、幾何学的にＮＦ＝σ１／ΔＬＡである。また、前述したようにΔｙ＝Δσ１／σ２であるから、以下の式（１２）が成り立つ。
【００８９】
【数１４】
2015204587.tif 000016
【００９０】
これらを用いることで、ｄｒが満たすべき条件式（１３）が求められる。
【００９１】
【数１５】
2015204587.tif 000017
【００９２】
条件式（１３）における上下限の意味は条件式（１１）と同様である。
【００９３】
望ましくは、以下の条件式（１３ａ）の範囲内とすることで、再構成画像の鮮鋭度が増す。
【００９４】
【数１６】
2015204587.tif 000018
【００９５】
更に望ましくは、以下の条件式（１３ｂ）の範囲内とすることで、より鮮鋭な再構成画像を得られる。
【００９６】
【数１７】
2015204587.tif 000019
【００９７】
実施例２における条件式（１３）の値は表１に示した通りである。実施例２において、撮像素子１０３の有効画素数はＲｔｏｔａｌ＝１５０．０×１０６（ｐｉｘ）である。また、σ１＝０．３７１２（ｍｍ）、σ２＝０．０７４０（ｍｍ）である。撮像素子１０３の画素ピッチはΔ＝０．００２４（ｍｍ）、レンズアレイ１０２のピッチはΔＬＡ＝０．０２５６（ｍｍ）である。結像光学系１０１の広角端における焦点距離はｆＷ＝７２．２（ｍｍ）、望遠端における焦点距離はｆＴ＝１９４．０（ｍｍ）、Ｆ値は広角端から望遠端までＦ＝２．９であり、１次元瞳分割数はＮ＝５となっている。再構成画像の解像度Ｒｓｙｎｔｈは合成画像解像度指定部１１１ａによって、１０．０×１０６ｐｉｘ、６．０×１０６ｐｉｘ、３．０×１０６ｐｉｘの３種類から選択することができる。それぞれの解像度に対するｄｒは表１に示した通りである。ここで、単視点画像１枚当たりの解像度が６．０×１０６ｐｉｘのため、１０．０×１０６ｐｉｘの再構成画像を生成するためには、画素ずらし超解像などによる高解像度化が必要となる。
【００９８】
以上の構成により、有限であるリフォーカス可能範囲を有効に利用でき、ユーザーが意図したピント位置での画像を的確に取得できるような画像処理装置、撮像装置、画像処理方法を提供することができる。
【実施例３】
【００９９】
本発明を適用した撮像装置の第３の実施例について説明する。図１は基本構成を示しており、その説明は実施例１と同様である。
【０１００】
撮像部１００は、図５に示した配置をしており、物体側から見ると図１５のような配置となっている。実施例３において撮像部１００は、結像光学系Ｂ１０１ｂの光軸を回転軸として、六回対称性を有した構成をしている。ここで図面の符号の１０１ａ乃至ｇは結像光学系Ａ乃至Ｇを表す。しかし、構成はこれに限定されず、結像光学系の個数や配列は変更可能である。各結像光学系１０１ａ乃至１０１ｇの像側には、それぞれ撮像素子１０３ａ乃至１０３ｇが配列されている。ただし、撮像素子は複数でなくてもよく、各結像光学系１０１ａ乃至１０１ｇによって形成される像を取得できるならば単数でもよい。各結像光学系１０１ａ乃至１０１ｇで屈折された光線は、それぞれに対応した撮像素子１０３ａ乃至１０３ｇで受光される。撮像素子１０３ａ乃至１０３ｇで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間のライトフィールドを得ることができる。
【０１０１】
結像光学系Ａ１０１ａと撮像素子Ａ１０３ａの断面図は図８で示され、他の結像光学系１０１ｂ乃至１０１ｇ及び、撮像素子１０３ｂ乃至１０３ｇも同様である。ただし、各結像光学系の構成はそれぞれ異なっていてもよい。図８の結像光学系Ａ１０１ａは、単焦点レンズである。結像光学系Ａ１０１ａと撮像素子Ａ１０３ａの間隔を変化させて、フォーカスを行う。
【０１０２】
本実施例におけるリフォーカス処理は、実施例１の説明と同様で、ピントを合わせたい被写体距離に対応したずれ量で各視点の画像を重ね合わせればよい。
【０１０３】
また、リフォーカス可能範囲に関しても、同様に式（１）で記述される。その関係は、図１４に示した通りである。実施例３では、Δｙ＝Δであり、Δｕ＝Ｐｍｏｎｏ／Ｆｍｏｎｏである。ここで、Ｆｍｏｎｏは結像光学系１０１ａ乃至１０１ｇの１つのＦ値、Ｐｍｏｎｏは該結像光学系の射出瞳距離である。Δ≪Ｐｍｏｎｏから、式（１）は以下の式（１４）に近似できる。
【０１０４】
【数１８】
2015204587.tif 000020
【０１０５】
実施例３における所望のリフォーカス可能範囲を得る過程も、図１６に示したフローチャートで表され、実施例１と同様の部分は説明を省く。
【０１０６】
ステップＳ１０５（図１６）の際に、再構成画像のリフォーカス可能範囲を算出・取得する。算出方法は実施例１と同様の考え方で像側のリフォーカス可能範囲を算出できる。
【０１０７】
露出状態の予測で得られた撮影時の結像光学系１０１ａ乃至１０１ｇのＦ値を、Ｆｍｏｎｏに代入してリフォーカス可能範囲を取得する。結像光学系１０１ａ乃至１０１ｇのうちＦｍｏｎｏのＦ値を持つ光学系で結像される画像の解像度をＲｍｏｎｏとした時、ｄｒが満たすべき条件式（１５）が求められる。
【０１０８】
【数１９】
2015204587.tif 000021
【０１０９】
条件式（１５）における上下限の意味は条件式（１１）と同様である。
【０１１０】
望ましくは、以下の条件式（１５ａ）の範囲内とすることで、再構成画像の鮮鋭度が増す。
【０１１１】
【数２０】
2015204587.tif 000022
【０１１２】
更に望ましくは、以下の条件式（１５ｂ）の範囲内とすることで、より鮮鋭な再構成画像を得られる。
【０１１３】
【数２１】
2015204587.tif 000023
【０１１４】
実施例３における条件式（１５）の値は表１に示した通りである。実施例３における各撮像素子１０３ａ乃至１０３ｇの有効画素数はＲｍｏｎｏ＝１９．３×１０６（ｐｉｘ）であり、画素ピッチはΔ＝０．００１２（ｍｍ）である。各結像光学系１０１ａ乃至１０１ｇの焦点距離はｆ＝５０．０（ｍｍ）であり、開放Ｆ値はＦ＝１．８である。表１では撮影時のＦ値をＦｍｏｎｏ＝１．８とした。異なるＦ値だった場合は、条件式（１５）を満たすようにｄｒが決定される。また、高画角の領域では光束のケラレに応じてリフォーカス可能範囲を変化させる。例えば、画像のある画角領域が軸上領域に対して焦点深度が２倍になっていれば、その画角領域のリフォーカス可能範囲を軸上における該範囲の２倍にする。再構成画像の解像度Ｒｓｙｎｔｈは、合成画像解像度指定部１１１ａによって、１９．３×１０６ｐｉｘ、１０．０×１０６ｐｉｘ、５．０×１０６ｐｉｘの３種類から選択することができる。それぞれの解像度に対するｄｒは表１に示した通りである。
【０１１５】
以上の構成により、有限であるリフォーカス可能範囲を有効に利用でき、ユーザーが意図したピント位置での画像を的確に取得できるような画像処理装置、撮像装置、画像処理方法を提供することができる。
【実施例４】
【０１１６】
本発明を適用した画像処理システムの第４の実施例について説明する。図１９は、本発明の画像処理システムにおける基本構成を示している。図１９の各部材について、わかりやすく図示し直したのが図２０でありそれぞれの符号が対応している。また図１９の撮像部３００の内部には図２０の４００ａ乃至４００ｄで示したように複数の単視点画像取得部を有しており、これらひとつひとつの内部を図示したのが図２１である。これら単視点画像取得部４００ａ乃至４００ｄは図５の構成と定性的に同じである。図１９で示した画像処理部３０１は、図１６に示した処理を行うコンピュータ機器である。画像処理部３０１で処理された画像は、表示部３０２、記録媒体３０３、出力部３０４のいずれか又は複数に出力される。表示部３０２は、例えば液晶ディスプレイやプロジェクタなどの表示手段である。記録媒体３０３は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力部３０４は、プリンタなどである。ユーザーは撮影又は編集時に、表示部３０２を介して画像を確認しながら作業を行うことができる。画像処理部３０１は、図１６の処理や再構成処理の他に、必要に応じて現像処理やその他の画像処理を行う機能を有する。各部材の制御はＰＣなどのシステムコントローラ３０５で行う。また、画像処理部３０１は、距離情報取得部３０１ａを有し、システムコントローラ３０５は、合成画像解像度指定部３０５ａ、合焦被写体指定部３０５ｂ、表示司令部３０５ｃ、撮影司令部３０５ｄ、合焦制御部３０５ｅを有している。これらについては、実施例１で説明したものと同様なため説明を省く。
【０１１７】
図２１において、結像光学系４０１で結像された像は、撮像素子４０３とＡ／Ｄコンバータ４０４でデジタル信号に変換される。該デジタル信号は画像処理部４０５で所定の処理を施されて、単視点画像取得部４００内の各部材及び、画像処理部３０１へ出力される。システムコントローラ４１１はシステムコントローラ３０５からの信号を受けて、単視点画像取得部４００の各部材を制御する。露出状態予測部４１３とは、測光部４１２の情報から撮影時の露出状態の予測を行う部材である。システムコントローラ４１１からの信号によって、画像処理部４０５を介して表示部４０６は表示のＯＮ／ＯＦＦ及び、表示画像の切換えを行う。システムコントローラ４１１からの指令によって撮影が実行される際は、測光部４１２の情報に基づいて制御部４０７が結像光学系４０１の露出を調節し、撮影が実行される。この時、撮像素子４０３で取得された画像は、前述と同様の経路を辿って画像処理部４０５に入力され、所定の処理を施された後、半導体メモリなどの画像記録媒体４１０に所定のフォーマットで保存される。また同時に、状態検知部４０８から得られた撮影時の画像取得条件も記録される。さらに、画像記録媒体４１０に記録する画像は、再構成処理を施した画像でもよい。また高速化のため、所望の設定を予め記憶部４０９に記憶し、画像記録媒体４１０を介さず再構成画像を表示部４０６で表示させてもよい。
【０１１８】
単視点画像取得部４００には結像光学系を有しており、例えば結像光学系Ａ４０１ａと撮像素子Ａ４０３ａの断面図は図９で表される。図９は単焦点レンズであり、フォーカス群ＩＦを駆動して合焦を行う。他の単視点画像取得部４００ｂ乃至４００ｄも、同様の構成をしている。ただし、各単視点画像取得部は構成が異なっていてもよいし、その数及び配置も本実施例に限定されるものではない。
【０１１９】
本実施例のリフォーカス処理は実施例３と同様であり、撮影及び編集時の表示画像生成も実施例３と同様である。
【０１２０】
実施例４における条件式（１５）の値は表１に示した通りである。実施例４における各撮像素子４０３ａ乃至４０３ｄの有効画素数はＲｍｏｎｏ＝３２．０×１０６（ｐｉｘ）であり、画素ピッチはΔ＝０．００５２（ｍｍ）である。各結像光学系４０１ａ乃至４０１ｄの焦点距離はｆ＝２００．０（ｍｍ）、開放Ｆ値はＦ＝２．０である。表１は、撮影時の予測Ｆ値をＦｍｏｎｏ＝２．０で計算した値となっている。再構成画像の解像度Ｒｓｙｎｔｈは合成画像解像度指定部３０５ａによって、６４．０×１０６ｐｉｘ、３２．０×１０６ｐｉｘ、８．０×１０６ｐｉｘの３種類から選択することができる。それぞれの解像度に対するｄｒは表１に示した通りである。ここで６４．０×１０６ｐｉｘの再構成画像を生成するためには、画素ずらし超解像などの高解像度が必要となる。
【０１２１】
以上の構成により、有限であるリフォーカス可能範囲を有効に利用でき、ユーザーが意図したピント位置での画像を的確に取得できるような画像処理装置、撮像装置、画像処理方法を提供することができる。
【０１２２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。
【０１２３】
また、上述の実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給する場合も本発明に含む。また、そのプログラムを該コンピュータに実行させる場合も本発明に含む。
【０１２４】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１２５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１２６】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【０１２７】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【０１２８】
【表１】
2015204587.tif 000024
【産業上の利用可能性】
【０１２９】
本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【０１３０】
１０５  画像処理部
１１１ｂ  合焦被写体指定部
【図１】
2015204587.tif 000025
【図２】
2015204587.tif 000026
【図３】
2015204587.tif 000027
【図４】
2015204587.tif 000028
【図５】
2015204587.tif 000029
【図６】
2015204587.tif 000030
【図７】
2015204587.tif 000031
【図８】
2015204587.tif 000032
【図９】
2015204587.tif 000033
【図１０】
2015204587.tif 000034
【図１１】
2015204587.tif 000035
【図１２】
2015204587.tif 000036
【図１３】
2015204587.tif 000037
【図１４】
2015204587.tif 000038
【図１５】
2015204587.tif 000039
【図１６】
2015204587.tif 000040
【図１７】
2015204587.tif 000041
【図１８】
2015204587.tif 000042
【図１９】
2015204587.tif 000043
【図２０】
2015204587.tif 000044
【図２１】
2015204587.tif 000045