(57)【特許請求の範囲】
【請求項１】
複数の視点のそれぞれから撮影した、複数のサブ画像から構成される撮影画像を取得する画像取得部と、
前記サブ画像を構成するサブ画素から、削除の対象となる削除被写体に対応するサブ画素を削除画素として抽出する抽出部と、
所定の再構成面に定義される再構成画像を構成する再構成画素と、前記サブ画素と、の対応関係を、前記削除画素として抽出したサブ画素との対応の度合いが小さくなるように変更する変更部と、
前記変更された対応関係を用いて、前記サブ画素の画素値から前記再構成画素の画素値を求めることで、前記削除画素の影響が小さい再構成画像を生成する生成部と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記生成部は、前記変更部が変更した対応関係を用いて、前記削除被写体を削除した再構成画像を生成する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記サブ画素のそれぞれについて、当該サブ画素に対応する被写体の奥行きを示す奥行係数を取得する奥行取得部を更に備え、
前記抽出部は、前記サブ画素から、前記奥行取得部が取得した奥行係数が所定条件を満たすサブ画素を、前記削除被写体に対応する削除画素として抽出する
ことを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
前記抽出部は、前記削除被写体の奥行きを取得し、前記奥行取得部が取得した奥行係数が、当該削除被写体の奥行きを含む所定範囲に含まれるサブ画素を、前記奥行係数が所定条件を満たすサブ画素とする、
ことを特徴とする請求項３に記載の画像生成装置。
【請求項５】
前記奥行取得部が取得したサブ画素の奥行係数から前記再構成画素の奥行きを求める獲得部を更に備え、
前記抽出部は、前記削除被写体が位置する前記再構成画像上の部位の少なくとも一部を取得し、当該取得した部位の再構成画素について前記獲得部が求めた奥行きに基づいて、前記削除被写体の奥行きを取得する、
ことを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記変更部が変更する前の対応関係に基づいて、仮再構成画像を生成する第２生成部と、
前記第２生成部が生成した仮再構成画像を出力する出力部と、
前記出力部が出力した仮再構成画像上の部位を指定するための指定部と、
を更に備え、
前記抽出部は、前記指定部によって指定された部位に対応するサブ画素を、前記削除画素として抽出する、
ことを特徴とする請求項１乃至５の何れか一項に記載の画像生成装置。
【請求項７】
前記撮影画像を撮影した際の撮影パラメータに基づいて求められた、前記再構成画素と前記サブ画素との対応関係を示す情報を取得する対応取得部をさらに備え、
前記変更部は、前記対応取得部が取得した情報が示す対応関係を変更する、
ことを特徴とする請求項１乃至６の何れか一項に記載の画像生成装置。
【請求項８】
複数の視点のそれぞれから撮影した、複数のサブ画像から構成される撮影画像を取得するステップと、
前記サブ画像を構成するサブ画素から、削除の対象となる削除被写体に対応するサブ画素を削除画素として抽出するステップと、
所定の再構成面に定義される再構成画像を構成する再構成画素と、前記サブ画素と、の対応関係を、前記削除画素として抽出したサブ画素との対応の度合いが小さくなるように変更するステップと、
前記変更された対応関係を用いて、前記サブ画素の画素値から前記再構成画素の画素値を求めることで、前記削除画素の影響が小さい再構成画像を生成するステップと、
を含むことを特徴とする画像生成方法。
【請求項９】
コンピュータに、
複数の視点のそれぞれから撮影した、複数のサブ画像から構成される撮影画像を取得する機能、
前記サブ画像を構成するサブ画素から、削除の対象となる削除被写体に対応するサブ画素を削除画素として抽出する機能、
所定の再構成面に定義される再構成画像を構成する再構成画素と、前記サブ画素と、の対応関係を、前記削除画素として抽出したサブ画素との対応の度合いが小さくなるように変更する機能、
前記変更された対応関係を用いて、前記サブ画素の画素値から前記再構成画素の画素値を求めることで、前記削除画素の影響が小さい再構成画像を生成する機能、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
写真を撮影した後に、不要な被写体を消去する等の構図変換を実行する技術が知られている。
このような技術に関連して、特許文献１は、画像領域を指定して画像の構図を変更するにあたって、違和感を押さえるために補間する方法を開示している。特許文献１に記載の技術では、構図変更によって生じた間隙を、周辺の画素の画素値を用いて補正する。
【０００３】
また、異なる視点から撮影した被写体の画像を取得することにより、被写体からカメラのレンズに侵入する光線の位置、方向、光量に係る情報を取得する技術が知られている。このような技術に関連して、特許文献２は被写体を撮影した複数の画像（ライトフィールド画像）を取得して、該複数の画像から焦点距離・被写界深度等を変化させた被写体の画像を再構成する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００５−５０９９８５号公報
【特許文献２】特表２００８−５１５１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一つの視点から撮影した画像に含まれる被写体の情報は、光線が到達する位置とその光量（各画素の座標とその画素値にそれぞれ対応）が全てである。そのため、このような平面的な画像上で邪魔になる被写体（不要被写体）を鑑賞の邪魔にならないように削除すると、特許文献１に記載の技術を用いて補正をするにしても、被写体からの光線情報によらない補間が必要となる。そのため、変更した画像は、実際に不要被写体を消去して撮影した場合と大きく異なってしまう。即ち、消去後の画像が被写体からの情報を反映しないものとなってしまうという問題があった。
一方、特許文献２は、被写体を複数の視点から撮影することにより、被写体の立体的な形状を示す情報や、ある視点からは隠れて見えない被写体からの光線情報等を得る技術を開示している。しかし、特許文献２は一部の被写体を削除した再構成画像を生成する方法を開示しておらず、上記の課題を解決するものではない。
【０００６】
本発明は上記事情に鑑みてなされたもので、主要な被写体の撮影情報をより反映する再構成画像を生成する画像生成装置、画像生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る画像生成装置は、
複数の視点のそれぞれから撮影した、複数のサブ画像から構成される撮影画像を取得する画像取得部と、
前記サブ画像を構成するサブ画素から、削除の対象となる削除被写体に対応するサブ画素を削除画素として抽出する抽出部と、
所定の再構成面に定義される再構成画像を構成する再構成画素と、前記サブ画素と、の対応関係を、前記削除画素として抽出したサブ画素との対応の度合いが小さくなるように変更する変更部と、
前記変更された対応関係を用いて、前記サブ画素の画素値から前記再構成画素の画素値を求めることで、前記削除画素の影響が小さい再構成画像を生成する生成部と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、主要な被写体の撮影情報をより反映する再構成画像を生成できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態１に係るデジタルカメラの構成を示す図である。
【図２】実施形態１に係るデジタルカメラの光学系の構成を示す図である。
【図３】実施形態１に係るライトフィールド画像の例を示す図であり、（ａ）はライトフィールド画像の概念図を、（ｂ）はライトフィールド画像の例を、（ｃ）はライトフィールド奥行きマップの例を示す。
【図４】実施形態１に係る光線追跡について説明するための図である。
【図５】実施形態１に係る対応リストの例を示す図である。
【図６】実施形態１に係る画像生成装置の（ａ）物理的構成と、（ｂ）機能的構成と、を示す図である。
【図７】実施形態１に係る削除を指示する操作を説明するための図であり、（ａ）は仮再構成画像を、（ｂ）は削除被写体を選択する操作を、（ｃ）は削除対象を確定する操作を、（ｄ）は完全削除後の再構成画像を、（ｅ）は一定比率削除後の再構成画像を、それぞれ示す。
【図８】実施形態１に係る再構成画像と再構成奥行きマップとを説明するための図であり、（ａ）は仮再構成画像を、（ｂ）は仮再構成奥行きマップを、（ｃ）は削除再構成画像を、（ｄ）は削除再構成奥行きマップを、それぞれ示す。
【図９】実施形態１に係る削除対象を選択する処理を説明するための図であり、（ａ）は削除操作を、（ｂ）は選択に用いられる選択画素リストを、（ｃ）選択結果を、それぞれ示す図である。
【図１０】実施形態１に係る削除処理を説明するための図であり、（ａ）は削除前のＬＦＩを、（ｂ）は仮再構成画像を、（ｃ）は削除後のＬＦＩを、（ｄ）は削除再構成画像を、それぞれ示す。
【図１１】実施形態１に係る画像出力処理を示すフローチャートである。
【図１２】実施形態１に係る仮再構成画像生成処理を示すフローチャートである。
【図１３】実施形態１に係る削除対象定義処理を示すフローチャートである。
【図１４】実施形態１に係る削除奥行き定義処理を示すフローチャートである。
【図１５】実施形態１に係る削除画素抽出処理を示すフローチャートである。
【図１６】実施形態１に係る削除再構成画像生成処理を示すフローチャートである。
【図１７】本発明のその他の実施形態に係るクラス−デプス対応リストの例を示す図である。
【図１８】本発明のその他の実施形態に係る選択画素リストの例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態に係るデジタルカメラ及び画像生成装置（再構成画像生成装置）を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
【００１１】
（実施形態１）
実施形態１に係る画像生成装置３０（再構成画像生成装置）は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、以下のｉ）〜ｖｉ）の機能を持つ。
ｉ）被写体を複数の視点から撮影した複数のサブイメージからなるライトフィールド画像を撮影する機能
ｉｉ）被写体の奥行きを示す奥行き係数を求める機能
ｉｉｉ）ライトフィールド画像から被写体の画像を再構成した再構成画像を生成する機能
ｉｖ）生成した再構成画像を表示する機能
ｖ）削除対象の被写体（削除被写体）を指示する操作を受け付ける機能
ｖｉ）受付けた操作に応じて、構図を変更した再構成画像を生成する機能
画像生成装置３０は、このうち特にｖｉ）受付けた操作に応じて、構図を変更した再構成画像を生成する機能、を受け持つ。
【００１２】
デジタルカメラ１は、図１に示すように、撮像部１０と、画像生成装置３０を含む情報処理部２０と、記憶部４０と、インターフェース部（Ｉ／Ｆ部）５０と、から構成される。デジタルカメラ１は、このような構成により、外部から被写体の光線情報を取得して再構成画像を生成する。このとき、被写体のうち削除対象となる被写体（削除被写体）がその他の被写体（主要被写体）の鑑賞の邪魔にならないように削除した再構成画像を生成する。
なお、ここで「削除被写体を削除する」とは、削除被写体を完全に除去することはもとより、主要被写体の鑑賞の邪魔にならないレベルまで削除被写体からの光線情報が再構成画像に与える影響を減少することを含むものとする。
【００１３】
撮像部１０は、光学装置１１０と、イメージセンサ１２０と、から構成され、撮像動作を行う。
【００１４】
光学装置１１０は、図２に示すように、シャッタ１１１と、メインレンズＭＬと、サブレンズアレイＳＬＡ（マイクロレンズアレイ）と、から構成される。光学装置１１０は、外部（被写体）からの光線をメインレンズＭＬによって捉え、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの光学中心を視点として得られる光学像をイメージセンサ１２０に投影する。
【００１５】
イメージセンサ１２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、撮像素子が生成した電気信号を情報処理部２０に伝達する伝達部と、から構成される。イメージセンサ１２０はこのような物理構成により光学装置１１０が投影した光学像を電気信号に変換して情報処理部２０に伝達する。
【００１６】
シャッタ１１１は、イメージセンサ１２０への外部光の入射と遮蔽を制御する。
メインレンズＭＬは、一又は複数の凸レンズ、凹レンズ、非球面レンズ等から構成され、撮影時の被写体ＯＢの光を光学像としてメインレンズＭＬとサブレンズアレイＳＬＡとの間の仮想的なメインレンズ結像面ＭＩＰ上に結像させる。なお、撮影時の被写体ＯＢは、図２に示すようにメインレンズＭＬからそれぞれ異なる距離だけ離れた複数の構成物であるとする。
【００１７】
サブレンズアレイＳＬＡは、平面上に格子状に配置されたＭ×Ｎ個のサブレンズ（マイクロレンズ）ＳＬから構成される。サブレンズアレイＳＬＡは、メインレンズＭＬがメインレンズ結像面ＭＩＰ上に結像させた光学像を、それぞれのサブレンズＳＬの光学中心を視点として観測した光学像として、イメージセンサ１２０を構成するイメージセンサの撮像面ＩＥ上に結像する。メインレンズＭＬが成す平面と撮像面ＩＥが成す平面とから構成される空間をライトフィールドと呼ぶ。
【００１８】
メインレンズＭＬについて、最大径ＬＤと、有効径ＥＤと、が定義できる。最大径ＬＤは、メインレンズＭＬの物理的な直径である。一方、有効径ＥＤはメインレンズＭＬのうち撮影に使用できる領域の直径である。メインレンズＭＬのうち、有効径ＥＤの外部は、メインレンズＭＬに貼り付けられた各種フィルタやメインレンズＭＬ周辺の物理構造によってメインレンズに入出力する光線が遮られるため、画像を撮影・再構成するために有効でない領域（非有効領域）である。
最大径ＬＤと有効径ＥＤは、予め測定され、工場出荷時に記憶部４０に記憶されている。
【００１９】
図２の例では、複数の被写体ＯＢ（被写体ＯＢ１〜被写体ＯＢ３）のうち、被写体ＯＢ２のある部分ＰＯＢからの光線がメインレンズＭＬの有効径ＥＤをなす部分（有効部）を通過し、複数のサブレンズＳＬ上に投影されている。このように、ある被写体ＯＢの部分ＰＯＢから発された光が、メインレンズＭＬの有効部を通過してサブレンズアレイＳＬＡ上に投影される領域を、部分ＰＯＢのメインレンズブラーＭＬＢと呼ぶ。このうち、主光線が到達する部位をメインレンズブラー中心ＭＬＢＣと呼ぶ。
なお、以後複数の被写体について、遠い（メインレンズからの距離が大きい）被写体から順に被写体ＯＢ１〜被写体ＯＢ３と表記する。
【００２０】
メインレンズＭＬの光学中心からメインレンズの結像面ＭＩＰまでの距離をｂ１、結像面ＭＩＰからサブレンズアレイＳＬＡがなす面までの距離をａ２、サブレンズアレイＳＬＡからイメージセンサ１２０の撮像面ＩＥの距離をｃ２とする。
【００２１】
撮像部１０は、上記構成により、ライトフィールドを通過する光線の情報（到達部位、光量、方向）を含んだライトフィールド画像（ＬＦＩ）を撮影する。
ブロック状の被写体ＯＢを撮影したＬＦＩの一例を図３（ａ）に示す。
このＬＦＩは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬ（マイクロレンズ）のそれぞれに対応する画像（サブイメージＳＩ、Ｓ１１〜ＳＭＮ）から構成されている。例えば、左上のサブイメージＳ１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブイメージＳＭＮは被写体ＯＢを右下から撮影した画像に相当する。
【００２２】
各サブイメージは、サブイメージを結像させたサブレンズの位置に対応したＬＦＩ上の位置に配置されている。
第ｉ行のサブイメージ（横の一列のサブイメージ）Ｓｉ１〜ＳｉＮは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブイメージ（縦の一列のサブイメージ）Ｓ１ｊ〜ＳＭｊは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡ（マイクロレンズアレイ）の第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。なお、本実施形態では各サブイメージはグレースケール画像であり、サブイメージを構成する各画素は画素値（スカラー値）を持つ。
【００２３】
図１に示す情報処理部２０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、内部バスと、Ｉ／Ｏポートと、から構成される。情報処理部２０はこのような物理構成により、画像処理部２１０、奥行き推定・対応定義部２２０、画像生成装置３０、撮像制御部２３０、として機能する。
【００２４】
画像処理部２１０は、イメージセンサ１２０から電気信号を取得し、取得した電気信号を記憶部４０の撮像設定記憶部４１０が記憶する撮像設定情報に基づいて画像データに変換する。画像処理部２１０は、画像データと、撮像設定情報に所定の情報を加えた撮影設定情報と、を奥行き推定・対応定義部２２０に伝達する。
撮像設定記憶部４１０が記憶する撮像設定情報については後述する。
【００２５】
奥行き推定・対応定義部２２０は、ＬＦＩ及び撮影設定情報を受け取ると、ＬＦＩ上のサブイメージ上の各画素について、被写体の奥行きを推定する。このとき、被写体の奥行きは、その被写体に対応する画素が各サブイメージ上でズレている程度を算出する。そのズレの大きさを奥行きを示す係数とする。そして、推定した奥行きを示す係数を各画素の位置に配置した情報（ライトフィールド奥行きマップ、ＬＦＤＭ）を生成する。奥行き係数が大きいほど、その画素に写った被写体が手前（メインレンズＭＬに近い位置）にあると推定される。
【００２６】
ＬＦＤＭは、ＬＦＩに含まれるサブ画素のそれぞれについて、奥行きを示す係数を定義する。図３（ｂ）に示すＬＦＩに対するＬＦＤＭを、図３（ｃ）に示す。ＬＦＤＭでは、図３（ｂ）に示したような直方体の被写体を撮影したＬＦＩに対して、より奥にある部分（直方体の奥の辺）がより濃い色で、手前（正面）が薄い色で示されている。以下、同様に奥行きマップにおいてより奥にある部位を濃い画素で、手前にある部分を薄い画素で示す。
なお、ここではＬＦＩとＬＦＤＭとは分離した情報として説明したが、ＬＦＩとＬＦＤＭとは、ある座標に配置された画素について、画素値（ＬＦＩが保持する情報）と奥行き係数（ＬＦＤＭが保持する情報）とを対応づけて記録するまとまった一つのデータであってもよい。
ＬＦＤＭは、多視点画像の各画素の奥行きを推定する既知の任意の方法を用いて生成することが出来るが、本実施形態では後述する方法を用いるとする。
【００２７】
奥行き推定・対応定義部２２０は、さらに構図変更前の再構成画像（仮再構成画像）を構成する画素（再構成画素）と、サブ画素との対応関係を定めた対応情報を求める。対応情報とは、再構成設定が示す再構成面上に配置された再構成画像について、その再構成画素の位置にある被写体が写っているサブ画素（対応サブ画素）を示す情報である。
【００２８】
奥行き推定・対応定義部２２０は、再構成画素（注目画素）の対応サブ画素を抽出する既知の任意の方法によって対応情報を生成してよいが、本実施形態では以下の光線追跡により抽出する。
光線追跡の方法を、図４を参照して説明する。被写体の注目部位Ｐ（注目画素に対応）からの光線は、メインレンズの主点を通過してマイクロレンズアレイの到達位置（図４のサブレンズ上のＭＬＢＣ）に到達する。ＭＬＢＣのサブレンズ上の位置は、撮影設定に基づいて求めることが出来る。ＭＬＢＣを中心に、注目部位からの光が届いた範囲（メインレンズブラーＭＬＢ、図４の網線領域）を、レンズの特性からもとめる。メインレンズブラーＭＬＢの直径は、メインレンズＭＬと再構成面ＲＦとの距離ａ１、メインレンズと結像面ＭＩＰとの距離ｂ１（ａ１とメインレンズの焦点距離ｆＭＬから算出）、結像面ＭＩＰとサブレンズアレイＳＬＡとの距離ａ２と、メインレンズの有効径ＥＤと、から三角形の相似を用いて算出する。
【００２９】
次に、サブレンズアレイＳＬＡに含まれるサブレンズＳＬの内、一部又は全てがメインレンズブラーＭＬＢに含まれるサブレンズＳＬを特定する。そして、特定されたサブレンズＳＬを順次注目レンズとして選択する。このとき、注目レンズとメインレンズブラーが重なる部位の面積ｗを、メインレンズブラー中心の位置と、メインレンズブラーＭＬＢの直径と、撮影設定情報が定めるサブレンズの位置及び大きさと、から求める。
【００３０】
注目画素からの光線が、選択されたサブレンズによって結像される位置にある、サブ画像上の画素（対応画素）を抽出する。
【００３１】
具体的には、対応画素（到達点ＰＥに対応）を以下の手順で算出する。
まず、再構成面ＲＦに対応するメインレンズの焦点面までの距離ｂ１は既知の数値ａ１及びｆＭＬを用い、次の式（１）から算出することが出来る。
【００３２】
【数１】
0005310895.tif 000002
【００３３】
また、ａ２は既知の数値ｃ１から、式（１）を用いて算出したｂ１を減算することで求めることができる。
さらに、再構成面ＲＦとメインレンズとの距離ａ１と、メインレンズ結像面ＭＩＰとサブレンズとの距離ｂ１と、既知の数値ｘ（注目部位Ｐと光軸ＯＡとの距離）を以下の式（２）に用いて、注目部位ＰからメインレンズＭＬを通して結像する点（結像点ＰＦ）と光軸ＯＡとの距離ｘ’を算出する。
ｘ’＝ｘ・ｂ１／ａ１…（２）
さらに、光軸ＯＡから注目サブレンズＳＬの主点までの距離ｄ、上記の式（２）を用いて算出された距離ｘ’、マイクロレンズアレイＬＡから撮像面ＩＥまでの距離ｃ２、及び距離ａ２を以下の式（３）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。
【００３４】
【数２】
0005310895.tif 000003
【００３５】
Ｙ軸方向にも同様に計算し、到達点ＰＥの位置を特定する。そして、到達点ＰＥに対応するサブイメージ上の画素を対応画素とする。そして、注目レンズについて求めた面積ｗを注目画素と対応画素の重みとする。
【００３６】
対応情報の一例である、対応リストを図５に示す。図５の対応リストは、再構成画素の再構成画像上の座標（ｘｒ，ｙｒ）と、その座標の再構成画素について光線追跡により抽出されたサブ画素のＬＦＩ上の座標（ｘｓ，ｙｓ）とその重み（ｗ）を対応付けて記録する。一つの再構成画素について、サブ画素は複数抽出される。例えば、図５の例では一つ目の再構成画素（座標（１，１））について、（ｘｓ（１，１），ｙｓ（１，１））〜（ｘｓ（１，ｋ１），ｙｓ（１，ｋ１））に位置するｋ１個のサブ画素が抽出されている。抽出されたサブ画素と再構成画素の対応の強さ（重み）が、ｗ（１，１）〜ｗ（１，ｋ１）である。
奥行き推定・対応定義部２２０は、このような対応情報と、ＬＦＩとＬＦＤＭとを画像生成装置３０に伝達する。
【００３７】
画像生成装置３０は、画像処理部２１０から伝達されたＬＦＩとＬＦＤＭを用いて、削除被写体を削除した上で再構成した画像（削除再構成画像）を生成する。
画像生成装置３０は、生成した削除再構成画像を記憶部４０の画像記憶部４３０に記憶する。画像生成装置３０の構成及び削除再構成画像を生成する処理については後述する。
【００３８】
撮像制御部２３０は、記憶部４０の撮像設定記憶部４１０に記憶された撮像設定情報に基づいて撮像部１０を制御し、撮像部１０を用いて被写体ＯＢを撮影する。
【００３９】
記憶部４０は、ＲＡＭ等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。
【００４０】
記憶部４０は、機能的には、撮像設定記憶部４１０と、再構成設定記憶部４２０と、画像記憶部４３０と、から構成される。
【００４１】
撮像設定記憶部４１０は、撮像設定情報を記憶する。撮像設定情報は、撮像時に変化しうる撮像パラメータとしてメインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆＭＬ、露光時間を特定する情報、Ｆ値、シャッタ速度、等を含む。また、撮像設定記憶部４１０は、各サブレンズＳＬのサブレンズアレイＳＬＡ上の位置、サブレンズアレイＳＬＡと撮像面ＩＥとの距離ｃ２等のデジタルカメラ１の物理構成に係る情報を記憶している。
撮像設定記憶部４１０は、撮像パラメータを撮像制御部２３０に伝達する。
また、撮像設定記憶部４１０は、撮像部１０がＬＦＩを撮影した撮像設定情報に、物理構成に関する情報を付加して、撮影設定情報として画像処理部２１０に伝達する。
【００４２】
再構成設定記憶部４２０は、初期出荷時に記憶された、あるいは操作部５３０を用いてユーザが入力した、ＬＦＩから再構成して画像を生成するための設定パラメータを記憶している。
再構成設定情報は、再構成処理の具体的内容を示す情報と再構成パラメータとから構成される。本実施形態では、再構成情報はＬＦＩから削除を行わない仮再構成画像を生成して表示し、仮再構成画像上の操作に基づいて削除再構成画像を生成する旨の情報と、新たな画像のフォーカス点とメインレンズＭＬとの距離を特定する情報と、を含む。
【００４３】
画像記憶部４３０は、画像生成装置３０が生成した出力画像（仮再構成画像及び削除再構成画像）を記憶する。画像記憶部４３０は、インターフェース部５０のＩ／Ｏ部５１０と表示部５２０とに、記憶した画像を伝達する。
【００４４】
インターフェース部（図ではＩ／Ｆ部と記述する）５０は、デジタルカメラ１とその使用者（ユーザ）あるいは外部装置とのインターフェースに係る構成であり、Ｉ／Ｏ部５１０と、表示部５２０と、操作部５３０と、から構成される。
【００４５】
Ｉ／Ｏ部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部）５１０は、物理的にはＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクタやビデオ出力端子と、入出力制御部と、から構成される。Ｉ／Ｏ部５１０は記憶部４０に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部４０に伝達する。
【００４６】
表示部５２０は、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成され、撮像設定記憶部４１０に記憶される撮像パラメータを入力するための画面や、デジタルカメラ１を操作するための画面を表示する。また、表示部５２０は、画像記憶部４３０に記憶された画像を表示する。
【００４７】
操作部５３０は、例えばデジタルカメラ１に備えられた各種ボタンや表示部５２０に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報を検出して記憶部４０と情報処理部２０とに伝達する伝達部を含み、ユーザ操作の情報を記憶部４０や情報処理部２０に伝達する。
【００４８】
次に、画像生成装置３０の構成について、図６を参照して説明する。
画像生成装置３０は物理的には、図６（ａ）に示すように情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、から構成される。
【００４９】
情報処理部３１は、ＣＰＵと、ＲＡＭと、から構成される。
【００５０】
主記憶部３２は、記憶部４０の主記憶装置と同様の物理構成を持つ。外部記憶部３３は、記憶部４０の外部記憶装置と同様の物理構成を持ち、プログラム３８を記憶している。入出力部３６は、入出力端子及びＩ／Ｏデバイスから構成され、画像生成装置３０と、情報処理部２０の各部や記憶部４０、インターフェース部５０等と、の情報の入出力を実現する。内部バス３７は、情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、を接続する。
【００５１】
情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、はデジタルカメラ１の情報処理部２０の内部回路と、記憶部４０と、インターフェース部５０と、によって実現される機能ブロックであってもよい。
【００５２】
画像生成装置３０は、外部記憶部３３に記憶されたプログラム３８及びデータを主記憶部３２にコピーして、情報処理部３１が、主記憶部３２を使用してプログラム３８を実行することにより、後述する削除再構成画像を生成するための処理を実行する。
【００５３】
画像生成装置３０は、上記のような物理構成により、図６（ｂ）に示すように、入力部３１０と、再構成画像生成部３２０と、削除操作取得部３３０と、出力部３４０と、として機能する。
【００５４】
入力部３１０は画像生成装置３０がデジタルカメラ１の各部から情報を取得する機能を担当する部位である。入力部３１０は、再構成設定取得部３１１０と、ＬＦＤＭ取得部３１２０と、ＬＦＩ取得部３１３０と、対応取得部３１４０と、を含む。
ＬＦＤＭ取得部３１２０は、奥行き推定・対応定義部２２０からＬＦＤＭを取得する。
【００５５】
再構成設定取得部３１１０は、再構成設定記憶部４２０から再構成設定情報を取得する。再構成設定情報は、再構成処理の具体的内容を示す情報と、下記する画像生成処理のために必要な情報（再構成パラメータや閾値を示す情報）が含まれる。本実施形態では、再構成パラメータは以下の処理により再構成画像を生成することを定めているとする。
ｉ）対応情報を用いて再構成面ＲＦに配置された仮再構成画像を生成する。
ｉｉ）仮再構成画像を表示し、ユーザの削除被写体を指定する操作を受け付ける。
ｉｉｉ）削除被写体指定操作に基づいて、削除被写体を削除した画像を再構成し、出力する。
このために、再構成パラメータは新たな画像のフォーカス点（再構成面）とメインレンズＭＬとの距離（再構成距離、距離ａ１）を特定する情報、削除被写体に対応する画素を抽出するための設定パラメータ等の情報を含む。
【００５６】
ＬＦＩ取得部３１３０は、画像処理部２１０が生成したＬＦＩを取得する。
対応取得部３１４０は、奥行き推定・対応定義部２２０から対応情報（図５の対応リスト）を取得する。
これら入力部３１０の各部は、取得した情報を再構成画像生成部３２０の各部に伝達する。
【００５７】
削除操作取得部３３０は、デジタルカメラ１の操作部５３０から、削除被写体を指定する操作を示す情報を受け取る。削除操作取得部３３０は、受け取った削除被写体指定操作を示す情報を再構成画像生成部３２０に伝達する。
【００５８】
再構成画像生成部３２０は、再構成設定取得部３１１０が取得した再構成設定及び削除操作取得部３３０が取得した削除操作情報にしたがって、ＬＦＤＭ取得部３１２０が取得したＬＦＤＭと、ＬＦＩ取得部３１３０が取得したＬＦＩと、対応取得部３１４０が取得した対応情報と、から削除再構成画像を生成する。
本実施形態では、構図を変更していない再構成画像である仮再構成画像（ＲＩ１）を一旦生成して出力する。そして、仮再構成画像を用いてユーザが削除被写体指定操作を実行すると、削除被写体を除いた再構成画像である削除再構成画像（ＲＩ２）を生成する。また、各画素の奥行きを定めた再構成奥行きマップ（ＲＤＭ）を生成する。
【００５９】
再構成画像生成部３２０が実行する処理の概要を、図７を参照して説明する。再構成画像生成部３２０は、ＬＦＩから削除処理を施さない仮再構成画像ＲＩ１を再構成して表示部５２０に出力する。図７（ａ）の例では、ＲＩ１は背景（白）と、焦点面ＲＦ付近に存在する子供（灰色）と、手前に存在する障害物（斜線部）と、が現れた像である。
【００６０】
そして、表示部５２０が表示するＲＩ１を観たユーザが、手前の障害物を削除して、子供の画像を鑑賞する際の邪魔にならないようにすることを所望する。このとき、ユーザはまず図７（ｂ）のようにタッチパネル（表示部５２０と操作部５３０）上で障害物をなぞる等の操作により削除被写体を選択する。
【００６１】
このような選択操作に基づき、再構成画像生成部３２０は、削除被写体を抽出してハイライトして表示する（図７（ｃ））。ユーザは、現在ハイライト表示されている被写体が所望の削除対象と一致しているか確認し、一致している場合は確定ボタン（図７（ｃ）のＹＥＳ）に触れて削除対象の被写体を確定する。一方、所望の対象と異なる場合はＮＯに触れる。この場合、選択は一旦リセットされ、ユーザは選択をやり直する。
【００６２】
削除対象の被写体が確定した場合に、再構成画像生成部３２０は削除被写体を削除した画像（削除再構成画像、ＲＩ２）を生成して表示する。図７（ｄ）は、削除被写体を完全に削除した場合の削除再構成画像の例を示す。一方、図７（ｅ）は削除被写体からの情報の影響を減少させ、一定の比率だけ削除した場合の画像再構成画像の例を示す。
【００６３】
このような処理を実行するため、再構成画像生成部３２０は、仮再構成画像生成部３２１０と、選択画素抽出部３２２０と、削除奥行き定義部３２３０と、削除画素抽出部３２４０と、削除部３２５０と、削除再構成画像生成部３２６０と、を含む。
【００６４】
仮再構成画像生成部３２１０は、再構成面ＲＦ上に再構成画像を定義する。そして、再構成画像上の画素（再構成画素）の画素値と、その奥行き係数を以下のように決定して、仮再構成画像（ＲＩ１）とその再構成奥行きマップ（ＲＤＭ１）とを生成する。
（１）再構成画素の一つを注目画素とし、注目画像の座標に対応する再構成画素の対応サブ画素とその重みを、対応情報を参照して取得する。
（２）対応画素の画素値を、ＬＦＩを参照して取得する。
（３）取得された画素値に、重み付け係数をかけたものを補正画素値とする。
（４）抽出した対応画素すべてについて、補正画素値を計算し、その総和を注目画素の画素値とする。このとき、画素値の総和を重みの総和で除算する正規化を実行しても良い。
（５）抽出した対応画素の奥行き係数を、ＬＦＤＭを参照して取得する。
（６）取得した奥行き係数の最頻値を、再構成奥行きマップの対応部位の奥行き係数とする。
（７）各再構成画素について（１）〜（６）を実行して画素値及び奥行き係数を決定する。
【００６５】
仮再構成画像生成部３２１０は、生成した仮再構成画像（ＲＩ１）と再構成奥行きマップ（ＲＤＭ１）とを選択画素抽出部３２２０に伝達する。
ＲＩ１とＲＤＭ１の例を、図８に示す。図８（ａ）は、仮再構成画像ＲＩ１の例である。図８（ｂ）は、ＲＩ１の奥行きマップＲＤＭ１を示す。図８（ａ）のＲＩ１上において実線で示された部位（手前の被写体）が、ＲＤＭ１上で奥行き係数が大きい（白い）部位である。
一方、ＲＩ１上において一点鎖線で示された部位は、より奥の被写体（ＯＢ２）に対応する。この部位は、ＲＤＭ１上では灰色で示されている。
ＲＩ１上において点線で示された被写体（背景、ＯＢ１）の部位は、奥行き係数が小さい。この部位は、ＲＤＭ１においてより黒い色で示されている。
被写体ＯＢ２を削除した削除再構成画像ＲＩ２（図８（ｃ））では、ＲＩ１上ではＯＢ２に隠れていた被写体ＯＢ１’が現れている。ＲＩ２に対応するＲＤＭ２（図８（ｄ））では、ＯＢ２に対応する部位が背景を示す黒色になっている。
【００６６】
仮再構成画像生成部３２１０は、生成した仮再構成画像（ＲＩ１）を出力部３４０に伝達し、出力させる。また、ＲＩ１とＲＤＭ１とを選択画素抽出部３２２０に伝達する。出力部３４０は、ＲＩ１を画像記憶部４３０に記憶した上で、表示部５２０に表示させる。
【００６７】
表示部５２０がＲＩ１をユーザに提示して、操作部５３０がユーザからＲＩ１上の被写体を選択する操作を受け付ける。受け付けた操作を削除操作取得部３３０が取得する。
【００６８】
削除操作取得部３３０は、このＲＩ１上の部位を指定する操作を示す情報（指定部位の座標）を選択画素抽出部３２２０に伝達する。
選択画素抽出部３２２０は、ユーザが指定した部位に対応する再構成画素（選択画素）をＲＩ１上から抽出する。具体的には、ユーザが指定した部位のＲＩ１上の座標（ｘ，ｙ）を取得する。さらに、選択画素の奥行き値を取得する。そして、取得した情報を選択情報として保持する。
【００６９】
選択画素抽出部３２２０が取得する選択情報の例を、図９を参照して説明する。図９（ａ）の例では、奥行き係数（デプスｉｎｄｅｘ）が１に対応する背景（ＯＢ１）と、デプスｉｎｄｅｘが３に対応する被写体（ＯＢ２ａ、ＯＢ２ｂ）と、６に対応する被写体ＯＢ３と、がＲＩ１に写っている。
ユーザがこのＲＩ１において、黒矢印のようにタッチ操作を実行すると、選択画素抽出部３２２０は図９（ｂ）に示す選択画素リストを生成する。選択画素リストは、選択画素の番号と、選択画素の座標と、選択画素の奥行き係数（デプスｉｎｄｅｘ）と、を対応付けて記録する。なお、選択画素とはユーザがタッチ操作で指定した部位に対応する再構成画素である。選択画素の座標は、ユーザがタッチ操作した部位の、再構成画像上の座標である。選択画素の奥行き係数は、選択画素の座標に対応するＲＤＭ１の奥行き係数である。
【００７０】
選択画素抽出部３２２０は、生成した選択画素リストを、削除奥行き定義部３２３０に伝達する。
削除奥行き定義部３２３０は、伝達された選択画素リストに含まれるデプスｉｎｄｅｘのうち、所定の条件を満たすデプスｉｎｄｅｘを削除被写体に対応する奥行き係数（削除奥行き係数）として定める。
【００７１】
削除奥行き係数は、選択画素リストにおいて所定数を超える数があるデプスｉｎｄｅｘとする等の任意の方法で定めて良いが、ここでは以下の方法を用いる。具体的には選択画素リストに含まれる選択画素の数をＬ、ある数値ｄのデプスｉｎｄｅｘの数をＬｄとすると、下記の式（５）を用いて比率Ｑｄを算出する。そして、選択画素リストに含まれるデプスｉｎｄｅｘのうち、Ｑｄが所定の閾値を越えるものを削除奥行き係数とする。この閾値は再構成設定情報が定義するものとする。
Ｑｄ＝Ｌｄ／Ｌ  ・・・（５）
【００７２】
図９（ａ）及び（ｂ）の例では、デプスｉｎｄｅｘが３と６が削除奥行き係数として選択される。そこで、削除奥行き定義部３２３０は選択画素リストから、削除奥行き係数と異なるデプスｉｎｄｅｘをもつ画素を削除する。
削除奥行き定義部３２３０は、削除処理済みの選択画素リストと、定義した削除奥行き係数を示す情報と、を削除画素抽出部３２４０に伝達する。
【００７３】
削除画素抽出部３２４０は、サブ画素の奥行き係数と削除奥行き係数を比較して、比較結果に基づき削除被写体が写っていると判断できる削除画素を、サブ画素から抽出する。削除画素を抽出する処理については後述する。
そして、削除画素抽出部３２４０は、抽出した削除画素に対応する再構成画素を強調した仮再構成画像を出力部３４０に伝達する。ユーザは、このとき出力された画像を用いて、所望の被写体が選択されたか判断することが出来る。
図９（ｃ）の例では、図９（ａ）の操作に基づき、デプスｉｎｄｅｘが３と６の画素に対応する被写体（ＯＢ２ａ及びＯＢ３）が削除被写体として、強調されてユーザに提示されている。ＯＢ２ｂのデプスｉｎｄｅｘは削除奥行き係数に対応しているが、ユーザが指定した部分を含まないため、ＯＢ２ｂは削除被写体とはされていない。
【００７４】
ユーザが出力された画像を確認し削除被写体を確定する操作を実行すると、削除画素抽出部３２４０は、抽出した削除画素を示す情報（削除画素のＬＦＩ上の座標）を削除部３２５０に伝達する。
【００７５】
削除部３２５０は、ＬＦＩから削除画素を削除する。具体的には、ＬＦＩの上の、削除画素抽出部３２４０から伝達された座標の画素（削除画素）の画素値をＮＵＬＬとする。画素値がＮＵＬＬの画素は、後述する削除再構成画像の生成にあたって計算対象から除外される。
なお、本実施形態では削除画素の画素値をＮＵＬＬとすることは、以下の処理で再構成画素の対応画素として扱わないことと等しい。即ち、対応リストから削除画素を削除する（あるいは対応の重みを０とする）ことと同義である。
【００７６】
ＬＦＩから削除画素を削除する処理の例を、板状の被写体ＯＢ１、立方体状の被写体ＯＢ２、円柱状の被写体ＯＢ３、を撮影した場合を例にとって図１０を参照して説明する。図１０（ａ）はＬＦＩ取得部３１３０が取得したＬＦＩの一部を、図１０（ｂ）は仮再構成画像生成部３２１０が再構成した仮再構成画像を示している。ＬＦＩには、各被写体の像が点対称に現れる。
【００７７】
ＬＦＩはＯＢ１，ＯＢ２，ＯＢ３をそれぞれ異なる角度から撮影した複数のサブ画像から構成されている。図１０では、サブ画像は格子状に配置された正方形で示されている。また、各サブ画像の中心が一点鎖線で示されている。
【００７８】
ＯＢ２を削除する場合、削除奥行き定義部３２３０が削除奥行き係数としてＯＢ２の奥行き係数を抽出する。そして、削除画素抽出部３２４０が再構成画像上のＯＢ２の座標に対応する対応画素のうち、削除奥行き係数から所定範囲に含まれるサブ画素（図１０（ａ）の横線部の画素）を抽出する。そして、削除部３２５０が、抽出されたサブ画素の画素値をＮＵＬＬとする。図１０（ｃ）は、ＮＵＬＬとされた画素を黒く示した削除済のＬＦＩ（削除ＬＦＩ、ＤＬＦＩ）の一部を示す。
削除ＬＦＩから対応リストを用いて画像を再構成すると、図１０（ｄ）のように削除被写体（ＯＢ２）が削除された削除再構成画像（ＲＩ２）を生成することが出来る。このとき、ＯＢ２があった部分には、ＯＢ１が表示される。これは、ＯＢ２があった部位の再構成画素の対応画素のうち、削除画素以外にＯＢ１が写っているためである。
【００７９】
削除部３２５０は、削除ＬＦＩを削除再構成画像生成部３２６０に伝達する。削除再構成画像生成部３２６０は、再構成画素のそれぞれについて、対応リストに登録された対応サブ画素のうち削除ＬＦＩ上で画素値がＮＵＬＬとされていない画素の画素値を重み付け加算して、削除再構成画像（ＲＩ２）を生成する。
【００８０】
削除再構成画像生成部３２６０は生成した削除再構成画像を出力部３４０に伝達する。出力部３４０は伝達された削除再構成画像を画像記憶部４３０に記憶する。そして、デジタルカメラ１は削除再構成画像を表示部５２０に表示する。あるいは、Ｉ／Ｏ部５１０を介して外部に伝達する。
【００８１】
次に、デジタルカメラ１が実行する処理について、フローチャートを参照して説明する。デジタルカメラ１は、使用者が操作部５３０を操作して被写体の撮影を指示したこと契機として、図１１に示す画像出力処理を開始する。
【００８２】
画像出力処理では、まず画像処理部２１０が撮像部１０から取得した画像情報と、撮像設定記憶部４１０から取得した撮影設定情報と、からＬＦＩを生成する（ステップＳ１０１）。そして、奥行き推定・対応定義部２２０に生成したＬＦＩと撮影設定情報を伝達する。
【００８３】
次に奥行き推定・対応定義部２２０が、撮影設定情報を取得する。さらに、再構成設定記憶部４２０から再構成設定情報を取得する（ステップＳ１０２）。このとき取得した撮影設定及び再構成設定は、画像生成装置３０にも伝達される。
【００８４】
そして、奥行き推定・対応定義部２２０が、ＬＦＩを構成する各サブ画素について奥行きを推定し、画像生成装置３０が奥行き係数を配置したＬＦＤＭを取得する（ステップＳ１０３）。
具体的には、奥行き推定・対応定義部２２０は、ＬＦＩを構成する各サブ画素について、対応する被写体の奥行きを推定し、推定した奥行きを示す奥行き係数をそのサブ画素に対応付けたＬＦＤＭを生成する。
【００８５】
ここで、奥行き係数はＬＦＩの画素の被写体の距離を推定する任意の方法を用いて算出してよいが、本実施形態では以下の方法で算出するとする。
ｉ）ＬＦＩを構成するあるサブ画像を注目サブ画像とする。
ｉｉ）注目サブ画像を、画素値の差が所定範囲に含まれる画素によって構成される画像領域に分割する。そして、画像領域の一つを注目領域として選択する。
ｉｉｉ）注目サブ画像の右側（無い場合は左側、この場合は以下左右逆）のサブ画像を、位置順にＳＲ１、ＳＲ２、…ＳＲｋとして抽出する。なお、ｋは設定上定められた自然数である。
ｉｖ）注目領域の重心の座標（ｘ、ｙ）を取得する。なお、この座標は、各サブ画像の中心を原点とする、サブ画像毎に独立した座標系に対して定義される。
ｖ）現在の画素ズレをｄとする。サブ画像ＳＲ１において注目領域に対応する部位に、注目領域に対応する領域（対応領域）を配置する。このとき、対応領域の重心をｄだけ右側にずらして配置する。注目領域の各画素の画素値と、対応領域の対応する画素の画素値と、の差の二乗和（ＳＳＤ）を算出する。同様に、ＳＲ２に対応領域を、２ｄだけ右側にずらして配置し、ＳＳＤを算出する。ＳＳＤをＳＲｋまでそれぞれ取得して、各ＳＳＤの差分絶対値和（ＳＳＳＤ）を求める。これをｄの評価値とする。
ｖｉ）起こりうる視差の範囲の各画素ズレｄについて評価値を算出する。そのうち、得られた絶対差分値和ＳＳＳＤが最小である画素ズレ（ｄ）を、注目領域に含まれる画素の画素ズレ係数とする。
ｖｉｉ）全てのサブ画像の全ての画素について画素ズレ係数を算出し、算出した画素ズレ係数をＬＦＤＭの奥行き係数として対応する画素の部位に配置する。
【００８６】
なお、各画素の画素ズレ係数は、ある画像の注目部位に対応する画素が、他の画像のどこにあるか決定して、相互の位置のズレを算出する任意の既知の方法で求めることが出来る。このような処理で算出した画素ズレ係数は、注目サブ画素に対応する被写体が、各サブ画像を撮影した視点の差によって、画像毎に異なる位置に像として現れ、その位置の差（サブ画像視差）の推定結果を示す。
ここでは、サブ画像毎の視点（サブレンズ）の位置の差をレンズ視差、レンズ視差により発生する対応する像が現れる位置の差を画像視差と呼ぶ。画像視差は、レンズ視差が大きいほど大きくなる。また、奥行き（視点と被写体との距離）が大きくなるほど小さくなる。本実施形態のように、レンズ視差が各サブ画像同士で既知である場合は、画像視差（ズレ係数）を、推定した奥行きを示す奥行き係数とすることができる。
【００８７】
次に、奥行き推定・対応定義部２２０は、図４で説明した光線追跡により、図５に示す対応リストを生成する（ステップＳ１０４）。そして、画像生成装置３０は、奥行き推定・対応定義部２２０が生成した対応リストを取得する。
【００８８】
ステップＳ１０３でＬＦＤＭを、ステップＳ１０４で対応リストを取得すると、次に画像生成装置３０はＬＦＩとＬＦＤＭと対応リストとを用いて仮再構成画像（ＲＩ１）を生成する処理（仮再構成画像生成処理）を開始する（ステップＳ１０５）。ここでは、図１２に示す仮再構成画像生成処理１を実行する。
【００８９】
仮再構成画像生成処理１ではまず仮再構成画像生成部３２１０が、再構成設定情報が定義する再構成面ＲＦ上に仮再構成画像を定義する（ステップＳ２０１）。さらに、仮再構成画像に含まれる画素（再構成画素）から、注目画素を選択する（ステップＳ２０２）。
【００９０】
次に、仮再構成画像生成部３２１０は、サブ画素から注目画素に対応する対応画素を抽出する（ステップＳ２０３）。具体的には、図５の対応リストのうち、再構成画素の座標が注目画像の座標と一致する行に登録されたサブ画素を、対応画素として抽出する。
【００９１】
次に、仮再構成画像生成部３２１０が注目画素の画素値を算出する（ステップＳ２０４）。具体的には、ステップＳ２０３で抽出された各対応画素の画素値を、それぞれの対応画素の重みを用いて重み付き加算平均して、得られた値を注目画素の画素値とする。
【００９２】
同様に、仮再構成画像生成部３２１０が注目画素の奥行き係数を算出する（ステップＳ２０５）。具体的には、ステップＳ２０３で抽出された各対応画素についてＬＦＤＭが定義する奥行き係数を、それぞれの対応画素の重みを用いて重み付き加算平均して、得られた値を注目レイヤ画素の奥行き係数とする。
なお、対応画素の奥行き係数の最頻値を注目画素の奥行き係数としてもよい。
【００９３】
次に、注目レイヤの全再構成画素を注目画素として上記処理が終了したか判別する（ステップＳ２０６）。未処理の再構成画素がある場合には（ステップＳ２０６；ＮＯ）、次の未処理の再構成画素についてステップＳ２０２から処理を繰り返す。一方、全再構成画素を処理済みの場合（ステップＳ２０６；ＹＥＳ）、仮再構成画像生成処理１は終了する。
【００９４】
図１１に戻って、ステップＳ１０５で仮再構成画像を生成すると、次に出力部３４０が生成した仮再構成画像を出力して（ステップＳ１０６）、表示部５２０に表示させる。
【００９５】
次に、ステップＳ１０６で表示した仮再構成画像について、ユーザが実行する削除操作を受け付け、その操作に基づいて削除被写体及び削除画素を定義する処理（削除対象定義処理、ここでは削除対象定義処理１）を、画像生成装置３０が実行する（ステップＳ１０７）。
【００９６】
ステップＳ１０７で実行される削除対象定義処理１について、図１３を参照して説明する。
削除対象定義処理１では、まず削除操作取得部３３０が、ユーザの削除対象となる被写体を選択する操作を検出できたか判別する（ステップＳ３０１）。具体的には、表示部５２０と操作部５３０とから構成されるタッチパネル上で、仮再構成画像（ＲＩ１）に触れる操作が検出できたか判別する。
検出できなかった場合（ステップＳ３０１；ＮＯ）、ステップＳ３０１を繰り返して、検出できるまで待ち受ける。
【００９７】
一方、選択操作を検出できた場合（ステップＳ３０１；ＹＥＳ）、選択画素抽出部３２２０がその選択部位に対応する再構成画素（選択画素）を抽出する（ステップＳ３０２）。具体的には、タッチパネルに対するタッチ操作で、指定された位置に対応する再構成画素の座標を求める。
【００９８】
次に、選択画素抽出部３２２０が仮再構成画素（ＲＩ１）とその奥行きマップ（ＲＤＭ１）とを参照して、選択画素の奥行き係数を取得し（ステップＳ３０３）、選択画素番号と、座標と、奥行き係数（デプスｉｎｄｅｘ）と、を対応づけて図９（ｂ）の選択画素リストに記憶する。
【００９９】
次に、選択終了操作であるか否か判別する（ステップＳ３０４）。具体的には、タッチパネルから指を離す、選択終了を指示する操作を実行する、等の選択終了を示す操作を検出したか否か判別する。このような操作を検出しない場合は（ステップＳ３０４；ＮＯ）、次の部位を選択する操作に基づき、ステップＳ３０２から処理を繰り返す。
【０１００】
一方、選択終了操作を検出した場合は（ステップＳ３０４；ＹＥＳ）、処理はステップＳ３０５に移行する。ステップＳ３０５では、削除奥行き係数を定義するための処理（削除奥行き定義処理、ここでは削除奥行き定義処理１）が実行される。
【０１０１】
削除奥行き定義処理１について、図１４を参照して説明する。削除奥行き定義処理では、まず削除奥行き定義部３２３０が選択画素リストに記録されている奥行き係数（デプスｉｎｄｅｘ）を取得する（ステップＳ４０１）。図９（ｂ）の例では、デプスｉｎｄｅｘの値として３，６及び１が記録されているため、これら３つのデプスｉｎｄｅｘを取得する。
【０１０２】
次に、削除奥行き定義部３２３０がステップＳ４０１で取得した奥行き係数のうち一つを注目奥行き係数として選択する（ステップＳ４０２）。
【０１０３】
次に、注目奥行き係数について、式（５）を用いて比率Ｑｄを算出する（ステップＳ４０３）。例えば、図９（ｂ）のデプスｉｎｄｅｘ３について、４５／２００を比率Ｑｄの値として算出する。
【０１０４】
削除奥行き定義部３２３０は、次にステップＳ４０３で算出した比率が所定の閾値以上であるか判別する（ステップＳ４０４）。所定の閾値以上である場合（ステップＳ４０４；ＹＥＳ）、削除奥行き定義部３２３０は注目奥行きを削除奥行き係数として定める（ステップＳ４０５）。一方、所定の閾値より小さい場合（ステップＳ４０４；ＮＯ）、注目奥行き係数は削除奥行き係数では無いとの判断の元、注目奥行き係数を選択画素リストから削除する（ステップＳ４０６）。具体的には、選択画素リストの行のうち、デプスｉｎｄｅｘが注目奥行き係数と一致する行を削除する。
【０１０５】
次に、ステップＳ４０１で取得した全ての奥行き係数について上記処理が終了したか判別する（ステップＳ４０７）。未処理の奥行き係数がある場合（ステップＳ４０７；ＮＯ）、次の未処理の奥行き係数についてステップＳ４０２から処理を繰り返す。一方、全ての奥行き係数について処理済みの場合（ステップＳ４０７；ＹＥＳ）、削除奥行き定義処理は終了する。
【０１０６】
図１３に戻って、ステップＳ３０５で削除奥行き係数を定義すると、削除画素抽出部３２４０は、定義された削除奥行き係数の一つを注目奥行き係数として選択する（ステップＳ３０６）。
【０１０７】
次に、削除画素抽出部３２４０は、ライトフィールド画像（ＬＦＩ）から削除画素を抽出する処理（削除画素抽出処理、ここでは削除画素抽出処理１）を実行する（ステップＳ３０７）。
【０１０８】
ステップＳ３０７で実行される削除画素抽出処理１について、図１５を参照して説明する。
まず、削除画素抽出処理１では、削除画素抽出部３２４０は、仮再構成画像（ＲＩ１）について生成された選択画素リストに記憶されている選択画素の一つを注目選択画素として選択する（ステップＳ５０１）。そして、注目選択画素を、仮再構成画像（ＲＩ１）内で選択する選択領域に編入する。
【０１０９】
次に、削除画素抽出部３２４０は、選択領域に隣接する画素である隣接再構成画素を抽出する（ステップＳ５０２）。具体的には、選択領域に含まれる画素のそれぞれについて、上下左右方向に隣接する画素のうち、選択領域に含まれない再構成画素を、隣接再構成画素として抽出する。
【０１１０】
次に、削除画素抽出部３２４０は、ステップＳ５０２で抽出した隣接再構成画素に、所定の条件を満たす編入画素があるか否か判別する（ステップＳ５０３）。ここで所定の条件とは、隣接再構成画素の画素値と選択領域に含まれる画素の平均値と、の差が再構成設定で定める所定の閾値以下であり、かつ奥行き係数が削除奥行き係数（注目奥行き係数）を含む所定範囲（削除奥行き範囲）に含まれることである。例えば、再構成設定が削除奥行き範囲を削除奥行き係数の±２の範囲と定めている場合、奥行き係数が６とすると４〜８が削除奥行き範囲である。本実施形態では、隣接再構成画素の奥行き係数が削除奥行き範囲に含まれることが、隣接再構成画素が選択領域に編入される編入画素である条件となる。
【０１１１】
ステップＳ５０２で抽出した隣接再構成画素に編入画素がある場合（ステップＳ５０３；ＹＥＳ）、編入画素は削除被写体に対応する画素であるとの判断の元、削除画素抽出部３２４０は編入画素を選択領域に編入する（ステップＳ５０４）。そして、処理はステップＳ５０２に戻り、さらなる編入画素を抽出する。
【０１１２】
一方、編入画素が無い場合（ステップＳ５０３；ＮＯ）、現時点での選択領域に隣接する範囲に削除被写体に対応する画素は無いとの判断の元、処理はステップＳ５０５に進む。
ステップＳ５０５では、削除画素抽出部３２４０は、選択画素リストに記憶された選択画素に、選択領域に含まれない画素があるか否か判別する。選択領域に含まれない選択画素があった場合（ステップＳ５０５；ＹＥＳ）、その画素を新たな注目選択画素として処理をＳ５０１から繰り返す。
【０１１３】
一方、選択領域に含まれない選択画素が無い場合（ステップＳ５０５；ＮＯ）、削除被写体に対応する再構成画素が現在の選択領域に含まれているとの判断の元、削除画素抽出部３２４０は、仮再構成画像（ＲＩ１）の選択領域に対応するライトフィールド画像（ＬＦＩ）の対応画素を抽出する（ステップＳ５０６）。具体的には、対応リストにおいて、選択領域に含まれる再構成画素に対応すると定義されたサブ画素を抽出する。
【０１１４】
次に、削除画素抽出部３２４０は、ステップＳ５０６で抽出した対応画素のうち、削除奥行き範囲に含まれる奥行き係数を持つ画素を、削除画素として抽出する（ステップＳ５０７）。そして、削除画素抽出処理は終了する。
【０１１５】
図１３に戻って、ステップＳ３０７で削除画素が抽出されると、次に、ステップＳ３０５で定義された全削除奥行きについて上記処理が終了したかを判別する（ステップＳ３０８）。未処理の削除奥行きがある場合（ステップＳ３０８；ＮＯ）、次の未処理の削除奥行きについてステップＳ３０６から処理を繰り返す。一方、全削除奥行きについて処理済みの場合（ステップＳ３０８；ＹＥＳ）、処理はステップＳ３０９に移行する。
【０１１６】
ステップＳ３０９では、図７（ｃ）で示したように、削除画素抽出部３２４０は、抽出した削除画素に対応する削除被写体をハイライトした仮再構成画像を出力部３４０に出力する。具体的には、ＲＩ１のうち削除被写体の画素値を黒とする、あるいは黒と白とで点滅する画素値とする、等の処理により削除被写体を判別可能な画像を生成する。そして、図７（ｃ）で示したように、生成した画像を表示する。
【０１１７】
次に、ユーザがハイライトされた削除領域（削除被写体）を確認して確定操作を実行するなどして、削除対象（削除画素）が確定したか否か判別する（ステップＳ３１０）。ユーザが図７（ｃ）でＮＯを選択した場合など、確定しなかった場合には（ステップＳ３１０；ＮＯ）、削除領域をリセットしてステップＳ３０１に戻る。
【０１１８】
一方、ユーザが図７（ｃ）でＹＥＳを選択した場合など、削除領域が確定した場合は（ステップＳ３１０；ＹＥＳ）、削除画素抽出部３２４０はステップＳ３０７で抽出したサブ画素を削除画素として確定する。そして、削除対象定義処理１は終了する。
【０１１９】
図１１に戻って、ステップＳ１０７で削除画素を抽出すると、次に削除部３２５０が削除処理を実行する。具体的には、削除画素の画素値をＮＵＬＬとする（ステップＳ１０８）。そして、削除再構成画像生成部３２６０が削除再構成画像ＲＩ２を生成する処理（削除再構成画像生成処理、ここでは削除再構成画像生成処理１）を開始する（ステップＳ１０９）。
【０１２０】
ステップＳ１０９で実行される削除再構成画像生成処理１を、図１６を参照して説明する。削除再構成画像生成処理１では、削除再構成画像生成部３２６０が再構成画素のうち一つを注目画素として選択する（ステップＳ６０１）。
【０１２１】
次に、削除再構成画像生成部３２６０は、サブ画素から注目画素に対応する対応画素を抽出する（ステップＳ６０２）。具体的には、図５の対応リストのうち、再構成画素の座標が注目画像の座標と一致する行に登録されたサブ画素を、対応画素として抽出する。
【０１２２】
次に、削除再構成画像生成部３２６０は、ステップＳ６０２で抽出した対応画素に、画素値がＮＵＬＬの画素（削除画素）が含まれるか否か判別する（ステップＳ６０３）。削除画素が含まれる場合（ステップＳ６０３；ＹＥＳ）、削除画素を以降の算出処理の対象から除外する（ステップＳ６０４）。一方、削除画素が含まれない場合（ステップＳ６０３；ＮＯ）、ステップＳ６０４をスキップする。
【０１２３】
次に、削除再構成画像生成部３２６０が注目画素の画素値を算出する（ステップＳ６０５）。具体的には、ステップＳ６０２で抽出された各対応画素の画素値を、それぞれの対応画素の重みを用いて重み付き加算平均して、得られた値を注目画素の画素値とする。このとき、ステップＳ６０４で除外された削除画素については算出処理の対象としない。
【０１２４】
このとき、対応画素が全て削除画素である（あるいは、削除画素が占める割合が所定の比率より多い）場合は、所定のデフォルト値（たとえば黒）を再構成画素の画素値とする。このとき、削除操作によって、撮影によらない情報が削除再構成画素に現れたことをユーザに警告する。
【０１２５】
同様に、削除再構成画像生成部３２６０が注目画素の奥行き係数を算出する（ステップＳ６０６）。具体的には、ステップＳ６０２で抽出された各対応画素についてＬＦＤＭが定義する奥行き係数を、それぞれの対応画素の重みを用いて重み付き加算平均して、得られた値を注目画素の奥行き係数とする。
なお、対応画素の奥行き係数の最頻値を注目画素の奥行き係数としてもよい。
このとき、削除画素については算出処理の対象から除外される。
【０１２６】
次に、全再構成画素を注目画素として上記処理が終了したか判別する（ステップＳ６０７）。未処理の再構成画素がある場合には（ステップＳ６０７；ＮＯ）、次の未処理の再構成画素についてステップＳ６０１から処理を繰り返す。一方、全再構成画素を処理済みの場合（ステップＳ６０７；ＹＥＳ）、削除再構成画像が生成されたので、削除再構成画像生成処理１は終了する。
【０１２７】
図１１に戻って、ステップＳ１０９で削除再構成画像を生成すると、次に出力部３４０が生成した削除再構成画像を画像記憶部４３０に出力する（ステップＳ１１０）。そして、表示部５２０又はＩ／Ｏ部５１０が変更再構成画像を外部に出力し、画像出力処理は終了する。
【０１２８】
以上説明したように、本実施形態の画像生成装置３０は削除対象となる被写体を削除した再構成画像を生成することができる。また、被写体の削除にあたって、削除対象となる被写体に対応するサブ画素を抽出して、その他のサブ画素の画素値に基づいて再構成画素の画素値を決定する。そのため、削除後の再構成画像（ＲＩ２）に主要被写体の撮影情報によらない画素（削除対象の被写体の画素）が現れる割合が小さい。即ち、削除再構成画像を主要な被写体の撮影情報をより反映する画像として生成する事が出来る。
【０１２９】
また、本実施形態の画像生成装置３０は削除被写体が位置すると推定される奥行き係数を持つ画素について削除処理を実行して、削除被写体の像を再構成画像から削除する。この構成により、削除対象の被写体を含まない奥行きの像はそのまま保持して被写体を削除できる。このため、ＬＦＩ上に撮影された、より奥に位置する被写体の像が、削除した部位に現れる。そのため、実際に被写体を除いた場合に近い削除再構成画像を生成することが出来る。
【０１３０】
また、本実施形態の画像生成装置３０は、ＬＦＤＭから再構成奥行きマップを生成し、選択画素（再構成画素の一部）の奥行き係数に基づいて被写体の奥行き係数を定める。このため、定めた削除被写体の奥行きに適合するサブ画素を削除画素として抽出することができ、実際に被写体を除いた場合に近い削除再構成画像を生成することが出来る。
【０１３１】
さらに、本実施形態のデジタルカメラ１は、一旦削除処理を施さない仮再構成画像を生成し、ユーザに提示する構成を持つ。そのため、ユーザは削除を行わない場合の画像を確認の上、所望の削除対象を選択することができる。そのため、被写体の削除を実行する上で、ユーザの利便性が高い。
【０１３２】
さらに、撮影パラメータ（撮影設定情報）に基づく対応情報を取得し、この対応情報に基づき仮再構成画像と削除再構成画像を生成する。そのため、撮影時の条件を反映した、精度の高い仮再構成画像と、削除再構成画像を生成できる。
【０１３３】
（変形例）
本発明は、上記実施形態に限定されず、さまざまな変形が可能である。
例えば、上記実施形態では削除奥行き範囲を、削除操作で抽出されたデプスｉｄｅｘが所定の比率より多い奥行き係数を含む所定範囲として定めた。そして、削除被写体に対応する再構成画素の対応サブ画素のうち、奥行き係数が削除奥行き範囲に含まれるサブ画素を、削除画素として定めた。
しかし、本発明の削除画素を抽出する方法はこれに限られない。
例えば、デジタルカメラ１はユーザが指定する奥行きの範囲に属するサブ画素を全て削除画素としても良い。このような構成によれば、例えば主な被写体の前に帯状の障害物があった場合等に、邪魔な障害物を一律に削除するといった処理が簡便に達成できる。
あるいは、ユーザが指定する任意の部位に対応する、ユーザ指定の奥行き範囲に属するサブ画素を削除画素と定める構成も可能である。
【０１３４】
また、上記実施形態では図１５の削除画素抽出処理１により選択領域（削除被写体に対応する再構成画像上の領域）を定義したが、選択領域を定義する方法はこれに限られない。
例えば、予め再構成画像を画素値・奥行き係数に基づいて画像領域に分割しておき、画像領域のうちその画像領域に含まれる選択画素が所定の比率よりも多い領域を選択領域と定める構成も可能である。このとき画像領域を分割する方法は、分割・統合法、グラフカット法等の既知の任意の方法を用いることが出来る。
【０１３５】
なお、このように予め再構成画像を画像領域に分割しておく方法は、削除奥行き範囲を定義する処理にも応用できる。例えば、選択操作に基づいてその画像領域に含まれる選択画素が所定の比率よりも多い領域を選択領域としてまず抽出する。そして、選択領域の奥行き係数の最頻値を削除奥行き係数とし、その奥行き係数から所定範囲を削除奥行き範囲とする構成が可能である。
【０１３６】
また、デジタルカメラの設計上想定される奥行き係数の範囲を複数のクラス（奥行きクラス）に分割して上記削除処理を実行する構成も可能である。この変形例では、奥行きクラスと対応する奥行き係数の範囲とを対応づけて記憶するリスト（図１７のクラス−デプス対応リスト）を用いて奥行きクラスを定義する。図１７の例では、設定上想定されるデプスｉｎｄｅｘ（０〜ＭＡＸ）について、３つの奥行きクラスが定義される。例えばクラスｉｎｄｅｘ２と対応デプスｉｎｄｅｘ３〜５が同じ行に登録されていることは、デプスｉｎｄｅｘ（奥行き係数）が３〜５の画素が２番目のクラスに属することを示す。
デプスをクラスに振り分ける方法は、再構成設定で予め定義する、ＬＦＤＭの各奥行き値を既知のクラスタリング方法でクラスタリングする、等任意である。クラスタリングの方法としては、各クラスが属する奥行き値のクラス間の距離が最大となるようにウォード方を用いてクラスタリングする、ｋ平均法を用いる、等が挙げられる。
【０１３７】
クラスを用いる構成では、図９（ａ）のような選択操作に基づいて、図１８に示すような選択画素リストを生成する。そして、全選択画素のうち、所定の比率を超えるクラスｉｎｄｅｘを選択クラスとする。そして、選択クラスに割り当てられた奥行き範囲を、削除奥行き範囲として削除画素を抽出する。
このような構成によれば、割り当てられた範囲については一つのクラスとして選択のための比率を算出する。そのため、削除被写体が持つデプスｉｎｄｅｘが一定の数値を持たず、揺らいで居る場合でもユーザが所望する削除被写体を選択して削除することが可能となる。
【０１３８】
さらに、上記実施形態では削除部が削除画素の画素値をＮＵＬＬとし、削除再構成の生成にあたって算出の対象外とした。
しかし、本発明では、削除画素の画素値が再構成画素に現れる割合が所望の被写体の鑑賞の邪魔にならない程度に小さくする任意の方法を用いて削除再構成画像を生成して良い。
例えば、削除部が図５の対応リストから削除画素を消去することにより、再構成画像の生成プロセスにおいて削除画素の画素値が用いられないようにする構成によって削除再構成画像を生成できる。あるいは、削除画素を対応リストから消去する代わりに、削除画素について対応リストに記憶された重みｗを鑑賞の邪魔にならない程度まで減少させる構成も可能である。この構成によれば、図７（ｅ）のように一定の比率だけ削除した画像を生成できる。
このような構成の例として、削除画素の重みを減少させる比率をスライドバー等を用いてユーザが指定することが考えられる。この構成により、ユーザは削除被写体が削除再構成画像に現れる程度を所望の水準まで下げることができる。
【０１３９】
このように削除部は、削除画素の画素値をＮＵＬＬとしてその後の再構成処理において処理対象から排除する、対応リストから削除画素を削除する、削除画素の重みを減少する、等の処理を実行する。これらの処理は、再構成画素とサブ画素の対応関係を、削除画素と再構成画素との対応の度合いを小さくするように変更することであると言い換えることができる。なお、ここで「対応の度合いを小さくする」とは、対応の度合いを０とすることを含む。このため、削除部は変更部とも表現できる。
画像生成装置は、このような処理により、削除被写体が写っていると判断できるサブ画素の画素値が再構成画像に現れる割合を効果的に減少させることが出来る。その結果、削除被写体がある部位には、削除画素以外の対応画素の像が現われるため、実際に削除被写体を除いた場合の画像に近い削除再構成画増を生成することが出来る。
【０１４０】
さらに、ユーザ操作に基づいて削除対象を定めなくても良い。例えば、最も近いクラスの被写体や所望の焦点面より前の被写体を、自動的に削除する等の構成も可能である。
【０１４１】
さらに、上記説明では、対応情報に重み係数が含まれている例について説明したが、対応情報は再構成画素に対応するサブ画素を定めた情報であればよく、重みを定義している必要は無い。
さらに、上記説明では、対応情報は撮影設定情報や再構成設定に基づいて、ＬＦＩ毎に生成するものとしたが、これに限らず、予め記憶された所定の対応情報を用いるとしてもよい。この構成は、想定される撮影パラメータが変動する余地が少なく、再構成距離が一定である場合に、許容範囲の精度を保って計算量を減少させるために好適である。
【０１４２】
また、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の三つの画素値が定義されたＲＧＢ画像であってよい。この場合、画素値をＲＧＢのベクトル値として同様に処理する。また、Ｒ、Ｇ、Ｂ、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像であるライトフィールド画像からカラー画像である再構成画像を生成できる。
【０１４３】
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【０１４４】
情報処理部３１、主記憶部３２、外部記憶部３３、などから構成される削除再構成画像生成のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールし、削除再構成画像生成のための処理を行う中心となる部分を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで画像生成装置を構成してもよい。
【０１４５】
画像生成装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【０１４６】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【０１４７】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０１４８】
（付記１）
複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像から、所定の再構成面に定義される再構成画像を生成する画像生成装置であって、
前記撮影画像のサブ画像を構成するサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す奥行係数を取得する奥行取得部と、
前記サブ画素から、前記奥行取得部が取得した奥行係数が所定条件を満たすサブ画素を、削除の対象となる削除被写体に対応する削除画素として抽出する抽出部と、
前記再構成画像を構成する再構成画素の画素値を、当該再構成画素に対応するサブ画素の画素値に基づき、当該サブ画素のうち前記抽出部が抽出した削除画素の画素値の影響が小さくなるように求める事により、前記削除被写体を削除した再構成画像を生成する生成部と、
を備えることを特徴とする画像生成装置。
【０１４９】
（付記２）
前記抽出部は、前記削除被写体の奥行きを取得し、前記奥行取得部が取得した奥行係数が、当該削除被写体の奥行きを含む所定範囲に含まれるサブ画素を、前記奥行係数が所定条件を満たすサブ画素とする、
ことを特徴とする付記１に記載の画像生成装置。
【０１５０】
（付記３）
前記奥行取得部が取得したサブ画素の奥行係数から前記再構成画素の奥行きを求める獲得部を更に備え、
前記抽出部は、前記削除被写体が位置する前記再構成画像上の部位の少なくとも一部を取得し、当該取得した部位の再構成画素について前記獲得部が求めた奥行きに基づいて、前記削除被写体の奥行きを取得する、
ことを特徴とする付記２に記載の画像生成装置。
【０１５１】
（付記４）
前記再構成画素と前記サブ画素との対応関係を、前記削除画素と前記再構成画素との対応の度合いが小さくなるように変更する変更部を更に備え、
前記生成部は、前記変更部が変更した対応関係を用いて、前記削除画素の画素値の影響が小さくなるように前記再構成画素の画素値を求める、
ことを特徴とする付記１乃至３の何れか一つに記載の画像生成装置。
【０１５２】
（付記５）
前記変更部が変更する前の対応関係に基づいて、前記複数の被写体を含む再構成画像である仮再構成画像を作成する作成部と、
前記作成部が作成した仮再構成画像を出力する出力部と、
前記出力部が出力した仮再構成画像上の部位を指定するための受付部と、
を更に備え、
前記抽出部は、前記奥行係数が所定条件を満たすサブ画素のうち、前記受付部によって指定された削除部位に対応するサブ画素を、前記削除画素として抽出する、
ことを特徴とする付記４に記載の画像生成装置。
【０１５３】
（付記６）
前記撮影画像を撮影した際の撮影パラメータに基づいて求められた、前記再構成画素と前記サブ画素との対応関係を示す情報を取得する対応取得部をさらに備え、
前記変更部は、前記対応取得部が取得した情報が示す対応関係を変更する、
ことを特徴とする付記４又は５に記載の画像生成装置。
【０１５４】
（付記７）
複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得し、
前記取得した撮影画像のサブ画像を構成するサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す奥行係数を取得し、
前記サブ画素から、前記取得した奥行係数が所定条件を満たすサブ画素を、削除の対象となる削除被写体に対応する削除画素として抽出し、
所定の再構成面に定義される再構成画像を構成する再構成画素の画素値を、当該再構成画素に対応するサブ画素の画素値に基づき、当該サブ画素のうち前記抽出した削除画素の画素値の影響が小さくなるように求める事により、前記削除被写体を削除した再構成画像を生成する、
ことを特徴とする画像生成方法。
【０１５５】
（付記８）
コンピュータに、
複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得する機能、
前記取得した撮影画像のサブ画像を構成するサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す奥行係数を取得する機能、
前記サブ画素から、前記取得した奥行係数が所定条件を満たすサブ画素を、削除の対象となる削除被写体に対応する削除画素として抽出する機能、
所定の再構成面に定義される再構成画像を構成する再構成画素の画素値を、当該再構成画素に対応するサブ画素の画素値に基づき、当該サブ画素のうち前記抽出した削除画素の画素値の影響が小さくなるように求める事により、前記削除被写体を削除した再構成画像を生成する機能、
を実現させることを特徴とするプログラム。
【符号の説明】
【０１５６】
１…デジタルカメラ、１０…撮像部、１１０…光学装置、１２０…イメージセンサ、２０…情報処理部、３０…画像生成装置、３１…情報処理部、３２…主記憶部、３３…外部記憶部、３６…入出力部、３７…内部バス、３８…プログラム、２１０…画像処理部、２２０…奥行き推定・対応定義部、２３０…撮像制御部、３１０…入力部、３１１０…再構成設定取得部、３１２０…ＬＦＤＭ取得部、３１３０…ＬＦＩ取得部、３１４０…対応取得部、３２０…再構成画像生成部、３２１０…仮再構成画像生成部、３２２０…選択画素抽出部、３２３０…削除奥行き定義部、３２４０…削除画素抽出部、３２５０…削除部、３２６０…削除再構成画像生成部、３３０…削除操作取得部、３４０…出力部、４０…記憶部、４１０…撮像設定記憶部、４２０…再構成設定記憶部、４３０…画像記憶部、５０…インターフェース部（Ｉ／Ｆ部）、５１０…Ｉ／Ｏ部、５２０…表示部、５３０…操作部、ＬＦＩ…ライトフィールド画像、ＬＦＤＭ…ライトフィールド奥行きマップ、ＯＡ…光軸、ＯＢ…被写体、ＯＢ１…被写体、ＯＢ２…被写体、ＯＢ２ａ…被写体、ＯＢ２ｂ…被写体、ＯＢ３…被写体、ＰＯＢ…被写体の部分、Ｐ…注目部位、ＭＬ…メインレンズ、ＰＦ…結像点、ＭＩＰ…メインレンズ結像面、ＰＥ…到達点、ＩＥ…撮像面、ＳＬＡ…サブレンズアレイ、ＳＬ…サブレンズ、ＭＬＢ…メインレンズブラー、ＭＬＢＣ…メインレンズブラー中心、Ｓ１１〜ＳＭＮ…サブ画像、ＲＤＭ…再構成奥行きマップ、ＲＤＭ１…再構成奥行きマップ、ＲＤＭ２…再構成奥行きマップ、ＲＩ１…仮再構成画像、ＲＩ２…削除再構成画像、ＲＦ…再構成面
【図１】
0005310895.tif 000004
【図２】
0005310895.tif 000005
【図４】
0005310895.tif 000006
【図５】
0005310895.tif 000007
【図６】
0005310895.tif 000008
【図７】
0005310895.tif 000009
【図８】
0005310895.tif 000010
【図１０】
0005310895.tif 000011
【図１１】
0005310895.tif 000012
【図１２】
0005310895.tif 000013
【図１３】
0005310895.tif 000014
【図１４】
0005310895.tif 000015
【図１５】
0005310895.tif 000016
【図１６】
0005310895.tif 000017
【図１７】
0005310895.tif 000018
【図１８】
0005310895.tif 000019
【図３】
0005310895.tif 000020
【図９】
0005310895.tif 000021