(57)【要約】【課題】少ない観測数で被写体空間の情報を高解像に取得する。【解決手段】撮像装置１００は、複数の画素を用いた撮像により被写体空間の光強度分布を取得し、複数の画素のそれぞれに対応する係数の分布であって光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する。撮像装置は、互いに異なる第１の撮像条件および第２の撮像条件で得られる光強度分布に対して係数分布である第１の係数分布および第２の係数分布がそれぞれ作用することで得られる光強度分布を合成して合成画像を生成する。第１および第２の係数分布の基本統計量を互いに異ならせる。【選択図】図３
2017208642.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を用いた撮像により被写体空間の光強度分布を取得する光強度分布取得手段と、
前記複数の画素のそれぞれに対応する係数の分布であって前記光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定手段と、
互いに異なる第１の撮像条件および第２の撮像条件で得られる前記光強度分布に対して前記係数分布である第１の係数分布および第２の係数分布がそれぞれ作用することで得られる光強度分布を合成して合成画像を生成する画像生成手段とを有し、
前記係数分布設定手段は、前記第１および第２の係数分布の基本統計量を互いに異ならせることを特徴とする撮像装置。
【請求項２】
前記基本統計量は、前記係数の代表値および散布度のうち少なくとも一方を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記基本統計量は、前記係数の平均値、中央値、最頻値、コントラスト比および分散のうち少なくとも１つを含むことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記基本統計量は、前記係数の平均値および分散であり、
前記第１の係数分布は前記第２の係数分布よりも前記係数の平均値と分散の少なくとも一方が大きいことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記第１の係数分布のうち前記第１および第２の画素群のそれぞれに対応する係数分布の前記基本統計量が、該基本統計量のうち小さい方の１割以上異なることを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
【請求項６】
前記被写体空間に関する情報であって、前記光強度分布とは異なる被写体空間情報を取得する情報取得手段を有しており、
前記第１および第２の撮像条件を、前記被写体空間情報に基づいて設定することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
前記第１および第２の係数分布の平均値および分散のうち少なくとも一方を、前記被写体空間情報に基づいて設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記被写体空間情報は、前記被写体空間の光量、エッジ、色、偏光、距離および前記撮像装置に対する動きのうち少なくとも１つの分布を示す情報を含むことを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記被写体空間からの光を結像させる結像光学系を有し、
前記第１および第２の撮像条件のうち少なくとも一方を、前記結像光学系の光学性能に基づいて設定することを特徴とする請求項１から８のいずれか一項に記載の撮像装置。
【請求項１０】
前記第１および第２の撮像条件のそれぞれで得られる前記光強度分布の差異が閾値より小さい領域を同強度領域とし、
前記第１の撮像条件で得られる前記光強度分布データにおける前記同強度領域のデータを用いて、前記第２の撮像条件で得られる前記光強度分布データにおける前記同強度領域のデータを高解像化することを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
【請求項１１】
前記第１の撮像条件は、前記第２の撮像条件に比べて高解像な前記光強度分布を取得することが可能な撮像条件であることを特徴とする請求項１から１０のいずれか一項に記載の撮像装置。
【請求項１２】
請求項１から１１のいずれか一項に記載の撮像装置に内蔵された又は該撮像装置とは別の画像処理装置であって、
前記合成画像から、前記複数の撮像条件のうち少なくとも１つの撮像条件に対応する画像データを推定処理により生成する画像推定手段を有することを特徴とする画像処理装置。
【請求項１３】
複数の画素を用いた撮像により被写体空間の光強度分布を取得するステップと、
前記複数の画素のそれぞれに対応する係数の分布であって前記光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定ステップと、
互いに異なる第１の撮像条件および第２の撮像条件で得られる前記光強度分布に対して前記係数分布である第１の係数分布および第２の係数分布がそれぞれ作用することで得られる光強度分布を合成して合成画像を生成するステップとを有し、
前記係数分布設定ステップにおいて、前記第１および第２の係数分布の基本統計量を互いに異ならせることを特徴とする撮像方法。
【請求項１４】
撮像装置のコンピュータに処理を実行させるコンピュータプログラムであって、
前記処理は、
複数の画素を用いた撮像により被写体空間の光強度分布を取得するステップと、
前記複数の画素のそれぞれに対応する係数の分布であって前記光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定ステップと、
互いに異なる第１の撮像条件および第２の撮像条件で得られる前記光強度分布に対して前記係数分布である第１の係数分布および第２の係数分布をそれぞれ作用することで得られる光強度分布を合成して合成画像を生成するステップとを有し、
前記係数分布設定ステップにおいて、前記第１および第２の係数分布の基本統計量を互いに異ならせることを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮センシングを利用した撮像による画像データの取得技術に関する。
【背景技術】
【０００２】
被写体空間の情報を取得する撮像において、圧縮センシング（Compressive Sensing）と呼ばれる技術が提案されている。これは、撮像する被写体像のスパース性を考慮することで、少ない観測データから高解像な被写体画像を復元できる技術である。スパース性とは、疎に表せるという意味であり、被写体像に何らかの基底変換を施した際、その係数の多くがゼロとなる性質を指している。
【０００３】
特許文献１には、圧縮センシングを用いて、被写体空間の異なるデプスに合焦した複数の画像を得る手法が開示されている。この手法では、撮像においてデプスごとに異なる透過率分布（文献中のModulation Function）を与え、それらが合算された画像データを取得する。そして、この画像データと与えた透過率分布の情報とから、スパース性を考慮することで各デプスに合焦した画像を推定する。これにより、１つの画像データから複数の画像（デプスごとの合焦画像）を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許公開２０１４／０３１３２８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１にて開示された手法では、デプスごとの合焦画像を高解像に推定することが困難である。これは以下の理由による。デプスごとの合焦画像を推定するには、１画素内に重み（透過率）付きで合算された異なる合焦位置の情報を分離する必要があるが、観測数よりも推定対象の数が多い劣決定の問題を解かなければならない。このため、推定された画像は一般に厳密解とは異なる近似解となり、この近似によって解像度が低下する。
【０００６】
本発明は、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像装置および撮像方法等を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての撮像装置は、複数の画素を用いた撮像により被写体空間の光強度分布を取得する光強度分布取得手段と、複数の画素のそれぞれに対応する係数の分布であって光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定手段と、互いに異なる第１の撮像条件および第２の撮像条件で得られる光強度分布に対して係数分布である第１の係数分布および第２の係数分布がそれぞれ作用することで得られる光強度分布を合成して合成画像を生成する画像生成手段とを有する。そして、係数分布設定手段は、第１および第２の係数分布の基本統計量を互いに異ならせることを特徴とする。
【０００８】
なお、上記撮像装置に内蔵された又は該撮像装置とは別の画像処理装置であって、合成画像から、複数の撮像条件のうち少なくとも１つの撮像条件に対応する画像データを推定処理により生成する画像推定手段を有する画像処理装置も、本発明の他の一側面を構成する。
【０００９】
また、本発明の一側面としての撮像方法は、複数の画素を用いた撮像により被写体空間の光強度分布を取得するステップと、複数の画素のそれぞれに対応する係数の分布であって光強度分布に対して作用させる係数分布を、撮像条件ごとに異なるように設定する係数分布設定ステップと、互いに異なる第１の撮像条件および第２の撮像条件で得られる光強度分布に対して係数分布である第１の係数分布および第２の係数分布がそれぞれ作用することで得られる光強度分布を合成して合成画像を生成するステップとを有する。そして、係数分布設定ステップにおいて、第１および第２の係数分布の基本統計量を互いに異ならせることを特徴とする。
【００１０】
なお、撮像装置のコンピュータに、上述した各ステップを含む処理を実行させるコンピュータプログラムである撮像プログラムも、本発明の他の側面を構成する。
【発明の効果】
【００１１】
本発明によれば、撮像における少ない観測数で被写体空間の情報を高解像に取得することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１〜４における係数分布の設定処理を示すフローチャート。
【図２】実施例１〜４における合成画像を説明する図。
【図３】実施例１，３における撮像装置の構成を示すブロック図および撮像装置の外観を示す図。
【図４】実施例１，４における画像取得部の構成を示す図。
【図５】実施例１における撮像シーンとデプス分布を示す図。
【図６】実施例１における係数分布を説明する図。
【図７】実施例１〜４における撮像条件ごとに得られる画像データの生成処理を示すフローチャート。
【図８】実施例２における撮像システムの構成を示すブロック図および撮像システムの外観を示す図。
【図９】実施例２における撮像素子の構成を示す図。
【図１０】実施例２における撮像素子の動作を示すフローチャート。
【図１１】実施例２における撮像シーンを示す図。
【図１２】実施例２における合成画像を示す図。
【図１３】実施例２における別の撮像シーンを示す図。
【図１４】実施例３における画像取得部の構成を示す図。
【図１５】実施例３における係数分布作用部の構成を示す図。
【図１６】実施例３における撮像シーンを示す図。
【図１７】実施例４における撮像装置の構成を示すブロック図および撮像装置の外観を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【００１４】
まず、具体的な実施例（実施例１〜４）の説明に先だって、各実施例に共通する事項について説明する。各実施例は、図２に示すように、圧縮センシングを用いて、それぞれ異なる複数の撮像条件で得られる被写体空間の光強度分布に対してそれぞれ異なる係数分布を作用させて得られる複数の光強度分布を合成（合算）することで合成画像を生成する。そして、該合成画像に対する撮像後の画像処理によって複数の撮像条件のそれぞれに対応する情報を含む画像データを生成する。この際、各実施例は、撮像条件によって取得できる被写体空間の高周波成分等の固有の情報が変化することを利用して、固有の情報が多い撮像条件とその他の撮像条件とで取得する情報の解像度を異ならせる。これにより、限られたサンプリングのリソースを効率的に配分することができ、結果的により少ない観測数で被写体空間の情報を高解像に取得することができる。
【００１５】
合成画像の生成において、光強度分布に対して係数分布を作用させるとは、例えば、光強度分布に係数分布を乗じてこれらの和をとることを意味する。なお、図２では係数分布を白黒の二値で表現しているが、係数の取り得る値はこれに限定されない。
【００１６】
また、撮像条件は、撮像する空間（画角）や時間（レリーズタイミングまたは動画におけるフレーム）、露出値、露光時間、絞り値、合焦位置、視点、取得する光強度分布の波長や偏光状態等をパラメータ（以下、撮像パラメータという）にして決定される。
【００１７】
これらの撮像条件が異なる画像データを複数得る際には、各撮像条件において被写体空間の情報を高解像に取得したい領域が異なることが多い。例えば、絞り値が異なる複数の撮像条件で複数の画像データを取得する場合を考える。この場合、複数の絞り値の画像データには、それぞれ異なる被写界深度で取得した被写体空間の情報が含まれている。最も絞り値が小さい（最も絞り開口径が大きい）画像では、合焦しているデプス付近を除いて、被写体空間の情報がデフォーカスにより劣化している。これに対して、最も絞り値が大きい画像では被写界深度が深いため、広範囲のデプスの被写体領域に対して被写体空間の情報が取得できている。ただし、ここでは簡単のため、回折による劣化は無視する。さらに、最も小さい絞り値の画像において合焦している被写体領域の情報は、最も大きい絞り値の画像でも取得されている。このため、最も絞り値が小さい画像には、最も絞り値が大きい画像に含まれている高周波成分等の固有の情報が存在しない。このため、最も絞り値が小さい撮像条件によって得る被写体空間の情報は低解像でもよく、その分、最も絞り値が大きい撮像条件によって高解像な被写体空間の情報を取得するようにすれば、効率的に被写体空間の情報を取得することができる。
【００１８】
これを実現するために、複数の撮像条件のうちの第１の撮像条件で得られる光強度分布に対して作用させる係数分布の基本統計量（平均や分散等）と、第２の撮像条件で得られる光強度分布に対して作用させる係数分布の基本統計量とを異ならせる。基本統計量を異ならせることより、ある撮像条件で高解像に情報を取得する領域で該情報を他の撮像条件より多く取得させたり、該撮像条件での情報が撮像後の画像処理により分離しやすくなったりする等の効果が得られる。そして、この効果によって、特定の撮像条件における解像度を向上させることができる。
【００１９】
以上のような原理により、少ない観測数で被写体空間の情報を高解像に取得することができる。
【００２０】
なお、光強度分布には、撮像される前の光学像（以下、被写体空間光学像という）が有する光強度分布と該光学像の撮像により得られた信号（以下、被写体空間信号という）として示される光強度分布の両方を含む。このため、係数分布は、被写体空間光学像に対して作用させてもよいし、被写体空間信号に対して作用させてもよい。また、光強度分布を取得するための撮像条件数と、撮像後に画像データを生成する撮像条件数とは一致していなくてよい。例えば、４つの撮像条件で得られた４つの光強度分布が合算された画像データから、推定によって２つの撮像条件に対応する画像データを生成してもよい。
【実施例１】
【００２１】
本発明の実施例１である撮像装置について説明する。実施例１では、可変な撮像パラメータとして、合焦位置と絞り値を用いる。他の撮像パラメータを用いる場合については他の実施例で説明するが、全ての実施例を組み合わせることで、前述した全ての撮像パラメータを用いることもできる。
【００２２】
図３（Ａ）には本実施例の撮像装置１００の基本構成を示し、図３（Ｂ）にはその外観を示す。撮像装置１００は、被写体空間の光強度分布の情報を撮像によって撮像画像データである光強度分布データとして取得する画像取得部（光強度分布取得手段）１０１を有する。画像取得部１０１は、被写体空間光学像（光強度分布）を形成する結像光学系１０１ａと、被写体空間光学像に係数分布を作用させる係数分布作用部１０１ｂと、係数分布が作用した被写体空間光学像を複数の画素により取得（撮像）する撮像素子１０１ｃとを有する。結像光学系１０１ａは、撮像時に合焦位置および絞り値のうち少なくとも一方を変化させることで、複数の撮像条件における被写体空間光学像を形成する。撮像素子（画像生成手段）１０１ｃは、複数の撮像条件のそれぞれにおいて係数分布が作用した複数の被写体空間光学像を撮像することにより複数の光強度分布データが合成（合算）された合成画像を生成して画像処理部１０２に出力する。
【００２３】
係数分布設定部１０３は、撮像前に、複数の撮像条件のそれぞれに対して異なる係数分布を設定する。係数分布は、撮像素子１０１ｃの複数の画素のそれぞれに割り当てられた（対応する）係数の分布である。係数分布設定部（係数分布設定手段）１０３は、事前情報取得部（情報取得手段）１０４によって得られた、被写体空間に関する情報（被写体空間情報：以下、事前情報という）に基づいて係数分布を設定し、記憶部１０５に記憶する。本実施例において、事前情報は、被写体空間のデプス（距離）の分布を示す情報である。なお、複数の撮像条件間で変更される撮像パラメータが絞り値のみである場合にはデプスの分布を示す事前情報を用いなくてもよいが、該事前情報を用いた方が好ましい。その理由については後述する。
【００２４】
画像処理部１０２は、記憶部１０５から撮像時に被写体空間光学像に作用した係数分布の情報を読み出し、上述した合成画像から複数の撮像条件のそれぞれに対応する複数の画像データを生成する。画像処理部１０２は、情報取得部１０２ａ、画像推定部（画像推定手段）１０２ｂおよび画像生成部１０２ｃを備えており、各部で行う処理については後述する。なお、画像推定部１０２ｂおよび画像生成部１０２ｃは、撮像装置１００に内蔵された画像処理装置に相当する。
【００２５】
係数分布設定部１０３、事前情報取得部１０４および画像処理部１０２は、後述するシステムコントローラ１０８とは別の又は一体のコンピュータにより構成され、コンピュータプログラムとしての撮像プログラムに従って動作する。
【００２６】
画像処理部１０２により生成された画像データは、表示部１０６にて表示されたり画像記録媒体１０７に保存されたりする。また、合成画像を画像記録媒体１０７に保存し、撮像条件ごとの画像データを表示部１０６に表示する際に、画像処理部１０２が撮像条件ごとの画像データを生成するようにしてもよい。以上説明した各部の動作は、メインコンピュータとしてのシステムコントローラ１０８によって制御される。
【００２７】
図４には、画像取得部１０１の構成を示す。図４中の破線および一点鎖線は、被写体空間から入射する光線を表す。撮像素子１０１ｃは、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサにより構成されている。係数分布作用部１０１ｂは、撮像素子１０１ｃの直前に配置されており、結像光学系１０１ａが形成した被写体空間光学像に係数分布を作用させる。係数分布作用部１０１ｂの例として、ＳＬＭ（Spatial Light Modulator）が挙げられ、この場合には係数分布の各係数は０〜１の範囲の値をとる。また、係数分布作用部１０１ｂとして、ＤＭＤ（Digital Mirror Device）を用いてもよい。
【００２８】
本実施例では、１回の撮像における露光時間中に、結像光学系１０１ａのフォーカス群の位置（合焦位置）および絞り値のうち少なくとも一方を変化させることで、複数の撮像条件を時分割で順次設定する。そして、撮像条件ごとに、係数分布作用部１０１ｂが異なる係数分布を被写体空間光学像に作用させる。これにより、撮像素子１０１ｃから、図２に示したように、複数の撮像条件においてそれぞれ異なる係数分布が与えられて撮像された複数の被写体空間光学像に対応する複数の光強度分布データが合成（合算）された合成画像が取得される。
【００２９】
次に、圧縮センシングによる撮像と画像の復元について説明する。ここでは簡単のため、モノクロ画像を用いて説明を行うが、以下の説明はカラー画像に対しても同様に成り立つ。
【００３０】
撮像素子１０１ｃにより取得された合成画像ｓ（ｘ，ｙ）は、以下の式（１）で表される。
【００３１】
【数１】
2017208642.tif 000003
【００３２】
ここで、ｘとｙはそれぞれ縦方向と横方向の座標を、η（ｘ，ｙ）はノイズを表す。また、Ｋは、合成（合算）される光強度分布を取得した際の撮像条件の総数である。さらに、Ｉｋ（ｘ，ｙ）は、ｋ番目の撮像条件における被写体空間の光強度分布（被写体空間光学像または被写体空間信号）である。ｃｋ（ｘ，ｙ）は、Ｉｋ（ｘ，ｙ）に作用する係数分布である。なお、ｋは撮像条件を指定するインデックスであるが、ｋ＝１およびｋ＝２がそれぞれ後述する第１の撮像条件および第２の撮像条件を意味するものではなく、ｋ＝１〜Ｋの撮像条件のうちいずれか２つが第１および第２の撮像条件として選択される。
式（１）は、行列表記で以下の式（２）のように書き換えることもできる。
【００３３】
【数２】
2017208642.tif 000004
【００３４】
ここで、ｓ、ιおよびηはそれぞれ、ベクトル化された合成画像、各撮像条件で取得された光強度分布データおよびノイズである。Ｈは、係数分布の作用と各撮像条件で取得された光強度分布との合成（合算）を表す行列である。光強度分布ベクトルιは、例えば以下の式（３）のように、ｋ番目の撮像条件で得られる光強度分布ベクトルιｋを成分とする列ベクトルである。
【００３５】
【数３】
2017208642.tif 000005
【００３６】
ここで、ｋ番目の撮像条件における光強度分布Ｉｋ（ｘ，ｙ）がＭ×Ｎの成分からなる場合には、ιｋは以下の式（４）で表されるＭＮ×１の成分を持つ列ベクトルである。
【００３７】
【数４】
2017208642.tif 000006
【００３８】
合成画像ベクトルｓとノイズベクトルηもそれぞれ同様に、ＭＮ×１の成分を持つ列ベクトルであり、以下の式（５）および式（６）で表される。
【００３９】
【数５】
2017208642.tif 000007
【００４０】
【数６】
2017208642.tif 000008
【００４１】
係数分布の作用と各撮像条件で取得された光強度分布の合成を表す行列Ｈは、以下のような式（７）で与えられるＭＮ×ＫＭＮの成分を持つ行列である。
【００４２】
【数７】
2017208642.tif 000009
【００４３】
ここで、Ｃｋは以下の式（８）で表されるＭＮ×ＭＮ成分を持つ行列である。
【００４４】
【数８】
2017208642.tif 000010
【００４５】
本実施例では、複数の撮像条件における光強度分布は互いに位置ずれがないように合成されるため、行列Ｃｋは全て式（８）のように対角成分のみを有することとなる。しかし、複数の撮像条件の光強度分布が互いにずれて重ね合わされている場合には、式（８）はその位置ずれ量に応じた非対角成分に有限な値を持つこととなる。
【００４６】
次に、式（１）または式（２）で表される合成画像から、各撮像条件に対応する被写体空間の画像（光強度分布）データを取得する、言い換えれば復元する方法について説明する。ここでの復元は、式（２）を例とすると、合成画像ベクトルｓと行列Ｈとから、各撮像条件に対応する光強度分布ベクトルιを求めることに相当する。この問題は、式（１）または式（２）から分かるように、連立一次方程式の解を得ることに相当する。ただし、未知数（光強度分布ベクトルιの行数）がＫＭＮ個あるにもかかわらず、連立方程式の数（行列Ｈの行数）はＭＮ個あるに過ぎない。さらに、未知のノイズを合わせると、未知数は（Ｋ＋１）ＭＮ個である。このため、解が一意的に求まることはなく、光強度分布ベクトルιを得るためには必然的に推定処理が必要となる。
【００４７】
各撮像条件に対応する光強度分布ベクトルιに相当する画像データ（推定画像）は、以下の式（９）で表される最適化問題の解を求めることで推定される。
【００４８】
【数９】
2017208642.tif 000011
【００４９】
ここで、ｖはベクトル化された推定画像、Ｌは損失関数、Φは推定画像ベクトルｖに対する正則化項であり、それぞれの具体的な例については後述する。損失関数Ｌは、解をモデル（ここでは式（２）の連立方程式）に対してフィッティングさせる効果を持つ。ただし、損失関数Ｌだけでは推定画像ベクトルｖがノイズに対する最小二乗解となり、一般に厳密解との乖離が大きい。このため、解を尤もらしいものへと収束させる正則化項Φを利用する。正則化項には、事前知識と呼ばれる、解（光強度分布ベクトルι）が持つべき性質を用いる。また、正則化項は、損失関数のみを考えた際に起こる過剰なフィッティング（ノイズベクトルηの影響を推定画像ベクトルｖへ反映させてしまうこと）を防ぐ役割も持っている。
【００５０】
推定画像ベクトルｖは、以下の式（１０）に示すように、ｋ番目の撮像条件における推定画像ベクトルｖｋを成分とする列ベクトルである。
【００５１】
【数１０】
2017208642.tif 000012
【００５２】
ここで、ｋ番目の撮像条件の推定画像をＶｋ（ｘ，ｙ）とするとき、ｖｋは式（４）と同様に、以下の式（１１）で表されるＭＮ×１の成分を持つ列ベクトルとなる。
【００５３】
【数１１】
2017208642.tif 000013
【００５４】
次に、式（９）中の損失関数Ｌと正則化項Φの具体例を示す。損失関数Ｌとしては、以下の式（１２）で示される関数が考えられる。
【００５５】
【数１２】
2017208642.tif 000014
【００５６】
ここで、以下の式（１３）で表される記号はｐ次平均ノルム（Lp norm）を表し、ｐ＝２のときはユークリッドノルム（Euclidean norm）を指す。
【００５７】
【数１３】
2017208642.tif 000015
【００５８】
正則化項Φの例としては、以下の式（１４）で示される１次平均ノルム（L１ norm）が挙げられる。
【００５９】
【数１４】
2017208642.tif 000016
【００６０】
ここで、λは正則化項Φの重みを表すパラメータである。Ψは画像に対する基底変換を表す行列であり、その例としてウェーブレット変換や離散コサイン変換等が挙げられる。式（１４）の正則化項Φは、画像に対してウェーブレット変換や離散コサイン変換等の基底変換が行われることで、信号成分がスパース（疎）になる、つまりはより少ない数の信号で表せるという性質に基づくものである。これについては、以下の参考文献１等に詳しい。
【００６１】
参考文献１：Richard G.Baraniuk,“Compressive Sensing”,IEEE SIGNAL PROCESSING MAGAZINE [118] JULY 2007
式（１４）では、各撮像条件に対して同一の重みλを用いているが、ｋに応じて異なる重みを与えてもよい。
【００６２】
また、以下の式（１５）および式（１６）のそれぞれで示されるTikhonov正則化項やTV(Total Variation)ノルム正則化項を用いてもよい。
【００６３】
【数１５】
2017208642.tif 000017
【００６４】
【数１６】
2017208642.tif 000018
【００６５】
ここで、∂ｘＶｋ及び∂ｙＶｋは、それぞれ推定画像Ｖｋのｘ方向とｙ方向に対する１次微分を表す。
【００６６】
最適化問題である推定式（９）を解くためには、繰り返し演算を用いた手法を利用し、例えば正則化項として式（１５）を用いる場合は、共役勾配法等を使用すればよい。また、式（１４）または式（１６）を正則化項とする場合には、TwIST(Two-step Iterative Shrinkage/Thresholding)等を用いるとよい。TwISTに関しては、以下の参考文献２に詳細が説明されている。
【００６７】
参考文献２：J.M.Bioucas-Dias,et al.,“ A new TwIST:two-step iterative shrinkage/thresholding algorithms for image restoration”,IEEE Trans.on Image Processing,vol.16,Dec.2007
以上のようにして、圧縮センシングによる撮像と各撮像条件で得られる画像データの復元を行う。
【００６８】
次に、撮像装置１００による撮像の前に行う、係数分布設定部１０３での係数分布の設定処理について、図１のフローチャートを用いて説明する。
【００６９】
ステップＳ１０１では、係数分布設定部１０３は、撮像により光強度分布データを取得する複数の撮像条件を取得（設定）する。ここでは、ユーザが指定した撮像条件を取得してもよいし、既定の撮像条件を自動的に取得してもよい。撮像条件は、前述したように、撮像パラメータである画角、時間（レリーズタイミングまたは動画のフレーム）、露出値、露光時間、絞り値、合焦位置、視点、取得する光強度分布の波長や偏光等によって決まる。本実施例では、合焦位置および絞り値のうち少なくとも一方が異なる複数の撮像条件を取得する。
【００７０】
ステップＳ１０２では、事前情報取得部１０４は、ステップＳ１０１で設定された撮像条件に対応した被写体空間の事前情報を取得する。変化する撮像パラメータが合焦位置および絞り値である場合は、事前情報は被写体空間のデプスの分布（以下、デプス分布という）を示す情報である。このため、事前情報取得部１０４は、スキャン式のレーザ測距計やＴＯＦ（Time of Flight）カメラまたは視差情報が取得できる多視点撮像系等のデプス情報取得装置のうちいずれかを含む。また、事前情報取得部１０４は、互いに合焦位置が異なる２つの画像データを取得し、ＤＦＤ（Depth From Defocus）を用いてデプス分布を求めてもよい。また、事前情報取得部１０４は、被写体空間を撮像して得られた１つの画像データからディープラーニングを用いてデプス分布を推定してもよい。この手法については、以下の参考文献３に詳しい。
【００７１】
参考文献３：D.Eigen,et al.,” Depth Map Prediction from a Single Image using a Multi-Scale Deep Network”,http://arxiv.org/pdf/1406.2283.pdf
ＤＦＤやディープラーニングからデプスを算出する手法は、画像取得部１０１でも実行することができる。このため、これらの手法を用いる場合には、事前情報を画像取得部１０１で取得し、事前情報取得部１０４を設けなくてもよい。
【００７２】
ここで、事前情報がデプス分布である理由を説明する。まず、撮像条件間で変化する撮像パラメータが絞り値である場合について説明する。絞り値が異なると、被写界深度が変化する。絞り値が小さいと被写界深度は浅くなり、取得する画像内にてぼけたデフォーカス領域が広くなる。逆に、絞り値が大きいと被写界深度は深くなり、画像全域において被写体空間における高周波成分を取得しやすくなる。さらに、絞り値が小さい撮像条件で被写界深度内に存在する被写体は、絞り値が大きい場合でも被写界深度内に存在する。つまり、絞り値が小さい撮像条件で取得される画像には固有の情報がないため、絞り値が大きい撮像条件で高解像に画像（つまりは情報）を取得すればよい。ある絞り値に対して、画像におけるどの程度の領域が被写界深度内に収まっているかは、デプス分布から割り出せる。このため、デプス分布を事前情報として得る。ただし、ここでは回折の影響を無視する。回折の影響を考慮する場合は、後のステップＳ１０３にて説明する。
【００７３】
次に、撮像条件間で変化する撮像パラメータが合焦位置である場合について説明する。この場合には、各撮像条件において、合焦位置から被写界深度内に収まっている領域はデフォーカスによる劣化を無視することができ、被写体空間の高周波成分を取得することができる範囲である。このため、被写界深度内に収まっている領域がない又は少ない合焦位置の撮像条件で取得する画像は低解像でよく、その分、被写界深度内に収まっている領域が大きい合焦位置の撮像条件で高解像に画像を取得することで、効率的なセンシングが可能となる。どの撮像条件（合焦位置）に対して被写体空間のうちどの領域が被写界深度内に収まっているかは、被写体空間のデプス分布が分かれば算出することができる。このため、デプス分布を事前情報として得る。
【００７４】
また、事前情報として、デプス分布に加えて、被写体空間のエッジの分布（以下、エッジ分布という）を示す情報を取得してもよい。被写体空間のエッジとは、異なる被写体間の境界等、光強度の値が大きく変化する部分を意味する。これは、合焦位置や絞り値が異なる撮像条件のうちある１つの撮像条件のみで被写界深度内に収まっている領域があるとき、該領域の面積が大きくてもその中に含まれているエッジが少なければ高解像に画像（情報）を取得する必要がないためである。被写体空間のデプス分布とエッジ分布を取得する事前情報取得部１０４の例としては、ステレオカメラ等の多視点撮像系が挙げられる。画像取得部１０１の撮像素子１０１ｃより小型の撮像素子を用いる等することで、被写界深度が深い画像が得られ、該画像から被写体空間全域のエッジ分布を求めることができる。また、視差情報から、デプス分布を求めることも可能である。
【００７５】
ステップＳ１０３では、係数分布設定部１０３は、ステップＳ１０２で取得した事前情報に基づいて、撮像素子１０１ｃの複数の画素において第１の撮像条件と第２の撮像条件とを設定する。複数の撮像条件のうち第１および第２の撮像条件は、その撮像条件に対して設定される係数分布の基本統計量が異なる。
【００７６】
図５（Ａ）は、撮像シーンの一例を示している。この撮像シーンでは、第１の被写体２０１、第２の被写体２０２および第３の被写体２０３の順で撮像装置１００から遠ざかるように位置している。まず、変化する撮像パラメータが絞り値である場合について説明する。ここでは簡単のために、撮像条件の総数を３とする。ただし、３以外の総数であってもよい。合焦位置は第３の被写体２０３の位置にあるものとし、撮像条件１は絞り値が最小の撮像条件であり、撮像条件２および撮像条件３の順で絞り値が大きくなるものとする。撮像条件１〜３の１〜３は前述した撮像条件を指定するインデックスｋであり、撮像条件１，２が第１および第２の撮像条件に限られるわけではない。
【００７７】
図５（Ｂ）には、図５（Ａ）の撮像シーンに対応するデプス分布を示している。この図では白黒の濃さでデプス（撮像装置１００からの距離）を表しており、第１のデプス２１１から第５のデプス２１５の順にデプスが大きくなる。図５（Ｂ）の右側の部分に示すように各デプスの区切りが均等でないのは、デフォーカスによるぼけの大きさがデプスの逆数に依存するためである。各撮像条件での被写界深度の範囲は、撮像条件１では第３のデプス２１３の範囲のみ、撮像条件２では第２〜第４のデプス２１２〜２１４の範囲のみ、撮像条件３では第１〜第５のデプス２１１〜２１５の範囲（つまり全デプス範囲）である。このため、撮像条件１，２での被写界深度内の情報は、撮像条件３でも取得されている。さらに、第１のデプス２１１と第５のデプス２１５は、撮像条件１，２ではデフォーカス領域となっている。このため、撮像条件３において被写体空間の情報を高解像に取得すればよい。このように高解像に情報を取得する撮像条件３を第１の撮像条件とし、撮像条件１，２のうち少なくとも一方を第２の撮像条件とする。
【００７８】
ただし、可変の撮像パラメータが絞り値であって回折による影響（劣化）が無視できる範囲であれば、第１および第２の撮像条件はデプス分布の情報がなくても設定することができる。すなわち、絞り値が大きい撮像条件ほど被写界深度が深く、被写体空間の広域において高周波成分を取得することができるため、絞り値が最大の撮像条件を第１の撮像条件とする。このとき、第２の撮像条件は、例えば絞り値が最小の撮像条件とすればよい。この場合には、事前情報取得部１０４は不要である。
【００７９】
次に、回折の影響が無視できない場合について説明する。ここでは、図５（Ａ），（Ｂ）を用いた先の説明に対して、さらに撮像条件３よりも絞り値が大きい撮像条件４を追加して、撮像条件の総数を４とする。このとき、被写界深度が最も深い撮像条件は撮像条件４であるが、前述したように、図５（Ａ）に示した撮像シーンの被写体空間の全デプス範囲は撮像条件３の絞り値で全て被写界深度内に収まっている。さらに、撮像条件３の方が撮像条件４よりも回折による劣化が少なく、被写体空間の全デプス範囲においてより高い周波数成分まで取得することができる。このため、この場合に、第１の撮像条件として適当なのは撮像条件３である。第２の撮像条件は、撮像条件３以外の少なくとも１つとすればよい。このように、被写体空間の全デプス範囲を被写界深度内に収めつつ、回折による劣化の少ない撮像条件を割り出すためには、デプス分布の情報が必要となる。
【００８０】
また、ここでは被写体空間の全デプス範囲が被写界深度内に収まる絞り値を第１の撮像条件としたが、必ずしも全デプス範囲が被写界深度内に収まる必要はない。被写界深度内において結像光学系１０１ａにより取得可能な空間周波数と、被写体空間においてその被写界深度内に収まっている領域の広さとのバランスを考慮して第１の撮像条件を決定するとよい。
【００８１】
例えば、空間周波数および被写界深度内に収まっている領域の広さのうち一方に対して閾値を設定し、該一方がその閾値を超え、かつ他方が最も大きくなる撮像条件を第１の撮像条件としてもよい。被写界深度内に収まっている領域の広さは、取得される画像全域に対する被写界深度内に収まっている領域の面積比や、取得される画像内に存在するデプスの幅に対する被写界深度の比等とすることができる。
【００８２】
また、被写界深度内に収まっている領域の広さを評価する際に、デプスに対して重み付けを行ってもよい。重み付けを行うことで、被写体空間の中で重要視される領域が第１の撮像条件での被写界深度内に収まりやすくなる。つまり、重要な領域の情報が高解像に取得されやすくなる。各デプスが重要か否かを示す重みは、該デプス内に含まれるエッジ量や撮像装置１００からのデプスの近さ等から決定するとよい。例えば、図５（Ｂ）に示した第１〜第５のデプス２１１〜２１５のそれぞれでエッジの量を考慮すると、図５（Ａ）から分かるように第４のデプス２１４は殆どが平坦な床であるためにエッジ量が少ない。このため、第４のデプス２１４の重要度は低いと判定される。また、撮像装置１００の近くに存在する被写体ほど主要被写体である可能性が高いため、デプスが近いほど重要度が高いとみなせる。また、顔を検出して、人物が存在すると判定されたデプスの重みを大きくしてもよい。
【００８３】
さらに、第１および第２の撮像条件を決める際に、結像光学系１０１ａで発生する回折に加えて収差を考慮することが望ましい。回折および収差のうち少なくとも一方を含めた結像光学系１０１ａの結像性能を結像光学系１０１ａの光学性能という。回折による劣化は、絞り値が小さいほど小さくなるが、一般的に収差は逆に大きくなる。このため、絞り値が小さいほど、被写界深度内で取得可能な空間周波数が大きくなるとは限らない。したがって、回折と収差の両方を考慮することで、被写界深度内で取得可能な空間周波数を正しく評価することができる。回折と収差のバランスを考えて、必要な被写界深度を確保しつつ、最も取得できる空間周波数が大きい絞り値を、第１の撮像条件とするとよい。
【００８４】
次に、変化する撮像パラメータが合焦位置である場合について説明する。図５（Ａ）の撮像シーンに対して、撮像条件１，２，３，４がそれぞれ、第１、第２、第３および第４の被写体２０１，２０２，２０３，２０４の位置を合焦位置とし、撮像条件５が第４の被写体２０４よりも遠方の背景２０５の位置を合焦位置としているとする。撮像条件１〜５での被写界深度は互いに重複していないものとする。すなわち、撮像条件１、撮像条件２、撮像条件３、撮像条件４および撮像条件５での被写界深度はそれぞれ、第１のデプス２１１、第２のデプス２１２、第３のデプス２１３、第４のデプス２１４および第５のデプス２１５の範囲のみとする。この場合、図５（Ｂ）から画像中の面積が少ないデプスが分かり、さらにエッジ量が少ないデプスも分かる。そのため、そのような小面積または少エッジ量のデプスを被写界深度に含む撮像条件で取得する画像（情報）の解像度を低下させ、代わりに面積が大きい又はエッジ量が多いデプスを被写界深度に含む撮像条件で画像を高解像に取得すればよい。またこの際に、デプスの近さや人物の有無判定を用いて、高解像に画像を取得するデプスを決めてもよい。この例では、エッジ量およびデプスの近さを加味して、第１の被写体２１１に対して合焦する撮像条件１を第１の撮像条件とし、第４の被写体２１４に対して合焦する撮像条件４を第２の撮像条件とする。
【００８５】
ステップＳ１０４では、係数分布設定部１０３は、複数の撮像条件それぞれに対して異なる係数分布を設定する。この際、係数分布設定部１０３は、複数の撮像条件のうち少なくとも第１および第２の撮像条件に対しては、互いに基本統計量が異なる係数分布を設定する。係数分布の基本統計量とは、該係数分布に含まれる係数の代表値と散布度の少なくとも一方である。代表値は、平均値（加重平均値を含む）、中央値、最頻値、等である。散布度は、分散、標準偏差、コントラスト比（最大値と最小値の比）等である。
【００８６】
係数分布における係数の代表値（特に平均値）が高いほど、該係数分布に対応する撮像条件で情報がより多く取得されるため、該情報の解像度が向上する。また、係数分布における係数の散布度（特に分散または標準偏差）が大きいほど、該係数分布に対応する撮像条件で取得される情報は高解像になる。この理由は、各撮像条件の画像が式（２）で表される連立一次方程式を推定を用いて解くことを考えれば理解しやすい。係数の分散が小さいと、該係数分布は全て同じような係数を含むことになるため、連立方程式の独立性が弱く、ノイズの影響を受けやすい。これに対して、係数の分散が大きいと、連立方程式の独立性がノイズに対して高くなるため、高精度な推定が可能となる。
【００８７】
ステップＳ１０３で説明したように撮像条件によって合焦位置または絞り値が異なる場合における第１および撮像条件のそれぞれに対して設定される係数分布について具体例を挙げて説明する。高解像に情報を取得する第１の撮像条件に対して設定される係数分布の基本統計量は、解像度が低くてよい第２の撮像条件に対して設定される係数分布の基本統計量と異なる。具体的には、係数分布における係数の平均値および分散のうち少なくとも一方が、第１の撮像条件の方が第２の撮像条件よりも大きい。
【００８８】
以下にその数値例を示す。ここでは、撮像条件の総数Ｋを４とした時の、係数分布の数値例を示す。撮像条件１（ｋ＝１）を第１の撮像条件とし、この第１の撮像条件では他の撮像条件２〜４（ｋ＝２〜４）よりも高解像に情報を取得する。第２の撮像条件は、撮像条件２〜４のうちいずれでもよい。図６には、撮像素子１０１ｃの画素ごとに付与された係数の分布（係数分布）を示す。図６中の四角形が１つの画素を表す。ここでの撮像条件は４つであるため、隣り合う４画素での係数が互いに独立になっていれば、式（２）の連立一次方程式が高精度に推定できる。このため、係数分布ｃｋは４画素の分布が周期的に配列されている構成でよい。撮像条件１〜４のそれぞれにおいて、自由度のあるその４画素の係数は、例えば以下の式（１７）で示される。
【００８９】
【数１７】
2017208642.tif 000019
【００９０】
ここで、Ｃ４ｐｅｒｉは以下の式（１８）で定義される。
【００９１】
【数１８】
2017208642.tif 000020
【００９２】
撮像条件１〜４のそれぞれに対して、式（１７）の各列で示される係数が周期的に配列された係数分布が設定される。
撮像条件ｋに対して設定される係数分布ｃｋ（ｘｍ，ｙｎ）での係数の平均値をｃｋ，ａｖｅとし、分散をｃｋ，ｖａｒとする。式（１７）から、第１の撮像条件（ｋ＝１）では平均値がｃ１，ａｖｅ＝０．５８３３である。これに対して、撮像条件２，３での平均値はｃ２，ａｖｅ＝ｃ２，ａｖｅ＝０．５０００で、撮像条件４ではｃ１，ａｖｅ＝０．４１６７である。このように、撮像条件２〜４に対する係数分布のいずれに対しても、第１の撮像条件（撮像条件１）に対して設定される係数分布での係数の平均値は大きい。また、ｃ１，ｖａｒ＝０．１３１９に対して、ｃ２，ｖａｒ＝ｃ３，ｖａｒ＝０．１２５０とｃ４，ｖａｒ＝０．０９０３であるから、分散も第１の撮像条件に対して設定される係数分布の方が大きい。
【００９３】
ここでは簡単のために、撮像素子１０１ｃに式（１７）に示した４画素がそれぞれ同じ数だけ含まれている（つまりは撮像素子１０１ｃの画素数が４の倍数である）として係数の平均値と分散を導出した。撮像素子１０１ｃの画素数が４の倍数でない場合は、前述の値から微小にずれることとなる。
【００９４】
次に、情報を高解像に取得する第１の撮像条件が撮像条件１〜３で、第２の撮像条件が撮像条件４である場合について具体例を挙げて説明する。各撮像条件ｋに対して設定される係数分布は、以下の式（１９）で示される４つの係数が周期的に配列された係数分布となる。
【００９５】
【数１９】
2017208642.tif 000021
【００９６】
この際、第１の撮像条件に対して設定される係数分布での係数の平均値は、ｃ１，ａｖｅ＝ｃ２，ａｖｅ＝ｃ３，ａｖｅ＝０．３７５０であるのに対し、第２の撮像条件ではｃ４，ａｖｅ＝０．３６２５である。このため、第１の撮像条件に対する係数分布の方が係数の平均値が高い。さらに、ｃ１，ｖａｒ＝ｃ２，ｖａｒ＝ｃ３，ｖａｒ＝０．１０１６に対し、ｃ４，ｖａｒ＝０．０７３９であるため、係数の分散も第１の撮像条件に対する係数分布の方が第２の撮像条件に対する係数分布より大きい。
【００９７】
なお、係数分布における係数は周期的な分布を有する必要はないため、乱数として生成してもよい。乱数としては、例えば正規乱数を用いることができる。この場合、第１の撮像条件に対する係数分布の方が正規乱数としての係数の平均値または分散が、第２の撮像条件に対する係数分布より大きくなるように設定すればよい。
【００９８】
以上のようにして、係数分布設定部１０３は、撮像前に係数分布の設定を完了する。
【００９９】
次に、撮像後に画像処理部１０２が合成画像から複数の撮像条件に対応する被写体空間の画像データを生成（復元）するために行う画像処理について、図７のフローチャートを用いて説明する。
【０１００】
ステップＳ２０１では、情報取得部１０２ａは、合成画像と係数分布の情報を取得する。合成画像は、前述したように、複数の撮像条件で得られる光強度分布にそれぞれ異なる係数分布を作用させることで得られる複数の光強度分布データが合成された画像である。
【０１０１】
ステップＳ２０２では、画像推定部１０２ｂは、推定に用いるパラメータを設定する。パラメータは、式（９）で用いる正則化項の決定やその重み、繰り返し演算の回数、ステップＳ２０４で用いる収束条件等である。また、推定で画像を生成する撮像条件の数等を指定してもよい。
【０１０２】
ステップＳ２０３では、画像推定部１０２ｂは、合成画像から複数の撮像条件のそれぞれに対応する画像（光強度分布）データを推定によって生成する。すなわち各撮像条件に対応する画像データの推定処理を行う。この推定より生成される画像データ（以下、推定画像という）は、式（９）の最適化問題を解くことによって生成される。
【０１０３】
ステップＳ２０４では、画像推定部１０２ｂは、ステップＳ２０３での推定が収束したか否かを判定する。収束した場合はステップＳ２０５に進み、収束していない場合はステップＳ２０３に戻る。収束判定の条件としては、例えばステップＳ２０３で行った繰り返し演算が既定の回数以上となったことや、繰り返し演算によって更新される推定画像の変化が既定値以下となったこと等が挙げられる。収束条件を満足していない場合は、画像推定部１０２ｂは、ステップＳ２０３でさらに繰り返し計算の回数を増やして推定画像を生成する。
【０１０４】
ステップＳ２０５では、画像生成部１０２ｃは、画像推定部１０２ｂにより生成された各撮像条件に対応する推定画像を出力画像として出力する。次に、出力画像の用途に関して一例を挙げるが、用途はこれに限定されない。例えば、合焦位置が異なる複数の推定画像のうち合焦領域のみを合成することでパンフォーカス画像を生成することができる。また、被写界深度が異なる複数の推定画像のうちユーザが指定した絞り値に対応する推定画像（出力画像）を表示することで、撮像後でありながら被写界深度の調整が可能であるかのような機能を実現することができる。
【０１０５】
以上の画像処理によって、撮像素子１０１ｃを用いて取得された合成画像から、複数の撮像条件のそれぞれで得られた高解像度な情報を含む複数の推定画像（および出力画像）を生成することができる。
【０１０６】
次に、本実施例において満足することが望ましい条件について説明する。情報を高解像に取得する第１の撮像条件に対して設定される係数分布の基本統計量は、第２の撮像条件に対して設定される係数分布の基本統計量に対して、これら基本統計量のうち小さい方の１割以上異なることが望ましい。これにより、より高解像に情報を取得する領域での解像度を高めることができる。さらに望ましくは、第１の撮像条件に対して設定される係数分布の基本統計量は、第２の撮像条件に対して設定される係数分布の基本統計量に対して、これら基本統計量のうち小さい方の２割以上異なるとよい。これにより、さらなる高解像化を実現できる。
【０１０７】
また、第１および第２の撮像条件に対して設定される係数分布にて異ならせる基本統計量は、係数の平均値または分散であることが望ましい。
【０１０８】
さらに、情報を高解像に取得する第１の撮像条件に対する係数分布での係数の平均値および分散の両方が、第２の撮像条件に対する係数分布より大きいことが望ましい。これにより、第１の撮撮像件で情報をより高解像に取得できる。
【０１０９】
また、第１および第２の撮像条件に対する係数分布での係数の平均値または分散は、事前情報取得部１０４で得られた事前情報に基づいて決定されることが望ましい。例えば、可変の撮像パラメータが絞り値である場合において、低解像で情報を取得する第２の撮像条件での被写界深度外の領域はデフォーカス領域となる。該デフォーカス領域でのぼけによる劣化が大きいほど被写体空間の情報は低周波しか存在しないため、サンプリングが少なくて済む。したがって、事前情報（ここではデプス分布の情報）から、第２の撮像条件で情報を取得する解像度を見積もり、その解像度から第２の撮像条件に対する係数分布の平均値または分散を決めるとよい。これはエッジ分布の情報等、他の事前情報や他の撮像パラメータを変化させた場合でも同様である。
【０１１０】
ここで、可変にする撮像パラメータが絞り値のみである場合について説明する。合焦位置が図５（Ａ）の第３の被写体２０３であるとすると、各撮像条件において第３の被写体２０３は殆ど同じように観察される（回折による劣化のみが変化として観察される）。このため、高解像に情報を取得する第１の撮像条件で取得された第３の被写体２０３の情報を用いることで、低解像に情報を取得する第２の撮像条件で取得される第３の被写体２０３の情報の解像度を向上させることができる。この場合における第３の被写体２０３のような第１および第２の撮像条件で共通した（同等の）光強度分布が得られる画像領域を同強度領域（または共通領域）という。第１の撮像条件で得られた情報（光強度分布データ）のうち同強度領域の情報（データ）により第２の撮像条件で得られた情報のうち同強度領域の情報を置換することで、該第２の撮像条件で得られた情報のうち同強度領域の情報の高解像化を行ってもよい。また、第１の撮像条件で得られた情報のうち同強度領域の情報を教師データとして、第２の撮像条件で得られた情報のうち同強度領域の情報の超解像処理を行ってもよい。
【０１１１】
また、同強度領域は、第１および第２の撮像条件において同等の情報が得られているため、合成画像から複数の画像データに分離する必要がない。このため、ステップＳ２０３で説明した推定処理を行わず、合成画像からそのまま切り出して、各撮像条件に対応する画像データに挿入すればよい。これにより、推定処理に要する負荷を軽減することができる。
【０１１２】
ただし、各撮像条件の光強度分布には係数分布が作用しているため、一般に同強度領域の明るさは画素ごとにばらついている。しかしながら、係数分布の各係数は既知であるため、この明るさのばらつき量を算出して画素ごとに補正することで、正しい光強度分布が得られる。また、以下の式（２０）を満足するように係数分布を設定してもよい。
【０１１３】
【数２０】
2017208642.tif 000022
【０１１４】
ここで、ｃｋｓｕｍ（ｐｉ）は、複数の撮像条件に対して設定される複数の係数分布の和である総和係数分布であり、以下の式（２１）で表される。
【０１１５】
【数２１】
2017208642.tif 000023
【０１１６】
式（２１）において、ｐｉは撮像素子１０１ｃにおけるｉ番目の画素を示し、Ｇｓａｍｅは撮像素子１０１ｃ上の同強度領域に対応する同強度画素群を表し、maxとminはそれぞれ最大値と最小値を示す。式（２０）は、係数分布の作用によって生じる画素ごとの明るさのばらつきを抑える条件である。これによって、明るさの補正処理を行う必要がなくなる。同強度領域は、事前情報から割り出すことができ、複数の撮像条件で得られる光強度分布の差異が閾値より小さい画像領域である。式（２０）の下限を超えると明るさのばらつきが大きくなり、補正処理が必要になる。上限は理論的に超えることはできない。
【０１１７】
より望ましくは、以下の式（２０ａ）で示す条件を満足することで、より明るさのばらつきを抑制することができる。
【０１１８】
【数２２】
2017208642.tif 000024
【０１１９】
また、ステップＳ２０３において、画像推定部１０２ｂは、式（２）の連立一次方程式の解を、式（９）で表されるような推定を用いることで求めている。このため、推定の精度は、連立一次方程式のうち互いに独立な方程式の数が多いほど高くなる。したがって、ある画素ｐｉ＝（ｘｍ，ｙｎ）（ｉ＝１，…，ＭＮ、ｍ＝１，…，Ｍ、ｎ＝１，…，Ｎ）に対して作用する各ｋ（撮像条件）の係数分布を成分とするベクトルと、該画素の周辺に存在する画素それぞれにおける同様のベクトルが、できる限り一次独立となっていることが望ましい。係数分布は連立一次方程式の係数を表すため、該ベクトルを係数ベクトルと呼ぶこととし、該係数ベクトル（行ベクトル）を配列した行列をＥとおく。この際、推定画像の推定精度を向上させるため、行列Ｅは以下の式（２２）の条件を満足することが望ましい。
【０１２０】
【数２３】
2017208642.tif 000025
【０１２１】
ただし、ａを以下の式（２３）で定義した場合、行列Ｅは、以下の式（２４）で与えられる。
【０１２２】
【数２４】
2017208642.tif 000026
【０１２３】
【数２５】
2017208642.tif 000027
【０１２４】
式（２３）中のｃｅｉｌは天井関数を表す。行列Ｅは、各一次方程式の係数からなる行列である（このため、本実施例ではＥが９×４行列となる）。つまり、行列Ｅの階数が、１画素あたりの未知数の数であるＫ（ノイズを除いて）に近いほど推定精度が向上することを意味する。このため、係数分布は、全ての画素ｐｉ＝（ｘｍ，ｙｎ）に対して式（２２）の条件を満足するような分布となっていることが望ましい。
【０１２５】
より望ましくは、式（２２ａ）で示す条件を満足するとよい。
【０１２６】
【数２６】
2017208642.tif 000028
【０１２７】
さらに望ましくは、式（２２ｂ）で示す条件を満足するとよい。
【０１２８】
【数２７】
2017208642.tif 000029
【０１２９】
また、上述した総和係数分布ｃｋｓｕｍ（ｐｉ）の最小値が０よりも大きいことが望ましい。総和係数分布ｃｋｓｕｍ（ｐｉ）の値が０となる画素ｐｉ＝（ｘｍ，ｙｎ）には、光が一切入射しないことを意味する。推定画像ベクトルｖを得ることは、先にも述べたように連立一次方程式の解を推定することに他ならない。光が入射しない画素が存在すると、該画素では一次方程式の係数ｃｋが全て０となるため、連立一次方程式の数が減ってしまう。このため、一次方程式の数が減らないように、総和係数分布の最小値は０よりも大きいことが望ましい。
【０１３０】
また、ステップＳ２０３での推定は、事前情報に基づいて行うことが望ましい。事前情報から、各撮像条件で得られる画像データのどの領域が、他の撮像条件で得られる画像データと同一になるかや低周波しか存在しないかといった情報を算出することができる。このような情報を推定に組み込むことで、より高精度の推定が可能になる。撮像条件に応じて画像が変化しない領域では、全てのｖｋを共通することで変数の数を減らすことができる。また、低周波しか存在しない領域では、画像が滑らかに変化するような正則化項を与えるとよい。
【０１３１】
以上説明した本実施例によれば、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像装置を実現することができる。
【実施例２】
【０１３２】
本発明の実施例２である撮像システムについて説明する。本実施例では、可変な撮像パラメータとして、レリーズタイミング（または動画のフレーム）、露出値、露光時間（シャッタースピード）および画角を用いる。
【０１３３】
図８（Ａ）には本実施例の撮像システムの基本構成を、図８（Ｂ）には該撮像システムの外観を示す。撮像システムは、合成画像を生成する撮像装置３００と、該撮像装置３００とは別の装置として構成され、合成画像から複数の撮像条件のそれぞれで得られる画像データを生成（推定）する画像処理装置３０１とを有する。
【０１３４】
撮像装置３００の基本構成は、図３（Ａ）に示したものと同様である。ただし、実施例２では、被写体空間の事前情報を画像取得部１０１が取得するため、事前情報取得部１０４は設けられていない。画像取得部１０１の構成については後述する。
【０１３５】
撮像装置３００での撮像により生成された合成画像と撮像時に撮像条件ごとに作用した係数分布の情報は、画像処理装置３０１内の記憶部３０２に記憶される。合成画像が情報取得部３０３、画像推定部３０４および画像生成部３０５で処理されることで、複数の撮像条件のそれぞれで得られる画像データが生成される。生成された画像データは、表示装置３０６、記録媒体３０７および出力装置３０８の少なくとも１つに出力される。表示装置３０６は、液晶ディスプレイやプロジェクタ等に相当する。ユーザは表示装置３０６を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体３０７は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等に相当する。出力装置３０８は、プリンタ等に相当する。画像処理装置３０１は、必要に応じて現像処理やその他の画像処理を行う機能を有していてもよい。
【０１３６】
次に、画像取得部１０１について詳細に説明する。本実施例において、結像光学系１０１ａは、変倍機能を有するズームレンズである。撮像素子３２０は、図９に示すようにＣＭＯＳセンサの構成を有し、信号選択部３２５が図３（Ａ）に示した係数分布作用部１０１ｂの役割を果たす。撮像素子３２０は、図１０に示すタイムチャートに従って動作する。画素配列部３２１には複数の画素が配列されている。露光時間中に各画素に入射した光は、該画素内の光電変換部でアナログ電気信号に変換される。各画素はグローバル電子シャッターを備えており、同時刻での露光が可能となっている。各画素からの信号の読み出しは、垂直走査回路部３２２と水平走査回路部３２３によって行われ、読み出しの最中にＡ／Ｄ変換部３２４によってアナログ信号がデジタル信号に変換される。
【０１３７】
デジタル信号は信号選択部３２５に入力され、ここで信号が読み出された画素の位置に応じてパタニング（信号の取捨選択）が行われる。このパタニングは、被写体空間の光強度分布に対して０または１の係数分布ｃｋ＝１（ｘｍ，ｙｎ）を作用させることと同義である。ただし、信号選択部３２５は、取捨（０か１か）だけでなく、信号を比例倍する等の演算を行ってもよい。パタニングを受けたデジタル信号（光強度分布データ）は、記憶部３２６に一時的に記憶される。
【０１３８】
信号選択部３２５は、次の撮像条件に対して同様のパタニングを行う。ただし、この際、信号選択部３２５は、ｃ１（ｘｍ，ｙｎ）とは異なる係数分布（図１２のｃ２）でパタニングを行う。パタニングされた画像データは、記憶部３２６に既に記憶されている画像データと合成（合算）される。このため、画像のデータ量は増えない。撮像条件の数だけパタニングを繰り返してそれぞれの撮像条件で得られた光強度分布に関する情報が合成された合成画像は出力部３２７を通じて、画像処理装置３０１等の外部に出力される。なお、各撮像条件で露光時間を変更した場合は、図１０に示した「露光」の時間がｋによって異なる長さになる。
【０１３９】
信号選択部３２５は、撮像前に各撮像条件に対する係数分布を設定する。この係数分布の設定は、実施例１において図１のフローチャートを用いて説明したように行われるが、本実施例では可変な撮像パラメータが実施例１とは異なる。
【０１４０】
ステップＳ１０１では、信号選択部３２５は、撮像により光強度分布データを取得する複数の撮像条件を取得（設定）する。本実施例では、前述したように、レリーズタイミング、露出値、露光時間および画角を撮像パラメータとして用いる。ただし、画角は撮像倍率の変化のみとする。それ以外の画角変化に関しては、本実施例の最後に述べる。
【０１４１】
ステップＳ１０２では、画像取得部１０１は、ステップＳ１０１で設定された撮像条件に対応した被写体空間の事前情報を取得する。該事前情報は、撮像条件ごとに画角が異なる場合は、被写体空間のエッジ分布を示す情報になり、露出値が異なる場合は光量の分布（以下、光量分布という）を示す情報となる。また、レリーズタイミング又は露光時間が異なる場合は撮像装置３００に対する被写体空間の動きの分布（以下、動き分布という）を示す情報になる。複数の撮像パラメータを同時に可変とする際は、その撮像パラメータに対応する全ての事前情報が必要となる。例えば、画角と露光時間を同時に変化させる場合は、事前情報として、エッジ分布と動き分布の両方を示す情報が必要となる。事前情報を取得する際は、撮像素子３２０が、Ｋ＝１かつ係数分布ｃｋ＝１（ｘｍ，ｙｎ）を全て１にした状態で動作して画像データを取得する。つまり、係数分布を作用させず、複数の撮像条件で得られる光強度分布データの合算も行わない。エッジ分布を示す情報は取得された画像データに微分フィルタを作用させることで得ることができ、動き分布を示す情報は時間的に連続して取得した複数の画像データから算出することができる。さらに、光量分布を示す情報は、各画素の信号値の大きさから得られる。
ここで、撮像条件ごとに画角が異なる場合に取得する事前情報が、エッジ分布を示す情報である理由について説明する。例として、図１１に示すような市街地に電波塔が存在する撮像シーンを考える。一点鎖線の四角形は結像光学系１０１ａの広角端における撮像領域４０１を示し、破線の四角形は望遠端における撮像領域４０２を示す。これら２つの画角において得られた光強度分布を合成して合成画像を生成する。係数分布を無視すると、合成画像は図１２に示すような画像となる。図１２では、分かりやすくするために、広角端での光強度分布を実線で示し、望遠端での光強度分布を太い破線で示している。望遠端では被写体（電波塔の展望台）が画角の大半を占めているのに対し、広角端では画角内の大半が平坦な空である。このため、広角端では、望遠端と比べて、エッジ（テクスチャを含む）が少ない。このため、広角端での情報取得の解像度を下げ、望遠端での情報取得の解像度を高めることが望ましい。
【０１４２】
次に、撮像条件ごとにレリーズタイミングが異なる場合を説明する。この場合は、撮像条件ごとに形成される被写体空間光学像の差は被写体空間において撮像装置３００に対して動いている被写体領域となる。このため、撮像条件間において取得される画像に差がない（つまりは被写体が動いていない）ときは情報取得の解像度が低くてよく、逆に被写体が動いているときの情報を高解像に取得することが望ましい。このため、事前情報としては、撮像装置３００に対する被写体空間の動き分布を示す情報を得る。具体的には、被写体空間の各位置における速度（速さとその向き）の情報を得る。ここでの速度は、撮像装置３００が観測を行う静止座標系における撮像装置３００に対する相対速度である。撮像前における動きの情報から、撮像時に動いている被写体領域とその速度を推定する。
【０１４３】
次に、撮像条件ごとに露光時間（シャッタースピード）が異なる場合について説明する。露光時間が変化すると、被写体空間において移動している被写体領域の写り方が変化する。例えば、滝を撮像する際は、露光時間が短いと水飛沫の一滴一滴が撮像され、露光時間が長いと水飛沫は平均化されて見えにくくなり、代わりに水流が滑らかに写って流れが強調される。このとき、時間的に変化している被写体は、露光時間が短いほど高周波成分が取得され、長いと低周波成分しか取得されない。また、時間的に動きのない背景等の静止被写体は、露光時間を変えても取得される画像は変化しない。このため、露光時間が長い撮像条件では、短い撮像条件に比べて、固有の高周波成分が取得されない。したがって、露光時間の長い撮像条件に比べて、露光時間が短い撮像条件にて高解像に情報を取得するようにすればよい。このため、撮像条件間で露出時間が異なる場合には、事前情報はなくてもよい。
【０１４４】
最後に、撮像条件ごとに露出値が異なる場合について説明する。露出値を変化させるには、絞り値、露光時間またはＩＳＯ感度を変化させたり光減衰フィルタを用いたりする。露出値が異なると、輝度飽和や黒潰れの生じやすさが変化する。露出値が小さい（明るい）撮像条件では被写体空間のシャドー部の情報が得やすくなり、露出値が大きい（暗い）撮像条件ではハイライト部の情報が得やすくなる。事前情報として被写体空間の光量分布を得ることで、画角内にハイライト部またはシャドー部がどの程度存在するのかが分かる。そして、ハイライト部の割合が多い場合は暗い露出値の撮像条件を高解像にし、シャドー部が多い場合は明るい露出値の撮像条件を高解像にすればよい。また、輝度飽和部の信号値を周囲の画素等を用いて推定すれば、該輝度飽和部の情報を高解像に取得できる露出値を特定することもできる。
【０１４５】
なお、可変の撮像パラメータがレリーズタイミング（または動画のフレーム）、露光時間、または露出値である場合でも、事前情報としてエッジ分布の情報を併用してもよい。これは、移動する被写体や、ハイライト部またはシャドー部内の被写体において、エッジが少なければ、情報取得の解像度を高める必要性が低くなるからである。
【０１４６】
ステップＳ１０３およびステップＳ１０４での処理は、実施例１と同じであるので、説明を省略する。
【０１４７】
撮像後に合成画像から複数の撮像条件のそれぞれで得られる画像データを生成（復元）する画像処理は、実施例１で図７のフローチャートに示したものと同じである。撮像条件ごとにレリーズタイミング（または動画のフレーム）が異なっている場合は、撮像素子３２０の受光量を低下させることなく（つまりはＳ／Ｎ比を低下させずに）高速撮像が可能になる。撮像条件ごとに露出時間や画角（撮像倍率）が異なる場合は、ユーザは撮像後でありながらシャッタースピードやズームを変更したような画像データを取得することができる。撮像条件ごとに露出値が異なる場合は、ハイダイナミックレンジ画像を生成することができる。
【０１４８】
また、撮像パラメータがレリーズタイミングまたは露光時間である場合は、時間変化しない領域は全撮像条件に対して変化がない。この場合は、その領域を実施例１で説明した同強度領域として、低解像に情報を取得した撮像条件の高解像化を行ってもよい。
【０１４９】
画角については、撮像倍率ではなく、撮像する被写体空間の位置（撮像領域）を変更してもよい。図１３にその例を示す。図１３に示す撮像シーンに対して、第１および第２の撮像領域４０３，４０４を複数の画角（撮像条件）として撮像を行う。この場合も、撮影倍率を変更する場合と同様に、よりエッジが多い撮像領域の情報を高解像に取得することが望ましい。図１３の例では、第１の撮像条件（撮像領域４０３）で高解像に情報を取得し、第２の撮像条件（撮像領域４０４）で低解像に情報を取得する。合成画像から生成された異なる撮像領域の画角データは、パノラマ画像の作成等に用いることができる。
【０１５０】
撮像領域を変更する場合には、撮像領域を変更するための手段が必要になる。例えば、撮像装置３００（画像取得部１０１）をパン、チルトまたはシフトする機構を用いてもよいし、撮像装置３００の前に配置した反射部材を動かすことで撮像領域を変更してもよい。事前情報（エッジ分布）の取得は、画像取得部１０１で行ってもよいし、撮像装置３００より広角な撮像装置を用いて行ってもよい。
【０１５１】
以上説明した本実施例によれば、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像システムを実現することができる。
【実施例３】
【０１５２】
本発明の実施例３である撮像装置について説明する。本実施例では、可変な撮像パラメータとして、視点を用いる。
【０１５３】
本実施例の撮像装置の基本構成は、画像取得部１０１を除いて、実施例１において図３（Ａ）に示したものと同じであり、実施例１と共通する構成要素についての説明は省略する。本実施例において、画像取得部１０１は、図１４に示す構成を有し、それぞれ異なる視点からの光強度分布を同時に取得することができる。撮像素子５０３は、複数の画素を構成する光電変換部５０４（５０４ａ，５０４ｂ，・・・）と、マイクロレンズアレイ５０５とを有する。マイクロレンズアレイ５０５と被写体面５１１とは、結像光学系５０１によって共役に関係付けられている。さらに、結像光学系５０１の瞳と光電変換部５０４（５０４ａ，５０４ｂ，・・・）は、マイクロレンズアレイ５０５により概ね共役に関係付けられている。
【０１５４】
マイクロレンズアレイ５０５と光電変換部５０４（５０４ａ，５０４ｂ，・・・）との間には、係数分布作用部５０２が配置されている。係数分布作用部５０２としては、実施例１と同様にＳＬＭ等を用いることができる。図１５に、本実施例での係数分布作用部５０２の構成を示す。係数分布作用部５０２は、透過部と遮光部とを有する。図１４および図１５における黒い部分が遮光部を示す。係数分布作用部５０２は、図１５に示すように、撮像素子５０３の画素ごとに異なる領域を遮光部によって遮光する。図１５中に破線で描かれた円は、各画素に結像される結像光学系５０１の瞳（集合瞳）の像を表している。図１５から分かるように、係数分布作用部５０２は、各画素に対して、集合瞳内での位置（部分瞳の位置）に応じて異なる係数を与える。本実施例では、係数は０または１であるが、これ以外の係数であってもよい。
【０１５５】
次に、本実施例において撮像素子５０３で得られる合成画像について説明する。結像光学系５０１の集合瞳は、本実施例において２×２の４つの部分瞳に分割されている。なお、この分割数は例であり、これ以外の分割数であってもよい。そして、分割された４つの部分瞳うち被写体空間から見て右下の部分瞳を例に説明する。
【０１５６】
右下の部分瞳から被写体空間を観察したときの光学像は、該部分瞳を通過した光のみを集めることで再現することができる。このとき、集合瞳は光電変換部に反転して結像されるので、図１５中では各画素の左上に入射する光となる。この光学像、すなわち光強度分布に対して係数分布作用部５０２で与えられる係数分布ｃｋ（ｘ，ｙ）は、図１５における各画素内の左上の係数を並べたものとなる。他の部分瞳（視点）でも同様であり、撮像素子５０３では、複数の部分瞳から観察した光強度分布に対してそれぞれ異なる係数分布が作用することで得られた光強度分布が合成（合算）された合成画像が得られる。
【０１５７】
撮像前における係数分布の設定は、実施例１において図１のフローチャートを用いて説明したように行われるが、本実施例では可変な撮像パラメータが実施例１とは異なる。
【０１５８】
ステップＳ１０１では、係数分布設定部１０３は、可変の撮像パラメータとして、光強度分布データを取得する視点を設定する。なお、常に一定の視点数（本実施例では２×２＝４）を取得するようにして本ステップをスキップしても構わない。
【０１５９】
ステップＳ１０２では、事前情報取得部１０４は、被写体空間のデプス分布を示す情報を事前情報として取得する。本実施例のような多視点の撮像系では、視差によって、ある視点からの撮像により得られた画像に写っている被写体が他の視点からの撮像により得られた画像に写らないオクルージョンが生じる。図１６（Ａ），（Ｂ），（Ｃ）には互いに異なる視点からの撮像により得られた３つの画像を示しており、これらの画像間では視差によって手前に存在する第１および第２の人物５１１，５１２と後方の背景５１３との位置関係が変化している。
【０１６０】
図１６（Ｃ）に示した第１〜第５の部分領域５２１〜５２５は、図１６（Ａ）〜（Ｃ）の画像のそれぞれでオクルージョンが発生している領域を示す。図１６（Ａ）の画像では第１および第３の部分領域５２１，５２３に、図１６（Ｂ）の画像では第２および第４の部分領域５２２，５２４に、図１６（Ｃ）の画像では第３および第５の部分領域５２３，５２５にそれぞれオクルージョンが発生している。このため、背景５１３が見えなくなっている。
【０１６１】
このとき、第３の部分領域５２３に含まれる背景５１３が唯一写っている図１６（Ｂ）の画像には、対応する視点（撮像条件）で取得できる固有の情報があるため、高解像に情報を取得すべきである。また、図１６（Ｂ）の画像において取得できない背景の情報は、図１６（Ａ），（Ｃ）の画像で取得することができるため、これらの画像のうちいずれか一方のみを高解像に取得すればよく、他方は低解像で取得すればよい。これらのことから、第１および第２の撮像条件を決めることができる。どの視点でどこにオクルージョンが発生するかは、被写体空間のデプス分布から割り出すことができる。また、事前情報にエッジ分布の情報を追加して、オクルージョンで隠れている部分にエッジが多いか否かを考慮するようにしてもよい。
【０１６２】
ステップＳ１０３およびステップＳ１０４での処理は、実施例１と同じであるので、説明を省略する。
【０１６３】
撮像後に合成画像から複数の撮像条件（視点）のそれぞれで得られる画像データを生成（復元）する画像処理は、実施例１で図７のフローチャートに示したものと同じである。こうして生成された画像データ、すなわち多視点画像を用いることで、例えば、撮像後でありながら合焦位置を変更したリフォーカス画像を提供することができる。
【０１６４】
以上説明した本実施例によれば、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像装置を実現することができる。
【実施例４】
【０１６５】
本発明の実施例４である撮像装置について説明する。本実施例では、可変な撮像パラメータとして、波長を用いる。ここでの波長は、単波長の場合と、複数の波長を重み付きで足し合わせた場合の両方を含む。
【０１６６】
本実施例の撮像装置６００の基本構成および外観を、図１７（Ａ）および図１７（Ｂ）に示す。実施例１（図３（Ａ））と共通する構成要素には、実施例１と同符号を付して説明に代える。本実施例では、事前情報取得部６０４は、複数のカラーフィルタ（例えばＲ，Ｇ，Ｂのフィルタ）が配列された撮像素子６０１ｃを有する撮像部として構成されている。結像光学系６０１ａの前には、図１７（Ｂ）に示すようにそれぞれ異なる分光分布の複数のカラーフィルタ６１０ａ〜６１０ｈを備えた撮像条件変更部６０９が設けられている。図１７（Ｂ）には、カラーフィルタ６１０ａ〜６１０ｈの数が８である場合を示しているが、他の数のカラーフィルタを設けてもよい。
【０１６７】
撮像素子６０１ｃは、カラーフィルタ６１０ａ〜６１０ｈを透過した光に対して感度を有するモノクロのイメージセンサである。係数分布作用部６０１ｂは、実施例１と同様に、撮像素子６０１ｃの前面に配置されている。撮像における露光中に撮像条件変更部６０９が回転することで撮像条件としての波長を変更し、係数分布作用部６０１ｂはそれぞれの撮像条件で得られる被写体空間光学像（光強度分布）に対して異なる係数分布を作用させる。
【０１６８】
撮像前における係数分布の設定は、実施例１において図１のフローチャートを用いて説明したように行われるが、本実施例では可変な撮像パラメータが実施例１とは異なる。
【０１６９】
ステップＳ１０１では、係数分布設定部６０３は、可変の撮像パラメータとして、光強度分布データを取得する波長を設定する。言い換えれば、撮像条件変更部６０９のカラーフィルタ６１０ａ〜６１０ｈのうちいずれを使用するかを設定する。常に全てのカラーフィルタ６１０ａ〜６１０ｈを使用するようにして、ステップＳ１０１はスキップしてもよい。
【０１７０】
ステップＳ１０２では、事前情報取得部６０４が、被写体空間の色の分布（以下、色分布という）を示す情報を事前情報として取得する。取得する波長が異なると、被写体の色に応じて取得できる光強度分布の強度が異なる。光強度分布の強度が低いとＳ／Ｎ比が低下するため、取得可能な波長のうち光強度が高くなる波長が高解像に情報を取得する撮像条件となる。該波長を割り出すには、事前情報として被写体空間の色分布を示す情報を取得する必要がある。このため、事前情報取得部６０４は、撮像素子６０１ｃとは別の撮像素子であって、複数のカラーフィルタ（例えばＲ，Ｇ，Ｂのフィルタ）が設けられた撮像素子を有する。事前情報取得部６０４と撮像条件変更部６０９がそれぞれ有するカラーフィルタの種類数は、必ずしも一致する必要はない。
【０１７１】
ステップＳ１０３およびステップＳ１０４での処理は、実施例１と同じであるので、説明を省略する。
【０１７２】
撮像後に合成画像から複数の撮像条件（波長）のそれぞれで得られる画像データを生成（復元）する画像処理は、実施例１で図７のフローチャートに示したものと同じである。こうして生成された画像データ、すなわち波長が異なる画像データを用いることで、高解像かつ被写体の色の再現性が高い画像を得ることができる。
【０１７３】
なお、本実施例では、波長が可視域の波長である場合について説明したが、不可視域（赤外域等）の波長であってもよい。
【０１７４】
また、実施例４では、変化させる撮像パラメータを波長（色）としたが、撮像パラメータを偏光としてもよい。この場合、事前情報取得部６０４はそれぞれ偏光軸の方向が異なる複数の偏光フィルタが配列された撮像素子を用い、撮像条件変更部６０９はそれぞれ偏光軸の方向が異なる複数の偏光フィルタを用いる。偏光が異なる画像データを生成することで、高解像に被写体の面法線の向きを算出することができ、これにより撮像後でありながら被写体を照らす照明条件を変更した画像を生成することができる。
【０１７５】
以上説明した本実施例によれば、少ない観測数で被写体空間の情報を高解像に取得することが可能な撮像装置を実現することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１７６】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【０１７７】
１００，３００，６００  撮像装置
１０１ｂ，５０２，６０１ｂ：係数分布作用部
１０１ｃ，３２０，５０３，６０１ｃ：撮像素子
【図１】
2017208642.tif 000030
【図２】
2017208642.tif 000031
【図３】
2017208642.tif 000032
【図４】
2017208642.tif 000033
【図５】
2017208642.tif 000034
【図６】
2017208642.tif 000035
【図７】
2017208642.tif 000036
【図８】
2017208642.tif 000037
【図９】
2017208642.tif 000038
【図１０】
2017208642.tif 000039
【図１１】
2017208642.tif 000040
【図１２】
2017208642.tif 000041
【図１３】
2017208642.tif 000042
【図１４】
2017208642.tif 000043
【図１５】
2017208642.tif 000044
【図１６】
2017208642.tif 000045
【図１７】
2017208642.tif 000046