(57)【要約】【課題】データ容量の削減と撮影時間の短縮化を実現しながらも、複数の光源条件下について被写体を観察した画像を取得できる画像処理方法を提供する。【解決手段】同一被写体のある点に対して異なる位置あるいは角度の光源から光を照射した複数の像を、互いに異なる透過率分布で重ね合わせて取得した少なくとも１つの入力画像と、前記透過率分布の情報から、出力画像を最適化アルゴリズムによって生成する画像処理方法であって、前記入力画像に含まれる全ての位置あるいは角度の光源によって形成される光源の集合を第１の光源集合とした時、前記出力画像は、前記第１の光源集合の部分集合である第２の光源集合から光を照射した場合の前記被写体の像に相当する画像であることを特徴とする。【選択図】図１
2019080258.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体のある点に対して異なる位置あるいは角度の光源から光を照射した複数の像を、互いに異なる透過率分布で重ね合わせて取得した少なくとも１つの入力画像と、前記透過率分布の情報から、出力画像を最適化アルゴリズムによって生成する画像処理方法であって、
前記入力画像に含まれる全ての位置あるいは角度の光源によって形成される光源の集合を第１の光源集合とするとき、
前記出力画像は、前記第１の光源集合の部分集合である第２の光源集合から光を照射した場合の前記被写体の像に相当する画像であることを特徴とする画像処理方法。
【請求項２】
前記重ね合わされた複数の像それぞれに与えられた透過率分布の和からなる分布を総和透過率分布とするとき、
前記総和透過率分布は最小値が０よりも大きいことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記重ね合わされた像の数をＫ、前記像のうちｋ番目の像に与えられた前記透過率分布における平均値をｔｋ，ａｖｅとするとき、
全てのｋに対して以下の条件式を満たすことを特徴とする請求項１又は２に記載の画像処理方法。
【数１】
2019080258.tif 000039
【請求項４】
前記重ね合わされた像の数をＫ、前記像のうちｋ番目の像に与えられた前記透過率分布における最大値と最小値を、それぞれｔｋ，ｍａｘ、ｔｋ，ｍｉｎとするとき、
全てのｋに対して以下の条件式を満たすことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【数２】
2019080258.tif 000040
【請求項５】
前記重ね合わされた複数の像それぞれに与えられた透過率分布の和からなる分布を総和透過率分布とし、前記総和透過率分布の最大値と最小値を、それぞれｔｓｕｍ，ｍａｘ、ｔｓｕｍ，ｍｉｎとするとき、
以下の条件式を満たすことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
【数３】
2019080258.tif 000041
【請求項６】
前記入力画像は、
正の屈折力を有する結像光学系と、同一被写体のある点に対して光を照射する光源の位置あるいは角度に応じて、異なる透過率分布を与える透過率分布付与部と、複数の画素を有する撮像素子を有する撮像装置によって取得された画像であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
【請求項７】
前記透過率分布付与部は、被写体より前記結像光学系の像側で付与されたものであることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
異なる位置あるいは角度の光源が互いに異なる波長分布を有し、前記入力画像は異なる分光透過率分布を有する撮像装置で取得することで、前記第１の光源集合の複数の部分集合から光を照射した場合の前記被写体の像に、互いに異なる前記透過率分布を付与することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
【請求項９】
異なる位置あるいは角度の光源の光源強度が互いに異なる時間変化を有し、前記入力画像は露光時間内において異なる時間依存透過率分布を有する撮像装置で取得することで、前記第１の光源集合の複数の部分集合から光を照射した場合の前記被写体の像に、互いに異なる前記透過率分布を付与することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
【請求項１０】
前記出力画像は同一被写体のある点に対して互いに異なる位置あるいは角度の光源から光を照射した３以上の画像からなり、前記出力画像から被写体の面法線を算出することを特徴とする請求項１乃至９のいずれか１個に記載の画像処理方法。
【請求項１１】
入力画像に対して、請求項１乃至１０のいずれか、又は複数の画像処理方法を用いて出力画像を生成する画像処理プログラム。
【請求項１２】
入力画像に対して、請求項１乃至１０のいずれか、又は複数の画像処理方法を用いて出力画像を生成する画像処理システム。
【請求項１３】
入力画像に対して、請求項１乃至１０のいずれか、又は複数の画像処理方法を用いて出力画像を生成する画像処理部と、
前記入力画像と前記透過率分布の情報を記憶する記憶部を有することを特徴とする画像処理装置。
【請求項１４】
正の屈折力を有する結像光学系と、
同一被写体のある点に対して光を照射する光源の位置あるいは角度に応じて、異なる透過率分布を与える透過率分布付与部と、
複数の画素を有する撮像素子と、
前記撮像素子で取得された入力画像に対して、請求項１乃至１０のいずれか、又は複数の画像処理方法を用いて出力画像を生成する画像処理部と、
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体空間を異なる光源状況下で観察した複数の画像を得るための画像処理方法、及びそれを用いた画像処理プログラム、画像処理装置、撮像装置に関する。
【背景技術】
【０００２】
一般に被写体を撮像して得られる画像は、観察時の光源条件に依存する。そこで、被写体の撮影時に照明装置を用いる手法が知られている。ここで照明装置は、例えば被写体の明るさを撮影者の意図通りにする、画像を見る人が被写体の立体形状や質感をより知覚しやすくする、などの目的で用いられる。このような撮影では、複数の照明を用いた多灯撮影をすることもあり、照明の位置や向き、光量など制御すべき項目が多いため、高度な技術が必要とされる。
【０００３】
しかし、従来の撮像手法では、特定の光源条件下での被写体の見えを取得しているため、一度撮影してしまうと、後から異なる照明条件下で観察した際の被写体の見えを得ることはできなかった。
【０００４】
そこで近年、後から異なる照明条件下で観察した際の被写体の見えを得るために、被写体に対して複数の方向から照明した光源条件下での撮影を行う手法が知られている。一例として、照度差ステレオ法と呼ばれる方法が知られている。この方法は被写体の面法線情報や反射特性を取得する方法であり、特許文献１には既知の反射特性を持つ被写体について表面勾配を計測する方法が開示されている。また、非特許文献１にはプロジェクタを用いてランダムパターン光源を投射し、光源の方向と被写体からの反射光を関連付けるＬｉｇｈｔ  Ｔｒａｎｓｐｏｒｔ  Ｍａｔｒｉｘを効率的に取得する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２７９１８７号公報
【非特許文献】
【０００６】
【非特許文献１】Ｐｒａｄｅｅｐ  Ｓｅｎ  ａｎｄ  Ｓｏｈｅｉｌ  Ｄａｒａｂｉ、Ｃｏｍｐｒｅｓｓｉｖｅ  Ｄｕａｌ  Ｐｈｏｔｏｇｒａｐｈｙ，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｆｏｒｕｍ，Ｖｏｌ．２８，Ｎｏ．２（２００９）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された従来技術では、複数の光源条件下での画像を得るために、等しい数だけの撮影を行わなければならない。よって撮影枚数が多くなり、取得するデータ容量が大きくなってしまう。また撮影時間がかかってしまい、動的な被写体では被写体ブレの影響を大きく受けるという課題も生じる。しかし撮影時間を短くすると、光量が不足しＳＮ比が劣化してしまう。
【０００８】
非特許文献１では、プロジェクタからランダムパターン光源を投射することで取得するデータ容量を減らし、また撮影時間も短くしている。しかし、この手法では照明を投射する方向を変えているために、被写体上の各点に対して異なる光源条件下での撮影を行ってはおらず、複数の光源条件下での見えを取得できていない。
【０００９】
そこで、本発明の目的は、データ容量の削減と撮影時間の短縮化を実現しながらも、複数の光源条件下について被写体を観察した画像を取得できる画像処理方法を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る画像処理方法は、同一被写体のある点に対して異なる位置あるいは角度の光源から光を照射した複数の像を、互いに異なる透過率分布で重ね合わせて取得した少なくとも１つの入力画像と、前記透過率分布の情報から、出力画像を最適化アルゴリズムによって生成する画像処理方法であって、前記入力画像に含まれる全ての位置あるいは角度の光源によって形成される光源の集合を第１の光源集合とした時、前記出力画像は、前記第１の光源集合の部分集合である第２の光源集合から光を照射した場合の前記被写体の像に相当する画像であることを特徴とする。
【００１１】
また、本発明に係る画像処理プログラム、画像処理装置、撮像装置は、上記画像処理方法を用いることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、データ容量の削減と撮影時間の短縮化を実現しながらも、複数の光源条件下について被写体を観察した画像を取得できる画像処理方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態の画像取得工程を示す図。
【図２】好適な光源配置を示す図。
【図３】不適な光源配置を示す図。
【図４】第１の実施形態の撮像装置の基本構成図。
【図５】第１の実施形態の撮像装置の外観図。
【図６】第１の実施形態における処理フローを表した図。
【図７】第１の実施形態において、推定の有無による出力画像の解像度差に関する説明図。
【図８】第１の実施形態の画像取得工程の変形例を示す図。
【図９】第２の実施形態の透過率分布付与部を説明する図。
【図１０】第２の実施形態の画像取得工程を示す図。
【図１１】第２の実施形態のカラーフィルタの分光特性を示す図。
【図１２】第３の実施形態における画像処理システムのブロック図。
【図１３】第３の実施形態における画像処理システムの外観図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１５】
具体的な実施形態の説明へ入る前に、本発明の概要を簡単に述べておく。特許文献１で開示されたような従来の構成では、取得する光源条件の数で必要な撮影枚数が決定される。しかし本発明では、異なる光源条件下で観察した像を重ね合わせた状態で取得し、後から画像処理によって重ね合わされた各光源条件に対応する画像を推定して分離する。つまり、取得する光源条件の数だけの撮影枚数が必要ではなくなるということである。
【００１６】
撮像後の画像処理で重ね合わされた各光源条件の情報を分離するために、本発明では複数の光源条件下で観察した像それぞれに異なる透過率分布を付与しておく。この透過率分布の情報を用いて推定することで、撮影時に一旦は重ね合わされた各光源条件下の被写体の情報が、後から分離できるのである。
【００１７】
本発明の概要説明は以上になるが、ここで被写体の異なる光源条件下での見えを取得するための光源配置について述べておく。図２のように被写体２０１を撮像装置２０２で撮影する際に、複数の照明装置２０３ａ乃至２０３ｄを用いたとする。ここで照明装置は異なる光源条件を作るために用いている。ただし、光源条件は必ずしも照明装置で作るものではなく、反射板や環境光などを利用してもこれらの組み合わせとしてもよい。また、光源条件の数はこれに限定されない。
【００１８】
ここで照明装置２０３ａ乃至２０３ｄを合わせた光源２０３を光源全ての集合（第一の光源集合）とする。なお、このうちの一部の照明装置を使った場合の光源条件を第一の光源集合の部分集合（第二の光源集合）とよぶ。このように被写体のある点に対して異なる入射角度分布の照明を行うことで、被写体の見えが異なる画像を取得することができる。
【００１９】
一方、図３のように被写体２０１を撮像装置２０２で撮影する際に、照明装置２０３の前にマスク２０５を設けて照明したとする。この場合、照明装置２０３からの照明光２０４ａ、２０４ｃを遮蔽し、照明光２０４ｂによって光源条件が作られる。この配置からマスク２０５を動かすことで、照明光２０４ａ、２０４ｃに対応する光源条件を作ることもできる。
【００２０】
このように照明光２０４ａ〜ｃによって作られる光源条件は異なる光源条件ではあるものの、各照明光が照射される被写体上の領域が異なる。これでは、特定の被写体領域に対して異なる光源環境下での見えを１つしか取得することができず、被写体の異なる光源環境下での見えを取得することができない。以上からわかるように、光源が被写体上の広い領域を照らせるように、すなわち被写体上のある点が複数の光源方向から照明されるように光源を配置するとよい。
【００２１】
（第１の実施形態）
本発明の画像処理方法を撮像装置に適用した、第１の実施形態について述べる。本実施形態における基本構成は、図４に示され、外観は図５に示したような撮像装置１００の形態を取っている。
【００２２】
不図示の被写体空間から入射した光は、図４に示す画像取得部１０１で画像信号として取得される。画像取得部１０１は、正の屈折力を有する結像光学系１０２と透過率分布付与部１０３、及び複数の画素が配列された撮像素子１０４、照明装置１１３を備える。撮像素子１０４の例としては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などが挙げられる。画像の取得は照明装置１１３の照明条件を制御しながら行われる。画像取得部１０１の詳しい構成に関しては、後ほど説明する。
【００２３】
撮像素子１０４でアナログの電気信号となった光エネルギーは、Ａ／Ｄコンバータ１０５で更にデジタル信号へと変換される。該デジタル信号は画像処理部１０６へ入力され、半導体メモリなどの画像記録媒体１０８に所定のフォーマットで保存される。この際、状態検知部１０９から得られた撮像装置１００の撮影条件情報も保存される。
【００２４】
撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離、或いは透過率分布付与部１０３で入射光に与えた透過率分布の情報、照明装置１１３からの光源情報などである。状態検知部１０９は、システムコントローラ１１０から撮影条件情報を得てもよいし、画像取得部１０１に関する情報については制御部１１１から得てもよい。
【００２５】
画像記録媒体１０８に保存された画像（入力画像）は、被写体空間を観察する光源条件に応じて異なる透過率分布が与えられた像を互いに重ね合わせた画像である。表示部１１２に画像を表示する際は、前記入力画像に画像処理部１０６で本実施形態の画像処理方法を施す。
【００２６】
これによって、ある光源条件下において被写体空間を観察した像に相当する画像（出力画像）が生成される。ユーザーが選択した表示条件に応じて、前記出力画像そのもの、或いはそれを用いて新たに生成した画像（光源条件変更画像など）を、表示部１１２へ表示する。画像処理部１０６は、情報取得部１０６ａ、パラメタ設定部１０６ｂ、推定画像生成部１０６ｃ、推定完了判定部１０６ｄ、出力画像生成部１０６ｅを有している。これらの部位で行われる処理に関する詳細は、後のフローチャートを用いた説明で述べることとする。またこの際、記憶部１０７、或いは画像記録媒体１０８から、透過率分布付与部１０３で各光源条件に対応した入射光に与えた透過率分布の情報が呼び出され、使用される。
【００２７】
また、表示部１１２で表示した画像は、画像記録媒体１０８に保存してもよい。さらに、画像表示までを高速化するため、撮像素子１０４で取得された画像を一旦、画像記録媒体１０８に保存せず、そのまま本実施形態の画像処理を実行してもよい。
【００２８】
以上の一連の制御は、システムコントローラ１１０により行われ、画像取得部１０１の機械的な駆動はシステムコントローラ１１０の指示によって制御部１１１で行われる。
【００２９】
次に、本実施形態における画像取得部１０１の構成に関して説明する。本実施形態では、透過率分布付与部１０３は撮像素子１０４付近に配置された空間光変調器であり、撮像素子１０４上に形成される像を符号化することができる。また、本実施形態では、透過率分布付与部１０３によって与えられる透過率分布が撮像素子１０４の画素と対応づけ可能な構成となっている。本実施形態では、露光時間内において、空間光変調器の符号化パターンを変調しながら撮影を行う。このような手法により、本実施形態では、露光時間内の任意の時間における被写体の像を異なるパターンで符号化し、それら符号化された像を１枚の画像に重畳した画像を取得している。
【００３０】
この画像取得工程を、図１を用いて詳細に説明する。図１の工程では、被写体を照明する光源のＯＮ、ＯＦＦが期間に応じて切り替わっているシーンを撮影する場面を想定している。ｘとｙはそれぞれ縦方向と横方向の座標、Ｉｊ（ｘ，ｙ）は期間Ｔｊ内における被写体像であり、本実施形態ではＩｊ（ｘ，ｙ）を符号化パターンｔｊ（ｘ，ｙ）で符号化する。
【００３１】
本実施形態において、符号化パターンｔｊ（ｘ，ｙ）は撮像素子１０４に対して設けられた透過率分布付与部１０３によって与えられる時間依存透過率分布である。透過率分布付与部１０３は、透明部と遮光部を有しており、図１の黒い部分が遮光部を表している。透過率分布付与部１０３は図１に示したように、撮像素子１０４の画素に応じて異なる領域を遮光している。
【００３２】
図１から分かるように、各画素では期間Ｔｊに応じて異なる透過率ｔｊが与えられている。さらに期間Ｔｊに応じて光源のＯＮ，ＯＦＦが切り替わることで、実質的に各画素では各光源に応じて異なる透過率ｔｋが与えられている。透過率ｔｋについては後に詳述する。ｊ＝１、・・・、Ｊの値をとり、図１ではＪ＝４、Ｔｊは露光時間Ｔを等分割した値としている。
【００３３】
なお、本実施形態の露光方法は図１に限ったものではなく、例えば、露光期間Ｔｊと露光期間Ｔｊ＋１の間に露光しない時間を設けても良い。また、各露光期間Ｔｊは全露光時間Ｔを等分割した場合に限らなくても良い。また、本実施形態では露光回数を１回としたが、複数回露光し、入力画像を複数枚としてもよい。
【００３４】
では、この撮像素子１０４で得られる画像がどのような画像となっているのかを説明する。ある光源条件下で、被写体空間を観察した像を考える。ここでは、図１中の光源１のみＯＮの時の光源条件を例に取るが、以下の議論は他の部分光源集合に関しても、同様に成り立つ。光源１のみからなる部分光源集合によってできる光源条件下において被写体を観察した像は、光源１によって照射された光のみを集めることで、再現できる。
【００３５】
この像に対して透過率分布付与部１０３で実質的に付与される透過率分布ｔｋ（ｘ，ｙ）は、図１の１列目に描かれた透過率分布ｔｊ（ｘ，ｙ）に等しい。他の光源条件に対しても同様であるが、光源２についてはＯＮになっている期間がＴ２とＴ４の２回あるので、光源２からなる光源条件下における透過率分布ｔｋ（ｘ，ｙ）は２列目と４列目に描かれた透過率分布ｔｊ（ｘ，ｙ）の平均値となる。
【００３６】
光源１乃至３の他に環境光が存在する場合は、環境光を１つの光源と考えることができる。例えば図１の１列目の被写体像は光源１と環境光の和によってできる光源条件下における被写体像とみなすことができる。ただし、本実施形態において、透過率分布ｔｊ（ｘ，ｙ）は二値（白色部と黒色部）のみを取っているが、透過率の値とその取り得る値の種類はこれに限定されない。また、各光源についてもＯＮ、ＯＦＦのみを扱っているが、光量を期間によって変化させてもよい。また、光量は期間内の総量が一定であれば、期間内で一定である必要もない。
【００３７】
図１から分かるように、撮像素子１０４では、複数の期間それぞれで異なる透過率分布ｔｊ（ｘ，ｙ）を像に与え、且つそれらが重ね合わされた画像が得られており、該画像が本実施形態の入力画像となる。ここで、図１中の撮像素子で得られた画像ｓ（ｘ，ｙ）は、描画が複雑になるため、画像内容を省略した。
【００３８】
撮像素子１０４で得られた画像（入力画像）ｓ（ｘ，ｙ）を数式で表すと、以下の式（１）のようになる。
【００３９】
【数１】
2019080258.tif 000003
【００４０】
ここで、η（ｘ，ｙ）はノイズを表す。また、Ｋは重ね合わされた光源条件の総数であり、本実施形態ではＫ＝４である。さらに、Ｉｋ（ｘ，ｙ）はｋ番目の照明装置から露光時間内に照射した光により被写体空間を観察した像の光強度分布、ｔｋ（ｘ，ｙ）はＩｋ（ｘ，ｙ）に作用する透過率分布である。Ｌｋｊはｋ番目の光源の総光量に対する期間Ｔｊ内の光量の比である。
【００４１】
例えば、光源２についてみると、Ｔ１とＴ３でＯＦＦ、Ｔ２とＴ４でＯＮであるので、Ｌ２１＝Ｌ２３＝０かつＬ２２＝Ｌ２４＝０．５となる。前述のように第ｋ光源に対する透過率分布ｔｋ（ｘ，ｙ）は期間Ｔｊの透過率分布ｔｊ（ｘ，ｙ）を光量Ｌｋｊの重みで平均値を取った値である。また、期間Ｔｊ内における被写体像Ｉｊ（ｘ，ｙ）はｋ番目の光源環境下における被写体像Ｉｋ（ｘ，ｙ）を光量Ｌｋｊの重みで平均値を取った値である。
【００４２】
式（１）は、行列表記で以下の式（２）のように書き換えることもできる。
【００４３】
【数２】
2019080258.tif 000004
【００４４】
ここで、ｓ、ｉ及びηは、それぞれベクトル化された撮像素子１０４で取得される画像、各光源条件下で被写体空間を観察した像、及びノイズである。Ｈは、透過率分布ｔｋ（ｘ，ｙ）の付与と各像の重ね合わせを表す行列である。像ベクトルｉは、例えば以下の式（３）のように、ｋ番目の光源条件下で観察した像ベクトルｉｋを成分とする列ベクトルである。
【００４５】
【数３】
2019080258.tif 000005
【００４６】
ここで、ｋ番目の光源条件下で観察した像Ｉｋ（ｘ，ｙ）がＭ×Ｎの成分からなる場合、ｉｋは以下の式（４）で表されるＭＮ×１の成分を持つ列ベクトルである。
【００４７】
【数４】
2019080258.tif 000006
【００４８】
取得画像ベクトルｓとノイズベクトルηも、それぞれ同様にＭＮ×１の成分を持つ列ベクトルで、以下の式（５）及び式（６）で表される。
【００４９】
【数５】
2019080258.tif 000007
【００５０】
【数６】
2019080258.tif 000008
【００５１】
透過率分布ｔｋ（ｘ，ｙ）の付与と像の重ね合わせを表す行列Ｈは、以下のような式（７）で与えられるＭＮ×ＫＭＮの成分を持つ行列である。
【００５２】
【数７】
2019080258.tif 000009
【００５３】
ここで、Ｇｋは以下の式（８）で表されるＭＮ×ＭＮ成分を持つ行列である。
【００５４】
【数８】
2019080258.tif 000010
【００５５】
本実施形態においては、各光源条件下で観察した像が互いに位置ずれのないように重ね合わされていることから、行列Ｇｋは全て式（８）のように対角成分のみを有することとなる。しかし、各光源条件下で観察した像が互いにずれて重ね合わされている場合、式（８）はその位置ずれ量に応じた非対角成分に有限な値を持つこととなる。
【００５６】
次に、画像処理部１０６で行われる本実施形態の画像処理に関して、図６のフローチャートを用いて説明する。この処理により、複数の光源条件下で被写体空間を観察した像の情報が混合された入力画像から、推定を用いて各光源条件下で観察した前記像を分離し、出力画像を生成する。
【００５７】
ステップＳ１０１は、情報取得部１０６ａで実行され、入力画像と透過率分布ｔｋ（ｘ，ｙ）の情報が取得される。入力画像は撮像素子１０４で取得された画像であり、図１又は式（１）で示されたｓ（ｘ，ｙ）である。この入力画像における第１の光源集合は、光源１乃至３と、環境光の和である。ここで光源条件に対する透過率分布ｔｋ（ｘ，ｙ）は期間に応じた透過率分布ｔｊ（ｘ，ｙ）と光量比Ｌｋｊから算出できる。そのため、透過率分布ｔｋ（ｘ，ｙ）の代わりにｔｊ（ｘ，ｙ）を取得してもよい。
【００５８】
ステップＳ１０２は、パラメタ設定部１０６ｂで実行され、推定に用いるパラメタが設定される。パラメタは、次ステップの説明で述べる正則化項の決定やその重み、繰り返し演算の回数、ステップＳ１０４で用いる収束条件などが挙げられる。或いは、出力画像としてどの部分光源集合下（第二の光源集合）で観察した像に相当する画像を出力するか、などを指定してもよい。
【００５９】
つまり、光源１による光源環境下で観察した像に相当する画像のみを出力画像としてもよいし、光源１乃至３と環境光によるそれぞれの光源条件下で観察した像に相当する画像全てを出力画像としてもよい。本実施形態では後者を採用し、この際の第二の光源集合は光源１乃至３と環境光のそれぞれとなる。また、光源１乃至３と環境光のうち、複数をある重みで足し合わせた新たな部分光源集合を定義し、該部分光源集合下で観察した像に相当する画像を出力画像としてもよいが、これに関しては後（本実施形態の効果を高める望ましい条件の後）に説明する。
【００６０】
ステップＳ１０３は、推定画像生成部１０６ｃで実行され、推定画像が生成される。推定画像とは、即ち光源１乃至３による光源条件下で被写体空間を観察した像に相当する画像である。これを得るためには、式（２）で言えば、入力画像ベクトルｓと行列Ｈから、各部分瞳から観察した像ベクトルｉを求めることに相当する。この問題は、式（１）又は（２）を見ればわかるように、連立一次方程式の解を得ることに他ならない。
【００６１】
しかし、未知数（像ベクトルｉの行数）がＫＭＮ個あるにもかかわらず、連立方程式の数（行列Ｈの行数）はＭＮ個に過ぎない。さらに、未知のノイズをあわせると、未知数は（Ｋ＋１）ＭＮ個である。故に、解が一意的に求まることはなく、像ベクトルｉを得るには必然的に推定処理が必要となる。
【００６２】
もし推定を使わない場合、画像の解像度（像ベクトルｉの行数）を落とすことで、像ベクトルｉを求めることができる。つまり、連立方程式の数（行列Ｈの行数ＭＮ）に、未知数（像ベクトルｉの行数）の数を合わせるのである。この場合、部分瞳から観察した像の解像度を、Ｍ×Ｎから（Ｍ／Ｋ０．５）×（Ｎ／Ｋ０．５）に落とすこととなる。これは、本実施形態では、図７中の破線で囲った４画素内のＩｋ（ｘ，ｙ）の値を全て同一の値とすることに相当する。破線で囲った４画素には、それぞれ異なる透過率（係数）で、４つの像（未知数）Ｉｋ（ｘ，ｙ）が足し合わされているため、４つの連立一次方程式が得られる。
【００６３】
各一次方程式が独立ならば（独立となるように透過率分布ｔｋ（ｘ，ｙ）を付与しておけばよい）、方程式の数と未知数の数が一致するため、解である像ベクトルｉが求まる。しかし、この方法ではある光源条件下について被写体を観察した画像を低解像度でしか得ることができない。そこで、本実施形態では推定処理を合わせて用いることで、ある光源条件下での高解像な画像を取得する。
【００６４】
各光源条件下で被写体空間を観察した画像を推定した画像は、以下の式（９）で表される最適化問題の解を求めることで生成される。
【００６５】
【数９】
2019080258.tif 000011
【００６６】
ここで、ｖはベクトル化された推定画像、Ｌは損失関数、Φはｖに対する正則化項であり、それぞれの具体的な例については後述する。損失関数Ｌは、解をモデル（ここでは式（２）の連立方程式）へフィッティングさせる効果を持つ。ただし先にも述べたように、式（２）の連立方程式は未知数の数よりも方程式の数が小さいため、解が一意的に求まらない。そのため、解を尤もらしいものへと収束させる効果を持つ正則化項Φを利用する。
【００６７】
正則化項には、事前知識と呼ばれる解（像ベクトルｉ）が持つべき性質を用いる。また、正則化項は損失関数のみを考えた際に起こる過剰なフィッティング（ノイズベクトルηの影響を推定画像ベクトルｖへ反映させてしまうこと）を防ぐ役割も持っている。推定画像ベクトルｖは、以下の式（１０）のようにｋ番目の光源条件下で観察した推定画像ベクトルｖｋを成分とする列ベクトルである。
【００６８】
【数１０】
2019080258.tif 000012
【００６９】
ここで、ｋ番目の光源条件下で被写体空間を観察した場合の推定画像をＶｋ（ｘ，ｙ）とした時、ｖｋは式（４）と同様に、以下の式（１１）で表されるＭＮ×１の成分を持つ列ベクトルとなる。
【００７０】
【数１１】
2019080258.tif 000013
【００７１】
次に、式（９）中の損失関数と正則化項の具体例を挙げておく。損失関数としては、以下の式（１２）で示される関数が考えられる。
【００７２】
【数１２】
2019080258.tif 000014
【００７３】
ただし、‖・‖ｐはｐ次平均ノルムを表す記号で、ｐ＝２の時はユークリッドノルムを指す。正則化項の例としては、以下の式（１３）で示される１次平均ノルムが挙げられる。
【００７４】
【数１３】
2019080258.tif 000015
【００７５】
ここで、λは正則化項の重みを表すパラメタ、Ψは画像に対する基底変換を表す行列であり、その例としてウェーブレット変換や離散コサイン変換などが挙げられる。式（１３）の正則化項は、画像がウェーブレット変換や離散コサイン変換などの基底変換を施されることで、信号成分がスパース（疎）になる、つまり、より少ない数の信号で表せるという性質に基づいたものである。これに関しては、例えば以下の参考文献１などに詳しい。
【００７６】
参考文献１：Ｒｉｃｈａｒｄ  Ｇ．Ｂａｒａｎｉｕｋ，“Ｃｏｍｐｒｅｓｓｉｖｅ  Ｓｅｎｓｉｎｇ”，ＩＥＥＥ  ＳＩＧＮＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＭＡＧＡＺＩＮＥ  ［１１８］  ＪＵＬＹ  ２００７
式（１３）では各光源条件に対して同一の重みλを用いているが、ｋに応じて異なる重みをかけてもよい。
【００７７】
また、以下の式（１４）及び式（１５）それぞれで示される、ティホノフ正則化項やＴＶ（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ）ノルム正則化項を用いてもよい。
【００７８】
【数１４】
2019080258.tif 000016
【００７９】
【数１５】
2019080258.tif 000017
【００８０】
ここで、∇ｘ及び∇ｙは、それぞれｘ方向とｙ方向における１次微分を表す。
【００８１】
最適化問題である推定式（９）を解くには、繰り返し演算を用いた手法を利用し、例えば正則化項として式（１４）を採用した場合は、共役勾配法などを使用すればよい。また、式（１３）或いは式（１５）を正則化項とした場合は、ＴｗＩＳＴ（Ｔｗｏ−ｓｔｅｐ  Ｉｔｅｒａｔｉｖｅ  Ｓｈｒｉｎｋａｇｅ／Ｔｈｒｅｓｈｏｌｄｉｎｇ）などを用いるとよい。ＴｗＩＳＴに関しては、以下の参考文献２に詳細が説明されている。
【００８２】
参考文献２：Ｊ．Ｍ．Ｂｉｏｕｃａｓ−Ｄｉａｓ，ｅｔ  ａｌ．，“Ａ  ｎｅｗ  ＴｗＩＳＴ：ｔｗｏ−ｓｔｅｐ  ｉｔｅｒａｔｉｖｅ  ｓｈｒｉｎｋａｇｅ／ｔｈｒｅｓｈｏｌｄｉｎｇ  ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  ｉｍａｇｅ  ｒｅｓｔｏｒａｔｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１６，Ｄｅｃ．２００７
また、これらの繰り返し演算を行う際、繰り返し毎に正則化の重みλなどのパラメタを更新してもよい。
【００８３】
上記のような最適化問題の解法を利用することで、光源１乃至３や環境光による光源条件下で被写体空間を観察した像に相当する推定画像が得られる。
【００８４】
ステップＳ１０４は、推定完了判定部１０６ｄで実行され、前ステップで生成された推定画像が既定の条件を満たすかの判定を行う。満たしている場合はステップＳ１０５へ進み、満たしていない場合はステップＳ１０３へ戻る。既定の条件としては、例えば、ステップＳ１０３で行った繰り返し演算が既定の回数以上となっている事や、繰り返し演算によって更新される推定画像の変化が、既定の値以下となっている事などが挙げられる。条件を満たしていない場合は、ステップＳ１０３でさらに繰り返し計算の回数を増やして推定画像を生成する。
【００８５】
ステップＳ１０５は、出力画像生成部１０６ｅで実行され、ステップＳ１０３で生成した推定画像を出力画像として出力する。
【００８６】
以上のような処理によって、撮像素子１０４で取得された画像から、異なる光源１乃至３による光源条件下で被写体空間を観察した像に相当する出力画像を得ることができる。
【００８７】
次に、本実施形態の画像処理方法を行う上での望ましい条件について説明する。
【００８８】
ステップＳ１０３では、解像度を落として連立方程式を解く手法（ステップＳ１０３の説明内で図７を用いて解説した手法）に、式（９）で表されるような推定を加えることで、高解像な出力画像を生成している。これは逆に言うと、解像度を落として連立方程式を解く手法で高精度に解が求められる条件の際に、式（９）による推定を加えた処理でも、推定精度が向上することを意味する。その条件とは、先にも述べた通り、連立一次方程式が互いに独立な時である。
【００８９】
故に、ある画素（ｘｍ，ｙｎ）（ｍ＝１，…，Ｍ、ｎ＝１，…，Ｎ）を考えた際、該画素を含む周辺領域の画素それぞれにおいて、各ｋについての透過率ｔｋを成分とするベクトルが、できる限り一次独立となっている事が望ましい。透過率ｔｋは連立一次方程式の係数を表すため、該ベクトルを係数ベクトルと呼ぶこととし、該係数ベクトル（行ベクトル）を配列した行列をＥとおく。この際、推定画像の推定精度を向上するため、行列Ｅは以下の式（１６）を満たすことが望ましい。
【００９０】
【数１６】
2019080258.tif 000018
【００９１】
ただし、ａを以下の式（１７）で定義した場合、行列Ｅは本実施形態において以下の式（１８）で与えられる。
【００９２】
【数１７】
2019080258.tif 000019
【００９３】
【数１８】
2019080258.tif 000020
【００９４】
ここで、式（１７）中のｃｅｉｌは天井関数を表す。行列Ｅは、図７を用いて説明した解像度を落として連立方程式を解く手法における、各方程式の係数からなる行列である（故に本実施形態では、Ｅが９×４行列となる）。つまり、行列Ｅの階数が、１画素あたりの未知数の数であるＫに近いほど、推定精度が向上することを意味する。そのため、透過率分布ｔｋ（ｘ，ｙ）は全ての画素（ｘｍ，ｙｎ）に対して、式（１６）を満たすような分布となっていることが望ましい。
【００９５】
本実施形態では、各光源条件下において観察した像がずれなく重ね合わされているため、行列Ｅにおける行ベクトル（係数ベクトル）の各成分は同一の座標を取っているが、前記像がずれている場合はそれに合わせて該座標もずれることとなる。
【００９６】
より望ましくは、式（１６）の範囲を、以下の条件式（１９）の範囲とするとよい。
【００９７】
【数１９】
2019080258.tif 000021
【００９８】
さらに望ましくは、以下の条件式（２０）の範囲とするとよい。
【００９９】
【数２０】
2019080258.tif 000022
【０１００】
また、撮像素子１０４で取得される、重ね合わされた複数の像（部分光源集合による光源条件下で観察した像）それぞれに与えられた透過率分布ｔｋ（ｘ，ｙ）の和からなる分布を総和透過率分布とした時、該総和透過率分布の最小値が０よりも大きいことが望ましい。総和透過率分布ｔｓｕｍは、式（１）の記法を用いると、以下の式（２１）で表される。
【０１０１】
【数２１】
2019080258.tif 000023
【０１０２】
総和透過率分布ｔｓｕｍの値が０となる画素（ｘｍ，ｙｎ）が存在する場合、該画素には光が一切入射しないことを意味する。推定画像ベクトルｖを得ることは、先にも述べたように連立一次方程式の解を推定することに他ならない。光が入射しない画素が存在すると、該画素では一次方程式の係数（透過率ｔｋ）が全て０となるため、連立一次方程式の数が減ってしまうことになる。故に、一次方程式の数が減らないように、総和透過率分布の最小値は０よりも大きいことが望ましいのである。
【０１０３】
また、ｋ番目の光源による光源条件下で被写体空間を観察した像に与えられた透過率分布ｔｋの平均値をｔｋ，ａｖｅとした時、全てのｋに対して以下の式（２２）を満たすことが望ましい。
【０１０４】
【数２２】
2019080258.tif 000024
【０１０５】
式（２２）は、ｋ番目の光源による光源条件下で観察した像について、撮像素子１０４で取得される光量比（透過率分布を与えない場合との比）を表している。光量が小さくなるとＳ／Ｎ比が劣化するため、光量比はできる限り大きいことが望ましい。しかし、先にも述べたように、推定画像を高精度に得るためには、行列Ｅの階数が大きい必要がある。ｔｋ，ａｖｅが最大値である１を取る場合は、透過率分布を与えていないことと同義であるため、行列Ｅのランクは１となってしまう。さらに、ｔｋ，ａｖｅが１に近いということは、連立一次方程式の係数が総じて高い、つまり互いに近い値を持っていることを意味する。この場合、ノイズなどの影響により方程式の解が求まりにくくなるため、ｔｋ，ａｖｅを式（２２）の範囲に収めることが望ましい。
【０１０６】
より望ましくは、以下の式（２３）の範囲にｔｋ，ａｖｅを収めるとよい。
【０１０７】
【数２３】
2019080258.tif 000025
【０１０８】
さらに望ましくは、以下の式（２４）の範囲にｔｋ，ａｖｅを収めるとよい。
【０１０９】
【数２４】
2019080258.tif 000026
【０１１０】
また、ｋ番目の光源による光源条件下において観察した像に与えられた透過率分布ｔｋ（ｘ，ｙ）における最大値と最小値を、それぞれｔｋ，ｍａｘ、ｔｋ，ｍｉｎとした時、全てのｋに対して以下の式（２５）を満たすことが望ましい。
【０１１１】
【数２５】
2019080258.tif 000027
【０１１２】
ｔｋ，ｍｉｎとｔｋ，ｍａｘは、推定画像を求めるために解く連立一次方程式の係数である。両者が近い値を持っていると、前述した通りノイズの影響で方程式の解が求まりにくくなるため、式（２５）の上限値を下回っていることが望ましい。また、式（２５）の下限値ゼロは、負の透過率が存在しないため理論的に超えることができない。
【０１１３】
より望ましくは、以下の式（２６）の範囲に収めるとよい。
【０１１４】
【数２６】
2019080258.tif 000028
【０１１５】
さらに望ましくは、以下の式（２７）の範囲に収めるとよい。
【０１１６】
【数２７】
2019080258.tif 000029
【０１１７】
また、式（２１）で表される総和透過率分布ｔｓｕｍの最大値ｔｓｕｍ，ｍａｘと最小値ｔｓｕｍ，ｍｉｎの比は、以下の式（２８）を満たすことが望ましい。
【０１１８】
【数２８】
2019080258.tif 000030
【０１１９】
総和透過率分布の最大値ｔｓｕｍ，ｍａｘと最小値ｔｓｕｍ，ｍｉｎが離れていると、入力画像の領域ごとに大きく露出条件が異なることとなる。すると、輝度飽和や黒潰れを起こす領域が発生しやすくなり、取得すべき情報が失われてしまう。そのため、推定画像の推定精度も低下する。故に、式（２８）を満たすように、最大値ｔｓｕｍ，ｍａｘと最小値ｔｓｕｍ，ｍｉｎの値を近付けるとよい。
【０１２０】
より望ましくは、以下の式（２９）の範囲に収めるとよい。
【０１２１】
【数２９】
2019080258.tif 000031
【０１２２】
さらに望ましくは、以下の式（３０）の範囲に収めるとよい。
【０１２３】
【数３０】
2019080258.tif 000032
【０１２４】
次に、部分光源集合による光源条件下で被写体空間を観察した像に相当する出力画像を生成する際の、補足事項について説明しておく。本実施形態では、第１の光源集合を３つの光源１乃至３と環境光の合計４つの光源条件に分け、それぞれ異なる透過率分布ｔｋ（ｘ，ｙ）を与えた。しかし、出力画像を生成する際には、該４つの光源条件下でそれぞれ観察した像全てを必ずしも推定する必要はなく、幾つかの光源からの光がある重みで足し合わされた光源条件下で観察した像を出力画像としてもよい。
【０１２５】
これについて、図８を用いて説明する。図８では光源を光源１乃至３と環境光に分離するだけではなく、例えば光源１、光源２と光源３の和、光源３、環境光などに分離することができる。これは光量が線形性をもつためである。すなわち
【０１２６】
【数３１】
2019080258.tif 000033
【０１２７】
なるＬｋを考えると、部分光源集合ｋＡ、ｋＢに対して任意の実数ａを用いて以下のように新しい部分光源集合ｋＡ’，ｋＢ’を定義できる。
【０１２８】
【数３２】
2019080258.tif 000034
【０１２９】
【数３３】
2019080258.tif 000035
【０１３０】
この際、各像ＩｋＡ’，ＩｋＢ’に与えられた透過率分布ｔｋ（ｘ，ｙ）は、新しいＬｋｊを用いて決まり、式（１）乃至（３０）を用いて行った説明は全て同様に成り立つ。出力画像はこのＩｋＡ’，ＩｋＢ’を含んでも構わない。
【０１３１】
なお、式（１）乃至（３０）を用いて行った説明が成り立つ前提として、透過率分布ｔｋ（ｘ，ｙ）が常に入力画像の画素と対応付けられることが挙げられる。例えば、非特許文献１のように被写体に入射するより前段で光源に透過率分布を付与して符号化した場合は、光源に与えた符号化パターンが入力画像の画素上でどのようなパターンとなっているか取得することが難しい。これは、光源からの入射光が遮蔽されたり、被写体上に投射される光源パターンが被写体形状に影響を受けたりするためである。
【０１３２】
もちろん、被写体空間の３次元形状情報が既知であれば入力画像上での符号化パターンを計算することは可能である。しかし、より簡易な構成とするためには、透過率分布は被写体への入射光ではなく被写体からの反射光に対して与え、撮像素子あるいは入力画像の画素と対応するように付与することが望ましい。
【０１３３】
以上の構成によって、少ない画素数でありながら、複数の光源条件下で被写体空間を観察した画像を高解像に取得できる画像処理方法を用いた撮像装置を提供することができる。
【０１３４】
また前述のように複数回撮影し、入力画像を撮影した回数分の枚数としてもよい。このとき、Ｉｋは変化させずにＬｋｊ、ｔｊを変化させることで、式（１）乃至（２）の一次連立方程式の数を撮影回数倍にまで増加させることができ、より高解像度でノイズの少ない出力画像を得ることができる。
【０１３５】
また本実施形態では、符号化パターンを生成するために撮像素子１０４付近に空間光変調器を使用しているが、結像画像を符号化できれば上記に限ったものではない。例えば固定された透過率を持ったマスクで透過率分布ｔｊ（ｘ，ｙ）を付与してもよい。この場合、該マスクに駆動部を設け、露光時間Ｔｊ毎にマスクを移動させることで同様の効果を生み出すことができる。また、マスクを駆動させずに撮像光学系を偏心させることでも同様の効果を生み出すことができる。
【０１３６】
（第２の実施形態）
本発明の画像処理方法を撮像装置に適用した第２の実施形態について述べる。本実施形態における基本構成及び外観は第１の実施形態と同様であり、それぞれ図４、図５で示される。本実施形態は、画像取得部１０１の構成が第１の実施形態とは異なる。以下その詳細を説明する。
【０１３７】
図９は、本実施形態の透過率分布付与部１０３である。本実施形態の透過率分布付与部１０３はカラーフィルタからなり、第１から第Ｚのカラーフィルタ画素で構成されている。各カラーフィルタ画素は不規則に配置されており、第１から第Ｚのカラーフィルタは互いに異なる分光特性を有している。そして、撮像素子１０４の各画素に対して異なる種類のカラーフィルタが対応するように配置されている。これにより、透過率分布付与部１０３は撮像素子１０４に入射する波長に応じて異なる符号化パターンを付与する。このような撮像素子を用いることで、本実施形態では、被写体の像を波長ごとに異なるパターンで符号化し、それら符号化された像を１枚の画像に重畳した画像を取得している。
【０１３８】
この画像取得工程を、図１０を用いて詳細に説明する。図１０の工程では被写体を照明する光源の強度が波長に応じて異なるシーンを撮影する場面を想定している。Ｉｊ（ｘ，ｙ）はバンド（波長帯域）λｊ内における被写体像であり、本実施形態ではＩｊ（ｘ，ｙ）を符号化パターンｔｊ（ｘ，ｙ）で符号化する。本実施形態において、符号化パターンｔｊ（ｘ，ｙ）は、撮像素子１０４に対して設けられた透過率分布付与部１０３によって与えられる分光透過率分布である。上述のように各画素でバンドλｊに応じて異なる透過率ｔｊが与えられていることを図１０でも示している。
【０１３９】
さらにバンドλｊに応じて光源の強度が異なる、すなわち波長強度分布を持つことで、実質的に各画素では各光源に応じて異なる透過率ｔｋが与えられている。ｊ＝１、・・・、Ｊの値をとり、図１ではＪ＝４、λｊは全撮像波長域λｗを等分割した値としている。なお、本実施形態の露光方法は図１０に限ったものではなく、例えば、バンドλｊとバンドλｊ＋１の間に取得しない波長域を設けても良い。また、各バンドλｊは全撮像波長域λｗを等分割した場合に限らなくても良い。また、本実施形態では露光回数を1回としたが、複数回露光し、入力画像を複数枚としてもよい。
【０１４０】
図１１はバンド数Ｊ＝４、カラーフィルタ数Ｚ＝１５における、本実施形態のカラーフィルタの分光透過率特性の一例を示す図である。第１から第１５のカラーフィルタはいずれも互いに異なる分光特性を有しており、単バンドのみ透過させるカラーフィルタから、複数バンドを透過させるカラーフィルタが存在する。単バンドを透過させるカラーフィルタは原色フィルタの働き、複数バンドを透過させるカラーフィルタは補色フィルタの働きをしており、本実施形態では複数の補色フィルタを多数用いることで入射光を多く取り入れることを可能にしている。
【０１４１】
図１１に示す分光特性を有するカラーフィルタが透過率分布付与部１０３にそれぞれ均等な数だけ配置された場合、各バンドに入射する光量はそれぞれ入射光量の５０％より大きい。これは、同じバンド数で原色フィルタのみを配置した場合の値の２５％と比べて高い値となっており、本実施形態の透過率分布付与部１０３を用いると入射光を多く取り入れることが可能になることが分かる。
【０１４２】
本実施形態は、光源間での時間的なずれがないために、第１の実施形態よりも被写体ぶれに強いという特性を持っている。光源１乃至３の他に環境光が存在する場合は、第１の実施形態と同様に環境光を１つの光源と考えることができるが、これは環境光の波長強度分布が既知かつ画面内で一様の場合に限る。よって環境光がこの条件を満たさない場合は、光源をＯＦＦにした状態で個別に環境光画像を撮影し、別途撮影した入力画像を環境光画像との差分で置き換えることが望ましい。
【０１４３】
また、本実施形態において、各波長に対する透過率分布ｔｊ（ｘ，ｙ）は二値（白色部と黒色部）のみを取っているが、透過率の値とその取り得る値の種類はこれに限定されない。各光源についてもバンド内で一定の値である必要もなく、同じバンド内で複数の光源が強度を持ってもよい。図１０から分かるように、撮像素子１０４では、複数のバンドそれぞれで異なる透過率分布ｔｊ（ｘ，ｙ）を像に与え、且つそれらが重ね合わされた画像が得られており、該画像が本実施形態の入力画像となる。ここで、図１０中の撮像素子で得られた画像ｓ（ｘ，ｙ）は、描画が複雑になるため、画像内容を省略した。
【０１４４】
出力画像を得る工程については、第１の実施形態と同様であり、式（１）乃至（３３）を用いて行った説明は全て成り立つ。
【０１４５】
以上の構成によって、少ない画素数でありながら、複数の光源条件下で被写体空間を観察した画像を高解像に取得できる画像処理方法を用いた撮像装置を提供することができる。
【０１４６】
また本実施形態では、符号化パターンを生成するために撮像素子１０４付近にカラーフィルタを使用しているが、結像画像を符号化できれば上記に限ったものではない。例えば、固定された透過率を持ったマスクで透過率分布ｔｊ（ｘ，ｙ）を付与してもよい。この場合、該マスクの全部にプリズムを設け、波長ごとの被写体像位置を符号化マスクに対して相対的に移動させることで同様の効果を生み出すことができる。また、バンドごとにダイクロイックミラー等の分光素子で光路を分割し、それぞれのバンドごとに符号化マスクと撮像素子を設けてもよい。
【０１４７】
（第３の実施形態）
本発明の画像処理方法を画像処理システムに適用した第３の実施形態に関して説明する。本実施形態の特徴は、撮像装置と画像処理方法を行う装置が個別で存在することである。本実施形態における画像処理システムのブロック図を図１２に、構成の外観を図１３に示す。
【０１４８】
撮像装置５０１は、正の屈折力を有する結像光学系５０２と透過率分布付与部５０３、及び複数の画素を有する撮像素子５０４を有している。撮像装置５０１によって得られた入力画像は、通信部５０６を介して画像処理装置５０５へ入力される。該入力画像は、複数の光源条件下に相当する被写体像にそれぞれで異なる透過率分布ｔｋ（ｘ，ｙ）を像に与え、且つそれらが重ね合わされた画像である。また、入力画像と同時に前記透過率分布ｔｋ（ｘ，ｙ）に関する情報が記憶部５０７に記憶される。
【０１４９】
入力画像は、情報取得部５０５ａ、パラメタ設定部５０５ｂ、推定画像生成部５０５ｃ、推定完了判定部５０５ｄ、出力画像生成部５０５ｅによって本実施形態の画像処理を施され、出力画像が生成される。またこの際に、記憶部５０７に記憶された透過率分布ｔｋ（ｘ，ｙ）の情報が使用される。処理後の出力画像は通信部５０６を介して表示装置５０８、記録媒体５０９、出力装置５１０のいずれか、又は複数に出力される。表示装置５０８は、例えば液晶ディスプレイやプロジェクタ等である。ユーザーは表示装置５０８を介して、処理途中の画像を確認しながら作業を行うことができる。
【０１５０】
記録媒体５０９は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置５１０は、プリンタなどである。画像処理装置５０５は、必要に応じて現像処理やその他の画像処理を行う機能を有していてよい。
【０１５１】
情報取得部５０５ａ、パラメタ設定部５０５ｂ、推定画像生成部５０５ｃ、推定完了判定部５０５ｄ、出力画像生成部５０５ｅで行われる処理は、図８に示した通りであり、実施形態１と同様なので省略する。
【０１５２】
以上の構成によって、少ない画素数でありながら、複数の光源条件下で被写体空間を観察した画像を高解像に取得できる画像処理方法を用いた画像処理システムを提供できる。
【０１５３】
（第４の実施形態）
本発明の画像処理方法を撮像装置に適用した第４の実施形態について述べる。本実施形態は、出力画像を生成するまでの工程は他の実施形態と同様である。本実施形態では、得られた異なる光源状況下での被写体像に相当する出力画像を３枚以上用い、被写体の面法線情報を取得する点で他の実施形態とは異なる。
【０１５４】
光源位置による輝度情報の変化から被写体の面法線情報を取得する方法としては、照度差ステレオ法を用いるとよい。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する方法である。仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。
【０１５５】
また前述の反射特性は視線方向にも基づく特性としてもよく、ランバート反射モデルに限定するものではない。以下では、ランバート反射モデルを仮定した場合の照度差ステレオ法について説明する。
【０１５６】
反射光の輝度をｉ、物体のランバート拡散反射率をρｄｄ、入射光の強さをＥ０、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をＳ、物体の単位面法線ベクトルをＮとする。このとき、ランバートの余弦則から
【０１５７】
【数３４】
2019080258.tif 000036
【０１５８】
と表せる。ここで異なるＭ個（Ｍ≧３）の光源方向Ｓ１、Ｓ２、・・・、ＳＭで得られた輝度値ｉ１、ｉ２、・・・ｉＭとすると（９）式から以下のように表せる。
【０１５９】
【数３５】
2019080258.tif 000037
【０１６０】
ここで左辺はＭ行１列の輝度ベクトル、右辺の［Ｓ１Ｔ、・・・ＳＭＴ］はＭ行３列の光源方向を示す入射光行列σ、Ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は入射光行列Ｓの逆行列を左からかけることでＥ０ρｄＮが下記のように求まる。
【０１６１】
【数３６】
2019080258.tif 000038
【０１６２】
左辺のベクトルのノルムがＥ０とρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。ここから分かるように、Ｅ０とρｄは積の形でのみ条件式に現れるので、Ｅ０ρｄで１つの変数として見ると、単位面法線ベクトルの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。よって３つの光源条件で輝度情報を取得することで方程式が３つ得られ、解を決定することができる。
【０１６３】
なお、入射光行列σが正則でない場合は逆行列が存在しないため、光源方向Ｓ１〜Ｓ３をσが正則となるように選択する必要がある。つまり、Ｓ３をＳ１とＳ２に対して線形独立に選ぶことが望ましい。一方、Ｍ＞３の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した３つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。
【０１６４】
４つ以上の条件式を用いる場合は入射光行列Ｓが正方行列ではなくなるため、例えばＭｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を求めればよい。また、行列計算を用いなくとも、既知のフィッティング手法や最適化手法によって解を求めてもよい。被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は条件式が単位面法線ベクトルＮの各成分に対する線形方程式でなくなることがある。その場合でも、３つの未知変数に対して３つ以上の方程式が得られ、既知のフィッティング手法や最適化手法を用いることができる。
【０１６５】
以上、ランバート反射モデルを仮定した場合の照度差ステレオ法について説明したが、一般には反射モデルに応じて決定する未知変数の数が変わる。また照度差ステレオ法では光源からの光が当たらない陰影部や鏡面反射が観測されるなどの光源条件のデータは除く方法が知られている。よって、照度差ステレオ法に用いる出力画像は多いほどよく、４枚以上あることが好ましい。
【０１６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１６７】
１００：撮像装置
１０２：結像光学系
１０３、１０３ａ及び１０３ｂ：透過率分布付与部
１０４：撮像素子
１０６ａ：情報取得部
１０６ｂ：パラメタ設定部
１０６ｃ：推定画像生成部
１０６ｄ：推定完了判定部
１０６ｅ：出力画像生成部
１１３：照明装置
２０１：被写体
２０２：撮像装置
２０３、２０３ａ、２０３ｂ、２０３ｃ、２０３ｄ：照明装置
２０４ａ、２０４ｂ、２０４ｃ：照明光
２０５：マスク
５０２：結像光学系
５０３、５０３ａ及び５０３ｂ：透過率分布付与部
５０４：撮像素子
５０５ａ：情報取得部
５０５ｂ：パラメタ設定部
５０５ｃ：推定画像生成部
５０５ｄ：推定完了判定部
５０５ｅ：出力画像生成部
５１３：照明装置
【図１】
2019080258.tif 000042
【図２】
2019080258.tif 000043
【図３】
2019080258.tif 000044
【図４】
2019080258.tif 000045
【図５】
2019080258.tif 000046
【図６】
2019080258.tif 000047
【図７】
2019080258.tif 000048
【図８】
2019080258.tif 000049
【図９】
2019080258.tif 000050
【図１０】
2019080258.tif 000051
【図１１】
2019080258.tif 000052
【図１２】
2019080258.tif 000053
【図１３】
2019080258.tif 000054