(57)【要約】【課題】輝度画像に対する色画像のズレを解消することができる画像処理装置を提供することである。【解決手段】実施の形態の画像処理装置は、対応点計算部と、画像変形部と、画像補間部と、画像合成部とを有する。対応点計算部は、第１の画像の各参照点のそれぞれに対して、第２の画像における対応点を検出する。画像変形部は、第２の画像において、対応点における画素値を対応する参照点に移動させることにより、第２の画像の視点を第１の画像の視点に略一致するように変形した変形画像を生成する。画像補間部は、変形画像において、対応点が検出されなかった領域に、変形画像の画素値を補間した補間画像を生成する。画像合成部は、第１の画像と、補間画像とを合成した合成画像を生成する。【選択図】図１
2013183353.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像の各参照点のそれぞれに対して、第２の画像における対応点を検出する対応点計算部と、
前記第２の画像において、前記対応点における画素値を前記対応する参照点に移動させることにより、前記第２の画像の視点を前記第１の画像の視点に略一致するように変形した変形画像を生成する画像変形部と、
前記変形画像において、前記対応点が検出されなかった領域に、前記変形画像の画素値を補間した補間画像を生成する画像補間部と、
前記第１の画像と、前記補間画像とを合成した合成画像を生成する画像合成部と、
を具備したことを特徴とする画像処理装置。
【請求項２】
前記画像補間部は、前記第１の画像のエッジを考慮して、前記対応点検出されなかった領域の補間を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補間部は、前記対応点が検出されなかった領域に、色差信号の補間を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１の撮像部が取得する前記第１の画像は、輝度画像であり、
前記第２の撮像部が取得する前記第２の画像は、色画像であることを特徴とする請求項１乃至３に記載の画像処理装置。
【請求項５】
第１の視点で第１の画像を撮像する第１の撮像部と、
第２の視点で第２の画像を撮像する１または複数の第２の撮像部と、
前記第１の画像の各参照点のそれぞれに対して、前記第２の画像における対応点を検出する対応点計算部と、
前記第２の画像において、前記対応点における画素値を前記対応する参照点に移動させることにより、前記第２の視点を前記第１の視点に略一致するように変形した変形画像を生成する画像変形部と、
前記変形画像において、前記対応点が検出されなかった領域に、前記変形画像の画素値を補間した補間画像を生成する画像補間部と、
前記第１の画像と、前記補間画像とを合成した合成画像を生成する画像合成部と、
を具備したことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、画像処理装置に関する。
【背景技術】
【０００２】
従来、入射する光を電荷に変換できる撮像素子を用いてカラー画像を撮影する場合、撮像素子の画素上にＲＧＢのカラーフィルタをモザイク状に配置する手法が一般的である。しかしながら、この手法の場合、カラーフィルタにより入射光を波長に応じて遮断するため全体の光量が下がり、感度が低下する。
【０００３】
また、モザイク状のカラーフィルタによる解像度劣化と混色の問題を避けるために、入射光をダイクロイックミラーあるいはプリズムで分離して複数の撮像素子で撮影することも考えられる。しかしながら、この構成では、各撮像素子には依然として選択された波長のみが届くため光量低下の問題は残る。また、複数の撮像素子を設け、単一の視点から光を各撮像素子に導く光学部品が必要になるため、撮像系全体が大きくなる。
【０００４】
そこで、撮像系全体を小型に、特に薄くするために、輝度を取得する輝度撮像部と、色を取得する色撮像部（１つでも複数あってもよい）を並列配置することが考えられる。この場合、色情報は色撮像部から得るため、輝度撮像部にはカラーフィルタを設ける必要がなくなり、高感度となる。
【０００５】
しかしながら、色撮像部と輝度撮像部で視点が異なるため、取得される画像にはシーンの奥行きに応じた視差が生じてしまう。そのため、輝度を取得する輝度撮像部を中央に配置することで、輝度画像に対する色画像のズレを最小化する手法があるが、視差による輝度画像に対する色画像のズレを完全に解消することはできなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３５４４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の実施の形態の課題は、輝度画像に対する色画像のズレを解消することができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
実施の形態の画像処理装置は、対応点計算部と、画像変形部と、画像補間部と、画像合成部とを有する。対応点計算部は、第１の画像の各参照点のそれぞれに対して、第２の画像における対応点を検出する。画像変形部は、第２の画像において、対応点における画素値を対応する参照点に移動させることにより、第２の画像の視点を第１の画像の視点に略一致するように変形した変形画像を生成する。画像補間部は、変形画像において、対応点が検出されなかった領域に、変形画像の画素値を補間した補間画像を生成する。画像合成部は、第１の画像と、補間画像とを合成した合成画像を生成する。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態に係る画像処理装置を有する撮像装置の構成を示す図である。
【図２】撮像部の構成を説明するための図である。
【図３】撮像部の他の構成を説明するための図である。
【図４】カラーフィルタの構成を説明するための図である。
【図５】対応点計算部の対応点計算処理について説明するための図である。
【図６】対応点計算部の視差補間処理について説明するための図である。
【図７】画像変形部の画像変形処理について説明するための図である。
【図８】画像補間部の色補間処理について説明するための図である。
【図９】第２の実施の形態に係る画像処理装置の構成を示す図である。
【図１０】第３の実施の形態に係る画像処理装置の構成を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１１】
（第１の実施の形態）
まず、図１から図４に基づき、第１の実施の形態に係る画像処理装置を有する撮像装置の構成について説明する。
【００１２】
図１は、第１の実施の形態に係る画像処理装置を有する撮像装置の構成を示す図である。
【００１３】
撮像装置１は、輝度画像（輝度信号）を取得する第１の撮像部１１と、色画像（色信号）を取得する第２の撮像部１２と、画像処理装置２とを有して構成されている。画像処理装置２は、対応点計算部１９、画像変形部２０、画像補間部２１及び画像合成部２２により構成される。
【００１４】
図２は、撮像部の構成を説明するための図である。第１の撮像部１１は、レンズ１３と、輝度撮像部１４とを有し、第２の撮像部１２は、レンズ１５と、カラーフィルタ１６と、色撮像部１７とを有して構成されている。なお、本実施の形態では、これらの第１の撮像部１１及び第２の撮像部１２は、水平方向（Ｘ軸方向）に並列に配置されているものとするが、例えば、垂直方向（Ｙ軸方向）に配置したり、斜め方向に配置してもよい。
【００１５】
また、本実施の形態では、輝度撮像部１４及び色撮像部１７の２つ撮像部を有する構成としているが、１つの撮像部１８を有する構成であってもよい。図３は、撮像部の他の構成を説明するための図である。図３の場合、撮像部１８を２つの領域に分割し、それぞれにレンズ１３及び１５を配置するとともに、一方の領域のみにカラーフィルタ１６を配置するように構成する。
【００１６】
レンズ１３、１５は、被写体からの光を取り込む。輝度撮像部１４は、レンズ１３により取り込まれた被写体の輝度画像を撮像する。色撮像部１７は、ベイヤ配列のカラーフィルタ１６を透過した被写体の色画像を撮像する。図４は、カラーフィルタの構成を説明するための図である。ベイヤ配列は、図４に示すように、Ｒフィルタ及びＧフィルタが交互に配置されたラインと、Ｇフィルタ及びＢフィルタが交互に配置されたラインとが交互に配置された構成となっている。輝度撮像部１４及び色撮像部１７は、例えばＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサである。
【００１７】
輝度撮像部１４により取得された輝度画像は、対応点計算部１９、画像補間部２１及び画像合成部２２に入力される。また、色撮像部１７により取得された色画像は、対応点計算部１９及び画像変形部２０に入力される。
【００１８】
対応点計算部１９は、色画像に対してデモザイキング処理を施すとともに、輝度画像の各画素に対して、デモザイキング処理が施された色画像における対応点を検出する。画像変形部２０は、対応点計算部１９で検出された対応点情報に基づいて、色画像の視点を輝度画像の視点に一致するように変形した変形画像を生成する。画像補間部２１は、変形画像内の対応点が存在しない領域について、色情報を補間して埋めた補間画像を生成する。画像合成部２２は、輝度画像と補間画像とを合成する。これにより、感度の高いカラー画像が生成される。
【００１９】
次に、このように構成された画像処理装置のより具体的な作用について、図５〜図８を用いて説明する。
【００２０】
（対応点計算部１９の処理）
図５は、対応点計算部１９の対応点計算処理について説明するための図である。対応点計算部１９は、以下の（式１）で示すように、デモザイキング処理された各色画像のＲ，Ｇ，Ｂ要素Cc(x,y)(c=r,g,b)を加算して、各画素が単一の値を持つ色画像C(x,y)を生成する。
【００２１】
C(x,y) = Cr(x,y) + Cg(x,y) + Cb(x,y)・・・（式１）
次に、対応点計算部１９は、図５に示すように、輝度画像Lの各参照点(u,v)からx,y方向にそれぞれ｜w｜の範囲に含まれる矩形領域（面積N = (2w + 1)2）に対し、色画像Cのどの領域が対応するかを計算する。
【００２２】
輝度画像Lと色画像Cでは撮影波長や感度が一致していないため、対応点の類似度指標には画像領域の相関を取るNCC(normalized cross correlation)を用いる。視差を(i,j)と仮定したときの相関値は、以下の（式２）となる。なお、第１の撮像部１１及び第２の撮像部１２が水平方向に配置されている場合、垂直方向の視差jの値は０となる。
【００２３】
NCC(u, v; i, j) = Σx∈[-w, +w] Σy∈[-w, +w] (L(u+x, v+y) − Lavg)(C(u+i+x, v+j+y) − Cavg)/(σlσc)1/2・・・（式２）
ここで、Lavg及びCavgは、矩形領域内の画素値の平均値を示し、次の（式３）及び（式４）となる。また、σl及びσcは、矩形領域内の画素値の分散を示し、次の（式５）及び（式６）となる。
【００２４】
Lavg = (1/N) Σx∈[-w, +w] Σy∈[-w, +w] L(u+x, v+y) ・・・（式３）
Cavg = (1/N) Σx∈[-w, +w] Σy∈[-w, +w] C(u+i+x, v+j+y) ・・・（式４）
σ2l = (1/N) Σx∈[-w, +w] Σy∈[-w, +w] (L(u+x, v+y) − Lavg)2・・・（式５）
σ2c = (1/N) Σx∈[-w, +w] Σy∈[-w, +w] (C(u+i+x, v+j+y) − Cavg)2・・・（式６）
次に、対応点計算部１９は、次の（式７）で示すように、視差の候補 [imin, imax], [jmin, jmax]に対してNCCの最大値が得られる(i, j)を視差と判定する。
【００２５】
(i’(u, v), j’(u, v)) = arg max i∈[imin, imax] j∈[jmin, jmax] NCC(u, v; i, j) ・・・（式７）
視差は輝度画像中の座標(u, v)によって異なるので、(i’(u, v), j’(u, v))と記述している。よって、輝度画像L(u, v)に対応する色画像Cの座標、すなわち対応点は(u+i’(u, v), v+j’(u, v))となる。
【００２６】
なお、対応点計算部１９で計算された対応点が信頼できない場合が２つあり、この場合は対応点なしとする。図６は、対応点計算部の視差補間処理について説明するための図である。１つ目は、矩形領域内の画素値に変動が少なく（模様がない）、相関が取れない場合である。これは分散値σlが閾値より小さいことで判定できる。２つ目は、シーン中の物体の陰に隠れて、輝度撮像部１４からは見えるが色撮像部１７からは見えない領域があり、相関のある領域が色画像C中に存在しない場合である。この場合、最大の相関値 max NCC(u, v; i, j) が閾値より小さいことで判定できる。これら場合は、近傍の信頼できる領域の視差を用いて補間する。
【００２７】
（画像変形部２０の処理）
次に、画像変形部２０は、対応点計算部１９で得られた対応点情報に基づいて、色画像Cを変形する。図７は、画像変形部２０の画像変形処理について説明するための図である。輝度撮像部１４と色撮像部１７とで視点が異なるため、図７に示すように、それぞれから取得される輝度画像Ｌと色画像Cとにはシーンの奥行きに応じた視差が生じてしまう。輝度画像Ｌ(u, v)の対応点が色画像C (u+i’, v+j’)であるので、変形画像Dcは次の（式８）で得られる。
【００２８】
Dc(x, y) = Cc(x+i’(x, y), y+j’(x, y))・・・（式８）
すなわち、色画像Ｃの視点を輝度画像Ｌの視点に略一致するように、色画像Ｃの画素位置を移動している。ただし、対応点がない点については値を未定義としておく。これで、未定義領域Ω以外は変形画像Dcの視点が輝度画像Ｌの視点と略一致する。換言すれば、未定義領域Ωはあるが、輝度撮像部１４の視点から見た色画像Cが得られたことになる。すなわち、図７に示すように、輝度画像Ｌと視差がない変形画像Dcが画像変形部２０により得られる。
【００２９】
（画像補間部２１の処理）
図８は、画像補間部の色補間処理について説明するための図である。画像補間部２１は、画像変形部２０からの変形画像Dc中の対応点のない未定義領域Ωについて、値が存在する周囲の領域から補間する。この時に、輝度画像Ｌをガイドにすると自然な補間結果が得られる。具体的には、色情報を未定義領域Ωに向かって伝播させる際に、伝播速度を輝度画像Ｌのスムーズさに依存させる。すなわち、輝度画像Ｌがスムーズであるほど伝播速度を速くし、輝度画像にエッジがあると伝播速度を遅くする。これにより輝度画像がスムーズなところでは色がスムーズに補間され、エッジがある物体の輪郭やテクスチャにおいては色が混ざらずに色の差が保たれる。
【００３０】
より具体的には、変形画像Dc中の未定義領域Ωに対応する輝度画像Ｌの領域を参照し、その領域の輝度差が大きいところでは、未定義領域Ωの色の補間を積極的に行わず、輝度差が小さいところでは、未定義領域Ωの色の補間を積極的に行う。例えば図８の輝度画像Ｌにおいて、木と空との境界、木と地上との境界、及び、空と地上との境界等のエッジでは、輝度差が大きくなる。そのため、変形画像Dc中の未定義領域Ωにおいて、輝度画像Ｌのエッジ付近では補間が積極的に行われない。一方、輝度画像Ｌの空の領域や地上の領域では、輝度差が小さいため、変形画像Dc中の未定義領域Ωにおいて、対応する領域の補間が積極的に行われる。これにより、図８の色の補間結果に示すように、エッジでの混色が最小限となる補間を行うことができる。
【００３１】
まず、画像補間部２１では、変形画像DcのRGB画像から、次の（式９）及び（式１０）に示す色差信号U(x,y)、V(x,y)を取り出す。なお、a、b、d〜gは所定の係数であり、具体例としては、a=−0.169、b=−0.331、d=0.500、e=0.500、f=−0.419、g=−0.081である。
【００３２】
U(x, y) =  a Dr(x, y) + b Dg(x, y) + d Db(x, y) ・・・（式９）
V(x, y) =  e Dr(x, y) + f Dg(x, y) + g Db(x, y) ・・・（式１０）
以下では、U(x, y)についてのみ説明するがV(x, y)に対しても同様の処理を行う。U(x, y)について以下の（式１１）を最小化することで、未定義領域Ωに対して色差信号の補間を行う。
【００３３】
Σ(x, y)∈Ω (U(x, y) − Σ(i, j)∈n(x, y) λ(i, j; x, y)U(i, j))2・・・（式１１）
ここでn(x, y)は(x, y)の近傍画素であり、例えば周囲８個の画素を用いる。λ(i, j; x, y)は画素(i, j)と(x, y)の類似性を示す重みであり、Σ(i, j)∈n(x, y) λ(i, j; x, y) = 1を満たす。上記の（式１１）を最小化することは、各座標(x, y)について、U(x, y)と、その近傍画素の値U(i, j)の重み付け平均が極力一致するように未定義領域ΩのU(x, y)の値を決めることを意味する。これは未定義領域ΩのU(x, y)の値を未知数とする最小二乗法であり、一般的な疎行列の線型方程式の解法（共役勾配法など）を用いて解くことができる。重みλが一様λ(i, j; x, y) = 1/|n(x, y)|であれば（|n(x, y)|は近傍画素の数）一様なスムーズ補間となるが、λ(i, j; x, y)の値が小さいときには補間の重みが弱くなり、U(i, j)とU(x, y)の値には差が残りうる。そこで、次の（式１２）に示すように、輝度画像LのL(i, j)とL(x, y)の値の差が大きい時（エッジがあるとき）に、λ(i, j; x, y)を小さくするように設定すれば、エッジで混色の起こりにくい補間ができる。
【００３４】
λ(i, j; x, y) = (1/Z(x, y)) exp(−(L(i, j) − L(x, y))2 /η) ・・・（式１２）
ここでηは輝度画像Lのエッジの効果を調整するパラメータ、ZはΣ(i, j)∈n(x, y) λ(i, j; x, y) = 1とするための正規化であり、次の（式１３）で与えられる。
【００３５】
Z(x, y) =Σ(i, j)∈n(x, y) exp(−(L(i, j) − L(x, y))2 /η) ・・・（式１３）
（画像合成部２２の処理）
画像合成部２２は、輝度画像Lに、画像補間部２１で補間された、未定義領域Ωのない色差信号U(x, y), V(x, y)を重畳してＲ，Ｇ，Ｂそれぞれの合成画像Scを得る。Ｒ，Ｇ，Ｂの合成画像Sc(x, y)は、次の（式１４）、（式１５）及び（式１６）となる。なお、h、k、m、oは所定の係数であり、具体例としては、h=1.402、k=−0.344、m=−0.714、o=1.772である。
【００３６】
Sr(x, y) = L(x, y)           + h V(x, y) ・・・（式１４）
Sg(x, y) = L(x, y) + k U(x, y) + m V(x, y) ・・・（式１５）
Sb(x, y) = L(x, y) + o U(x, y) ・・・（式１６）
以上のように、画像処理装置２は、輝度撮像部１４で取得された輝度画像の各画素に対して、色撮像部１７で取得された色画像の対応点を対応点計算部１９で検出し、検出した対応点情報に基づいて、色画像を輝度画像の内容に一致するように変形した変形画像を画像変形部２０で生成する。そして、画像処理装置２は、変形画像内の対応点が存在しない領域について、色情報を補間して埋めた補間画像を画像補間部２１で生成し、画像合成部２２で輝度画像と補間画像とを合成している。よって、本実施の形態の画像処理装置によれば、輝度画像に対する色画像のズレを解消することができる。
【００３７】
また、画像処理装置２は、輝度撮像部１４及び色撮像部１７間で視点が異なるために生じる視差を画像処理により最小化し、かつ隠れ（オクルージョン）の領域に対し、輝度撮像部１４の輝度画像のエッジを考慮して色画像の色を伝播補間することにより、見た目に自然な合成画像を得ることができる。
【００３８】
また、撮像装置１は、輝度撮像部１４と色撮像部１７を並列配置することで、撮像系全体を小型に、かつ薄くすることができる。さらに、撮像装置１は、輝度撮像部１４にカラーフィルタを設ける必要がないため、高感度になる。
【００３９】
また、人間の眼は色の変化に鈍感なため、色撮像部１７は、輝度撮像部１４に比べて撮影解像度を低くしても合成結果の画質劣化は小さい。そのため、解像度を下げて画素数を減らすことで、色撮像部１７を小型に、また安価にできる。または、色撮像部１７の大きさは変えずに画素数を減らした分、画素サイズを大きくして感度を上げることができる。この場合、輝度撮像部１４の輝度画像を、色撮像部１７の画素数に一致するように画像を縮小してから対応点計算、変形、補間の処理を行い、得られた補間画像を輝度画像の画素数に一致するように画像を拡大してから合成処理を行うようにすればよい。
【００４０】
（第２の実施の形態）
次に、第２の実施の形態について説明する。
【００４１】
図９は、第２の実施の形態に係る画像処理装置を有する撮像装置の構成を示す図である。なお、図９において、図１と同様の構成については、同一の符号を付して説明を省略する。
【００４２】
図９の撮像装置１ａは、図１の第２の撮像部１２に代わり、第２の撮像部１２ａを用いて構成されている。第２の撮像部１２ａは、３つのレンズ３１、３２、３３と、各レンズにより取り込まれた被写体の像を撮像するＲ撮像部３４、Ｇ撮像部３５、Ｂ撮像部３６とを有する。
【００４３】
Ｒ撮像部３４、Ｇ撮像部３５及びＢ撮像部３６には、それぞれ図示しないＲフィルタ、Ｇフィルタ及びＢフィルタが配置されており、Ｒ画像、Ｇ画像及びＢ画像が取得される。なお、輝度撮像部１４は、輝度画像に対する各色画像のズレを最小にするように、Ｒ撮像部３４、Ｇ撮像部３５及びＢ撮像部３６の中央に配置するのが望ましいが、その他の配置でも本実施形態は有効である。
【００４４】
対応点計算部１９、画像変形部２０及び画像補間部２１は、Ｒ撮像部３４、Ｇ撮像部３５及びＢ撮像部３６で取得されたＲ画像、Ｇ画像及びＢ画像に対して、それぞれ第１の実施の形態と同様の処理を行う。ただし、Ｒ画像、Ｇ画像及びＢ画像はそれぞれ単一の色要素しか持たないので、いくつか式を変更する。Ｒ画像について述べると、対応点計算部１９において（式１）で要素を加算する代わりにC(x, y) = Cr(x, y)としてＲ画像Cr(x, y)をそのまま使用する。画像変形部２０において（式８）はＲ要素にのみDr(x, y) = Cr(x+i’(x, y), y+j’(x, y))と適用する。画像補間部２１において（式９）で色差を計算する代わりにU(x, y) = Dr(x, y)として変形されたＲ画像Dr(x, y)に対し補間処理を行う。Ｇ画像及びＢ画像に対しても以上と同様の処理を行う。結果の補間画像をEc(x, y) (c = r, g, b)とすると、画像合成部２２は（式１４）、（式１５）及び（式１６）の代わりにSc(x, y) = Ec(x, y)として合成結果のRGB画像を得る。または、次の（式１７）及び（式１８）のように、補間画像Ec(x, y)から色差信号U(x, y)及びV(x, y)を（式９）及び（式１０）と同様に抽出し、これを（式１４）、（式１５）及び（式１６）を使用して輝度画像と重畳することにより、より感度の高い画像を得てもよい。
【００４５】
U(x, y) =  a Er(x, y) + b Eg(x, y) + d Eb(x, y) ・・・（式１７）
V(x, y) =  e Er(x, y) + f Eg(x, y) + g Eb(x, y) ・・・（式１８）
これにより、輝度撮像部１４で取得された輝度画像に対して、対応点計算、画像変形、画像補間が行われたＲ画像、Ｇ画像及びＢ画像がそれぞれ合成される。その他の構成は、第１の実施の形態と同様である。
【００４６】
このように構成された画像処理装置２は、図１の色撮像部１７で三色撮影することによる混色を低減し、色再現性を向上させることができる。また、画像処理装置２は、デモザイキング処理を行う必要がなくなり、解像度を上げることができる。
【００４７】
なお、撮像装置１ａの変形例として、Ｇ撮像部３５が略輝度画像を取得するものとして、第１の撮像部１１の輝度撮像部１４に代わりＧ撮像部３５を用い、第２の撮像部１２ａをＲ撮像部３４及びＢ撮像部３６の２眼に構成する、あるいは、第２の撮像部１２ａをモザイク状のカラーフィルタによる１眼のＲＢ撮像部に構成してもよい。すなわち画像処理装置２は、Ｇ画像に対し視差の最小化されたＲ画像及びＢ画像をそれぞれ合成し、Ｇ画像と合わせてRGB画像として出力する。
【００４８】
また、第１の撮像部１１を色撮像部、第２の撮像部１２ａをUV/IR（紫外線および赤外線）撮像部とし、（式１）のように色撮像部から要素の加算により輝度情報を得て、そこにUV/IR撮像部の不可視光情報を重畳するようにしてもよい。すなわち画像処理装置２は、色画像から得た輝度画像に対し視差の最小化されたUV画像及びIR画像をそれぞれ合成し、色画像と合わせてRGB/UV/IR画像を出力する。さらに、第１の撮像部１１を輝度撮像部、第２の撮像部１２ａを色撮像部と不可視光撮像部の２眼にしてもよい。また、第１の撮像部１１を輝度撮像部とし、第２の撮像部１２ａを偏光フィルタを配した撮像部とし、シーンの偏光状態を観測する撮像系を構成することもできる。
【００４９】
さらに、第２の撮像部１２ａを複数設けるようにして、複数の第２の撮像部１２ａ内に同種の情報を取得する撮像部を複数配置するようにしてもよい。例えば、色撮像部を複数配置すれば、隠れの領域を小さくすることができる。また、複数の色撮像部で露光時間または感度を変えることで複数の露出条件での画像を合成することができる。
【００５０】
（第３の実施の形態）
次に、第３の実施の形態について説明する。
【００５１】
図１０は、第３の実施の形態に係る画像処理装置を有する撮像装置の構成を示す図である。なお、図１０において、図１及び図９と同様の構成については、同一の符号を付して説明を省略する。
【００５２】
図１０の画像処理装置２ａは、図１または図９の画像処理装置２に対して、画像選択部３７が追加されて構成されている。図１０では撮像装置１ｂが図９と同様に複数の撮像部を内包する第２の撮像部１２ａを備えた構成を示したが、図１のように単一の撮像部を内包する第２の撮像部１２を備えた構成であってもよい。
【００５３】
画像選択部３７には、画像合成部２２からの合成画像と、第１の撮像部１１からの輝度画像と、第２の撮像部１２ａからの色画像とが入力される。また、画像選択部３７には、対応点と参照点の座標の差、すなわち視差情報が対応点計算部１９から入力され、色画像の色差情報が画像補間部２１から入力される。画像選択部３７は、入力された視差情報及び色差情報に基づいて、合成画像、輝度画像、色画像のいずれかを選択して出力する。
【００５４】
画像選択部３７は、視差情報が所定の閾値以下の場合、画像合成部２２からの合成画像を選択して出力する。
【００５５】
また、画像選択部３７は、視差情報が所定の閾値より大きい画素がある場合、第１及び第２の撮像部１１及び１２ａに非常に近い距離の物体がシーン中に存在するものと判定し、第２の撮像部１２ａからの色画像を選択して出力する。これにより、感度は下がるが、視差が非常に大きく、隠れの領域が広すぎるために、色画像補間のエラーがでる可能性を回避することができる。
【００５６】
また、画像選択部３７は、視差情報が所定の閾値より大きい画素があり、かつ色画像の色差情報が所定の閾値より小さい場合、ＱＲコード（登録商標）等の白黒またはグレースケールの被写体を近接撮影していると判定し、第１の撮像部１１からの輝度画像を選択して出力する。これにより、視差が大きいために色画像補間のエラーがでる可能性を回避するとともに、ＱＲコード（登録商標）等の読み取りに有利な、高感度な輝度画像を出力することができる。
【００５７】
以上のように、画像処理装置２ａは、画像選択部３７により合成画像だけでなく、第１の撮像部１１及び第２の撮像部１２ａからの輝度画像及び色画像も選択して出力するようにした。この結果、画像処理装置２ａは、撮影の状況に応じて最適な画像を出力することができる。また、視差が所定の閾値を超えた場合には、輝度画像のみまたは色画像のみを出力することで、色補間のエラーを防ぐこともできる。
【００５８】
本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５９】
１，１ａ，１ｂ…撮像装置、２，２ａ…画像処理装置、１１…第１の撮像部、１２，１２ａ…第２の撮像部、１３，１５，３１〜３３…レンズ、１４…輝度撮像部、１６…カラーフィルタ、１７…色撮像部、１９…対応点計算部、２０…画像変形部、２１…画像補間部、２２…画像合成部、３４…Ｒ撮像部、３５…Ｇ撮像部、３６…Ｂ撮像部、３７、画像選択部。
【図１】
2013183353.tif 000003
【図２】
2013183353.tif 000004
【図３】
2013183353.tif 000005
【図４】
2013183353.tif 000006
【図５】
2013183353.tif 000007
【図６】
2013183353.tif 000008
【図７】
2013183353.tif 000009
【図８】
2013183353.tif 000010
【図９】
2013183353.tif 000011
【図１０】
2013183353.tif 000012