(57)【特許請求の範囲】
【請求項１】
境界部分に互い重複する部分画像を有する複数の色成分の画像からなる第１のカラー画像と第２のカラー画像とを当該境界部分で貼り合わせるように合成する画像合成方法であって、
上記第１，第２のカラー画像の境界部分の画像について、それぞれ色成分毎に当該境界部分を構成する画素データの平均値を算出する第１の演算工程と、
上記第１の演算工程で算出された各色成分の画素データの平均値を用いて、少なくとも１の色成分について、上記第１のカラー画像の当該色成分の画素データに対する第１のオフセット量と上記第２のカラー画像の当該色成分の画素データに対する第２のオフセット量とをそれぞれ算出する第２の演算工程と、
色調の偏りを判別する判別工程と、
上記判別工程の判別結果に基づいて、上記第１のオフセット量及び上記第２のオフセット量を変更する変更工程と、
上記第１のオフセット量若しくは上記変更工程による変更後の第１のオフセット量を上記第１のカラー画像の対応する色成分の画素データに加算するとともに、上記第２のオフセット量若しくは上記変更工程による変更後の第２のオフセット量を上記第２のカラー画像の対応する色成分の画素データに加算して上記第１，第２のカラー画像の色調を補正する補正工程と、
色調補正後の第１，第２のカラー画像を境界部分で貼り合わせるように合成する画像合成工程と、
からなることを特徴とする画像合成方法。
【請求項２】
境界部分に互い重複する部分画像を有する複数の色成分の画像からなる第１のカラー画像と第２のカラー画像とを当該境界部分で貼り合わせるように合成する画像合成装置であって、
上記第１，第２のカラー画像の境界部分の画像について、それぞれ色成分毎に当該境界部分を構成する画素データの平均値を算出する第１の演算手段と、
上記第１の演算手段で算出された各色成分の画素データの平均値を用いて、少なくとも１の色成分について、上記第１のカラー画像の当該色成分の画素データに対する第１のオフセット量と上記第２のカラー画像の当該色成分の画素データに対する第２のオフセット量とをそれぞれ算出する第２の演算手段と、
色調の偏りを判別する判別手段と、
上記判別手段の判別結果に基づいて、上記第１のオフセット量及び上記第２のオフセット量を変更する変更手段と、
上記第１のオフセット量若しくは上記変更手段による変更後の第１のオフセット量を上記第１のカラー画像の対応する色成分の画素データに加算するとともに、上記第２のオフセット量若しくは上記変更手段による変更後の第２のオフセット量を上記第２のカラー画像の対応する色成分の画素データに加算して上記第１，第２のカラー画像の色調を補正する補正手段と、
色調補正後の第１，第２のカラー画像を境界部分で貼り合わせるように合成する画像合成手段と、
を備えたことを特徴とする画像合成装置。
【請求項３】
請求項２記載の画像合成装置において、
第１，第２のカラー画像はＲ，Ｇ，Ｂの各色成分の画像からなり、
第２の演算手段は、上記第１，第２のカラー画像の境界部分のＲ，Ｂの各色成分の画素データの平均値Ｒ１AV，Ｂ１AV，Ｒ２AV，Ｂ２AVを用いて下記演算式により上記第１のカラー画像のＲ，Ｂの各色成分の画素データに対する第１のオフセット量δr1，δb1と上記第２のカラー画像Ｒ，Ｂの各色成分の画素データに対する第２のオフセット量δr2，δb2とを算出するものであることを特徴とする画像合成装置。
δr1＝（Ｒ２AV−Ｒ１AV）／２
δb1＝（Ｂ２AV−Ｂ１AV）／２
δr2＝（Ｒ１AV−Ｒ２AV）／２
δb2＝（Ｂ１AV−Ｂ２AV）／２
但し、Ｒ１AV≧Ｒ２AV，Ｂ１AV≧Ｂ２AV
【請求項４】
請求項２記載の画像合成装置において、
第１，第２のカラー画像はＲ，Ｇ，Ｂの各色成分の画像からなり、
第２の演算手段は、上記第１，第２のカラー画像の境界部分のＲ，Ｇ，Ｂの各色成分の画素データの平均値Ｒ１AV，Ｇ１AV，Ｂ１AV，Ｒ２AV，Ｇ２AV，Ｂ２AVを用いて下記演算式により上記第１のカラー画像のＲ，Ｂの各色成分の画素データに対する第１のオフセット量δr1，δb1と上記第２のカラー画像Ｒ，Ｂの各色成分の画素データに対する第２のオフセット量δr2，δb2とを算出するものであることを特徴とする画像合成装置。
δr1＝Ｇ１AV−Ｒ１AV
δb1＝Ｇ１AV−Ｂ１AV
δr2＝Ｇ２AV−Ｒ２AV
δb2＝Ｇ２AV−Ｂ２AV
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、境界部分に互いに重複する部分画像を有する複数の色成分の画像からなる複数のカラー画像を当該境界部分で貼り合わせるように合成して全体の画像を作成する画像合成方法及びその方法を用いて画像合成装置に関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤ等の固体撮像素子を用いたデジタルビデオカメラやデジタルスチルカメラ等の撮像装置においては、例えば特開平５−１３７０５９号公報や特開平６−１４１２４６号公報に示されるように、複数のＣＣＤを用いて被写体をそれぞれ部分的に撮像し、画像処理においてそれらの部分画像を合成して被写体全体の撮像画像を得ることにより解像度を高める方法が知られている。
【０００３】
また、特公平５−１０８６９号公報には、境界部分の像を重複させて２つに分割された原稿像を２つの撮像素子でそれぞれ撮像し、それらの撮像画像を境界部分でつなぎ合わせて画像形成する画像処理装置であって、面積階調処理により中間調表現が可能な画像処理装置において、撮像画像のつなぎ目部分で面積階調処理に連続性を持たせるため、当該つなぎ目部分における面積階調処理の処理パラメータを連続させるようにした画像処理装置が示されている。
【０００４】
また、特公平６−１０３９２６号公報には、連続して撮像された複数の画像間の濃度差を均一化したり、同一の用紙に複数の画像を形成する際の各画像の濃度差を均一化する手法として、基準となる画像の任意の領域の平均濃度と他の濃度変換対象の画像の対応する領域の濃度とを算出し、両者の濃度差に基づいて濃度変換対象の画像の濃度を補正するデジタル画像の濃度均一化方法が示されている。
【０００５】
【発明が解決しようとする課題】
複数のカラー撮像素子により被写体を部分的に分割して撮像し、それらの撮像画像を貼り合わせて被写体全体の撮像画像を得る場合、各部分撮像画像のＷＢ調整にずれが生じていると、貼合部分に色ずれによる色段差が生じ、色調の不自然な撮像画像が得られるという不具合が生じる。
【０００６】
上記特開平５−１３７０５９号公報及び特開平６−１４１２４６号公報には、複数の撮像素子により被写体を部分的に分割撮像する技術については開示されているが、ＷＢ調整のずれに起因して撮像画像の境界部分に生じる色段差の問題については記載がなく、この問題の解決方法も開示されていない。
【０００７】
また、上記特公平５−１０８６９号公報のものは、２つのモノクロ撮像画像の貼合合成部分の濃度段差の発生を防止するもので、カラー画像の色ずれによる色段差の発生を防止するものではなく、その問題の解決方法は何ら開示されていない。
【０００８】
更に、上記特公平６−１０３９２６号公報のものも複数のモノクロ画像間の濃度差を補正するもので、カラー画像における上述の色段差の問題は全く言及されておらず、その解決手段を示唆する記載も全くなされていない。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、色段差の目立たない複数の部分画像を合成してなる撮像画像を得ることのできる画像合成方法及びこの方法を用いた画像合成装置を提供するものである。
【００１０】
【課題を解決するための手段】
本発明は、境界部分に互い重複する部分画像を有する複数の色成分の画像からなる第１のカラー画像と第２のカラー画像とを当該境界部分で貼り合わせるように合成する画像合成方法であって、上記第１，第２のカラー画像の境界部分の画像について、それぞれ色成分毎に当該境界部分を構成する画素データの平均値を算出する第１の演算工程と、上記第１の演算工程で算出された各色成分の画素データの平均値を用いて、少なくとも１の色成分について、上記第１のカラー画像の当該色成分の画素データに対する第１のオフセット量と上記第２のカラー画像の当該色成分の画素データに対する第２のオフセット量とをそれぞれ算出する第２の演算工程と、色調の偏りを判別する判別工程と、上記判別工程の判別結果に基づいて、上記第１のオフセット量及び上記第２のオフセット量を変更する変更工程と、上記第１のオフセット量若しくは上記変更工程による変更後の第１のオフセット量を上記第１のカラー画像の対応する色成分の画素データに加算するとともに、上記第２のオフセット量若しくは上記変更工程による変更後の第２のオフセット量を上記第２のカラー画像の対応する色成分の画素データに加算して上記第１，第２のカラー画像の色調を補正する補正工程と、色調補正後の第１，第２のカラー画像を境界部分で貼り合わせるように合成する画像合成工程とからなるものである（請求項１）。
【００１１】
また、本発明は、境界部分に互い重複する部分画像を有する複数の色成分の画像からなる第１のカラー画像と第２のカラー画像とを当該境界部分で貼り合わせるように合成する画像合成装置であって、上記第１，第２のカラー画像の境界部分の画像について、それぞれ色成分毎に当該境界部分を構成する画素データの平均値を算出する第１の演算手段と、上記第１の演算手段で算出された各色成分の画素データの平均値を用いて、少なくとも１の色成分について、上記第１のカラー画像の当該色成分の画素データに対する第１のオフセット量と上記第２のカラー画像の当該色成分の画素データに対する第２のオフセット量とをそれぞれ算出する第２の演算手段と、色調の偏りを判別する判別手段と、上記判別手段の判別結果に基づいて、上記第１のオフセット量及び上記第２のオフセット量を変更する変更手段と、上記第１のオフセット量若しくは上記変更手段による変更後の第１のオフセット量を上記第１のカラー画像の対応する色成分の画素データに加算するとともに、上記第２のオフセット量若しくは上記変更手段による変更後の第２のオフセット量を上記第２のカラー画像の対応する色成分の画素データに加算して上記第１，第２のカラー画像の色調を補正する補正手段と、色調補正後の第１，第２のカラー画像を境界部分で貼り合わせるように合成する画像合成手段とを備えたものである（請求項２）。
【００１２】
上記構成によれば、第１，第２のカラー画像の境界部分の画像について、それぞれ色成分毎に当該境界部分を構成する画素データの平均値が算出される。例えば第１のカラー画像がＲ，Ｇ，Ｂの色成分の画素データＲ１(i)，Ｇ１(i)，Ｂ１(i)（ｉ＝１，２，…ｎ、ｎ；境界部分の画素データ総数）から構成されている場合、各色成分毎に画素データの平均値Ｒ１AV（＝ΣＲ１(i)／ｎ），Ｇ１AV（＝ΣＧ１(i)／ｎ），Ｂ１AV（＝ΣＢ１(i)／ｎ）（ｉ＝１〜ｎ）が算出される。
【００１３】
続いて、各色成分の画素データの平均値Ｒ１AV，Ｇ１AV，Ｂ１AVを用いて、少なくとも１の色成分について、第１のカラー画像の当該色成分の画素データに対する第１のオフセット量δ1と第２のカラー画像の当該色成分の画素データに対する第２のオフセット量δ2とが算出される。ここで、上記第１，第２のカラー画像において色調の偏りが存在しているかが判別され、その判別結果に基づいて上記第１のオフセット量及び上記第２のオフセット量が変更される。そして、第１のオフセット量δ1若しくは変更後の第１のオフセット量を第１のカラー画像の対応する色成分の画素データに加算するとともに、第２のオフセット量δ2若しくは変更後の第２のオフセット量を上記第２のカラー画像の対応する色成分の画素データに加算して上記第１，第２のカラー画像の色調が補正される。
【００１４】
例えば第１のカラー画像のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)に対する第１のオフセット量δr1，δb1と第２のカラー画像のＲ，Ｂの色成分の画素データＲ２(i)，Ｂ２(i)に対する第２のオフセット量δr2，δb2とが算出され、上記第１，第２のカラー画像において色調の偏りが存在している場合はこれらオフセット量が変更され、当該第１のオフセット量δr1，δb1（若しくは変更後の第１のオフセット量）がそれぞれ画素データＲ１(i)，Ｂ１(i)に加算されるとともに、当該第２のオフセット量δr2，δb2（若しくは変更後の第２のオフセット量）がそれぞれ画素データＲ２(i)，Ｂ２(i)に加算されて第１，第２のカラー画像の色調が補正される。すなわち、第１のカラー画像の境界部分のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)はＲ１(i)＋δr1，Ｂ１(i)＋δb1に補正され、第２のカラー画像の境界部分のＲ，Ｂの色成分の画素データＲ２(i)，Ｂ２(i)はＲ２(i)＋δr2，Ｂ２(i)＋δb2に補正される。
【００１５】
そして、色調補正後の第１，第２のカラー画像が境界部分で貼り合わせるように合成される。
【００１６】
また、本発明は、上記画像合成装置において、第１，第２のカラー画像はＲ，Ｇ，Ｂの各色成分の画像からなり、第２の演算手段は、上記第１，第２のカラー画像の境界部分のＲ，Ｂの各色成分の画素データの平均値Ｒ１AV，Ｂ１AV，Ｒ２AV，Ｂ２AVを用いて、
δr1＝（Ｒ２AV−Ｒ１AV）／２
δb1＝（Ｂ２AV−Ｂ１AV）／２
δr2＝（Ｒ１AV−Ｒ２AV）／２
δb2＝（Ｂ１AV−Ｂ２AV）／２
但し、Ｒ１AV≧Ｒ２AV，Ｂ１AV≧Ｂ２AV
の演算式により上記第１のカラー画像のＲ，Ｂの各色成分の画素データに対する第１のオフセット量δr1，δb1と上記第２のカラー画像Ｒ，Ｂの各色成分の画素データに対する第２のオフセット量δr2，δb2とを算出するものである（請求項３）。
【００１７】
上記構成によれば、第１のカラー画像のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)に対する第１のオフセット量δr1，δb1はδr1＝（Ｒ２AV−Ｒ１AV）／２，δb1＝（Ｂ２AV−Ｂ１AV）／２により算出され、第２のカラー画像のＲ，Ｂの色成分の画素データＲ２(i)，Ｂ２(i)に対する第２のオフセット量δr2，δb2はδr2＝（Ｒ１AV−Ｒ２AV）／２，δb2＝（Ｂ１AV−Ｂ２AV）／２により算出される。
【００１８】
そして、第１のカラー画像の境界部分のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)はＲ１(i)＋δr1，Ｂ１(i)＋δb1に補正され、第２のカラー画像の境界部分のＲ，Ｂの色成分の画素データＲ２(i)，Ｂ２(i)はＲ２(i)＋δr2，Ｂ２(i)＋δb2に補正される。
【００１９】
第１，第２のカラー画像の境界部分は互いに画像が重複しているので、画素データＲ１(i)のヒストグラムＨＲ１の分布形状と画素データＲ２(i)のヒストグラムＨＲ２の分布形状とは略一致し、画素データＢ１(i)のヒストグラムＨＢ１の分布形状と画素データＢ２(i)のヒストグラムＨＢ２の分布形状とは略一致するが、第１のカラー画像と第２のカラー画像との間で色調が異なる場合は、ヒストグラムＨＲ１の分布位置とヒストグラムＨＲ２の分布位置とは互いにずれることになる。
【００２０】
しかし、Ｒの画素データについては、ヒストグラムＨＲ１とヒストグラムＨＲ２との分布位置のずれ量｜Ｒ２AV−Ｒ１AV｜の１／２をオフセット量δr1（＜０），δr2（＞０）として画素データＲ１(i)にオフセット量δr1が加算されるとともに、画素データＲ２(i)にオフセット量δr2が加算されるので、画素データＲ１(i)，Ｒ２(i)の補正後はヒストグラムＨＲ１，ＨＲ２の分布位置がそれぞれ相互のずれの中心位置にシフトし、両ヒストグラムＨＲ１，ＨＲ２の分布位置も略一致することになる。
【００２１】
また、Ｂの画素データについてもヒストグラムＨＢ１とヒストグラムＨＢ２との分布位置のずれ量｜Ｂ２AV−Ｂ１AV｜の１／２をオフセット量δb1（＜０），δb2（＞０）として画素データＢ１(i)にオフセット量δb1が加算されるとともに、画素データＢ２(i)にオフセット量δb2が加算されるので、画素データＢ１(i)，Ｂ２(i)の補正後はヒストグラムＨＢ１，ＨＢ２の分布位置がそれぞれ相互のずれの中心位置にシフトし、両ヒストグラムＨＢ１，ＨＢ２の分布位置も略一致することになる。
【００２２】
従って、第１，第２のカラー画像の色調に寄与するＲ，Ｂの色成分の画素データはそれらのヒストグラムが略同一となるようにレベル補正されるので、第１のカラー画像の境界部分と第２のカラー画像の境界部分の色段差が低減され、合成後に境界部分に色段差が生じることがない。
【００２３】
また、本発明は、画像合成装置において、第１，第２のカラー画像はＲ，Ｇ，Ｂの各色成分の画像からなり、第２の演算手段は、上記第１，第２のカラー画像の境界部分のＲ，Ｇ，Ｂの各色成分の画素データの平均値Ｒ１AV，Ｇ１AV，Ｂ１AV，Ｒ２AV，Ｇ２AV，Ｂ２AVを用いて、
δr1＝Ｇ１AV−Ｒ１AV
δb1＝Ｇ１AV−Ｂ１AV
δr2＝Ｇ２AV−Ｒ２AV
δb2＝Ｇ２AV−Ｂ２AV
の演算式により上記第１のカラー画像のＲ，Ｂの各色成分の画素データに対する第１のオフセット量δr1，δb1と上記第２のカラー画像Ｒ，Ｂの各色成分の画素データに対する第２のオフセット量δr2，δb2とを算出するものである（請求項４）。
【００２４】
上記構成によれば、第１のカラー画像のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)に対する第１のオフセット量δr1，δb1はδr1＝Ｇ１AV−Ｒ１AV，δb1＝Ｇ１AV−Ｂ１AVにより算出され、第２のカラー画像のＲ，Ｂの色成分の画素データＲ２(i)，Ｂ２(i)に対する第２のオフセット量δr2，δb2はδr2＝Ｇ２AV−Ｒ２AV，δb2＝Ｇ２AV−Ｂ２AVにより算出される。
【００２５】
そして、第１のカラー画像の境界部分のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)はＲ１(i)＋δr1，Ｂ１(i)＋δb1に補正され、第２のカラー画像の境界部分のＲ，Ｂの色成分の画素データＲ２(i)，Ｂ２(i)はＲ２(i)＋δr2，Ｂ２(i)＋δb2に補正される。
【００２６】
第１，第２のカラー画像の境界部分は互いに画像が重複しているので、画素データＲ１(i)のヒストグラムＨＲ１の分布形状と画素データＲ２(i)のヒストグラムＨＲ２の分布形状とは略一致し、画素データＢ１(i)のヒストグラムＨＢ１の分布形状と画素データＢ２(i)のヒストグラムＨＢ２の分布形状とは略一致するが、第１のカラー画像と第２のカラー画像との間の色調が同一の色の方向にずれ、かつ、互いに異なる場合、ヒストグラムＨＲ１の分布位置とヒストグラムＨＲ２の分布位置とは互いにずれることになる。
【００２７】
しかし、第１のカラー画像においては、Ｇの画素データのヒストグラムＨＧ１の平均値Ｇ１AVに対するＲ，Ｂの画素データのヒストグラムＨＲ１，ＨＢ１の平均値Ｒ１AV，Ｂ１AVのずれ量をそれぞれオフセット量δr1，δb1として画素データＲ１(i)にオフセット量δr1が加算されるとともに、画素データＢ１(i)にオフセット量δb1が加算されるので、補正後の第１のカラー画像は、Ｒ，Ｇ，Ｂの各色成分の画素データのヒストグラムＨＲ１，ＨＧ１，ＨＢ１の平均値Ｒ１AV，Ｇ１AV，Ｂ１AVが略一致し、補正前に有していた色調の偏りが低減される。
【００２８】
同様に第２のカラー画像においても、Ｇの画素データのヒストグラムＨＧ２の平均値Ｇ２AVに対するＲ，Ｂの画素データのヒストグラムＨＲ２，ＨＢ２の平均値Ｒ２AV，Ｂ２AVのずれ量をそれぞれオフセット量δr2，δb2として画素データＲ２(i)にオフセット量δr2が加算されるとともに、画素データＢ２(i)にオフセット量δb2が加算されるので、補正後の第２のカラー画像もＲ，Ｇ，Ｂの各色成分の画素データのヒストグラムＨＲ２，ＨＧ２，ＨＢ２の平均値Ｒ２AV，Ｇ２AV，Ｂ２AVが略一致し、補正前に有していた色調の偏りが低減される。
【００２９】
従って、第１，第２のカラー画像の色調に寄与するＲ，Ｂの色成分の画素データは、両カラー画像でそれぞれ色調の偏りが低減されるようにレベル補正されるので、第１のカラー画像の境界部分と第２のカラー画像の境界部分の色調の偏り及び色段差が低減され、合成後に境界部分に色調の偏差及び色段差が生じることがない。
【００３０】
【発明の実施の形態】
図１は、本発明に係る画像合成装置を備えたデジタルカメラの一の実施の形態の外観を示す斜視図、図２は、同デジタルカメラ内に設けられた撮像光学系の概略構成を示す図である。
【００３１】
同図において、デジタルカメラ１は、前面の略中央にズームレンズからなる撮影レンズ２が配設され、その上部にアクティブ測距方式により被写体距離を測定するための投光窓４と受光窓５とが配設され、両窓の間に被写体の輝度を測定するための測光窓３が配設されている。また、投光窓４の左側にファインダー対物窓６が配設されている。
【００３２】
投光窓４は、被写体に対して赤外光を照射する窓であり、受光窓５は、この赤外光の被写体からの反射光を受光する窓である。なお、本実施の形態では測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。
【００３３】
デジタルカメラ１の側面にはハードディスクカード１０（以下、ＨＤカード１０と略称する。）が装着脱されるカード挿入口７が設けられ、このカード挿入口７の上部にＨＤカード１０をイジェクトするためのカード取出ボタン９が設けられている。また、デジタルカメラ１の上面の左端部にシャッタボタン９が設けられている。
【００３４】
撮影結果をプリントアウトする場合、カード取出ボタン９を押してＨＤカード１０をデジタルカメラ１から取り外し、ＨＤカード１０が装着可能なプリンタにこのＨＤカード１０を装着してプリントアウトすることができる。
【００３５】
なお、デジタルカメラ１にＳＣＳＩケーブルのインターフェースを設け、デジタルカメラ１とプリンタとをＳＣＳＩケーブルで接続し、デジタルカメラ１からプリンタに画像データを転送して直接、撮影画像をプリントアウトさせるようにしてもよい。
【００３６】
また、本実施の形態では画像データの記録媒体としてＰＣＭＣＩＡ準拠のハードディスクカードを採用しているが、撮影結果を画像データとして記憶できるものであれば、メモリカードやミニディスク（ＭＤ）等の他の記録媒体でもよい。
【００３７】
カメラ本体の撮影レンズ２の後方位置には、図２に示すように、例えばプリズム等で構成された光路分離部１１と一対のＣＣＤカラーエリアセンサで構成されたカラー撮像素子１２，１３とからなる撮像光学系が配設されている。
【００３８】
撮像光学系は、図３に示すように、横長長方形状の撮影画面を有しているが、この撮影画面内の被写体光像Ａは、左半分の光像Ａ１の右端部と右半分の光像Ａ２の左端部とに境界部分Ｃが含まれるように、光路分離部１１により横方向に二分され、左半分の光像Ａ１はカラー撮像素子１２（以下、ＣＣＤ１２という。）で撮像され、右半分の光像Ａ２はカラー撮像素子１３（以下、ＣＣＤ１３という。）で撮像されるようになっている。そして、両ＣＣＤ１２，１３で撮像された画像の境界部分Ｃの画像を画像処理で貼り合わせることにより被写体光像Ａに対する撮像画像を得る（すなわち、撮影画面内の被写体全体を撮像する）ようにしている。
【００３９】
従って、図４に示すように、被写体光像Ａに対する撮像面（横長の撮像面）Ｓを構成する画素数をＭ（縦）×（２Ｎ−Ｗ）（横）とし、境界部分Ｃの横方向の画素数をＷとすると、ＣＣＤ１２，１３の各撮像面Ｓ１，Ｓ２を構成する画素数は、Ｍ（縦）×Ｎ（横）となっている。
【００４０】
また、ＣＣＤ１２，１３は、ベイヤー方式の単板式カラーＣＣＤからなり、撮像面の各画素位置には、図５に示す色配列でＲ，Ｇ，Ｂの各色フィルタが設けられている。なお、図５に示す色配列は、Ｒ（赤）及びＢ（青）とＧ（緑）とを市松模様状に配列したもので、画素位置を（ｉ行（i=1,2,…M），ｊ列（j=1,2,…N））で表すと、奇数行／偶数列の交差位置（２ζ＋１，２ξ＋２）及び偶数行／奇数列の交差位置（２ζ＋２，２ξ＋１）（ζ=0,1,2，…M/2、ξ＝0,1,2，…N/2）にはＧの色フィルタが配列され、奇数行／奇数列の交差位置（２ζ＋１，２ξ＋１）にはＲの色フィルタが配列され、偶数行／偶数列の交差位置（２ζ＋２，２ξ＋２）にはＢの色フィルタが配列されている。
【００４１】
図６は、本発明に係る画像合成装置を備えたデジタルカメラのブロック構成図である。
同図において、図１，図２に示した部材と同一の部材には同一番号を付している。また、本発明に係る画像合成装置は、画像処理部１８、制御部２４、ＲＯＭ２２及びＲＡＭ２３で構成されている。
【００４２】
絞り１４は、撮影レンズ２内に設けられた光量調節部材である。レンズ駆動制御部１５は、撮影レンズ２内のフォーカシングレンズ（図略）を駆動して焦点の自動調節を行うものである。上記フォーカシングレンズは、例えば撮影レンズ２の前端部に光軸方向に移動可能に設けられ、電動モータ（図略）の駆動力より移動する。レンズ駆動制御部１５は、カメラの撮影動作を集中制御する制御部２４から入力されるＡＦ制御値に基づき電動モータの駆動を制御して撮影レンズ２の焦点調節を自動的に行う。
【００４３】
絞り駆動制御部１６は、絞り１４の開口量を調整するものである。絞り駆動制御部１６は、制御部２４から入力される露出制御値（絞り値）に基づき絞り１４の開口量を制御する。ＣＣＤ駆動制御部１７は、ＣＣＤ１２，１３の撮像動作（電荷蓄積及び蓄積電荷の読出）を制御するものである。ＣＣＤ駆動制御部１７は、制御部２４から入力される露出制御値（シャッタスピード）に基づきＣＣＤ１２，１３の電荷蓄積時間（積分時間）を制御して露光量を制御する。また、ＣＣＤ１２，１３の露光（電荷蓄積）が終了すると、その蓄積電荷をＣＣＤ１２、ＣＣＤ１３の順に画像処理部１８に読み出す。
【００４４】
画像処理部１８は、ＣＣＤ１２，１３から読み出された蓄積電荷（画像信号）にホワイトバランス、γ補正、シェーディング補正、ＷＢ補正及び色調補正等の所定の処理を施すとともに、ＣＣＤ１２で撮像された画像（左側半分の被写体光像Ａ１の撮像画像。以下、左側画像Ｑ１という。）とＣＣＤ１３で撮像された画像（右側半分の被写体画像Ａ２の撮像画像。以下、右側画像Ｑ２いう。）との貼合処理（被写体光像Ａ全体に対する撮影画像の生成処理）を行うものである。画像処理部１８のシェーディング補正、ＷＢ補正、色調補正及び撮影画像の生成等の処理については後述する。
【００４５】
ＨＤカード１０は、画像を構成する画像データを記録する記録媒体である。ＨＤカード１０には、左側画像Ｑ１と右側画像Ｑ２とを貼合してなる被写体全体の撮像画像（以下、撮像画像Ｑという。）が記録される。カード駆動制御部１９は、画像データを記録するべくＨＤカード１０の駆動を制御するものである。
【００４６】
測距部２０は、投光窓４及び受光窓５の後方位置に設けられた被写体距離を検出するものである。測光部２１は、測光窓３の後方位置に設けられたＳＰＣ等の受光素子を有し、被写体輝度を検出するものである。
【００４７】
ＲＯＭ（Read Only Memory）２２は、撮像系の駆動制御に必要なデータや後述するシェーディング補正、ＷＢ補正、色調補正、画像の貼合処理及び画像データの補間処理等の画像処理を行うために必要なデータや処理プログラムが記録されたメモリである。ＲＡＭ（Random Access Memory）２３は、制御部２４が撮像に関する処理を行うためのメモリである。
【００４８】
図７は、画像処理部１８内のシェーディング補正、ＷＢ補正、色調補正、撮影画像の生成、画像データの補間等の処理に関するブロック構成を示す図である。
【００４９】
画像処理部１８内には、シェーディング補正、撮影画像の生成、画像データの補間等の処理を行うための処理部として、アナログ信号処理部１８１、Ａ／Ｄ変換部１８２、画像メモリ１８３、シェーディング補正部１８４、ＷＢ補正部１８５、色調補正部１８６、画像合成部１８７、画像データ補間部１８８及び出力Ｉ／Ｆ（インターフェース）１８９が設けられている。
【００５０】
アナログ信号処理部１８１は、図略のＣＤＳ回路（Correlative Double Sampling）回路、アナログアンプ等の信号処理回路を有し、ＣＣＤ１２，１３から出力されるＲ，Ｇ，Ｂの各色成分のアナログ信号からなる画像信号にノイズ低減やレベル調整（増幅）等の所定の信号処理を施すものである。また、Ａ／Ｄ変換部１８２は、アナログ信号処理部１８１から出力される画像信号を、例えば８ビット構成のデジタル信号からなる画像データに変換するものである。また、画像メモリ１８３は、Ａ／Ｄ変換部１８２から出力される画像データを一時、記憶するものである。画像メモリ１８３は、ＣＣＤ１２により撮像された画像の画像データとＣＣＤ１３により撮像された画像の画像データとをそれぞれ記憶する記憶領域を有している。なお、各記憶領域にはＲ，Ｇ，Ｂの色成分毎に画像データが記憶される。
【００５１】
シェーディング補正部１８４は、ＣＣＤ１２，１３の撮像面を構成する画素間の出力レベルのバラツキを補正するものである。シェーディング補正は、撮影レンズにより均一な濃度を有する光像がＣＣＤの撮像面に均一に投影されたとした場合に生じる画素間の出力レベルのバラツキを補正するものである。出力レベルのバラツキは、各画素から出力される受光レベルを予め設定されたシェーディング補正テーブルを用いて補正することにより行われる。このシェーディング補正テーブルはＲＯＭ２２に記憶されている。
【００５２】
ＷＢ補正部１８５は、Ｇの色成分の画像データに対するＲ，Ｂの各色成分の画像データの輝度比（Ｒ／Ｇ，Ｂ／Ｇ）を調整するものである。ＷＢ補正部１８５は、カメラ本体に内蔵されているＷＢセンサからの出力（Ｇ／Ｒ，Ｇ／Ｂ）を用いて撮像画像の補正を行う。なお、本実施の形態ではベイヤー方式のカラーＣＣＤを使用し、撮像画像の色配置が図５に示すようになっているので、Ｒ，Ｂの画素位置についてはそれぞれ輝度比Ｇ／Ｒ，Ｇ／Ｂを掛け合わせる演算をして全体としてＧの輝度に合わせられる。
【００５３】
色調補正部１８６は、ＷＢ補正後の左側画像Ｑ１と右側画像Ｑ２との間に色ずれが生じた場合に当該色ずれを補正するものである。すなわち、左側画像Ｑ１及び右側画像Ｑ２でＷＢ補正が正確に行われていれば、両画像間で色調がずれることはないが、光源が、例えば蛍光灯等のように日中光でない場合はＷＢセンサの出力が特定の色に偏るため、ＷＢ補正をしても、例えば全体として赤みがかった色調や青みがかった色調の画像となる。このような色調の偏った左側画像Ｑ１と右側画像Ｑ２とを貼り合せるように合成すると、左右で色調の異なる画像が作成されることになる。色調補正部１８６は、画像合成によるアンバランスな色調の発生を防止するものである。
【００５４】
色調補正部１８６は、左側画像Ｑ１及び右側画像Ｑ２について、Ｒ，Ｇ，Ｂの各色成分毎に画像データのヒストグラムを作成し、このヒストグラムに基づき所定の補正演算によりＲ，Ｇ，Ｂの各色成分の画像データを補正して左側画像Ｑ１と右側画像Ｑ２との間の色調のずれを低減する。
【００５５】
この色調補正の演算方法には種々の方法が考えられるが、本実施の形態では、以下に説明する７種類の演算方法を提案する。
【００５６】
（Ａ）色調補正１
ＷＢ補正が正確に行われていれば、左側画像Ｑ１及び右側画像Ｑ２の境界部分Ｃについて、Ｒ，Ｂの各色成分の画像データのヒストグラムを作成すると、境界部分Ｃの被写体像は略同一であるから、図８（ａ）（ｂ）に示すように、それぞれ色成分について両境界部分Ｃのヒストグラムの分布曲線▲１▼，▲２▼は略一致する。なお、同図において、（ａ）はＲの色成分の画像データのヒストグラムを示し、（ｂ）は、Ｂの色成分の画像データのヒストグラムを示している。また、ヒストグラムの分布曲線▲１▼は、左側画像Ｑ１の境界部分Ｃに対するものであり、ヒストグラムの分布曲線▲２▼は、右側画像Ｑ２の境界部分Ｃに対するものである。
【００５７】
しかし、左側画像Ｑ１に対するＷＢゲイン（Ｒ／Ｇ，Ｂ／Ｇ）と右側画像Ｑ２に対するＷＢゲインとが異なると、図９（ａ）（ｂ）に示すように、それぞれの色成分について両境界部分Ｃのヒストグラムの分布曲線▲１▼，▲２▼は、その形状は略一致するものの分布位置にずれが生じる。すなわち、分布曲線▲１▼と分布曲線▲２▼とは階級軸上で互いにずれた状態となる。
【００５８】
色調補正１は、図９（ａ）において、分布曲線▲１▼と分布曲線▲２▼との階級軸上の相互のずれを２δrとすると、分布曲線▲１▼の波形を階級軸上で−δrだけずらせる一方、分布曲線▲２▼の波形を階級軸上で＋δrだけずらせ、また、図９（ｂ）において、分布曲線▲１▼と分布曲線▲２▼との階級軸上の相互のずれを２δbとすると、分布曲線▲１▼の波形を階級軸上で−δbだけずらせる一方、分布曲線▲２▼の波形を階級軸上で＋δbだけずらせ、両分布曲線▲１▼，▲２▼が略一致するように（すなわち、分布曲線▲３▼となるように）、左側画像Ｑ１及び右側画像Ｑ２の境界部分ＣのＲ，Ｂの色成分の画像データをそれぞれ補正するものである。
【００５９】
従って、左側画像Ｑ１の境界部分Ｃと右側画像Ｑ２の境界部分Ｃとの間に色調のずれが生じている場合は、画像合成における境界部分の色段差の発生を有効に低減することができるものである。
【００６０】
色調補正１における画像データの補正処理は、以下の演算手順により行われる。
左側画像Ｑ１の境界部分Ｃについて、Ｒ，Ｇ，Ｂの色成分毎に作成されるヒストグラムＨＲ１，ＨＧ１，ＨＢ１の階級をｊ、各階級の度数をｆR1(j)，ｆG1(j)，ｆB1(j)とし、右側画像Ｑ２の境界部分Ｃについて、Ｒ，Ｇ，Ｂの色成分毎に作成されるヒストグラムＨＲ２，ＨＧ２，ＨＢ２の階級をｊ、各階級の度数をｆR2(j)，ｆG2(j)，ｆB2(j)とし、各色成分の画素データの総数をnumＲ，numＧ，numＢとする。
【００６１】
なお、本実施の形態では、画素データは８ビットで構成されるので、そのレベル範囲は０〜２５５となるが、以下の説明では、階級のステップを「１」として作成されたヒストグラム（すなわち、ｊ＝０，１，２，…２５５のヒストグラム）を例に説明する。
【００６２】
（ステップ１）
ヒストグラムＨＲ１，ＨＢ１，ＨＲ２，ＨＢ２を作成し、各ヒストグラムの平均値Ｒ１AV，Ｂ１AV，Ｒ２AV，Ｂ２AVを下記（１）〜（４）式により算出する。
【００６３】
【数１】
0003707259.tif 000002
【００６４】
（ステップ２）
分布曲線▲１▼，▲２▼のオフセット量δr，δbを算出する。図９（ａ）において、分布曲線▲１▼と分布曲線▲２▼の波形形状は略同一であるから、分布曲線▲１▼の平均値Ｒ１AVと分布曲線▲２▼の平均値Ｒ２AVとの差ΔＲAV＝｜Ｒ２AV−Ｒ１AV｜は２δrとなる。従って、オフセット量δrはΔＲAV／２で算出される。図９（ｂ）においても同様にしてオフセット量δbがΔＢAV／２＝｜Ｂ２AV−Ｂ１AV｜／２で算出される。
【００６５】
（ステップ３）
左側画像Ｑ１の境界部分Ｃに含まれるＲ，Ｂの色成分の画素データをＲ１(i)（ｉ＝１，２，…numＲ），Ｂ１(i)（ｉ＝１，２，…numＢ）とし、右側画像Ｑ２の境界部分Ｃに含まれるＲ，Ｂの色成分の画素データをＲ２(i)（ｉ＝１，２，…numＲ），Ｂ２(i)（ｉ＝１，２，…numＢ）とすると、各画素データＲ１(i)，Ｒ２(i)，Ｂ１(i)，Ｂ２(i)をオフセット量δr，δbを用いて補正する。
【００６６】
図９（ａ）において、分布曲線▲１▼の波形を全体的に左にδrだけシフトし、分布曲線▲２▼の波形を全体的に右にδrだけシフトするには、左側画像Ｑ１の境界部分ＣのＲの色成分の画素データＲ１(i)をオフセット量δrだけ全体的にレベルダウンし、右側画像Ｑ２の境界部分ＣのＲの色成分の画素データＲ２(i)をオフセット量δrだけ全体的にレベルアップすればよいから、下記（５）〜（８）式により補正後の画素データＲ１(i)′，Ｂ１(i)′，Ｒ２(i)′，Ｂ２(i)′が算出される。
【００６７】
【数２】
0003707259.tif 000003
【００６８】
なお、Ｇの色成分については、ゲイン調整が１／２５６（８ビットデータの場合）の精度で行われているので、左側画像Ｑ１及び右側画像Ｑ２の境界部分Ｃの画素データＧ１(i)，Ｇ２(i)（ｉ＝１，２，…numＧ）については、上記補正処理は行っていないが、Ｇの色成分についてもＲ，Ｂの色成分と同様の補正処理を行ってもよい。
【００６９】
また、境界部分Ｃの輝度が暗すぎて正確なオフセット量δr，δbが算出できない場合は、上述の色調補正の効果が期待できないので、色調補正処理は行わないようにするとよい。すなわち、ＳＲ１＜Ｋ（所定値）又はＳＲ２＜Ｋとなるときは、Ｒ１(i)′，Ｒ２(i)′の演算は行わないようにし、ＳＢ１＜Ｋ（所定値）又はＳＢ２＜Ｋとなるときは、Ｂ１(i)′，Ｂ２(i)′の演算は行わないようにするとよい。
【００７０】
（Ｂ）色調補正２
色調補正１の方法は、左側画像Ｑ１の境界部分Ｃの色調と右側画像Ｑ２の境界部分Ｃの色調とを両者の色調のずれの中心位置にシフトさせることにより左側画像Ｑ１と右側画像Ｑ２との境界部分Ｃに発生する色段差を低減するものであるから、画像合成で発生する色段差の低減には有効であるが、左側画像Ｑ１及び右側画像Ｑ２の色調がいずれも同一系統の色の方向にずれている場合の当該色ずれを効果的に補正することは困難である。すなわち、左側画像Ｑ１及び右側画像Ｑ２がいずれも赤味がかった画像であるときは、合成画像の貼合合成部分における色調（赤色）の段差の発生を低減することはできるが、合成画像全体の色の偏差（赤味がかった色調）まで補正することはできない。
【００７１】
色調補正２は、合成画像の貼合合成部分における色段差の発生を低減するとともに、合成画像全体の色偏差も補正する補正方法である。すなわち、色調補正２は、左側画像Ｑ１の境界部分Ｃにおいて、Ｒ，Ｂの色成分の画像のヒストグラムＨＲ１，ＨＢ１の平均値Ｒ１AV，Ｂ１AVがＧの色成分の画像のヒストグラムＨＧ１の平均値Ｇ１AVと略一致するように、画素データＲ１(i)，Ｂ１(i)を補正するとともに、右側画像Ｑ２の境界部分Ｃにおいて、Ｒ，Ｂの色成分の画像のヒストグラムＨＲ２，ＨＢ２の平均値Ｒ２AV，Ｂ２AVがＧの色成分の画像のヒストグラムＨＧ２の平均値Ｇ２AVと略一致するように、画素データＲ２(i)，Ｂ２(i)を補正するものである。
【００７２】
色調補正１は、左側画像Ｑ１及び右側画像Ｑ２の境界部分Ｃの画像の色味を相対的に同一色に合わせ込む方法であるため、両画像Ｇ１，Ｇ２の境界部分Ｃが同一系統の色に偏っている場合は、合わせ込む色自体に特定の色味が残ることとなるが、色調補正２は、両画像Ｑ１，Ｑ２において、それぞれＲ，Ｇ，Ｂの各色成分のヒストグラムＨＲi，ＨＧi，ＨＢi（ｉ＝１，２）の平均値ＲiAV，ＧiAV，ＢiAV（ｉ＝１，２）を揃えるようにしているので（すなわち、全体的に色調を白色の色調に合わせるようにしているので）、両画像Ｇ１，Ｇ２の境界部分Ｃの画像が同一系統の色に偏差し、合わせ込む色自体に特定の色が残る場合にもその色成分が除去され、合成後に特定の色成分が残ることはない。
【００７３】
色調補正２における画像データの補正処理は、以下の演算手順により行われる。
（ステップ１）
ヒストグラムＨＲ１，ＨＢ１，ＨＧ１，ＨＲ２，ＨＢ２，ＨＧ２を作成し、各ヒストグラムの平均値Ｒ１AV，Ｂ１AV，Ｇ１AV，Ｒ２AV，Ｂ２AV，Ｇ２AVを算出する。平均値Ｒ１AV，Ｂ１AV，Ｒ２AV，Ｂ２AVは上記（１）〜（４）式により算出され、平均値Ｇ１AV，Ｇ２AVは下記（９），（１０）式により算出される。
【００７４】
【数３】
0003707259.tif 000004
【００７５】
（ステップ２）
画素データＲ１（ｉ）のオフセット量δr1として、ヒストグラムＨＲ１の平均値Ｒ１AVとヒストグラムＨＧ１の平均値Ｇ１AVとの差を算出し、画素データＲ２（ｉ）のオフセット量δr2として、ヒストグラムＨＲ２の平均値Ｒ２AVとヒストグラムＨＧ２の平均値Ｇ２AVとの差を算出する（下記（１１）、（１２）式参照）。また、画素データＢ１（ｉ）のオフセット量δb1として、ヒストグラムＨＢ１の平均値Ｂ１AVとヒストグラムＨＧ１の平均値Ｇ１AVとの差を算出し、画素データＢ２（ｉ）のオフセット量δb2として、ヒストグラムＨＢ２の平均値Ｂ２AVとヒストグラムＨＧ２の平均値Ｇ２AVとの差を算出する（下記（１３）、（１４）式参照）。
【００７６】
【数４】
0003707259.tif 000005
【００７７】
（ステップ３）
画素データＲ１(i)にオフセット量δr1を加算し、画素データＲ２(i)にオフセット量δr2を加算して補正後の画素データＲ１(i)′，Ｒ２(i)′を算出する（下記（１５），（１６）式参照）。また、画素データＢ１(i)にオフセット量δb1を加算し、画素データＢ２(i)にオフセット量δb2を加算して補正後の画素データＢ１(i)′，Ｂ２(i)′を算出する（下記（１７），（１８）式参照）。
【００７８】
【数５】
0003707259.tif 000006
【００７９】
なお、Ｇの色成分については、ゲイン調整が１／２５６（８ビットデータの場合）の精度で行われているので、左側画像Ｑ１及び右側画像Ｑ２の境界部分Ｃの画素データＧ１(i)，Ｇ２(i)（ｉ＝１，２，…numＧ）については、上記補正処理は行っていないが、Ｇの色成分についてもＲ，Ｂの色成分と同様の補正処理を行ってもよい。
【００８０】
（Ｃ）色調補正３
色調補正３は、色調補正２の変形例である。色調補正２は、例えばＲの色成分の画素データＲ１(i)のヒストグラムＨＲ１の平均値Ｒ１AVとＧの画素データＧ１(i)のヒストグラムＨＧ１の平均値Ｒ１AVとの差を画素データＲ１(i)に対するオフセット量δr1とするものであるが、色調補正３は、ヒストグラムＨＲ１，ＨＧ１の分布状況（中心位置と所定の幅）を加味して画素データＲ１(i)に対するオフセット量δr1を決定するものである。
【００８１】
色調補正３における画像データの補正処理は、以下の演算手順により行われる。
【００８２】
（ステップ１）
ヒストグラムＨＲ１，ＨＢ１，ＨＧ１，ＨＲ２，ＨＢ２，ＨＧ２の階級２０より小さい部分を除いた度数分布を用いて平均値Ｒ１AV，Ｂ１AV，Ｇ１AV，Ｒ２AV，Ｂ２AV，Ｇ２AVを算出する。平均値Ｒ１AV，Ｂ１AV，Ｒ２AV，Ｂ２AV，Ｇ１AV，Ｇ２AVは下記（１９）〜（２４）式により算出される。
【００８３】
【数６】
0003707259.tif 000007
【００８４】
（ステップ２）
下記（ａ）（ｂ）に定義する、Ｒ，Ｇ，Ｂの各色成分の画素データのヒストグラムＨＲ１，ＨＧ１，ＨＢ１，ＨＲ２，ＨＧ２，ＨＢ２の最大位置maxＲ１，maxＧ１，maxＢ１，maxＲ２，maxＧ２，maxＢ２と最小位置minＲ１，minＧ１，minＢ１，minＲ２，minＧ２，minＢ２とを算出し、各ヒストグラムの幅ＷＲ１，ＷＧ１，ＷＢ１，ＷＲ２，ＷＧ２，ＷＢ２を算出する。
【００８５】
(a) 最大位置maxＲ１，maxＧ１，maxＢ１、最小位置minＲ１，minＧ１，minＢ１、幅ＷＲ１，ＷＧ１，ＷＢ１
Ｒ，Ｇ，Ｂの各色成分の画素データＲ１(i)，Ｇ１(i)，Ｂ１(i)のヒストグラムＨＲ１，ＨＧ１，ＨＢ１において、階級０〜ｊの度数ｆJ1(j)（Ｊ＝Ｒ，Ｇ，Ｂ）の総和ＳＪ１(j)（＝ｆJ1(0)+ｆJ1(2)+…ｆJ1(j)）（Ｊ＝Ｒ，Ｇ，Ｂ）がＳＪ１(r)≧η・Ｋとなる最小のｒを最大位置maxＲ１，maxＧ１，maxＢ１とし、ＳＪ１(s)≧ζ・Ｋ（ζ＜η）となる最小のｓを最小位置minＲ１，minＧ１，minＢ１とし、幅ＷＲ１，ＷＧ１，ＷＢ１は、
ＷＲ１＝maxＲ１−minＲ１
ＷＧ１＝maxＧ１−minＧ１
ＷＢ１＝maxＢ１−minＢ１
とする。
【００８６】
(b) 最大位置maxＲ２，maxＧ２，maxＢ２、最小位置minＲ２，minＧ２，minＢ２、幅ＷＲ２，ＷＧ２，ＷＢ２
Ｒ，Ｇ，Ｂの各色成分の画素データＲ２(i)，Ｇ２(i)，Ｂ２(i)のヒストグラムＨＲ２，ＨＧ２，ＨＢ２において、階級０〜ｊの度数ｆJ2(j)（Ｊ＝Ｒ，Ｇ，Ｂ）の総和ＳＪ２(j)（＝ｆJ2(0)+ｆJ2(2)+…ｆJ2(j)）（Ｊ＝Ｒ，Ｇ，Ｂ）がＳＪ２(r)≧η・Ｋとなる最小のｒを最大位置maxＲ２，maxＧ２，maxＢ２とし、ＳＪ２(s)≧ζ・Ｋ（ζ＜η）となる最小のｓを最小位置minＲ２，minＧ２，minＢ２とし、幅ＷＲ２，ＷＧ２，ＷＧＢ２は、
ＷＲ２＝maxＲ２−minＲ２
ＷＧ２＝maxＧ２−minＧ２
ＷＢ２＝maxＢ２−minＢ２
とする。
【００８７】
但し、Ｋは境界部分ＣのＲ，Ｇの各色成分の画素データ数であり、η，ζは係数である。係数η，ζは、例えばＫ＝６３×１３９２画素の場合（図４において、Ｗ＝６３、Ｍ＝１３９２の場合）、η＝０．００２５，ζ＝０．０００２５に設定するとよい。
【００８８】
なお、（ａ）における最大位置maxＲ１，最小位置minＲ１，幅ＷＲ１の意義は、図１０に示すようになっている。すなわち、最大位置maxＲ１は、階級０〜ｒまでの度数ｆR1(j)を積算した積算値ＳＲ１(r)（図１０のハッチング及びクロスハッチングの部分の面積）がη・Ｋと等しくなるときの階級値ｒを示し、最小位置minＲ１は、階級０〜ｓ（＜ｒ）までの度数ｆR1(j)を積算した積算値ＳＲ１(s)（図１０のクロスハッチングの部分の面積）がζ・Ｋ（＜η・Ｋ）と等しくなるときの階級値ｓを示し、幅ＷＲ１は、階級値ｒと階級値ｓとの間隔を示している。（ａ）（ｂ）の最大位置maxＧ１，maxＢ１，maxＲ２，maxＧ２，maxＢ２、最小位置minＧ１，minＢ１，minＲ２，minＧ２，minＢ２及び幅ＷＧ１，ＷＢ１，ＷＲ２，ＷＧ２，ＷＢ２についても同様である。
【００８９】
（ステップ３）
Ｒの色成分のヒストグラムＨＲ１，ＨＲ２の幅ＷＲ１，ＷＲ２をそれぞれＧの色成分のヒストグラムＨＧ１，ＨＧ２の幅ＷＧ１，ＷＧ２に合わせるための係数ξR1，ξR2を、
ξR1＝ＷＧ１／ＷＲ１  …（２５）
ξR2＝ＷＧ２／ＷＲ２  …（２６）
の式により算出し、Ｂの色成分のヒストグラムＨＢ１，ＨＢ２の幅ＷＢ１，ＷＢ２をそれぞれＧの色成分のヒストグラムＨＧ１，ＨＧ２の幅ＷＧ１，ＷＧ２に合わせるための係数ξB1，ξB2を、
ξB1＝ＷＧ１／ＷＢ１  …（２７）
ξB2＝ＷＧ２／ＷＢ２  …（２８）
の式により算出する。
【００９０】
（ステップ４）
左側画像Ｑ１の境界部分ＣのＲ，Ｂの各色成分の画素データＲ１(i)，Ｂ１(i)のオフセット量δr1，δb1と右側画像Ｑ２の境界部分ＣのＲ，Ｂの各色成分の画素データＲ２(i)，Ｂ２(i)のオフセット量δr2，δb2とを下記式（２９）〜（３２）式により算出し、
δr1＝Ｇ１AV−ξR1・Ｒ１AV  …（２９）
δr2＝Ｇ２AV−ξR2・Ｒ２AV  …（３０）
δb1＝Ｇ１AV−ξB1・Ｂ１AV  …（３１）
δb2＝Ｇ２AV−ξB2・Ｂ２AV  …（３２）
これらのオフセット量δr1，δr2，δb1，δb2を用いて、下記（３３）〜（３６）式により画素データＲ１(i)，Ｒ２(i)，Ｂ１(i)，Ｂ２(i)を補正した画素データＲ１(i)′，Ｒ２(i)′，Ｂ１(i)′，Ｂ２(i)′を算出する。
【００９１】
【数７】
0003707259.tif 000008
【００９２】
なお、Ｇの色成分については、ゲイン調整が１／２５６（８ビットデータの場合）の精度で行われているので、画素データＧ１(i)，Ｇ２(i)（ｉ＝１，２，…numＧ）については、上記補正処理は行っていないが、Ｇの色成分についてもＲ，Ｂの色成分と同様の補正処理を行ってもよい。
【００９３】
（Ｄ）色調補正４
色調補正４は、上述した色調補正１と色調補正２又は色調補正３とを組み合わせたものである。色調補正２及び色調補正３の方法は、左側画像Ｑ１及び右側画像Ｑ２の両方が同じ色調に偏った場合でも境界部分での色段差を低減するとともに、その色調の偏りも補正するものであったが、例えば夕焼けシーン等のように色調が特定の色に偏差した画像に対しては、却って色調偏差の補正が意図しない色調や不自然な色調となり、画質劣化となる。
【００９４】
色調補正４は、色調に偏りのある画像であるか否かを判別し、色調に偏りのある場合は、色調補正１を適用し、色調に偏りのない場合に色調補正２又は色調補正３を適用するようにしたものである。
【００９５】
色調補正４における画像データの補正処理は、以下の演算手順により行われる。
（ステップ１）
色調補正２の（ステップ１）と同様に、ヒストグラムＨＲ１，ＨＧ１，ＨＢ１，ＨＲ２，ＨＧ２，ＨＢ２を作成し、上記（１）〜（４），（９），（１０）により各ヒストグラムの平均値Ｒ１AV，Ｇ１AV，Ｂ１AV，Ｒ２AV，Ｇ２AV，Ｂ２AVを算出する。
【００９６】
（ステップ２）
色調補正２の（ステップ２）と同様に、左側画像Ｑ１の境界部分ＣのＲの色成分の画素データＲ１(i)のオフセット量δr1と右側画像Ｑ２の境界部分ＣのＲの色成分の画素データＲ２(i)のオフセット量δr2とを上記（１１）〜（１４）式により算出する。
【００９７】
（ステップ３）
オフセット量δr1，δb1，δr2，δb2の絶対値のいずれかが所定の閾値ｐ1（例えば８ビットデータで１０程度の値）以上であれば、色調の偏差があると判別し、上述した色調補正１により色調補正（色の段差補正のみ）を行い、全てのオフセット量δr1，δb1，δr2，δb2の絶対値が所定の閾値ｐ1より小さければ、色調の偏差がないと判別し、上述した色調補正２又は色調補正３により色調補正（色の段差と色の偏差の補正）を行う。
【００９８】
（Ｅ）色調補正５
低輝度部の画素データはＳ／Ｎが低く、色調補正に関する情報が少ないので、中間階調部やハイライト部の画素データのみで色調補正を行った方が、視覚特性上、より大きい補正効果を得ることができる。すなわち、低輝度部の画素データを除去することによりヒストグラムの平均値がヒストグラムの最大度数を有する階級値に一致し易くなり、画像の大部分を示す画素情報によりオフセット量（すなわち、補正量）が決定されるので、補正効果をより向上させることができる。
【００９９】
色調補正５は、ヒストグラムを作成する際に低輝度部の画素データを除外し、平均値演算の際に度数の低い画素データを除外することにより補正効果を高めるようにしたもので、基本的には上述の色調補正４の演算方法の変形例である。
【０１００】
色調補正５における画像データの補正処理は、以下の演算手順により行われる。
（ステップ１）
左側画像Ｑ１及び右側画像Ｑ２の境界部分Ｃについて、所定の閾値ｑ（例えば８ビットデータで５０程度の値）よりもレベルの低い画素データを除外してＲ，Ｇ，Ｂの各色成分の画素データＲ１(i)，Ｇ１(i)，Ｂ１(i)，Ｒ２(i)，Ｇ２(i)，Ｂ２(i)のヒストグラムＨＲ１，ＨＧ１，ＨＢ１，ＨＲ２，ＨＧ２，ＨＢ２を作成する。各ヒストグラムＨＲ１〜ＨＢ２は［ｑ〜２５５］の階級ｊを有し、例えばＲの色成分のヒストグラムＨＲ１は、図１１に示すようになり、点線で示す階級［０〜q-1］の部分の度数ｆR1(j)は除外されている。
【０１０１】
（ステップ２）
階級［ｑ〜２５５］からなる各ヒストグラムＨＲ１，ＨＧ１，ＨＢ１，ＨＲ２，ＨＧ２，ＨＢ２において、所定の閾値ｃ以下の度数ｆR1(j)，ｆG1(j)，ｆB1(j)，ｆR2(j)，ｆG2(j)，ｆB2(j)を有する階級部分を除いてヒストグラムの平均値Ｒ１AV′，Ｇ１AV′，Ｂ１AV′，Ｒ２AV′，Ｇ２AV′，Ｂ２AV′を算出する。例えばヒストグラムＨＲ１においては、図１１に示すように、斜線で示す階級［ｑ〜ｔ］，［ｕ〜ｖ］の範囲の度数ｆR1(r)〜ｆR1(t)，ｆR1(u)〜ｆR1(v)を用いて、下記（３７）式により平均値Ｒ１AV′が算出される。
【０１０２】
【数８】
0003707259.tif 000009
【０１０３】
（ステップ３）
左側画像Ｑ１の境界部分のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)のオフセット量δr1，δb1と右側画像Ｑ２の境界部分Ｒ，Ｂの色成分の画素データＲ２(i)，Ｂ２(i)のオフセット量δr2，δb2とを、
δr1＝Ｇ１AV′−Ｒ１AV′…（３８）
δr2＝Ｇ２AV′−Ｒ２AV′…（３９）
δb1＝Ｇ１AV′−Ｂ１AV′…（４０）
δb2＝Ｇ２AV′−Ｂ２AV′…（４１）
の式により算出する。
【０１０４】
（ステップ４）
オフセット量δr1，δb1，δr2，δb2の絶対値のいずれかが所定の閾値ｐ2（例えば８ビットデータで０〜５０程度の値）以上であるか否かを判別する。
【０１０５】
オフセット量δr1，δb1，δr2，δb2の絶対値のいずれかが所定の閾値ｐ2以上であれば、オフセット量δr1，δb1，δr2，δb2を下記（４２）〜（４５）式により変更し、
δr1＝Ｇ２AV′−Ｒ１AV′／２…（４２）
δb1＝Ｇ２AV′−Ｂ１AV′／２…（４３）
δr2＝Ｇ１AV′−Ｒ２AV′／２…（４４）
δb2＝Ｇ１AV′−Ｂ２AV′／２…（４５）
全てのオフセット量δr1，δb1，δr2，δb2の絶対値が所定の閾値ｐ2より小さければ、オフセット量δr1，δb1，δr2，δb2は変更しない。
【０１０６】
（ステップ５）
ステップ４及びステップ５で設定されたオフセット量δr1，δb1，δr2，δb2のいずれかが所定の閾値ｐ1（例えば８ビットデータで１０程度の値）以上であれば、色調の偏差があると判別し、上述した色調補正１により色調補正を行い、全てのオフセット量δr1，δb1，δr2，δb2が所定の閾値ｐ1より小さければ、色調の偏差がないと判別し、上述した色調補正２又は色調補正３により補正を行う。
【０１０７】
（Ｆ）色調補正６
色調補正６は、上述の色調補正４の変形例である。色調補正４では、Ｒ，Ｂの各色成分のヒストグラムＨＲｉ，ＨＢｉ（ｉ＝１，２）の平均値ＲｉAV，ＢｉAV（ｉ＝１，２）とＧの色成分のヒストグラムＨＧｉの平均値ＧｉAV（ｉ＝１，２）との差が所定の閾値ｐ1（例えば８ビットデータで１０）を超えているか否かで色調の偏差を判断していたが、色調補正６では、Ｒ，Ｇ，Ｂの各色成分のヒストグラムＨＲｉ，ＨＢｉ，ＨＧｉ（ｉ＝１，２）の平均値ＲｉAV，ＢｉAV，ＧｉAV（ｉ＝１，２）の相互の差が所定の閾値ｐ3（例えば８ビットデータで５０）以上であるか否かで色調の偏差を判断をしている。
【０１０８】
また、色調補正４では、色調の偏差がない場合は、Ｒ，Ｂの各色成分のヒストグラムＨＲｉ，ＨＢｉの平均値ＲｉAV，ＢｉAVとＧの色成分のヒストグラムＨＧｉの平均値ＧｉAVとの差δri（＝ＧｉAV−ＲｉAV），δbi（＝ＧｉAV−ＢｉAV）（ｉ＝１，２）をオフセット量としていたが、色調補正６では、これらのオフセット量δr1，δr2，δb1，δb2の１／２を第２オフセット量γr1，γr2，γb1，γb2とし、色調補正１で算出されるオフセット量δr1(＝−ΔＲAV／２），δr2(＝ΔＲAV／２），δb1(＝−ΔＢAV／２），δb2(＝ΔＢAV／２）を第１オフセット量とし、第１オフセット量δr1，δr2，δb1，δb2と第２オフセット量γr1，γr2，γb1，γb2との加算値をオフセット量Δr1，Δr2，Δb1，Δb2としている。すなわち、色段差を補正するためのオフセット量を第１オフセット量とし、色偏差を補正するためのオフセット量を第２オフセット量とし、両オフセット量を加算することで、色段差と色偏差の両方が補正できるようにしている。
【０１０９】
なお、色調補正６における第２オフセット量γri，γbiをＲ，Ｂの各色成分のヒストグラムＨＲｉ，ＨＢｉの平均値ＲｉAV，ＢｉAVとＧの色成分のヒストグラムＨＧｉの平均値ＧｉAVとの差δri，δbiの１／２としているのは、境界部分の画素データのみで色調の偏差を判断するため、左右の画像全体での色調の偏差が反映されないことがあるので、色偏差を補正するための第２オフセット量を控え目にして合成画像の色偏差の補正が過剰にならないようにするためである。
【０１１０】
色調補正６における画像データの補正処理は、以下の演算手順により行われる。
（ステップ１）
色調補正２の（ステップ１）と同様に、ヒストグラムＨＲ１，ＨＧ１，ＨＢ１，ＨＲ２，ＨＧ２，ＨＢ２を作成し、上記（１）〜（４），（９），（１０）により各ヒストグラムの平均値Ｒ１AV，Ｇ１AV，Ｂ１AV，Ｒ２AV，Ｇ２AV，Ｂ２AVを算出する。
【０１１１】
（ステップ２）
左側画像Ｑ１の境界部分のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)の第１オフセット量δr1，δb1と右側画像Ｑ２の境界部分のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)の第１オフセット量δr2，δb2とを、
δr1＝（Ｒ２AV−Ｒ１AV）／２…（４６）
δb1＝（Ｂ２AV−Ｂ１AV）／２…（４７）
δr2＝（Ｒ１AV−Ｒ２AV）／２…（４８）
δb2＝（Ｂ１AV−Ｂ２AV）／２…（４９）
の式により算出する。
【０１１２】
また、左側画像Ｑ１の境界部分のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)の第２オフセット量γr1，γb1と右側画像Ｑ２の境界部分のＲ，Ｂの色成分の画素データＲ１(i)，Ｂ１(i)の第２オフセット量γr2，γb2とを、
γr1＝（Ｇ１AV−Ｒ１AV）／２…（５０）
γb1＝（Ｇ１AV−Ｂ１AV）／２…（５１）
γr2＝（Ｇ２AV−Ｒ２AV）／２…（５２）
γb2＝（Ｇ２AV−Ｂ２AV）／２…（５３）
の式により算出する。
【０１１３】
更に、オフセット量Δr1，Δb1，Δr2，Δb2を下記（５４）〜（５７）式により算出する。
【０１１４】
【数９】
0003707259.tif 000010
【０１１５】
（ステップ３）
Ｒ，Ｇ，Ｂの各色成分のヒストグラムの平均値Ｒ１AV，Ｇ１AV，Ｂ１AV，Ｒ２AV，Ｇ２AV，Ｂ２AVの相互の差の絶対値Δrg1，Δgb1，Δbr1，Δrg2，Δgb2，Δbr2を、
Δrg1＝｜Ｒ１AV−Ｇ１AV｜  …（５８）
Δgb1＝｜Ｇ１AV−Ｂ１AV｜  …（５９）
Δbr1＝｜Ｂ１AV−Ｒ１AV｜  …（６０）
Δrg2＝｜Ｒ２AV−Ｇ２AV｜  …（６１）
Δgb2＝｜Ｇ２AV−Ｂ２AV｜  …（６２）
Δbr2＝｜Ｂ２AV−Ｒ２AV｜  …（６２）
の式により算出し、絶対値Δrg1，Δgb1，Δbr1，Δrg2，Δgb2，Δbr2のいずれかが所定の閾値ｐ3（例えば８ビットデータで５０程度の値）以上であるか否かを判別する。
【０１１６】
絶対値Δrg1〜Δbr2のいずれかが閾値Ｐ3以上であれば、色調の偏差があると判別し、第１オフセット量δr1，δb1，δr2，δb2をオフセット量として色調補正を行う。すなわち、下記（６３）〜（６６）式により補正後の画素データＲ１(i)′，Ｂ１(i)′，Ｒ２(i)′，Ｂ２(i)′が算出される。なお、この色調補正は、上述の色調補正１（色段差のみの補正）に相当している。
【０１１７】
【数１０】
0003707259.tif 000011
【０１１８】
全ての絶対値Δrg1〜Δbr2が所定の閾値ｐ3より小さければ、色調の偏差がないと判別し、オフセット量Δr1，Δb1，Δr2，Δb2をオフセット量として色調補正を行う。すなわち、下記（６７）〜（６６）式により補正後の画素データＲ１(i)′，Ｂ１(i)′，Ｒ２(i)′，Ｂ２(i)′が算出される。
【０１１９】
【数１１】
0003707259.tif 000012
【０１２０】
なお、Ｇの色成分については、ゲイン調整が１／２５６（８ビットデータの場合）の精度で行われているので、左側画像Ｑ１及び右側画像Ｑ２の境界部分Ｃの画素データＧ１(i)，Ｇ２(i)（ｉ＝１，２，…numＧ）については、上記補正処理を行っていないが、Ｇの色成分についてもＲ，Ｂの色成分と同様の補正処理を行ってもよい。
【０１２１】
（Ｇ）色調補正７
色調補正７も上述の色調補正２の演算方法を変形したものである。色調補正２では画素データＲ１(j)，Ｒ２(j)，Ｂ１(j)，Ｂ２(j)にそれぞれオフセット量δr1，δr2，δb1，δb2を加算して色調補正するようにしていたが、色調補正７はオフセット量δr1，δr2，δb1，δb2が所定値ｐ4（例えば８ビットデータで２０程度の値）以下のときは、当該オフセット量δr1，δr2，δb1，δb2を算出値よりも小さくするように補正するものである。
【０１２２】
図１２は、算出されたオフセット量δr1，δr2，δb1，δb2を補正するテーブルの一例を示す図で、テーブル▲１▼は折線特性のものを示し、テーブル▲２▼は曲線特性のものを示している。なお、同図では２種類の特性を示しているが、これらの特性の形に限定されるのものではなく、連続的に変化する任意の形状の特性を用いることができる。
【０１２３】
テーブル▲１▼の折線特性は２本の直線をδi＝１０（ｉ＝ｒ，ｇ，ｂ）で連結した特性としたもので、下記（７１）式で表されるものである。また、テーブル▲２▼は放物線等の曲線で表されるものである。
【０１２４】
【数１２】
0003707259.tif 000013
【０１２５】
また、テーブル▲３▼はオフセット量δr1，δr2，δb1，δb2が上記（１１）〜（１４）式で算出されるものであり、色調補正２のケースを示している。テーブル▲４▼は、オフセット量δi（ｉ＝ｒ，ｇ，ｂ）が８ビットデータで１０より小さいときは、上記（１１）〜（１４）式による算出値を用いないで、色調補正１を適用するケース（すなわち、色調補正４のケース）を示している。
【０１２６】
なお、上述の色調補正１〜７では、左側画像Ｑ１及び右側画像Ｑ２の境界部分の画素データのみを用いて補正演算をしていたが、左側画像Ｑ１及び右側画像Ｑ２の全画素データを用いて補正演算を行うようにしてもよい。前者の方法は、画素データの総数が少ないので、処理時間の高速化が可能になるが、後者の方法は、画素データの総数が大い分、補正精度が向上する利点がある。
【０１２７】
また、上述の色調補正１〜７では、カラー画像がＲ，Ｇ，Ｂの色成分に分解されて撮像されるので、カラー画像の色調に寄与するＲ，Ｂの色成分の画像について補正を行い、境界部分の色段差や色調偏差を低減するようにしているが、一般に、カラー画像が複数の色成分の画像からなる場合は、色調に寄与する色成分の画像について、左側画像Ｑ１の画素データによるヒストグラムの平均値と右側画像Ｑ２の画素データによるヒストグラムの平均値とを合わせるようなオフセット量（色調補正１におけるオフセット量）を算出し、あるいは両画像Ｑ１，Ｑ２のそれぞれにおいて、全色成分の画素データによるヒストグラムの平均値を合わせるようなオフセット量（色調補正２におけるオフセット量）を算出し、これらのオフセット量を用いて対応する色成分の画素データを補正すれば、上述の色調補正１又は色調補正２と同様の効果を得ることができる。
【０１２８】
従って、左側画像Ｑ１と右側画像Ｑ２との相対的な色調のずれ方によっては、少なくとも１の色成分の画像について上述の補正処理を行えば、境界部分における色段差や色調偏差を低減する効果を得ることができる。
【０１２９】
図７に戻り、画像合成部１８７は、ＣＣＤ１２で撮像された左側画像Ｑ１とＣＣＤ１３で撮像された右側画像Ｑ２とを境界部分Ｃで貼り合わせて被写体全体の撮像画像Ｑを生成するものである。
【０１３０】
画像合成部１８７は、左側画像Ｑ１内の境界部分Ｃの画像（以下、左側境界画像Ｑc1という。）と右側画像Ｑ２内の境界部分Ｃの画像（以下、右側境界画像Ｑc2という。）とを用いて左側画像Ｑ１から右側画像Ｑ２に亘って濃度が連続的に変化するような合成用の境界部分Ｃの画像（すなわち、貼合部分の濃度変化が目立たない画像。以下、境界画像Ｑcという。）を生成し、この境界画像Ｑcと境界画像Ｑc1，Ｑc2を除く左側画像Ｑ１及び右側画像Ｑ２とを合成して撮像画像Ｑを生成する。この撮像画像Ｑの合成処理は、Ｒ，Ｇ，Ｂの各色成分毎に行われる。そして、画像合成部１８５で生成された被写体全体の撮像画像Ｑを構成する画像データは、画像データ補間部１８８に入力され、画素データの補間処理が行われる。
【０１３１】
画像合成部１８７は、例えば図１３に示すように、境界線Ｌが縦方向にジクザクとなるように左側境界画像Ｑc1と右側境界画像Ｑc2とを単純に貼り合わせる合成法で画像を合成する。
【０１３２】
なお、同図（ａ）は、境界線Ｌを鋸波状にしたものであり、同図（ｂ）は、境界線Ｌを正弦波状にしたものである。境界線Ｌの縦方向のジグザグ形状は変化が多いほど濃度の急激な変化が緩和されるので、好ましくは規則性がなく、変化の多いものにするとよい。なお、境界線Ｌの縦方向のジグザク形状は図１３の例の限定されるものではなく、直線状でなければ、種々の形状のものを採用することができる。
【０１３３】
画像合成部１８７は、予め設定された境界線Ｌの縦方向のジグザグ形状が生成されるように、画像合成部１８７内に設けられたメモリに記憶された左側境界画像Ｑc1及び右側境界画像Ｑc2を構成する画像データから各ライン毎に所定の貼合位置までの一部の画像データをそれぞれ読出し、これらを単純に繋ぎ合わせて境界画像Ｑcを生成する。
【０１３４】
今、境界画像Ｑcの横方向の画素数をｍ個とし、境界画像Ｑc1，Ｑc2の横方向の画素位置のアドレスｐを、図１４に示すように、左端側から右端側にｐ＝１，２，…ｍとする。第ｉ行目の画像データの貼合位置（左側境界画像Ｑc1の境界線Ｌに隣接する画素のアドレス）をｒ(i)とすると、境界画像Ｑcを構成する画素位置（ｉ，ｐ）の画像データＤc(i,p)は、
１≦ｐ≦r(i)    Ｄc(i,p)＝Ｄc1(i,p)
r(i)＜ｐ≦ｍ    Ｄc(i,p)＝Ｄc2(i,p)
となる。但し、Ｄc1(i,p)は左側境界画像Ｑc1を構成する画素位置(i,p)の画像データ、Ｄc2(i,p)は右側境界画像Ｑc2を構成する画素位置(i,p)の画像データである。
【０１３５】
画像データ補間部１８８は、Ｒ，Ｇ，Ｂの各色成分毎に、データの不足している画素位置の画像データを補間処理により補充するものである。また、出力Ｉ／Ｆ１８９は、画像データ補間部１８８から出力される撮像画像Ｑを構成する画像データをＨＤカード１０に出力するためのインターフェースである。
【０１３６】
ＣＣＤ１２，１３はベイヤー方式の単板式カラーＣＣＤを用いているので、Ｒ，Ｇ，Ｂの各色成分の画像は、画像データの存在しない画素位置を有し（図５，図１５参照）、色成分間の画素密度は一致していない。画像データ補間部１８８は、Ｒ，Ｇ，Ｂの各色成分の画像の画素密度を一致させて撮像画像のカラーＣＲＴへの表示やプリンタでの印字を可能にするものである。
【０１３７】
すなわち、画像データ補間部１８８は、Ｒの色成分の画像については、偶数列の画像データと偶数行／奇数列の交差位置の画像データとを補充し、Ｂの色成分の画像については、奇数列の画像データと奇数行／偶数列の交差位置の画像データとを補間する。また、Ｇの色成分の画像については、奇数行／奇数列の交差位置及び偶数行／偶数列の交差位置の画像データを補間する。
【０１３８】
Ｒ，Ｇ，Ｂの各色成分の画像は、例えば図１５に示す処理手順に従い上述の画像データの補間処理が行われる。
【０１３９】
なお、図１５において、Ｒ，Ｇ，Ｂの各色成分の画像データ２５Ｒ，２５Ｇ，２５Ｂにおいて、マトリックス内の「Ｒ」，「Ｇ」，「Ｂ」の記号は、その画素位置に画像データが存在することを示し、空白の画素位置は画像データが存在しないこと（補間すべき画素位置であること）を示している。また、画像データ２５Ｒ′，２５Ｇ′，２５Ｂ′は補間後の画像データを示し、マトリックス内の「Ｒ′」，「Ｇ′」，「Ｂ′」の記号は、補間された画像データが存在していることを示している。また、色差データ２６Ｒは、補間後のＧの色成分の画像データ２５Ｇ′を用いてＲの色成分の画像データ２５Ｒを色差データに変換したものであり、色差データ２６Ｒ′は、色差データ２６Ｒを予め設定された補間フィルタ２７を用いて補間処理したものである。同様に、色差データ２６Ｂは、補間後のＧの色成分の画像データ２５Ｇ′を用いてＢの色成分の画像データ２５Ｂを色差データに変換したものであり、色差データ２６Ｂ′は、色差データ２６Ｂを予め設定された補間フィルタ２８を用いて補間処理したものである。そして、マトリックス内の「Ｃｒ」，「Ｃｂ」の記号は、色差データが存在していることを示し、「Ｃｒ′」，「Ｃｂ′」の記号は、補間された色差データが存在していることを示している。
【０１４０】
Ｇの色成分の画像データ２５Ｇについては、補間すべき画素位置（２ζ＋１，２ξ＋１），（２ζ＋２，２ξ＋２）の画像データがその画素位置に隣接する画素位置の４個の画像データのうち、最大値と最小値とを除いた２個の画像データの平均値で補間される。例えば画素位置（２，２）の画像データＧ(2,2)は、隣接する画像データＧ(1,2)，Ｇ(2,3)，Ｇ(3,2)，Ｇ(2,1)のうち、Ｇ(1,2)，Ｇ(2,3)が最大値又は最小値であれば、（Ｇ(3,2)＋Ｇ(2,1)）／２で算出される。なお、画素位置（１，１）のように隣接する画像データが２個となる周辺の画素位置では、その２個の画像データの平均値により、また、画素位置（３，１）のように隣接する画像データが３個となる画素位置では、最大値又は最小値を除く２個の画像データの平均値によりその画素位置の画像データが補間される。
【０１４１】
また、Ｒ，Ｂの色成分の画像データ２５Ｒ，２５Ｂについては、補間後のＧの色成分の画像データ２５Ｇ′の画像データを用いてＲ，Ｂの色データが色差データＣｒ，Ｃｂに変換され、この色差データ２６Ｒ，２６Ｂに対して予め設定された所定の補間フィルタ２７，２８により補間処理が行われる。そして、補間後の色差データ２６Ｒ′，２６Ｂ′を補間後のＧの色成分の画像データ２５Ｇ′の画像データを用いてＲ，Ｂの色データに再変換して補間後のＲ，Ｂの色成分の画像データ２５Ｒ′，２５Ｂ′が求められる。
【０１４２】
例えばＲの色成分の画像データ２５Ｒの画素位置（２，２）の補間処理は、まず、画素位置（１，１），（１，３），（３，１），（３，３）において、その画素位置の画像データＲ(1,1)，Ｒ(1,3)，Ｒ(3,1)，Ｒ(3,3)から補間後のＧの色成分の画像データＧ(1,1)′，Ｇ(1,3)′，Ｇ(3,1)′，Ｇ(3,3)′を減算して色差データＣｒ(1,1)，Ｃｒ(1,3)，Ｃｒ(3,1)，Ｃｒ(3,3)が生成される。続いて、これらの色差データＣｒ(1,1)，Ｃｒ(1,3)，Ｃｒ(3,1)，Ｃｒ(3,3)に補間フィルタ２７でフィルタリング処理を行うことにより画素位置（２，２）の色差データＣｒ(2,2)が補充される。なお、本実施の形態に係る補間フィルタ２７では、Ｃｒ(1,1)，Ｃｒ(1,3)，Ｃｒ(3,1)，Ｃｒ(3,3)に対するフィルタ係数が「１」であるので、色差データＣｒ(2,2)は、Ｃｒ(2,2)＝Ｃｒ(1,1)＋Ｃｒ(1,3)＋Ｃｒ(3,1)＋Ｃｒ(3,3)となる。続いて、補間後の色差データＣｒ(2,2)に補間後のＧの色成分の画像データＧ(2,2)′を加算してＲの色データからなる画像データＲ(2,2)′が生成される。
【０１４３】
画像データ補間部１８８で補間処理が行われたＲ，Ｇ，Ｂの各色成分の画像データ２５Ｒ′，２５Ｇ′，２５Ｂ′は、出力Ｉ／Ｆ１８９を介してＨＤカード１０に転送され、記録される。
【０１４４】
次に、デジタルカメラ１の撮影制御について、図１６のフローチャートを用いて説明する。
【０１４５】
メインスイッチをオンにし、デジタルカメラ１が起動すると、撮影可能状態となる（＃２のループ）。撮影者によりシャッタボタン９が操作され、撮影指示の信号が入力されると（＃２でＹＥＳ）、測距部２０により被写体距離のデータが取り込まれ、このデータから撮影レンズ２の焦点制御値が算出される（＃４）。続いて、測光部２１により被写体輝度のデータが取り込まれ（＃６）、この被写体輝度のデータを用いて露出制御値（絞り値とシャッタスピード）が算出される（＃８）。
【０１４６】
続いて、算出された絞り値のデータが絞り駆動制御部１６に出力され、絞り１４の開口量の調節が行われるとともに、算出されたシャッタスピードのデータがＣＣＤ駆動制御部１７に出力される（＃１０）。また、算出された焦点制御値がレンズ駆動制御部１７に出力され、撮影レンズ２１のフォーカシングレンズを移動して焦点調節が行われる（＃１２）。
【０１４７】
続いて、ＣＣＤ１２，１３を所定時間だけ駆動して（シャッタスピードに相当する時間だけ積分して）被写体の撮像が行われる（＃１４）。ＣＣＤ１２，１３で撮像された左側画像Ｑ１，右側画像Ｑ２を構成する画像信号はＲ，Ｇ，Ｂの色成分毎にアナログ信号処理部１８１で所定の信号処理が施された後、Ａ／Ｄ変換部１８２で画像データに変換された後、画像メモリ１８３に記憶される。
【０１４８】
画像メモリ１８３に記憶された左側画像Ｑ１，右側画像Ｑ２を構成する画像データは、Ｒ，Ｇ，Ｂの色成分毎に予め設定された所定のシェーディング補正テーブルを用いてシェーディング補正部１８４でシェーディング補正が行われる（＃１６）。続いて、ＷＢ補正部１８５で、図略のＷＢセンサから出力されるＷＢゲインに基づきホワイトバランスの調整が行われた後（＃１８）、色調補正部１８６で上述した色調補正１〜色調補正７のいずれかの補正方法により所定の補正演算を行って境界部分Ｃの画像の色調補正が行われる（＃２０）。
【０１４９】
続いて、画像合成部１８７で上述した境界画像生成方法により左側画像Ｑ１の左側境界画像Ｑc1及び右側画像Ｑ２の右側境界画像Ｑc2の画像データを用いて、境界部分Ｃでの濃度変化を目立たなくした合成用の境界画像Ｑcの画像データが生成され（＃２２）、更にこの境界画像Ｑcを構成する画像データと左側画像Ｑ１及び右側画像Ｑ２の境界画像Ｑc1，Ｑc2を除いた部分の画像を構成する画像データとを合成して被写体全体の撮像画像Ｑを構成する画像データが生成される（＃２４）。
【０１５０】
そして、この撮像画像Ｑを構成する画像データは、画像データ補間部１８８で上述した補間処理により画像データの不足した画素位置の画像データが補充された後（＃２６）、出力Ｉ／Ｆ１８９を介してＨＤカード１０に出力され、記録される（＃２８）。これにより１枚の撮像動作は完了し、次の撮像動作を行うべくステップ＃２に戻る。
【０１５１】
なお、上記実施の形態では、２枚のＣＣＤを用いて被写体光像Ａを分割撮像していたが、３枚以上のＣＣＤを用いて被写体光像Ａを分割撮像する場合についても本発明を適用することができる。
【０１５２】
更に、上記実施の形態では、デジタルスチルカメラについて説明したが、本発明は、デジタルビデオカメラにおいても適用することができる。
【０１５３】
また、上記実施の形態では、カメラに画像合成装置を組み込んだ場合について説明したが、本発明は、コンピュータシステム等により画像合成装置を構築し、この画像合成装置で複数枚の撮影画像を貼合合成する場合にも適用することができる。この場合は、図１７に示すように、画像補正プログラム及び画像合成プログラムを、フロッピーディスク、磁気テープ等の磁気記録媒体やＣＤ−ＲＯＭ、光ディスクカード、光磁気ディスク等の光記録媒体等の外部記録媒体３３に記憶しておき、外部記憶装置３２を介してコンピュータ本体３１に読み込むことにより、或いはインターネット等のネットワークを介してコンピュータ本体３１に読み込むことにより、コンピュータシステムによる画像合成装置３０を構築することができる。
【０１５４】
【発明の効果】
以上説明したように、本発明によれば、境界部分に互い重複する部分画像を有する複数の色成分の画像からなる第１のカラー画像と第２のカラー画像とを当該境界部分で貼り合わせるように合成する画像合成方法又はこの方法を用いた画像合成装置であって、第１，第２のカラー画像の境界部分の画像について、それぞれ色成分毎に当該境界部分を構成する画素データの平均値を算出し、この平均値を用いて、少なくとも１の色成分について、第１，第２のカラー画像の当該色成分の画素データに対する第１，第２のオフセット量をそれぞれ算出し、また色調の偏りが存在しているかを判別し、その判別結果に基づいて上記第１のオフセット量及び上記第２のオフセット量を変更し、第１のオフセット量若しくは変更後の第１のオフセット量を第１のカラー画像の対応する色成分の画素データに加算するとともに、第２のオフセット量若しくは変更後の第２のオフセット量を第２のカラー画像の対応する色成分の画素データに加算して第１，第２のカラー画像の色調を補正するようにしたので、第１，第２のカラー画像の境界部分に色段差が生じている場合にも画像合成において当該色段差を低減することができる。また、色調の偏りに応じて色調の補正を行うことができる。
【０１５５】
特に、第１，第２のカラー画像がＲ，Ｇ，Ｂの各色成分の画像からなる場合、Ｒ，Ｂの各色成分の画像について、第１のカラー画像の境界部分の画素データによるヒストグラムの平均値と第２のカラー画像の境界部分の画素データによるヒストグラムの平均値の中心の値と両平均値との差からなるオフセット量をそれぞれ第１，第２のカラー画像の境界部分の画素データに加算して第１のカラー画像の境界部分の画素データによるヒストグラムと第２のカラー画像の境界部分の画素データによるヒストグラムとを略一致させるようにしたので、第１，第２のカラー画像の境界部分に生じている色調の段差を好適に低減することができる。
【０１５６】
また、第１，第２のカラー画像のそれぞれにおいて、Ｇの色成分の画素データによるヒストグラムの平均値とＲ，Ｂの各色成分の画素データによるヒストグラムの平均値との差からなるオフセット量をそれぞれＲ，Ｂの各色成分の画素データに加算してＲ，Ｂの各色成分の画素データによるヒストグラムの平均値をＧの色成分の画素データによるヒストグラムの平均値に略一致するようにしたので、第１，第２のカラー画像の境界部分に生じている色段差を低減できるとともに、色調の偏差も是正することができる。
【図面の簡単な説明】
【図１】本発明に係る画像合成装置を備えたデジタルカメラの一実施の形態を示す斜視図である。
【図２】本発明に係る画像合成装置を備えたデジタルカメラに設けられた撮像光学系の概略構成を示す図である。
【図３】撮像画面内の被写体光像とカラー撮像素子の撮像面に結像される被写体光像の部分光像との関係を示す図である。
【図４】カラー撮像素子の画素数と撮像画面の画素数との関係を示す図である。
【図５】カラー撮像素子の撮像面に設けられたベイヤー方式の色フィルタの配列を示す図である。
【図６】本発明に係る画像合成装置を備えたデジタルカメラのブロック構成の一実施の形態を示す図である。
【図７】画像処理部内のブロック構成を示す図である。
【図８】左側画像及び右側画像の境界部分の色調が略同一の場合の画素データのヒストグラムを示し、（ａ）はＲの色成分の画素データのヒストグラムの一例を示す図、（ｂ）はＢの色成分の画素データのヒストグラムの一例を示す図である。
【図９】左側画像及び右側画像の境界部分の色調がずれている場合の画素データのヒストグラムを示し、（ａ）はＲの色成分の画素データのヒストグラムの一例を示す図、（ｂ）はＢの色成分の画素データのヒストグラムの一例を示す図である。
【図１０】Ｒの色成分の画素データＲ１(j)のヒストグラムにおける最大位置maxＲ１，最小位置minＲ１及び幅ＷＲ１を示す図である。
【図１１】所定の閾値以上の度数分布を用いて平均値を算出する場合の算出方法を説明するためのヒストグラムの一例を示す図である。
【図１２】色調補正７におけるオフセット量の補正方法を説明するための図である。
【図１３】境界画像作成方法の一例を示す図で、（ａ）は境界を鋸波状とした図であり、（ｂ）は境界を正弦波状とした図である。
【図１４】境界部分の画像データの横方向のアドレスを示す図である。
【図１５】Ｒ，Ｇ，Ｂの各色成分の画像の画像データの補間処理手順を示す図である。
【図１６】本発明に係る画像合成装置を備えたデジタルカメラの撮影制御を示すフローチャートである。
【図１７】コンピュータシステムにより画像合成装置を構成した図である。
【符号の説明】
１  デジタルカメラ
２  撮影レンズ
３  測光窓
４  投光窓
５  受光窓
６  ファインダー対物窓
７  カード挿入口
８  カード取出ボタン
９  シャッタボタン
１０  ＨＤカード
１１  光路分離部
１２，１３  カラー撮像素子
１４  絞り
１５  レンズ駆動制御部
１６  絞り駆動制御部
１７  ＣＣＤ駆動制御部
１８  画像処理部
１８１  アナログ信号処理部
１８２  Ａ／Ｄ変換部
１８３  画像メモリ
１８４  シェーディング補正部
１８５  ＷＢ補正部
１８６  色調補正部（第１，第２の演算手段、補正手段）
１８７  画像合成部（画像合成手段）
１８８  画像データ補間部
１８９  出力Ｉ／Ｆ
１９  カード駆動制御部
２０  測距部
２１  測光部
２２  ＲＯＭ
２３  ＲＡＭ
２４  制御部
２７，２８  補間フィルタ
３０  画像合成装置
３１  コンピュータ本体
３２  外部記憶装置
３３  外部記録媒体
【図１】
0003707259.tif 000014
【図２】
0003707259.tif 000015
【図３】
0003707259.tif 000016
【図４】
0003707259.tif 000017
【図５】
0003707259.tif 000018
【図６】
0003707259.tif 000019
【図７】
0003707259.tif 000020
【図８】
0003707259.tif 000021
【図９】
0003707259.tif 000022
【図１０】
0003707259.tif 000023
【図１１】
0003707259.tif 000024
【図１２】
0003707259.tif 000025
【図１３】
0003707259.tif 000026
【図１４】
0003707259.tif 000027
【図１５】
0003707259.tif 000028
【図１６】
0003707259.tif 000029
【図１７】
0003707259.tif 000030