(57)【要約】【課題】複数の撮像デバイスのばらつきによる画質劣化を低減するとともに、高速に高解像度画像を合成することができる画像合成装置を提供する。【解決手段】同一の被写体を撮像した複数の画像データを入力する画像入力手段と、画像入力手段によって入力した複数の画像データを合成することにより合成画像データを生成する画像合成手段と、複数の画像データのうちの１つを基準画像データとして選択し、基準画像データと合成画像データのそれぞれに対して、分割領域の画質を比較して、合成画像データの画質が向上している分割領域が含まれている合成処理範囲を選択する合成処理範囲選択手段と、合成処理範囲選択手段によって選択された合成処理範囲の合成画像データに対して、合成処理範囲外の基準画像データを合成することにより高解像度化画像を生成する高解像度画像生成手段とを備える。【選択図】図１
2010034964.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を撮像した複数の画像データを入力する画像入力手段と、
前記画像入力手段によって入力した複数の画像データを合成することにより合成画像データを生成する画像合成手段と、
前記複数の画像データのうちの１つを基準画像データとして選択し、前記基準画像データと前記合成画像データのそれぞれに対して、分割領域の画質を比較して、前記合成画像データの画質が向上している分割領域が含まれている合成処理範囲を選択する合成処理範囲選択手段と、
前記合成処理範囲選択手段によって選択された前記合成処理範囲の前記合成画像データに対して、前記合成処理範囲外の前記基準画像データを合成することにより高解像度化画像を生成する高解像度画像生成手段と
を備えることを特徴とする画像合成装置。
【請求項２】
前記分割領域は、画像の周辺を除外した領域であることを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記複数の画像データの合成は、画素のシフト量に基づいて重ね、かつ、重ねた座標系上にある画素間の距離による重み値を乗算して新たな画素を生成することを特徴とする請求項１または２に記載の画像合成装置。
【請求項４】
前記画像は、モノクロ画像またはカラー画像であることを特徴とする請求項１から３のいずれかに記載の画像合成装置。
【請求項５】
画像入力手段と、画像合成手段と、合成処理範囲選択手段と、高解像度画像生成手段と
を備える画像合成装置における画像合成方法であって、
前記画像入力手段が、同一の被写体を撮像した複数の画像データを入力する画像入力ステップと、
前記画像合成手段が、前記画像入力ステップによって入力した複数の画像データを合成することにより合成画像データを生成する画像合成ステップと、
前記合成処理範囲選択手段が、前記複数の画像データのうちの１つを基準画像データとして選択し、前記基準画像データと前記合成画像データのそれぞれに対して、分割領域の画質を比較して、前記合成画像データの画質が向上している分割領域が含まれている合成処理範囲を選択する合成処理範囲選択ステップと、
高解像度画像生成手段が、前記合成処理範囲選択ステップによって選択された前記合成処理範囲の前記合成画像データに対して、前記合成処理範囲外の前記基準画像データを合成することにより高解像度化画像を生成する高解像度画像生成ステップと
を有することを特徴とする画像合成方法。
【請求項６】
複数の画像データを合成することにより高解像度画像を出力する画像合成装置上のコンピュータに画像合成処理を行わせるための画像合成プログラムであって、
同一の被写体を撮像した複数の画像データを入力する画像入力ステップと、
前記画像入力ステップによって入力した複数の画像データを合成することにより合成画像データを生成する画像合成ステップと、
前記複数の画像データのうちの１つを基準画像データとして選択し、前記基準画像データと前記合成画像データのそれぞれに対して、分割領域の画質を比較して、前記合成画像データの画質が向上している分割領域が含まれている合成処理範囲を選択する合成処理範囲選択ステップと、
前記合成処理範囲選択ステップによって選択された前記合成処理範囲の前記合成画像データに対して、前記合成処理範囲外の前記基準画像データを合成することにより高解像度化画像を生成する高解像度画像生成ステップと
をコンピュータに行わせることを特徴とする画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、画像合成方法及び画像合成プログラムに関する。
【背景技術】
【０００２】
昨今、高精細の映像を得るために高精細カメラの登場が望まれている。しかしながら、高精細カメラに利用される高解像度の撮像デバイスは、その製造の難しさ故、高価であるという問題がある。そこで、安価な低解像度の撮像デバイスを複数使った多眼カメラを用い、撮像デバイスそれぞれにおいて得られた複数の画像を合成することにより高解像度画像を得る試みがなされている。図８は、多眼カメラを使って高解像度画像を合成する手順を示す図である。図８において、３台のカメラ５１、５２、５３により構成する多眼カメラは、ほぼ同一の方向を向いており、十分に離れた被写体４をそれぞれ撮像し、３つの画像Ｐ１、Ｐ２、Ｐ３を出力する。３台のカメラ５１、５２、５３は、同一の画角を有しているが、各画素レベルではお互いにずれるように光軸が調整されている。画像合成部６は、撮像された３つの画像Ｐ１、Ｐ２、Ｐ３それぞれの画素レベルのずれを利用して、画素と画素の間に新しく画素を生成して、見かけ上の画素数を増やして高解像度化することにより、高解像度化された合成画像７を出力する。
【０００３】
図８に示すように、画素レベルでのずれのある画像を複数用い、これらの複数の画像を合成することにより高解像度画像を得る先行技術として、非特許文献１等に記載された技術が知られている。
【非特許文献１】Superresolution images reconstructed from aliased images（P.Vandewalle他，２００３年）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、多眼カメラを構成する複数の撮像デバイスは、それぞれ光学レンズや光電変換デバイスの取り付けにばらつきがあるため、各撮像デバイスで撮像される画像中に発生する歪に差異が生じる。図９は、２つの撮像デバイスによって得られた画像に発生した歪みの様子を示す説明図である。図９（ａ）は、歪みが発生しなかった画像を示し、図９（ｂ）は、周囲に歪みが発生した画像を示している。このように、２つの撮像デバイスによって得られた画像に発生した歪みに差異がある場合、非特許文献１などの高解像度化手法を用いて合成処理を実行すると、図９（ｃ）に示すように、歪のある合成画像となってしまう。一般的にレンズによる歪は、中心（光軸）から遠ざかるほど大きくなり、ばらつきも大きくなるため、図９に示すように合成した画像は中心付近ではよく一致して高解像度化されるが、周辺部分には、１画素以上のずれが発生して、高解像度化できないばかりか、画質が劣化してしまう。特に画像の周囲部分（図９（ｄ）に拡大して示す）においては、座標系の不一致が発生して、高解像度を図るために行った画像合成によって得られた画像の画質が逆に劣化してしまうという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、複数の撮像デバイスの歪みのばらつきによる画質劣化を低減するとともに、高速に高解像度画像を合成することができる画像合成装置、画像合成方法及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、同一の被写体を撮像した複数の画像データを入力する画像入力手段と、前記画像入力手段によって入力した複数の画像データを合成することにより合成画像データを生成する画像合成手段と、前記複数の画像データのうちの１つを基準画像データとして選択し、前記基準画像データと前記合成画像データのそれぞれに対して、分割領域の画質を比較して、前記合成画像データの画質が向上している分割領域が含まれている合成処理範囲を選択する合成処理範囲選択手段と、前記合成処理範囲選択手段によって選択された前記合成処理範囲の前記合成画像データに対して、前記合成処理範囲外の前記基準画像データを合成することにより高解像度化画像を生成する高解像度画像生成手段とを備えることを特徴とする。
【０００７】
本発明は、前記分割領域は、画像の周辺を除外した領域であることを特徴とする。
【０００８】
本発明は、前記複数の画像データの合成は、画素のシフト量に基づいて重ね、かつ、重ねた座標系上にある画素間の距離による重み値を乗算して新たな画素を生成することを特徴とする。
【０００９】
本発明は、前記画像は、モノクロ画像またはカラー画像であることを特徴とする。
【００１０】
本発明は、画像入力手段と、画像合成手段と、合成処理範囲選択手段と、高解像度画像生成手段とを備える画像合成装置における画像合成方法であって、前記画像入力手段が、同一の被写体を撮像した複数の画像データを入力する画像入力ステップと、前記画像合成手段が、前記画像入力ステップによって入力した複数の画像データを合成することにより合成画像データを生成する画像合成ステップと、前記合成処理範囲選択手段が、前記複数の画像データのうちの１つを基準画像データとして選択し、前記基準画像データと前記合成画像データのそれぞれに対して、分割領域の画質を比較して、前記合成画像データの画質が向上している分割領域が含まれている合成処理範囲を選択する合成処理範囲選択ステップと、高解像度画像生成手段が、前記合成処理範囲選択ステップによって選択された前記合成処理範囲の前記合成画像データに対して、前記合成処理範囲外の前記基準画像データを合成することにより高解像度化画像を生成する高解像度画像生成ステップとを有することを特徴とする。
【００１１】
本発明は、複数の画像データを合成することにより高解像度画像を出力する画像合成装置上のコンピュータに画像合成処理を行わせるための画像合成プログラムであって、同一の被写体を撮像した複数の画像データを入力する画像入力ステップと、前記画像入力ステップによって入力した複数の画像データを合成することにより合成画像データを生成する画像合成ステップと、前記複数の画像データのうちの１つを基準画像データとして選択し、前記基準画像データと前記合成画像データのそれぞれに対して、分割領域の画質を比較して、前記合成画像データの画質が向上している分割領域が含まれている合成処理範囲を選択する合成処理範囲選択ステップと、前記合成処理範囲選択ステップによって選択された前記合成処理範囲の前記合成画像データに対して、前記合成処理範囲外の前記基準画像データを合成することにより高解像度化画像を生成する高解像度画像生成ステップとをコンピュータに行わせることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数枚の画像を合成して高解像度画像を得る画像合成装置において、画像を合成する場合に高解像度化に寄与する画像中の領域の画素を選択して画像合成を行い、高解像度化に寄与しない画素は画像合成を行わないようにしたため、撮像デバイスのばらつきに起因する画質劣化を低減することができるという効果が得られる。また、画像を合成する場合に高解像度化に寄与する画像中の領域の画素のみを選択して画像合成を行うようにしたため、画像合成処理量を低減することができ、高速に高解像度画像を生成することができるという効果も得られる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態による画像合成装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１１、１２は、光学レンズや光電変換素子などで構成する撮像デバイスを備えるカメラである。ここでは、２台のカメラ１１、１２によって多眼カメラを構成する例を図示したが、多眼カメラを構成するカメラは３台以上であってもよい。符号２は、複数のカメラ１１、１２から出力される２系統の画像データをそれぞれ入力し、２枚の画像データを合成して、高解像度画像のデータを出力する画像合成装置である。
【００１４】
符号２１は、２台のカメラ１１、１２が出力する画像データを入力して、２系統それぞれの画像データを保持する画像入力部である。符号２２は、画像入力部２１に保持されている２枚の画像データを合成して１枚の合成画像データを出力する画像合成部である。符号２３は、画像合成部２２において合成された合成画像データに基づいて、合成対象の画像データにおいて合成処理を行うべき範囲（領域）を選択する合成処理範囲選択部である。符号２４は、合成処理範囲選択部２３において選択された合成処理を行うべき範囲のみについて、２系統の画像データを合成するとともに、合成処理を行うべき範囲以外は、入力された画像データを使用することにより高解像度画像を生成して出力する高解像度画像生成部である。
【００１５】
以下の説明においては、２台のカメラ１１、１２によって撮像した２枚の画像を合成するものとし、カメラ１１、１２によって得られる画像の大きさがＶＧＡサイズ（幅６４０画素、高さ４８０画素）であり、合成した後の高解像度画像の幅及び高さがそれぞれ２倍のＱｕａｄＶＧＡサイズ（幅１２８０画素、高さ９６０画素）であるものとして説明する。
【００１６】
次に、図２を参照して、図１に示す画像合成装置２の動作を説明する。まず、画像入力部２１は、カメラ１１、１２によって撮像した２系統のほぼ同一画角の画像データ（各画素の画素値列で構成するデータ）を入力し（ステップＳ１）、２枚の画像データを内部に保持する（内部の記憶装置に記憶する）。続いて、画像合成部２２は、画像入力部２１に保持されている２枚の画像データを読み出して、２枚の画像データのうち、いずれか一方を基準画像の画像データとする。これは、一例として、カメラ１１、１２のいずれか一方を予め基準画像を撮像するカメラと決めておき、この基準画像を撮像するカメラが出力した画像データを基準画像とする。ここでは、カメラ１１が基準画像を撮像するカメラであるものとして説明する。
【００１７】
次に、画像合成部２２は、基準画像データ（カメラ１１の画像データ）の各画素値と他方の画像データ（カメラ１２の画像データ）の各画素値との差の合計が最小となるＸＹシフト量を求める（ステップＳ２）。ここでいうＸＹシフト量とは、他方の画像が基準画像に対してＸＹ（縦横）それぞれの方向にどれだけ移動しているかの値（単位；画素）である。例えば、ＸＹシフト量を（−１０，−１０）〜（＋１０，＋１０）の範囲で０．１画素ずつ変化させ、それぞれ画素値の差（絶対値）の合計値を求め、この合計値を最小にするようなＸＹシフト量を算出する。ここで０．１画素とは、実際の画素と画素の間を１０等分した点に位置する画素であり、その画素値は周囲の実際の画素値からバイリニア法やバイキュービック法などの補間計算によって求めることができる。
【００１８】
次に、画像合成部２２は、２枚（基準画像と他方の画像）の画像データの座標系を２倍に拡大することにより座標系をＱｕａｄＶＧＡサイズの座標系に変換する。そして、画像合成部２２は、先に求めたＸＹシフト量に応じて、拡大した座標系を重ねる（ステップＳ３）。新たに生成するべき高解像度画像の座標系としては基準画像データを拡大した座標系を用いる。
【００１９】
次に、画像合成部２２は、ステップＳ３において重ねた座標系上にある画素の画素値との距離による重み値を乗算して、生成するべき高解像度画像の座標系の各画素値を求める（ステップＳ４）。このステップＳ２〜Ｓ４の処理動作によって、２枚（基準画像と他方の画像）の画像データの全範囲について合成処理が行なわれて合成画像データが生成されたことになる。
【００２０】
ここで、図３を参照して、図２に示すステップＳ４の処理動作を詳細に説明する。図３は、ステップＳ３において重ねた座標系上にある画素の画素値との距離による重みを乗算して、生成するべき高解像度画像の座標系の各画素値を求める動作を示す図である。ここでは、画像１が基準画像であり、画像２が他方の画像であるものとして説明する。図３（ａ）は画像１と画像２の２つの座標系をＸＹシフト量（Ｘシフト量とＹシフト量）に従って重ねた様子を示している。図中の○印は画像１の画素であり、図中の△印は画像２の画素であり、画像１の隣り合う画素と画素の間に新たな画素を生成することにより高解像度化する。
【００２１】
図３（ｂ）は、新たな画素（●印）生成する処理動作を示している。対象画素の周辺にある画像１の画素値と画像値２の画素にそれぞれ重み値ｗｉ（ｉは０〜８）を乗算して新たに生成するべき画素の画素値を求める。重み値ｗｉは参照する画素と生成する画素の距離で決定される値で、バイリニア法やバイキュービック法などの補間計算手法と同等である。画像１の画素と、新しく生成した画素をあわせることで、２倍の解像度に高解像度化された画像が得られることになる。合成に用いる画像の数が３以上の場合は、各画像の画素についてｗｉを計算し、補間計算を行って画素値を求めればよい。この処理は、合成に用いる各画像の画素のズレが１画素より小さいことが要求される。１画素以上のズレでは、全く異なる画素を合成に用いてしまい、補間を行うことで間違った画素値を求めてしまい、結果的に画質が劣化してしまうためである。
【００２２】
図２に戻り、次に、合成処理範囲選択部２３は、ステップＳ２〜Ｓ４において画像合成部２２が生成した合成画像を入力し、この合成画像の画質劣化具合に応じて合成処理範囲を選択する（ステップＳ５）。ここでいう合成処理範囲とは、所定の大きさを有する長方形の領域であって、その中心が画像の中心と一致するような領域である。図４、図５を参照して、この長方形領域の求め方を説明する。図４に示すように（Ａ）の合成前の基準画像と（Ｂ）の合成後の合成画像を同数の分割数になるように（図４に示す例では、横８分割×縦６分割）格子状のブロック（分割領域）に分け、それぞれの格子ブロックについて画素値の空間周波数を求める。
【００２３】
図４において、（ａ）〜（ｄ）は、格子ブロックの空間周波数分布のグラフを表しており、横軸が空間周波数、縦軸がエネルギーである。高精細化された格子ブロックでは、合成前の格子ブロックよりも高い周波数の成分を持ち、高精細化されていないブロックでは、合成前の格子ブロックよりも高い周波数成分を持たないため、この空間周波数の解析結果に基づいて、各格子ブロックが高精細化されたか否かを判定することが可能である。このように判定を行い、各格子ブロックについて高精細化されたか否かをマークする。図４（Ｃ）においては高精細化された格子ブロックを○、高精細化されていない格子ブロックを×で表している。
【００２４】
図５は、全ての格子ブロックに対して○（高精細化された）または×（高精細化されていない）でマークされた後に、合成処理範囲である長方形領域を選択する手順を示す図である。図５（Ａ）は判定結果を示す図である。合成処理範囲である長方形領域は、中心の格子ブロックを含むように格子ブロック単位の大きさで、所定の大きさ以上で、できるだけ大きな長方形であって、長方形内の○のマークの割合ができるだけ高くなるような長方形領域（複数の格子ブロックからなる分割領域）を選択する。一例として周辺部分を除外した種々の長方形領域を任意の数だけ用意して、その内で長方形領域内の○のマークの割合が最大のものを選択する。図５に示す例では、（ａ）に示す領域や（ｃ）に示す領域よりも（ｂ）に示す領域の方が○のマークの割合が高いため、（ｂ）に示すような長方形領域を選択する。合成処理範囲選択部２３は、ここで選択した合成処理範囲である長方形領域の情報を高解像度画像生成部２４に対して出力する。
【００２５】
図２に戻り、次に、高解像度画像生成部２４は、画像入力部２１に保持されている新たな２枚の画像データを読み出して合成処理を行い、高解像度の合成画像を生成して出力する（ステップＳ６）。このとき、高解像度画像生成部２４は、合成処理範囲選択部２３から出力される合成処理範囲の情報を用いて、画像データの合成処理を行う。ここで、図６を参照して、合成処理範囲の情報を用いて、画像データの合成処理を行う動作を説明する。図６は、合成処理範囲の情報を用いて、画像データの合成処理を行う動作を示す図である。
【００２６】
図６に示す（ａ）、（ｂ）は、それぞれカメラ１１、１２によって撮像して得られた画像データであり、（ａ）は、カメラ１１で撮像した基準画像、（ｂ）は、カメラ１２で撮像した他方の画像である。図６に示す２枚の画像データ（ａ）、（ｂ）において、斜線で示す部分が画像合成に用いる領域である。すなわち、基準画像（カメラ１１の画像）は全ての領域が合成対象領域となり、他方の画像（カメラ１２の画像）は、合成処理範囲選択部２３から出力される合成処理範囲で特定される領域が合成対象領域となる。高解像度画像生成部２４は、この２つの合成対象領域内の画素値を使用して画像合成処理を行う。このとき、合成処理範囲内の画素については、基準画像と他方の画像の２枚の画像を合成した画像（部分合成画像データ）を適用し、合成処理範囲外の画素については、基準画像を拡大処理した画像を適用する。すなわち、基準画像について補間計算を行って、ＶＧＡサイズからＱｕａｄＶＧＡサイズに拡大することにより必要とされる画素の画素値を求める。または、隣接する画素の画素値と同一の画素値を必要とされる画素の画素値とする。
【００２７】
これにより、図６（ｃ）に示す合成画像データが得られることになる。この合成画像データは、合成処理範囲選択部２３において選択された合成処理範囲内は、２枚の画像データを合成することにより、高解像度化が図られ、合成処理範囲外は、合成処理を行うことなく基準画像の画素を用いた画像となる。これにより、画像の歪みの差異がある２枚の画像を合成することにより、逆に画質が劣化してしまうことを防止することができ、従来の画像合成手法に比べ、出力される合成画像の画質を向上させることができる。
【００２８】
図２に戻り、次に、高解像度画像生成部２４は、引き続き合成処理を行うか否かを判定し（ステップＳ７）、処理を継続するのであれば、ステップＳ６に戻り、合成処理を繰り返す。引き続き合成処理を行うか否かの判定は、例えば、画像合成装置２は、動作をＯＮ／ＯＦＦする撮像ボタンを備え、撮像ボタンがＯＮである間において、ステップＳ７の判定結果をＹＥＳ（継続）と判定し、撮像ボタンがＯＦＦである場合は、ＮＯ（終了）と判定する。これにより、合成処理範囲の選択後の画像合成処理は、選択した合成処理範囲内の合成処理のみが行われることになるため、毎回、２枚の画像データの合成処理を繰り返し行う従来の手法に比べ、大幅に処理量を削減でき、処理時間を短縮することができるとともに、高解像度画像生成部２４の処理負荷を低減することができる。
【００２９】
次に、前述した本発明の実施形態による画像合成装置の変形例を説明する。
図１に示す画像合成部２２及び高解像度画像生成部２４は、複数枚の画像を用いて高解像度画像を合成する手段であれば何でもよく、非特許文献１に示す画像合成方法に限るものではない。いわゆる超解像技術であれば、なんでも利用することができる。例えば、画素補間の重み計算方法としてランチョス（Lanczos）法を用いてもよし、補間ではなく、正規化畳み込み演算（Normalized Combolution）と呼ばれる推定演算を用いてもよい。多くの手法は、画質が向上すると、処理量も増加する傾向にあり、用途によって高画質か、低処理量かの最適な手法を用いればよい。
【００３０】
また、カメラ１１、１２が備える撮像デバイスはモノクロであってもよいしカラーであってもよい。例えば、ＲＧＢカラーフィルタを装着したカラーカメラであれば、入力した各々の画像データをＲ（赤）、Ｇ（緑）、Ｂ（青）成分に分解し、それぞれについて複数の画像データを用いて高解像度画像を合成する基本的な方法のほか、Ｇ成分についてのみ複数画像を用いた合成とし、Ｒ、Ｂ成分については、基準画像をそのまま用いて、再び各成分を合成することで高解像度画像を得るようにしてもよい。また、カラーの画像データをＹ（輝度）、Ｃｂ（色差）、Ｃｒ（色差）成分に分解した場合でも、同様にＹ成分のみ複数画像を用いた合成とし、Ｃｂ、Ｃｒ成分については、基準画像をそのまま用いるようにしてもよい。なぜなら、人の目が色情報よりも輝度情報をよく判別できるという特性をもっており、この方法による画像は、Ｒ、Ｂ、Ｃｒ、Ｃｂについての解像度を特に高めなくても全体として高解像度画像として認識されるからである。このように構成することで、処理量を削減しながらカラー画像を得ることができる。
【００３１】
また、前述した説明においては、合成処理範囲選択部２３が選択する合成処理範囲は中心から所定の大きさを有する長方形として説明したが、これに限るものではない。すなわち、中心以外から始まる長方形であってもよいし、長方形以外の図形、例えば円形であってもよいし、前述の説明で用いた○マークの格子ブロックの全てを合成処理範囲としてもよい。
【００３２】
また、合成処理範囲選択部２３に、人の顔など、特徴的な画像領域を検出する手段を備え、画像中に、特徴的な画像領域が検出できた場合は、その領域を合成処理範囲としてもよい。図７を参照して、例えば顔を検出する処理について説明する。図７に示す（ａ）は人の顔を含む画像を白と黒で表現した２値化画像である。（ｂ）はマッチングパターンであり、同じく白と黒の２値化画像である。（ｂ）のマッチングパターンを（ａ）の画像中で左右上下に座標を動かしながら、それぞれ画素値差分の絶対値を求める。マッチングパターン内の差の合計が所定の値を下回ったとき、その座標には人の顔が存在すると認識し、人の顔を検出することができる。この手法のほかパターンを拡大・回転・縮小したり、多値画像によるマッチングなどを用いればさらに精度良く検出できる。このように構成すれば、用途にあわせて木目細かく高画質化を行う範囲を選択することができる。
【００３３】
また、合成処理範囲選択部２３が選択する合成処理範囲は中心からある大きさを持った領域の外の範囲としてもよい。この合成処理範囲選択方法は、撮像デバイスの特性を考慮したものである。一般的な光学レンズを用いて撮像することにより得られた画像は中心部分（光軸近傍）の画質が比較的よく、周辺ほど画質が悪くなる。このため、中心部分は高画質化を行う必要がなく、一方、周辺部分で高画質化を行う必要がある撮像系に応用することができる。
【００３４】
また、前述した説明では、合成処理範囲選択部２３が行う合成処理範囲の選択は画像合成装置２が起動するたびに行われる処理動作であったが、図示しない合成処理範囲保存手段を備え、一度選択された合成処理範囲の情報を合成処理範囲保存手段に保存し、次回以降に画像合成装置２が起動するときは、合成処理範囲保存手段に保存しておいた合成処理範囲の情報を読み込んで利用して、高解像度画像生成部２４が画像合成処理を行うようにしてもよい。このように構成することにより、画像合成装置２の起動時に、速やかに画像合成処理を開始することができるため、操作性を向上させることができる。
【００３５】
さらに、一度選択した合成処理範囲の情報は、合成処理範囲データとして装置の外部の装置に出力し、使用するときに、外部の装置から合成処理範囲の情報を読み込んで利用してもよい。このように構成すれば、撮像条件に合わせた合成処理範囲データを複数保存しておくことができ、それらを条件に合わせて選択して再利用することで、条件が変更になっても合成処理範囲の選択処理を省略することができるようになるほか、これらデータを条件によらず意図的に選択して、各々のデータを使った合成処理の結果を確認できるようになる。
【００３６】
また、前述した説明においては、合成処理範囲の選択に用いる画質劣化具合の判定方法として合成した画像の空間周波数成分を調べる方法を用いたが、合成処理範囲選択部２３は、さらに予め用意された基準画像を入力し、この基準画像とステップＳ２〜Ｓ４で得られた合成画像との比較を行うことで劣化を判断してもよい。具体的には、２つの画像を細かい領域に分割し、各領域でＰＳＮＲ値（Peak Signal to Noise Ratio；基準画像と評価対象の画像の歪みの比率を対数で表した値）を求める。そして、求められたＰＳＮＲ値の平均値などを使って閾値を決定し、あるいは予め決定しておいた閾値以上のＰＳＮＲ値を持つ領域を合成処理範囲とすればよい。このような構成にすれば、画質劣化の判断として、撮像する画像の影響を受けにくくなり、より効果的な合成処理範囲の選択を行うことができる。
【００３７】
また、合成処理範囲選択部２３は、所定のチャートを撮像した画像を処理する構成でもよい。所定のチャートは、例えば、解像度チャートやマスメチャートである。解像度チャートとは、それを撮像することによって、撮像系の解像能力を測定できるように作られたチャートである。解像度チャートを所定の条件で撮像し、合成画像の解像度を調べることで、画質の劣化を詳しく調べることができる。マスメチャートとは格子や市松模様のチャートである。マスメチャートを所定の条件で撮像し、格子の交点・線の位置や歪みを調べることで、画質の劣化を調べることができる。このように所定のチャートを用いる方法であれば、実際の被写体を撮像しないので、条件によらず、合成処理範囲の選択処理を安定させることができる。
【００３８】
また、合成処理範囲選択部２３において、３枚以上の画像から合成処理範囲を選択するようにしてもよい。この場合、全ての画像の組み合わせについて、前述した合成処理範囲選択の処理を行い、最も効果が高い画像の組み合わせを合成処理範囲とする。このようにすれば、著しく合成に寄与する、または寄与しない画像が存在していても適当な合成処理範囲を選択することができる。
【００３９】
また、合成処理範囲選択部２３は、図示しないカウンタ（計数手段）を備え、処理を行うたびにカウントを行い、カウント値に応じて合成処理範囲を決めてもよい。具体的には、カウンタは０、１などの繰り返しカウンタであり、カウント値が１のときは、基準画像以外の全ての画像を合成処理選択としない、すなわち、基準画像をそのまま出力する構成としてもよい。このように構成することで、例えば、画像合成装置２において１秒当たり、複数枚の動画像を生成することができる場合、１枚おきに高画質化されることになる。このような動画像が１秒間に充分な枚数表示されると、錯覚によって全体的に高画質になったように観測される。このように構成することで、画像合成装置２を動画カメラとして用いた場合に処理量を低減することができる。
【００４０】
なお、より高画質な画像を生成するために、カメラ１１、１２内に備える撮像デバイスのパラメータを変更してもよい。ここでいうパラメータとは合焦や絞り、画角などであり、可変レンズを用いた場合はそのパラメータも含まれる。これらを変更する方法としては、種々のパラメータの組み合わせのうち、全てまたは一部を用いて撮像を行い、それぞれについて合成を行い、その中からもっとも良いパラメータを選択する方法がある。また、例えば絞りが画像の明るさに影響するなど、パラメータが撮像する画像にどのように影響するかがわかっている場合であって、その影響を画像から測定する手段があれば、改善するようにパラメータを順次調整する、フィードバック制御方法を用いても良い。
【００４１】
以上説明したように、複数枚の画像を合成して高解像度画像を得る画像合成装置において、画像を合成する場合に高解像度化に寄与する画像中の領域の画素を選択して画像合成を行い、高解像度化に寄与しない画素は画像合成を行わないようにしたため、撮像デバイスのばらつきに起因する画質劣化を低減するとともに、画像合成処理量を低減し、高速に高解像度画像を生成することができる。
【００４２】
なお、図１に示す画像合成部２２、合成処理範囲選択部２３及び高解像度画像生成部２４の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを画像合成装置２に内蔵するコンピュータシステムに読み込ませ、実行することにより画像合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ等のソフトウェアや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００４４】
本発明による画像合成装置は、動画や静止画を撮像する多眼の電子カメラに応用することができ、特に複数の撮像デバイスで撮像した画像を合成し高精細な画像を高速に合成する装置に利用することできる。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す画像合成装置２の動作を示すフローチャートである。
【図３】複数の画像を合成することにより高解像度画像を生成する動作を示す説明図である。
【図４】合成画像が高精細化されたか否かを判定する動作を示す説明図である。
【図５】合成処理範囲を選択する動作を示す説明図である。
【図６】合成処理範囲を使用して、画像を合成する動作を示す説明図である。
【図７】顔検出処理に用いるマッチングパターンの一例を示す説明図である。
【図８】多眼カメラを用いて高解像度画像を生成する処理動作を示す説明図である。
【図９】高解像度化手法を用いた画像合成による画質劣化の一例を示す説明図である。
【符号の説明】
【００４６】
１１、１２・・・カメラ、２・・・画像合成装置、２１・・・画像入力部、２２・・・画像合成部、２３・・・合成処理範囲選択部、２４・・・高解像度画像生成部
【図１】
2010034964.tif 000003
【図２】
2010034964.tif 000004
【図３】
2010034964.tif 000005
【図４】
2010034964.tif 000006
【図５】
2010034964.tif 000007
【図６】
2010034964.tif 000008
【図７】
2010034964.tif 000009
【図８】
2010034964.tif 000010
【図９】
2010034964.tif 000011