(57)【要約】【課題】複数枚の画像を用いて出力画像を生成する場合に、複数枚の画像に、動体が映っていることに起因して生じる出力画像の不自然さを低減する。【解決手段】複数の入力画像どうしの位置関係を検出し、入力画像の画素の画素値と、位置関係に基づく位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、出力画像の画素の画素値を求める。その際、ステップＳ１０３において、出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定し、ステップＳ１０４において、出力画像の画素が動き画素であるかどうかの判定結果に基づいて、補間関数の高域通過特性を調整する。本発明は、例えば、ディジタルスチルカメラ等に適用できる。【選択図】図２５
2008028763.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力画像から１つの出力画像を生成する画像処理装置において、
画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出手段と、
前記入力画像の画素の画素値と、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、前記出力画像の画素の画素値を求める画素値算出手段と、
前記出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定する判定手段と、
前記出力画像の画素が動き画素であるかどうかの判定結果に基づいて、前記補間関数の高域通過特性を調整する調整手段と
を備える画像処理装置。
【請求項２】
前記判定手段は、位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記出力画像の画素が動き画素であるかどうかを判定するのに用いる判定領域として、位置合わせ後の入力画像の画素のうちの、前記判定領域内の画素の画素値に基づいて、前記出力画像の画素が動き画素であるかどうかを判定する
請求項１に記載の画像処理装置。
【請求項３】
位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求める影響パラメータ算出手段をさらに備え、
前記画素値算出手段は、前記入力画像の画素の画素値、前記補間関数、及び前記影響パラメータを用いて、前記出力画像の画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項４】
複数の入力画像から１つの出力画像を生成する画像処理方法において、
画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出するステップと、
前記入力画像の画素の画素値と、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、前記出力画像の画素の画素値を求めるステップと、
前記出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定する判定ステップと、
前記出力画像の画素が動き画素であるかどうかの判定結果に基づいて、前記補間関数の高域通過特性を調整するステップと
を含む画像処理方法。
【請求項５】
複数の入力画像から１つの出力画像を生成する画像処理を、コンピュータに実行させるプログラムにおいて、
画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出するステップと、
前記入力画像の画素の画素値と、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、前記出力画像の画素の画素値を求めるステップと、
前記出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定する判定ステップと、
前記出力画像の画素が動き画素であるかどうかの判定結果に基づいて、前記補間関数の高域通過特性を調整するステップと
を含む画像処理を、コンピュータに実行させるプログラム。
【請求項６】
複数の入力画像から１つの出力画像を生成する画像処理装置において、
画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出手段と、
前記入力画像の画素の画素値、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数、及び位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを用いて、前記出力画像の画素の画素値を求める画素値算出手段と、
位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求める影響パラメータ算出手段と
を備える画像処理装置。
【請求項７】
複数の入力画像から１つの出力画像を生成する画像処理方法において、
画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出するステップと、
前記入力画像の画素の画素値、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数、及び位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを用いて、前記出力画像の画素の画素値を求めるステップと、
位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求めるステップと
を含む画像処理方法。
【請求項８】
複数の入力画像から１つの出力画像を生成する画像処理を、コンピュータに実行させるプログラムにおいて、
画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出するステップと、
前記入力画像の画素の画素値、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数、及び位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを用いて、前記出力画像の画素の画素値を求めるステップと、
位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求めるステップと
を含む画像処理を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、ディジタルスチルカメラ等において、複数枚の入力画像を用いた補間によって、１枚の出力画像を生成する場合に、入力画像に、動いている被写体である動体が映っていることに起因して生じる出力画像の不自然さを低減することができるようにする画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば、ディジタルスチルカメラなどで手持ちで撮影する場合において、光量が足りないために、露光時間を長くせざるを得ないときには、手振れによって、ディジタルスチルカメラで撮影された画像がぶれた画像になることがある。このようなぶれた画像が得られるのを回避するために、手振れの影響を受けない程度に短い露光時間で撮影した複数枚の暗い画像を、いわば重ね合わせることにより、ぶれのない画像を得る方法がある（例えば、特許文献１を参照）。
【０００３】
すなわち、特許文献１に記載の方法では、ディジタルスチルカメラにおいて、時間的に連続して複数回の撮影が行われ、これにより、時間的に連続した複数枚の撮影画像を複数枚の入力画像として得る。さらに、その複数枚の撮影画像のうちの１枚を基準画像として、その基準画像に対する複数枚の撮影画像それぞれの全体の動きが求められ、その動きに基づいて、複数枚の撮影画像の位置合わせが行われる。そして、位置合わせ後の複数枚の撮影画像を重ね合わせる(合成)ことで、１枚の画像（出力画像）が求められる。
【０００４】
図１は、複数枚の撮影画像が２枚の撮影画像である場合の、出力画像を求める方法を示している。
【０００５】
図１において、２枚の撮影画像P1とP2は、ディジタルスチルカメラで連続して撮影された撮影画像であり、手振れなどにより被写体の位置がずれている。
【０００６】
いま、２枚の撮影画像P1とP2のうちの、例えば、撮影画像P1を基準画像とすると、その基準画像に対する撮影画像P1とP2それぞれの動きが求められる。そして、その動きに基づいて、２枚の撮影画像P1とP2に映っている被写体が重なるように、撮影画像P1とP2の位置合わせが行われ、その位置合わせ後の撮影画像P1とP2を重ね合わせることにより、出力画像Poutが求められる。
【０００７】
なお、上述の場合には、複数枚の撮影画像を、短い露光時間で撮影することとしたが、複数枚の撮影画像は、適正露出で撮影しても良い。複数枚の撮影画像を、適正露出で撮影し、上述のように重ね合わせる場合には、高S/N(Signal to Noise ratio)の出力画像を得ることができる。
【０００８】
ところで、上述のように、複数枚の撮影画像を重ね合わせることにより、１枚の出力画像を得る場合においては、その複数枚の撮影画像に、動いている被写体である動体が映っていることがある。
【０００９】
そして、複数枚の撮影画像に、動いている被写体である動体が映っている場合に、動体部分の画素値と、その動体が動くことによって見え隠れする背景部分の画素値との差が大きいと、出力画像に、ジッパノイズと呼ばれる粒状のノイズや偽色が現れ、その結果、出力画像が不自然な画像となることがある。ここで、背景（部分）とは、画像中の、動体が映っている部分以外の部分を意味する。
【００１０】
図２は、複数枚の撮影画像を重ね合わせることにより求めた出力画像を示している。
【００１１】
図２の出力画像を求めるのに用いた複数枚の撮影画像は、道路を自動車が通過している場面を、一定の時間間隔で連続して複数回撮影することにより得られた撮影画素であり、図２の出力画像には、移動している自動車が一定間隔で映っている。
【００１２】
図３は、図２の出力画像の一部を拡大した拡大画像を示している。
【００１３】
図３の拡大画像においては、ジッパノイズが、特に、エッジ近辺に目立って現れている。
【００１４】
以上のように、動体が映っている複数枚の撮影画像を重ね合わせることにより得られる出力画像に、ジッパノイズ（さらには、偽色）が現れるのは、以下のような原理による。
【００１５】
すなわち、上述したように、複数枚の撮影画像の位置合わせを行い、その位置合わせ後の複数枚の撮影画像を重ね合わせることで、１枚の出力画像を求める出力画像の生成を行う場合においては、位置合わせ後の複数枚の撮影画像の画素の位置が、必ずしも、出力画像の画素の位置に一致するとは限らない。
【００１６】
このため、いま、出力画像の画素のうちの、画素値を求めようとする画素を、注目画素ということとすると、位置合わせ後の複数枚の撮影画像の重ね合わせは、位置合わせ後の複数枚の撮影画像の画素（以下、適宜、撮影画素ともいう）のうちの、注目画素の位置に近い位置にある撮影画素の画素値を用いて、注目画素の画素値を補間することによって行われる。
【００１７】
注目画素の画素値の補間の方法としては、例えば、注目画素の位置に近い位置にある１以上の撮影画素の画素値をそのまま加算する単純加算を行う方法や、注目画素の位置に近い位置にある１以上の撮影画素の画素値と、補間関数とを用いて補間を行う方法がある。
【００１８】
ここで、補間関数は、補間に用いる撮影画素の、注目画素からの相対的な位置（補間に用いる画素と注目画素との距離）に応じて変化する関数であり、例えば、１次式で表されるリニア関数（線形関数）や、キュービック関数等が用い得られる。なお、上述の単純加算は、補間に用いる撮影画素の（相対的な）位置にかかわらず、値が1の関数を補間関数として用いることと等価である。
【００１９】
いま、複数枚の撮影画像の撮影に用いられたディジタルスチルカメラの撮像素子として、例えば、ベイヤ配列の撮像素子が採用されていることとすると、その撮像素子から得られる撮影画像の各画素は、図４に示す画素値を有する。
【００２０】
すなわち、図４は、ベイヤ配列の撮像素子から得られる撮影画像（以下、適宜、ベイヤ画像ともいう）を示している。
【００２１】
ベイヤ画像では、各画素が、R(Red)信号、G(Green)信号、又はB(Blue)信号のうちの１つの色信号(色成分)を画素値として有し、さらに、ある画素と、その画素の上下左右それぞれに隣接する画素とは、異なる色信号を画素値として有している。
【００２２】
いま、複数枚の撮影画素として、２枚のベイヤ画像を用いて、出力画像の生成を行うこととする。さらに、ベイヤ画像である２枚の撮影画素の位置合わせを行った結果、その位置合わせ後の２枚の撮影画素のうちの一方の撮影画素が、他方の撮影画素に対して、横（左右）方向に１画素分だけずれ、かつ、縦（上下）方向に１画素分だけずれた位置にあることとする。
【００２３】
さらに、補間関数として、例えば、式（１）で表されるリニア関数を採用することとする。
【００２４】
【数１】
2008028763.tif 000003
・・・（１）
【００２５】
ここで、式（１）において、zは、注目画素の位置を基準とした、撮影画素の横方向又は縦方向の位置（注目画素の位置を原点としたxy座標系における、撮影画素のx座標又はy座標）を表す。
【００２６】
また、式（１）において、aは、式0<aを満たす定数であり、定数aとしては、例えば、式0<a≦2を満たす範囲の値の中から適切な値が用いられる。なお、ここでは、説明を簡単にするため、定数aは1とする。
【００２７】
図５及び図６は、ベイヤ画像である２枚の撮影画素の位置合わせ後のある１ラインの画素の画素値と、その位置合わせ後の２枚の撮影画素、及び式（１）で表される補間関数f(z)を用いた補間によって生成された出力画像の画素の画素値とを示している。
【００２８】
すなわち、図５上から１番目は、位置合わせ後の２枚の撮影画素のうちの１枚目の撮影画像P1の画素の画素値を示しており、図５上から２番目は、２枚目の撮影画像P2の画素の画素値を示している。
【００２９】
上述したように、位置合わせ後の２枚の撮影画像P1とP2のうちの一方の撮影画像の画素は、他方の撮影画像の画素に対して、横方向と縦方向のそれぞれに１画素分だけずれた位置にある。このため、図５においては、位置合わせ後の１枚目の撮影画像P1の画素の位置に対して、位置合わせ後の２枚目の撮影画像P2の画素の位置が、１画素分だけずれている。
【００３０】
なお、図５及び図６では、画素値として、R,G,B信号の３つの色信号のうちの、例えば、G信号だけを図示してある。また、ベイヤ画像である２枚の撮影画像P1及びP2の画素のうちの、G信号を有する画素を、以下、適宜、G画素という。
【００３１】
ベイヤ画像の１ラインには、図４に示したように、G画素が、１画素おきに現れる。そして、位置合わせ後の１枚目の撮影画像P1の画素の位置に対して、位置合わせ後の２枚目の撮影画像P2の画素の位置は、１画素分だけずれている。このため、図５上から１番目と２番目とでは、G画素が１画素おきに配置されており、さらに、図５上から２番目のG画素の位置は、図５上から１番目のG画素に対して、１画素分だけずれている。
【００３２】
図５上から３番目は、位置合わせ後の２枚の撮影画像P1及びP2と、式（１）の補間関数f(z)とを用いた補間によって生成された出力画像Poutの画素値を示している。
【００３３】
２枚の撮影画像P1及びP2に映っている被写体が動いていない場合においては、位置合わせ後の撮影画像P1のG画素と、そのG画素に近い、位置合わせ後の撮影画像P2のG画素には、同一の被写体が映っているため、位置合わせ後の撮影画像P1のG画素と、そのG画素に近い、位置合わせ後の撮影画像P2のG画素との画素値（G信号）は、ほぼ同様の値となる。
【００３４】
そして、いま、２枚の撮影画像P1及びP2のうちの、図５に示したある１ラインの画素だけに注目すると、上述したように、式（１）の補間関数f(z)の定数aが1であるため、そのような補間関数f(z)を用いた注目画素のG信号の補間に用いられる撮影画素は、位置合わせ後の２枚の撮影画像P1及びP2のG画素のうちの、注目画素の位置からの横方向距離が1未満の範囲にあるG画素、つまり、注目画素から最も近い位置にある１つのG画素だけである。
【００３５】
以上のように、注目画素のG信号の補間に用いられる撮影画素は、位置合わせ後の２枚の撮影画像P1及びP2のG画素のうちの、注目画素から最も近い位置にある１つのG画素のみであるが、図５においては、出力画像Poutのある局所的な小領域r内の画素の近くにある、位置合わせ後の撮影画像P1のG画素のG信号と、位置合わせ後の撮影画像P2のG画素のG信号とは、ほぼ同様の値となっている。
【００３６】
このため、出力画像Poutの局所的な小領域r内の複数の画素のG信号を生成する（求める）ための補間は、その複数の画素のいずれについても、位置合わせ後の撮影画像P1及びP2のG画素のうちの、ほぼ同様の値のG信号を用いて行われるので、図５上から３番目に示すように、出力画像Poutの局所的な小領域r内の複数の画素のG信号は、いずれも、ほぼ同様の値になる。
【００３７】
一方、図６は、２枚の撮影画像P1及びP2に映っている被写体が動いている場合の、位置合わせ後の２枚の撮影画像P1及びP2のある１ラインの画素の画素値と、その位置合わせ後の２枚の撮影画像P1及びP2、並びに式（１）で表される補間関数f(z)を用いた補間によって生成された出力画像の画素の画素値とを示している。
【００３８】
すなわち、図６上から１番目は、位置合わせ後の２枚の撮影画素のうちの１枚目の撮影画像P1の画素の画素値を示しており、図６上から２番目は、２枚目の撮影画像P2の画素の画素値を示している。
【００３９】
図６においても、図５の場合と同様に、図６上から１番目と２番目とでは、G画素が１画素おきに配置されており、さらに、図６上から２番目のG画素の位置は、図６上から１番目のG画素に対して、１画素分だけずれている。
【００４０】
図６上から３番目は、図６上から１番目の１枚目の撮影画像P1、及び図６上から２番目の２枚目の撮影画像P2と、式（１）の補間関数f(z)とを用いた補間によって生成された出力画像Poutの画素値を示している。
【００４１】
上述したように、図６では、２枚の撮影画像P1及びP2に映っている被写体が動いており、このため、位置合わせ後の撮影画像P1のG画素と、そのG画素に近い、位置合わせ後の撮影画像P2のG画素とには、異なる被写体(例えば、動いている被写体と、その被写体が動くことによって見えるようになった背景)が映ってしまい、その結果、位置合わせ後の撮影画像P1のG画素と、そのG画素に近い、位置合わせ後の撮影画像P2のG画素とのG信号は、大きく異なる値となっている。
【００４２】
そして、図５で説明したように、式（１）の定数aが1の補間関数f(z)を用いた注目画素のG信号の補間に用いられる撮影画素は、位置合わせ後の２枚の撮影画像P1及びP2のG画素のうちの、注目画素の位置からの横方向距離が1未満の範囲にあるG画素、つまり、注目画素から最も近い位置にある１つのG画素だけである。
【００４３】
以上のように、注目画素のG信号の補間に用いられる撮影画素は、位置合わせ後の２枚の撮影画像P1及びP2のG画素のうちの、注目画素から最も近い位置にある１つのG画素のみであるが、図６においては、出力画像Poutの局所的な小領域r内の画素の近くにある、位置合わせ後の撮影画像P1のG画素のG信号と、位置合わせ後の撮影画像P2のG画素のG信号とは、大きく異なる値となっている。
【００４４】
このため、出力画像Poutの局所的な小領域r内の複数の画素のG信号を生成するための補間は、位置合わせ後の撮影画像P1のG画素のG信号を用いて行われる場合と、そのG信号とは大きく値が異なる、位置合わせ後の撮影画像P2のG画素のG信号を用いて行われる場合とがあるので、図６上から３番目に示すように、出力画像Poutの局所的な小領域r内の複数の画素のG信号は、補間に用いられるG信号の値によって大きく異なる値となる。
【００４５】
このように、出力画像Poutの局所的な小領域r内の複数の画素の画素値が、その補間に用いられる撮影画像P1及びP2に動体（動いている被写体）が映っていることに起因して大きく異なる値となることによって、ジッパノイズや偽色が発生する。
【００４６】
なお、図５及び図６に示したように、位置合わせ後の１枚目の撮影画像P1の画素の位置と、位置合わせ後の２枚目の撮影画像P2の画素の位置とが、横方向と縦方向のそれぞれに１画素分だけずれている場合というのは、ジッパノイズが最も顕著に発生する場合である。
【００４７】
以上のように、動体が映っている複数枚の撮影画像を用いて１枚の出力画像を生成する場合には、出力画像に、ジッパノイズや偽色が現れる他に、背景が欠落した欠落領域が生じることがある。
【００４８】
すなわち、例えば、特許文献２には、動体が映っている複数枚の撮影画像を用い、その動体を除去した出力画像を生成する方法が記載されている。
【００４９】
ここで、図７は、特許文献２に記載されている、動体を除去した出力画像を生成する方法を説明する図である。
【００５０】
図７左上と図７右上とは、複数枚の撮影画像としての１枚目の撮影画像P1と、２枚目の撮影画像P2とを、それぞれ示している。
【００５１】
１枚目の撮影画像P1と、２枚目の撮影画像P2とには、いずれも動体が映っている。但し、１枚目の撮影画像P1と、２枚目の撮影画像P2とでは、動体が映っている位置が異なっている。
【００５２】
図７左下は、撮影画像P1及びP2を用いて生成された出力画像Poutを示している。
【００５３】
出力画像Poutにおいては、動体が除去されている。
【００５４】
特許文献２に記載の方法では、撮影画像P1及びP2から、何らかの方法で、動体が検出される。そして、撮影画像P1又はP2のうちの一方の撮影画像から、動体の領域が削除され、その削除された領域を、他方の撮影画像の同一領域によって埋めることによって、図７左下に示したように、動体が除去された、背景のみの出力画像が生成される。
【００５５】
特許文献２に記載の方法によれば、図７に示したように、２枚の撮影画像P1及びP2において、動体が映っている領域が重複していない場合には、背景が欠落している欠落領域のない出力画像を得ることができる。
【００５６】
しかしながら、図８に示すように、２枚の撮影画像P1及びP2において、動体が映っている領域が一部でも重複している場合には、出力画像において、その重複している領域が欠落領域となって現れる。
【００５７】
すなわち、図８は、複数枚の撮影画像としての２枚の撮影画像P1及びP2と、その２枚の撮影画像P1及びP2を用いて生成された出力画像とを示している。
【００５８】
図８左上は、１枚目の撮影画像P1を示しており、図８右上は、２枚目の撮影画像P2を示している。図８左下は、撮影画像P1及びP2を用いて生成された出力画像Poutを示している。
【００５９】
図８においては、図７と同様に、１枚目の撮影画像P1と、２枚目の撮影画像P2とに、動体が映っているが、１枚目の撮影画像P1に映っている動体の領域と、２枚目の撮影画像P2に映っている動体の領域との一部が重複している。
【００６０】
１枚目の撮影画像P1に映っている動体の領域と、２枚目の撮影画像P2に映っている動体の領域とが重複している重複領域では、２枚の撮影画像P1及びP2のいずれにも、背景が映っていない。
【００６１】
このため、撮影画像P1又はP2のうちの一方の撮影画像から、動体の領域を削除し、その削除した領域を、他方の撮影画像の同一領域によって埋めると、図８左下に斜線を付して示す重複領域だけに、動体が表示された出力画像、つまり、重複領域が、背景が欠落している欠落領域となった出力画像が得られる。
【００６２】
【特許文献１】特開2005-38396号公報
【特許文献２】特開2005-12660号公報
【発明の開示】
【発明が解決しようとする課題】
【００６３】
以上のように、動体が映っている複数枚の撮影画像を用いて出力画像を生成する場合には、例えば、ジッパノイズや、偽色、欠落領域が現れた不自然な出力画像が得られることがある。
【００６４】
本発明は、このような状況に鑑みてなされたものであり、複数枚の画像を用いて出力画像を生成する場合に、動体が映っていることに起因して生じる出力画像の不自然さを低減することができるようにするものである。
【課題を解決するための手段】
【００６５】
本発明の第１の側面の画像処理装置は、複数の入力画像から１つの出力画像を生成する画像処理装置であり、画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出手段と、前記入力画像の画素の画素値と、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、前記出力画像の画素の画素値を求める画素値算出手段と、前記出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定する判定手段と、前記出力画像の画素が動き画素であるかどうかの判定結果に基づいて、前記補間関数の高域通過特性を調整する調整手段とを備える。
【００６６】
本発明の第１の側面の画像処理方法、又はプログラムは、複数の入力画像から１つの出力画像を生成する画像処理方法、又は、複数の入力画像から１つの出力画像を生成する画像処理を、コンピュータに実行させるプログラムであり、画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出するステップと、前記入力画像の画素の画素値と、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、前記出力画像の画素の画素値を求めるステップと、前記出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定する判定ステップと、前記出力画像の画素が動き画素であるかどうかの判定結果に基づいて、前記補間関数の高域通過特性を調整するステップとを含む。
【００６７】
以上のような第１の側面においては、画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係が検出され、前記入力画像の画素の画素値と、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、前記出力画像の画素の画素値が求められる。また、前記出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかが判定され、前記出力画像の画素が動き画素であるかどうかの判定結果に基づいて、前記補間関数の高域通過特性が調整される。
【００６８】
本発明の第２の側面の画像処理装置は、複数の入力画像から１つの出力画像を生成する画像処理装置であり、画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出手段と、前記入力画像の画素の画素値、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数、及び位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを用いて、前記出力画像の画素の画素値を求める画素値算出手段と、位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求める影響パラメータ算出手段とを備える。
【００６９】
本発明の第２の側面の画像処理方法、又はプログラムは、複数の入力画像から１つの出力画像を生成する画像処理方法、又は、複数の入力画像から１つの出力画像を生成する画像処理を、コンピュータに実行させるプログラムであり、画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出するステップと、前記入力画像の画素の画素値、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数、及び位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを用いて、前記出力画像の画素の画素値を求めるステップと、位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求めるステップとを含む。
【００７０】
以上のような第２の側面においては、画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係が検出され、前記入力画像の画素の画素値、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数、及び位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを用いて、前記出力画像の画素の画素値が求められる。また、位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータが求められる。
【００７１】
なお、プログラムは、各種の記録媒体に記録することができる。また、プログラムは、各種の伝送媒体を介して伝送することができる。
【発明の効果】
【００７２】
本発明の第１及び第２の側面によれば、複数枚の入力画像を用いた補間によって、１枚の出力画像を生成する場合に、入力画像に、動体が映っていることに起因して生じる出力画像の不自然さを低減することができる。
【発明を実施するための最良の形態】
【００７３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００７４】
本発明の第１の側面の画像処理装置は、
複数の入力画像から１つの出力画像を生成する画像処理装置（例えば、図９のディジタルスチルカメラ１）であり、
画像を撮像する撮像手段（例えば、図９の撮像素子４）が撮像した前記複数の入力画像どうしの位置関係を検出する検出手段（例えば、図１０のステップＳ３の処理を行う図１の信号処理回路７）と、
前記入力画像の画素の画素値と、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、前記出力画像の画素の画素値を求める画素値算出手段（例えば、図２５のステップＳ１０６や、Ｓ１０８，Ｓ１１０の処理を行う図１２の演算回路２４）と、
前記出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定する判定手段（例えば、図２５のステップＳ１０２及びＳ１０３の処理を行う図１２の演算回路２４）と、
前記出力画像の画素が動き画素であるかどうかの判定結果に基づいて、前記補間関数の高域通過特性を調整する調整手段（例えば、図２５のステップＳ１０４の処理を行う図１２の演算回路２４）と
を備える。
【００７５】
第１の側面の画像処理装置には、
位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求める影響パラメータ算出手段（例えば、図３１のステップＳ１６５及びＳ１６６の処理を行う図１２の演算回路２４）をさらに設けることができ、
前記画素値算出手段には、位置合わせ後の入力画像の画素の画素値、前記補間関数、及び前記影響パラメータを用いて、前記出力画像の画素の画素値を求めさせることができる。
【００７６】
本発明の第１の側面の画像処理方法、又はプログラムは、
複数の入力画像から１つの出力画像を生成する画像処理方法、又は、複数の入力画像から１つの出力画像を生成する画像処理を、コンピュータに実行させるプログラムであり、
画像を撮像する撮像手段（例えば、図９の撮像素子４）が撮像した前記複数の入力画像どうしの位置関係を検出するステップ（例えば、図１０のステップＳ３）と、
前記入力画像の画素の画素値と、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数とを用いて、前記出力画像の画素の画素値を求めるステップ（例えば、図２５のステップＳ１０６や、Ｓ１０８，Ｓ１１０）と、
前記出力画像の画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定する判定ステップ（例えば、図２５のステップＳ１０２及びＳ１０３）と、
前記出力画像の画素が動き画素であるかどうかの判定結果に基づいて、前記補間関数の高域通過特性を調整するステップ（例えば、図２５のステップＳ１０４）と
を含む。
【００７７】
本発明の第２の側面の画像処理装置は、
複数の入力画像から１つの出力画像を生成する画像処理装置（例えば、図９のディジタルスチルカメラ１）であり、
画像を撮像する撮像手段（例えば、図９の撮像素子４）が撮像した前記複数の入力画像どうしの位置関係を検出する検出手段（例えば、図１０のステップＳ３の処理を行う図１の信号処理回路７）と、
前記入力画像の画素の画素値、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数、及び位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを用いて、前記出力画像の画素の画素値を求める画素値算出手段（例えば、図３０のステップＳ１３５や、Ｓ１３７，Ｓ１３９の処理を行う図１２の演算回路２４）と、
位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求める影響パラメータ算出手段（例えば、図３０のステップＳ１３２及びＳ１３３の処理を行う図１２の演算回路２４）と
を備える。
【００７８】
本発明の第２の側面の画像処理方法、又はプログラムは、
複数の入力画像から１つの出力画像を生成する画像処理方法、又は、複数の入力画像から１つの出力画像を生成する画像処理を、コンピュータに実行させるプログラムであり、
画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出するステップ（例えば、図１０のステップＳ３）と、
前記入力画像の画素の画素値、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の入力画像の画素の位置に応じて変化する補間関数、及び位置合わせ後の入力画像の画素の画素値が前記出力画像の画素の画素値に影響する度合いを表す影響パラメータを用いて、前記出力画像の画素の画素値を求めるステップ（例えば、図３０のステップＳ１３５や、Ｓ１３７，Ｓ１３９）と、
位置合わせ後の入力画像における、前記出力画像の画素の位置から近い範囲の近傍領域を、前記影響パラメータを求めるのに用いる影響領域として、位置合わせ後の入力画像の画素のうちの、前記影響領域内の画素の画素値に基づいて、前記影響パラメータを求めるステップ（例えば、図３０のステップＳ１３２及びＳ１３３）と
を含む。
【００７９】
以下、図面を参照して、本発明の実施の形態について説明する。
【００８０】
図９は、本発明を適用したディジタルスチルカメラの一実施の形態の構成例を示すブロック図である。
【００８１】
図９のディジタルスチルカメラ１は、レンズ２、絞り３、撮像素子４、相関２重サンプリング回路５、A/D(Analog/Digital)コンバータ６、信号処理回路７、タイミングジェネレータ８、D/A(Digital/Analog)コンバータ９、ビデオエンコーダ１０、モニタ１１、コーデック(CODEC)１２、メモリ１３、バス１４、CPU(Central Processing Unit)１５、及び入力デバイス１６で構成される。また、信号処理回路７は、フレームメモリ２２を有している。
【００８２】
図示せぬ被写体からの光は、レンズ２、絞り３等の光学系を通過して、撮像素子４に入射される。撮像素子４は、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等でなる単板センサから構成され、所定の数の画素（受光素子）を有している。
【００８３】
そして、撮像素子４は、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔で、所定の時間（シャッタ時間）だけ、入射される被写体の光を受光する。さらに、撮像素子４は、画素としての各受光素子で受光された光の受光量を光電変換により電気信号である画像信号に変換し、その画像信号を、相関２重サンプリング回路５に供給する。撮像素子４は、例えば、単板センサであり、撮像素子４から相関２重サンプリング回路５に供給される画像信号は、１画素につきR信号、G信号、B信号のうちのいずれか１種類の色信号（データ）である。
【００８４】
ここで、カメラぶれ（手ぶれ）が発生していても、より鮮明な画像を出力するために、撮像素子４は、１回の撮影（１回のレリーズボタンの操作）で、適正露出におけるシャッタ速度（シャッタ時間（露出時間））よりも高速に（短いシャッタ時間で）、複数回であるN回の撮像を行い、これにより、N枚の撮影画像の画像信号を、後段の信号処理回路７２への入力となる入力画像として、時系列に出力する。
【００８５】
相関２重サンプリング回路５は、撮像素子４から供給される撮影画像の画像信号のノイズ成分を、相関２重サンプリングにより除去し、A/Dコンバータ６に供給する。
【００８６】
A/Dコンバータ６は、相関２重サンプリング回路５から供給される画像信号をA/D変換、すなわち、サンプリングして量子化する。
【００８７】
また、A/Dコンバータ６は、必要に応じて、A/D変換後のディジタルの撮影画像（の画像信号）を、例えば、ビットシフトすることなどによって、適正露出の撮影画像となるようにゲインアップし、信号処理回路７に供給する。
【００８８】
信号処理回路７は、例えば、DSP（Digial Signal Processor）等で構成され、A/Dコンバータ６から供給される撮影画像を、内蔵するフレームメモリ２２に一時記憶し、所定の画像処理を施す。
【００８９】
すなわち、上述したように、撮像素子４は、１回の撮影でN枚の撮影画像を時系列に出力するので、信号処理回路２２には、撮影素子４から、サンプリング回路５及びA/Dコンバータ６を介して、N枚の撮影画像が順次供給される。
【００９０】
信号処理回路７は、そこに供給されるN枚の撮影画像を、内蔵するフレームメモリ２２に供給して一時記憶させる。さらに、信号処理回路７は、フレームメモリ２２に記憶されたN枚の撮影画像に所定の画像処理を施す。
【００９１】
すなわち、信号処理回路７は、N枚の撮影画像のうちの、例えば、１枚目の撮影画像を基準画像とするとともに、２ないしN枚目の撮影画像それぞれをターゲット画像とし、ターゲット画像が基準画像に対して、どのような位置ずれを起こしているか、つまり、基準画像とターゲット画像との位置関係（基準画像とターゲット画像に映っている同一の被写体の位置関係）を検出する。
【００９２】
そして、信号処理回路７は、基準画像とターゲット画像との位置関係に基づいて、カメラぶれが補正された１枚の鮮明な画像である、１画素につきG信号、R信号、B信号のすべてを有する出力画像を求め、D/Aコンバータ９とコーデック１２のうちの一方、又は両方に供給する。
【００９３】
タイミングジェネレータ８は、１回の撮影において、所定の間隔でN枚の撮影画像の高速撮像が行われるように、露光（露出）タイミング信号を、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、及び信号処理回路７に供給する。なお、高速撮像の露光時間（あるいは、高速撮像により撮像する撮影画像の枚数N）は、例えば、被写体の明るさなどに合わせて、ユーザが変更することができるようになっている。ユーザが高速撮像の露光時間を変更する場合、入力デバイス１６をユーザが操作することによりCPU１５で決定される露光時間の変更値が、CPU１５よりバス１４を介して、タイミングジェネレータ８に供給される。
【００９４】
D/Aコンバータ９は、信号処理回路７から供給された出力画像の画像信号をD/A変換し、ビデオエンコーダ１０に供給する。
【００９５】
ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号（アナログ信号）を、モニタ１１で表示することができる画像信号に変換し、モニタ１１に供給する。モニタ１１は、ディジタルスチルカメラ１のファインダ等の役割を果たすもので、LCDなどで構成され、ビデオエンコーダ１０から供給される画像信号を表示する。これにより、モニタ１１では、出力画像が表示される。
【００９６】
コーデック１２は、信号処理回路７から供給される出力画像の画像信号を、JPEG(Joint Photographic Experts Group)方式などの所定の方式に従って符号化し、メモリ１３に供給する。
【００９７】
メモリ１３は、フラッシュメモリなどの半導体メモリで構成され、コーデック１２から供給される符号化された画像信号を記憶（記録）する。なお、メモリ１３の代わりに、磁気ディスク、光（磁気）ディスク等の記録媒体を用いることができる。メモリ１３、又はメモリ１３の代わりに用いる記録媒体は、ディジタルスチルカメラ１に対して着脱可能とすることができる。また、ディジタルスチルカメラ１に内蔵される記録媒体と、ディジタルスチルカメラ１に着脱可能な記録媒体の両方を設けることが可能である。
【００９８】
CPU１５は、バス１４を介して各部に制御信号を供給し、各種の処理を制御する。例えば、ユーザの操作に応じて入力デバイス１６から供給される撮像開始の操作信号に従い、被写体を撮像し、その撮像によって最終的に得られる出力画像をメモリ１３に記憶するように、各部に制御信号を供給する。
【００９９】
入力デバイス１６は、ディジタルスチルカメラ１本体にあるレリーズボタンなどの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の操作信号が、入力デバイス１６からバス１４を介してCPU１５に供給され、CPU１５は、入力デバイス１６からバス１４を介して供給される各種の操作信号に従う処理を実行するように各部を制御する。なお、入力デバイス１６の１以上の操作ボタンは、モニタ１１に表示することが可能である。モニタ１１に表示された操作ボタンに対する操作は、例えば、モニタ１１上に透明なタブレットを設け、そのタブレットにより検出することができる。
【０１００】
次に、図１０のフローチャートを参照して、ディジタルスチルカメラ１の撮影処理について説明する。
【０１０１】
初めに、ステップＳ１において、撮像素子４は、被写体を撮像する。すなわち、撮像素子４は、１回のレリーズボタン（シャッタボタン）押下による撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でN回連続して、入射される被写体の光を受光し、光電変換することにより、N回の高速撮像を行う。したがって、１回の撮影において、N枚の撮影画像が得られ、各撮影画像は、適正露出以下（未満）の暗い画像となる。撮像素子４での光電変換により得られたN枚の撮影画像の画像信号は、相関２重サンプリング回路５に順次供給され、ノイズ成分が除去された後、A/Dコンバータ６に供給される。
【０１０２】
その後、ステップＳ１からステップＳ２に進み、A/Dコンバータ６は、相関２重サンプリング回路５から順次供給されるN枚の撮影画像それぞれの画像信号をA/D変換する。その後、A/Dコンバータ６は、適正露出以下の暗い撮影画像をビットシフトして適正露出の明るさの画像信号に変換し、信号処理回路７に供給して、ステップＳ３に進む。
【０１０３】
ステップＳ３において、信号処理回路７は、A/Dコンバータ６からのN枚の撮影画像のうちの、例えば、１枚目の撮影画像を基準画像として、N枚の撮影画像それぞれが基準画像に対して、どのような位置ずれを起こしているか、すなわち、基準画像に対するN枚の撮影画像の位置関係を検出して、ステップＳ４に進む。
【０１０４】
ステップＳ４において、信号処理回路７は、N枚の撮影画像と、ステップＳ３で検出されたN枚の撮影画像の位置関係とに基づいて、N枚の撮影画像から１枚の出力画像を生成する画像生成処理を行い、ステップＳ５に進む。
【０１０５】
ここで、画像生成処理の詳細は後述するが、この画像生成処理により、カメラぶれが（ほとんど）なく、適正露出の１枚の鮮明な画像である、１画素がG信号、R信号、B信号のすべてを有する出力画像が生成される。画像生成処理により得られた出力画像の画像信号は、信号処理回路７から、D/Aコンバータ９とコーデック１２のうちの一方、又は両方に供給される。
【０１０６】
ステップＳ５では、信号処理回路７で得られた出力画像が、モニタ１１に表示されるとともに、フラッシュメモリ等のメモリ１３に記録されて、処理を終了する。
【０１０７】
すなわち、ステップＳ５では、ステップＳ４で信号処理回路７からD/Aコンバータ９に供給された画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給されたアナログの画像信号を、モニタ１１に表示することができる画像信号に変換し、モニタ１１に供給する。そして、ステップＳ５において、モニタ１１は、ビデオエンコーダ１０から供給された画像信号に基づいて、出力画像を表示する。また、ステップＳ５では、ステップＳ４で信号処理回路７からコーデック１２に供給された画像信号に対し、JPEG等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録される。
【０１０８】
次に、図１１は、図９の撮像素子４の画素の配列を示している。
【０１０９】
なお、図１１では、撮像素子４のうちの左上の一部分の画素（横方向６画素、縦方向４画素の計２４画素）を示しているが、それ以外の部分の画素も同様に配置されている。
＃
ここで、図１１において、撮像素子４の左上の画素の中心（重心）を原点として、横（右）方向をx方向とし、縦（下）方向をy方向とするxy座標系を設定する。また、画素は、矩形状をしており、１画素の横と縦方向の長さ（幅）がそれぞれ１であるとする。
【０１１０】
いま、画素の位置を、画素としての、横と縦方向の長さが１の矩形の重心の座標で表すこととすると、左からi番目で、上からj番目の画素の位置（の座標）(x,y)は、(i-1,j-1)と表すことができる。
【０１１１】
図１１において、撮像素子４の画素の配列は、いわゆる、ベイヤ配列となっている。なお、撮像素子４の画素の配列は、ベイヤ配列に限定されるものではなく、その他の配列でもよい。
【０１１２】
ベイヤ配列の撮像素子４からは、画素の位置に応じた色信号の画素値を有する画像が出力される。
【０１１３】
すなわち、ベイヤ配列では、G信号を取り出すことのできる画素として、原点からx方向に１番目で、y方向に１番目の画素である画素G00、原点からx方向に３番目で、y方向に１番目の画素である画素G02、原点からx方向に５番目で、y方向に１番目の画素である画素G04、原点からx方向に２番目で、y方向に２番目の画素である画素G11、以下、同様に、画素G13、画素G15、画素G20、画素G22、画素G24、画素G31、画素G33、画素G35が配置されている。
【０１１４】
また、R信号を取り出すことのできる画素として、原点からx方向に２番目で、y方向に１番目の画素である画素R01、原点からx方向に４番目で、y方向に１番目の画素である画素R03、原点からx方向に６番目で、y方向に１番目の画素である画素R05、原点からx方向に２番目で、y方向に３番目の画素である画素R21、以下、同様に、画素R23、画素R25が配置されている。
【０１１５】
さらに、B信号を取り出すことのできる画素として、原点からx方向に１番目で、y方向に２番目の画素である画素B10、原点からx方向に３番目で、y方向に２番目の画素である画素B12、原点からx方向に５番目で、y方向に２番目の画素である画素B14、原点からx方向に１番目で、y方向に４番目の画素である画素B30、以下、同様に、画素B32、画素B34が配置されている。
【０１１６】
ここで、撮像素子４が、各画素において、G信号、R信号、及びB信号が得られる撮像素子であるとし、そのような撮像素子４を用いて、カメラぶれなしで、かつ適正露光で撮影された、いわば理想的な画像である理想画像を想定し、その理想画像のG信号、R信号、B信号を、撮像素子４を基準としたxy座標系上の位置（x,y）を用いて、それぞれLg（x,y），Lr（x,y），Lb（x,y）と表すこととする。
【０１１７】
この理想画像が、図１０のステップＳ４の画像生成処理で求めたい出力画像であり、出力画像の、左からi+1番目で、上からj+1番目である「i+1番目、j+1番目の画素」のG信号、R信号、B信号は、それぞれLg（i,j），Lr（i,j），Lb（i,j）と表すことができる。
【０１１８】
なお、撮像素子４の、左からi+1番目で、上からj+1番目である「i+1番目、j+1番目の画素」が、G信号を出力する画素であるとき、その画素の位置を表すi,jを、それぞれ、ig,jgとも記載する。同様に、「i+1番目、j+1番目の画素」が、R信号を出力する画素であるとき、その画素の位置を表すi,jを、それぞれir,jrとも記載し、「i+1番目、j+1番目の画素」が、B信号を出力する画素であるとき、その画素の位置を表すi,jを、それぞれib,jbとも記載する。
【０１１９】
変数ig,jgの組み合わせは、G信号を出力する画素の位置を表す変数i,jの組み合わせと等しい。また、変数ir,jrの組み合わせは、R信号を出力する画素の位置を表す変数i,jの組み合わせと等しく、変数ib,jbの組み合わせは、B信号を出力する画素の位置を表す変数i,jの組み合わせと等しい。
【０１２０】
ここで、撮像素子４が、上述したように、ベイヤ配列の撮像素子である場合には、変数igとjgは、変数iとjとの差i-jが偶数であるという条件を満たす変数iとjである。また、変数irとjrは、変数iが偶数で、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数iとjである。さらに、変数ibとjbは、変数iが奇数で、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数iとjである。
【０１２１】
但し、撮像素子４がベイヤ配列以外の配列の単板センサである場合には、その配列の性質に応じて、変数igとjg、変数irとjr、及び変数ibとjbとなる変数iとjの条件は異なる。
【０１２２】
また、撮像素子４が１回の撮影で出力するN枚の撮影画像のうちの、k枚目(k=1,2,・・・,N)の撮影画像の、左からi+1番目で、上からj+1番目である「i+1番目、j+1番目の画素」が、G信号のみを画素値として有する画素であるとき、その画素値であるG信号を、Gobs(k,i,j)と表す。
【０１２３】
同様に、k枚目の撮影画像の、左からi+1番目で、上からj+1番目である「i+1番目、j+1番目の画素」が、R信号のみを画素値として有する画素であるときは、その画素値であるR信号を、Robs(k,i,j)と表し、B信号のみを画素値として有する画素であるときは、その画素値であるB信号を、Bobs(k,i,j)と表す。
【０１２４】
なお、画素値Gobs(k,i,j),Robs(k,i,j),Bobs(k,i,j)は、それぞれ、Gobs(k,ig,jg),Robs(k,ir,jr),Bobs(k,ib,jb)とも表すことができる。
【０１２５】
次に、図１２は、図９の信号処理回路７の一部分についての詳細な構成例を示している。
【０１２６】
信号処理回路７は、フレームメモリ２２、動き検出回路２３、演算回路２４、コントローラ２５で構成されている。また、フレームメモリ２２は、N個のフレームメモリ２２1ないし２２Nで構成され、動き検出回路２３は、N-1個の動き検出回路２３1ないし２３N-1で構成されている。
【０１２７】
上述したように、A/Dコンバータ６からN枚の撮影画像がフレームメモリ２２に順次供給される。フレームメモリ２２1は、A/Dコンバータ６から供給される１枚目の撮影画像を一時記憶する。フレームメモリ２２2は、A/Dコンバータ６から供給される２枚目の撮影画像を記憶する。以下同様にして、フレームメモリ２２kは、A/Dコンバータ６から供給されるk枚目の撮影画像を記憶する。
【０１２８】
フレームメモリ２２1は、所定のタイミングにおいて、記憶している１枚目の撮影画像を、演算回路２４と動き検出回路２３1ないし２３N-1に供給する。フレームメモリ２２2は、所定のタイミングにおいて、記憶している２枚目の撮影画像を、演算回路２４と動き検出回路２３1に供給する。以下、同様にして、フレームメモリ２２kは、所定のタイミングにおいて、記憶しているk枚目の撮影画像を、演算回路２４と動き検出回路２３k-1に供給する。
【０１２９】
動き検出回路２３は、２枚の撮影画像どうしの位置関係を検出する。すなわち、動き検出回路２３は、１枚目の撮影画像を、位置関係の検出の基準となる基準画像とするとともに、２枚目以降の各撮影画像をターゲット画像として、ターゲット画像（２ないしN枚目の画像）が基準画像に対して、どのような位置ずれを起こしているかを表す、基準画像に対するターゲット画像の位置ずれのずれ量を検出する。なお、このずれ量は、手ぶれにより生じるものである。
【０１３０】
そして、動き検出回路２３は、基準画像に対するターゲット画像の位置ずれのずれ量に基づき、基準画像とターゲット画像との位置関係を検出する。
【０１３１】
ここで、手ぶれによって生じる画像の位置ずれの成分には、被写体に対してカメラを向けた状態で、カメラが左右にずれた場合に生じる平行移動成分と、カメラが時計方向または反時計方向に回転した場合に生じるレンズの光軸を中心とする回転成分とがある。さらに、カメラのレンズの光軸に垂直な軸の回りの回転成分や、カメラの奥行き方向の移動による拡大縮小成分もある。
【０１３２】
このような手ぶれが生じている基準画像とターゲット画像との位置関係は、例えば、アフィン変換によって表すことができる。アフィン変換では、基準画像上の位置(x,y)と、ターゲット画像上の位置(x',y')との位置関係は、次の式（２）で表される。
【０１３３】
【数２】
2008028763.tif 000004
・・・（２）
【０１３４】
なお、、式（２）において、例えば、a=K×cosθ,b=-K×sinθθ,c=K×sinθ,d=K×cosθとした場合、式（２）は、位置(x',y')に対して、角度θの回転、(s,t)の平行移動、K倍の拡大縮小を施すアフィン変換を表す。
【０１３５】
また、以下、適宜、アフィン変換の行列(a,b,c,d)と２次元ベクトル(s,t)とを合わせて、変換パラメータ(a,b,c,d,s,t)という。
【０１３６】
変換パラメータによって規定される式（２）のアフィン変換が、基準画像とターゲット画像との位置関係を表すが、動き検出回路２３は、この式（２）を規定する変換パラメータを、例えば、以下のようにして求める。
【０１３７】
すなわち、動き検出回路２３は、ターゲット画像を複数のブロックに分割し、各ブロックの、基準画像に対する動きベクトルを、基準画像に対するターゲット画像の位置ずれのずれ量として検出する。
【０１３８】
そして、動き検出回路２３は、ターゲット画像の各ブロックの動きベクトルに従って、ターゲット画像の各画素（の位置）(x',y')を、基準画像上に移動したときの、その移動後の位置(x'',y'')と、式（２）によって、ターゲット画像の各画素(x',y')を、基準画像上の位置(x,y)に変換したときの、その変換後の位置(x,y)との自乗誤差の総和を最小にする式（２）の変換パラメータ(a,b,c,d,s,t)を、位置関係として求める。
【０１３９】
具体的には、動き検出回路２３1には、基準画像としての１枚目の撮影画像がフレームメモリ２２1から供給され、ターゲット画像としての２枚目の撮影画像がフレームメモリ２２2から供給される。
【０１４０】
動き検出回路２３1は、２枚目の撮影画像を複数のブロックに分割したときの各ブロックが、１枚目の撮影画像のどの位置に対応しているかを表す動きベクトルを検出し、すなわち、２枚目の撮影画像のある位置に投影されている被写体の部分と同一の部分が投影されている１枚目の撮影画像上の位置を検出し、その検出結果としての動きベクトルに基づき、１枚目の撮影画像と２枚目の撮影画像との位置関係を表す式（２）と同一の式（３）を規定する変換パラメータ(a2,b2,c2,d2,s2,t2)を求めて、演算回路２４に供給する。
【０１４１】
【数３】
2008028763.tif 000005
・・・（３）
【０１４２】
ここで、画像の座標系として、図１１の撮像素子４における場合と同様に、その画像の左上の画素の中心を原点として、水平方向（右方向）をx方向とするとともに、垂直方向（下方向）をy方向とするxy座標系を定義すると、式（３）において、（x2，y2）は、２枚目の撮影画像の画素の、その２枚目の撮影画像の座標系上の位置を表し、（x1(2)，y1(2)）は、２枚目の撮影画像の画素の位置（x2，y2）を、１枚目の撮影画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（x1(2)，y1(2)）における下付きの（２）は、２枚目の撮影画像の座標系上の位置（x2，y2）が、１枚目の撮影画像の座標系上の位置に変換されたことを表す。１枚目の撮影画像の座標系上の位置（x1(2)，y1(2)）には、（理想的には）２枚目の撮影画像の画素の位置（x2，y2）に投影されている被写体の部分と同一の部分が投影されている。
【０１４３】
動き検出回路２３2には、基準画像としての１枚目の撮影画像がフレームメモリ２２1から供給されるとともに、ターゲット画像としての３枚目の撮影画像がフレームメモリ２２3から供給される。
【０１４４】
動き検出回路２３2も、動き検出回路２３1と同様に、３枚目の撮影画像を複数のブロックに分割したときの各ブロックが、１枚目の撮影画像のどの位置に対応しているかを表す動きベクトルを検出し、その動きベクトルに基づき、１枚目の撮影画像と３枚目の撮影画像との位置関係を表す式（２）と同一の式（４）のアフィン変換を規定する変換パラメータ(a3,b3,c3,d3,s3,t3)を求めて、演算回路２４に供給する。
【０１４５】
【数４】
2008028763.tif 000006
・・・（４）
【０１４６】
ここで、式（４）において、（x3，y3）は、３枚目の撮影画像の画素の、その３枚目の撮影画像の座標系上の位置を表し、（x1(3)，y1(3)）は、３枚目の撮影画像の画素の位置（x3，y3）を、１枚目の撮影画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（x1(3)，y1(3)）における下付きの（３）は、式（３）における場合と同様に、３枚目の撮影画像の座標系上の位置（x3，y3）が、１枚目の撮影画像の座標系上の位置に変換されたことを表す。
【０１４７】
以下同様に、動き検出回路２３k-1は、１枚目の撮影画像とk枚目の撮影画像との位置関係を検出し、検算回路２４に供給する。
【０１４８】
すなわち、動き検出回路２３k-1には、基準画像としての１枚目の撮影画像がフレームメモリ２２1から供給されるとともに、ターゲット画像としてのk枚目の撮影画像がフレームメモリ２２kから供給される。
【０１４９】
動き検出回路２３k-1は、k枚目の撮影画像の各ブロックの、１枚目の撮影画像に対する動きベクトルを検出し、その動きベクトルに基づき、１枚目の撮影画像とk枚目の撮影画像との位置関係を表す式（２）と同一の式（５）のアフィン変換を規定する変換パラメータ(ak,bk,ck,dk,sk,tk)を求めて、演算回路２４に供給する。
【０１５０】
【数５】
2008028763.tif 000007
・・・（５）
【０１５１】
ここで、式（５）において、（xk，yk）は、k枚目の撮影画像の画素の、そのk枚目の撮影画像の座標系上の位置を表し、（x1(k)，y1(k)）は、k枚目の撮影画像の画素の位置（xk，yk）を、１枚目の撮影画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（x1(k)，y1(k)）における下付きの（k）は、式（３）における場合と同様に、k枚目の撮影画像の座標系上の位置（xk，yk）が、１枚目の撮影画像の座標系上の位置に変換されたことを表す。
【０１５２】
演算回路２４には、フレームメモリ２２1ないし２２NからN枚の撮影画像が供給される。また、演算回路２４には、動き検出回路２３1ないし２３N-1から１枚目の撮影画像とk枚目の撮影画像との位置関係を表す変換パラメータ(ak,bk,ck,dk,sk,tk)が供給される。
【０１５３】
演算回路２４は、フレームメモリ２２1ないし２２Nから供給される撮影画像の画素の画素値、及び、動き検出回路２３1ないし２３N-1から供給される２ないしN枚目の撮影画像それぞれと、１枚目の撮影画像との位置関係を表す変換パラメータ(ak,bk,ck,dk,sk,tk)に基づいてN枚の撮影画像の位置合わせを行うことにより得られる位置合わせ後の撮影画像の画素の位置に応じて変化する補間関数を少なくとも用いて、出力画像の画素の画素値としてのG信号、R信号、及びB信号を求め、出力画像を生成する画像生成処理を行い、その結果得られる出力画像を、D/Aコンバータ９又はコーデック１２に供給する。
【０１５４】
ここで、A/Dコンバータ６から信号処理回路７に供給されるN枚の撮影画像それぞれは、１画素がG信号、R信号、B信号のうちのいずれか１つの画素値を有する画像であるのに対して、演算回路２４で生成される出力画像は、１画素につきG信号、R信号、及びB信号の３個の画素値（色信号）を有する画像である。
【０１５５】
コントローラ２５は、CPU１５の制御に従い、信号処理回路７内のフレームメモリ２２1ないし２２N、動き検出回路２３1ないし２３N-1、演算回路２４等の制御を行う。
【０１５６】
以上のように構成される信号処理回路７では、動き検出回路２３が、図１０のステップＳ３において、A/Dコンバータ６からのN枚の撮影画像どうしの位置関係としての変換パラメータを検出する。
【０１５７】
さらに、信号処理回路７では、演算回路２４が、図１０のステップＳ４において、撮影画像の画素の画素値、及び変換パラメータに基づいてN枚の撮影画像の位置合わせを行うことにより得られる位置合わせ後の撮影画像の画素の位置に応じて変化する補間関数等を用いて、出力画像の画素の画素値としてのG信号、R信号、及びB信号を求め、出力画像を生成する画像生成処理を行う。
【０１５８】
すなわち、演算回路２４は、ステップＳ４の画像生成処理において、N枚の撮影画像から、そのN枚の撮影画像どうしの位置関係を検出するときの基準となった撮影画像、つまり、ここでは、１枚目の撮影画像に投影されている被写体の範囲の画像を、出力画像として生成する。
【０１５９】
演算回路２４は、N枚の撮影画像から出力画像を生成するにあたり、その出力画像の各画素の画素値を補間により求める。
【０１６０】
演算回路２４は、このように、出力画像の画素値を補間によって求めるために、N枚の撮影画像それぞれに投影されている被写体の各部が一致（対応）するように、そのN枚の撮影画像の画素（の位置）を、出力画像上の位置、すなわち、ここでは、基準画像である１枚目の撮影画像上の位置に変換する位置合わせを行う。
【０１６１】
ここで、以下、適宜、出力画像の生成に用いられるN枚の撮影画像のうちのk枚目の撮影画像を、k枚目画像ともいう。
【０１６２】
演算回路２４において、N枚の撮影画像の画素の位置の、基準画像としての１枚目の撮影画像上の位置でもある出力画像上の位置への変換、つまり、N枚の撮像画像の位置合わせは、動き検出回路２３（図１２）で求められた変換パラメータで規定される式（２）のアフィン変換によって行われる。
【０１６３】
そして、演算回路２４では、N枚の撮影画像の画素の位置をアフィン変換した、アフィン変換後の位置における画素の画素値のうちのG信号Gobs(k,i,j)=Gobs(k,ig,jg)（k=1,2,・・・,N）を用いた補間によって、出力画像の座標系上の位置(i,j)の画素の画素値のうちのG信号Lg(i,j)が求められる。
【０１６４】
同様に、演算回路２４では、N枚の撮影画像の画素の位置をアフィン変換した、アフィン変換後の位置における画素の画素値のうちのR信号Robs(k,i,j)=Robs(k,ir,jr)を用いた補間によって、出力画像の座標系上の位置(i,j)の画素の画素値のうちのR信号Lr(i,j)が求められ、B信号Bobs(k,i,j)=Bobs(k,ib,jb)を用いた補間によって、出力画像の座標系上の位置(i,j)の画素の画素値のうちのB信号Lr(i,j)が求められる。
【０１６５】
ここで、基準画像の座標系でもある出力画像の座標系において、出力画像の「i番目、j番目の画素」の位置(i-1,j-1)を（I',J'）と表すことにする。すなわち、I'=i-1,J'=j-1とする。なお、I',J'は、０以上の整数である。
【０１６６】
また、以下、適宜、基準画像の座標系でもある出力画像の座標系を、基準座標系ともいう。さらに、出力画像の画素を、以下、適宜、出力画素ともいう。
【０１６７】
上述したように、演算回路２４は、１ないしN枚目画像の画素（の位置）を、基準座標系上の位置にアフィン変換し、そのアフィン変換後の位置における画素のG信号Gobs(k,ig,jg)を用いた補間によって、基準座標系上の位置（I',J'）の出力画素のG信号Lg（I',J'）を求める。
【０１６８】
但し、基準座標系上の位置（I',J'）の出力画素のG信号Lg（I',J'）の補間に、１ないしN枚目画像の画素の、基準座標系上へのアフィン変換後の位置における画素のG信号Gobs(k,ig,jg)のすべてを用いたのでは、補間の精度が劣化する。
【０１６９】
そこで、演算回路２４は、１ないしN枚目画像の画素の、基準座標系上へのアフィン変換後の位置が、G信号Lg（I',J'）を補間する出力画素の位置（I',J'）の近傍にある１ないしN枚目画像の画素を、そのG信号Lg（I',J'）の補間に用いる画素として特定し、その特定した１ないしN枚目画像の画素のG信号Gobs(k,ig,jg)を用いて、G信号Lg（I',J'）を補間する。
【０１７０】
具体的には、演算回路２４は、基準座標系の位置（I',J'）の近傍の領域を、その位置（I',J'）の出力画素の画素値の補間に寄与する画素が存在する寄与領域として設定し、基準座標系上へのアフィン変換後の位置が、寄与領域内にある１ないしN枚目画像の画素を、位置（I',J'）の出力画素の画素値の補間に用いる画素して特定する。
【０１７１】
すなわち、図１３は、演算回路２４が位置（I',J'）の出力画素の画素値の補間に用いる１ないしN枚目画像の画素の位置をプロットした基準座標系を示している。
【０１７２】
演算回路２４は、基準座標系上の位置（I',J'）について、例えば、式I'-1≦x＜I'+1、及び式J'-1≦y＜J'+1を満たす、位置（I',J'）を中心とする横×縦が2×2の範囲の領域を、寄与領域として設定し、基準座標系上へのアフィン変換後の位置が、寄与領域内にある１ないしN枚目画像の画素を、出力画素のG信号Lg（I',J'）の補間に用いる画素して特定する。
【０１７３】
すなわち、演算回路２４では、位置（I',J'）について、位置(ig-1,jg-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、式I'-1≦x＜I'+1、及び式J'-1≦y＜J'+1を満たす整数k,ig,jgの組がすべて求められ、この(k,ig,jg)で表される画素が、出力画素のG信号Lg（I',J'）の補間に用いる画素して特定される。
【０１７４】
図１３では、１ないしN枚目画像の画素の中で、G信号を画素値として有する画素（以下、適宜、G画素ともいう）のうちの、基準座標系上へのアフィン変換後の位置が、式I'-1≦x＜I'+1、及び式J'-1≦y＜J'+1の範囲の寄与領域内にある画素として、5つのG画素A，B，C，D，Eが存在している。
【０１７５】
したがって、演算回路２４では、その5つのG画素AないしEが、G信号Lg（I',J'）の補間に用いる画素して特定される。
【０１７６】
そして、演算回路２４では、G画素AないしEそれぞれの画素値（G信号）Gobs(k,ig,jg)を用いて、位置（I',J'）の出力画素のG信号Lg（I',J'）が補間される。
【０１７７】
なお、図１３では、位置（I',J'）についての寄与領域として、位置（I',J'）を中心とする横×縦が2×2の範囲の領域を採用したが、位置（I',J'）についての寄与領域は、位置（I',J'）の近傍の領域であれば良く、位置（I',J'）を中心とする横×縦が2×2の範囲の領域に限定されるものではない。すなわち、図１３では、位置（I',J'）についての寄与領域としては、位置（I',J'）を中心とする横×縦が2×2の範囲の領域の他、例えば、位置（I',J'）を中心とする横×縦が4×4の範囲の領域、つまり、式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす領域や、1×1の範囲の領域などを採用することが可能である。
【０１７８】
次に、図１４を参照し、１ないしN枚目画像のG画素のうちの、基準座標系上へのアフィン変換後の位置が寄与領域内にあるG画素の画素値（G信号）Gobs(k,ig,jg)を用いて、位置（I',J'）のG信号Lg（I',J'）を補間する補間方法について説明する。
【０１７９】
なお、図１４（及び後述する図１５でも同様）では、寄与領域として、横×縦が4×4の範囲の領域が設定されている。
【０１８０】
演算回路２４は、位置（I',J'）についての寄与領域内のG画素の画素値Gobs(k,ig,jg)と、その寄与領域内のG画素の位置に応じて変化する補間関数とを用いた、次式で示される補間によって、位置（I',J'）の出力画素のG信号Lg（I',J'）を求める。
【０１８１】
【数６】
2008028763.tif 000008
・・・（６）
【０１８２】
ここで、式（６）におけるΣは、N枚の撮影画像の位置合わせ後の位置が寄与領域内にあるG画素すべてについての総和、つまり、撮影画像のG画素の位置(ig,jg)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ig,jg)の組についての総和を表す。
【０１８３】
また、式（６）において、w((x,y),(I',J'))は、撮影画像のG画素の位置(ig,jg)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）と、G信号Lg（I',J'）を補間しようとする画素の位置（I',J'）とを引数とする補間関数である。補間関数w((x,y),(I',J'))は、撮影画像のG画素の位置(ig,jg)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）、つまり、撮影画像の位置合わせ後のG画素の位置（x,y）を引数とするから、その撮影画像の位置合わせ後のG画素の位置（x,y）に応じて変化する関数である。
【０１８４】
いま、例えば、変数pを、式p=x-I'で定義するとともに、変数qを、式q=y-J'で定義すると、図１４に示すように、(p,q)は、位置(I',J')を基準とする、撮影画像の位置合わせ後のG画素の相対的な位置を表す。
【０１８５】
演算回路２４は、位置（I',J'）の出力画素のR信号Lr（I',J'）と、B信号Lb（I',J'）も、G信号Lg（I',J'）と同様に補間により求める。すなわち、演算回路２４は、R信号Lr（I',J'）と、B信号Lb（I',J'）を、式（６）と同様の式（７）と式（８）にしたがって求める。
【０１８６】
【数７】
2008028763.tif 000009
・・・（７）
【０１８７】
【数８】
2008028763.tif 000010
・・・（８）
【０１８８】
ここで、式（７）におけるΣは、N枚の撮影画像の位置合わせ後の位置が寄与領域内にある、R信号のみを画素値として有する画素（以下、適宜、R画素ともいう）すべてについての総和、つまり、撮影画像のR画素の位置(ir,jr)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ir,jr)の組についての総和を表す。
【０１８９】
また、式（８）におけるΣは、N枚の撮影画像の位置合わせ後の位置が寄与領域内にある、B信号のみを画素値として有する画素（以下、適宜、B画素ともいう）すべてについての総和、つまり、撮影画像のB画素の位置(ib,jb)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ib,jb)の組についての総和を表す。
【０１９０】
なお、ここでは、ベイヤ配列の撮像素子４を採用しているため、位置(I',J')についての4×4の寄与領域の全体に、位置合わせ後の撮影画像が重なっているとすると、G画素としては、例えば、図１５に○印で示すように、寄与領域には、位置合わせ後の撮影画像の１枚あたり、８画素が存在する。一方、R画素とB画素としては、寄与領域には、位置合わせ後の撮影画像の１枚あたり、それぞれ４画素が存在する。
【０１９１】
次に、上述の式（６）ないし式（８）の補間関数w((x,y),(I',J'))について説明する。
【０１９２】
いま、上述したように、変数pを、式p=x-I'で定義するとともに、変数qを、式q=y-J'で定義し、補間関数w((x,y),(I',J'))として、変数pとqを引数とする関数f(p,q)を採用することとする。
【０１９３】
この場合、補間関数f(p,q)としては、例えば、バイリニア(Bilinear)関数やバイキュービック(Bicubic)関数を採用することができる。
【０１９４】
バイリニア関数Bilinear(p,q)は、２つのリニア(Linear)関数Linear(z)の積であり、例えば、式（９）で表される。
【０１９５】
【数９】
2008028763.tif 000011
・・・（９）
【０１９６】
ここで、図１６に、式(９)のリニア関数Linear(z)を示す。
【０１９７】
バイキュービック関数Bicubic(p,q)は、２つのキュービック(Cubic)関数Cubic(z)の積であり、例えば、式（１０）で表される。
【０１９８】
【数１０】
2008028763.tif 000012
・・・（１０）
【０１９９】
ここで、図１７に、式(１０)のキュービック関数Cubic(z)を示す。
【０２００】
いま、補間関数f(p,q)として、例えば、式（９）のバイリニア(Bilinear)関数を採用することとし、さらに、N枚の撮影画像のうちのk枚目画像の、位置(i,j)の画素の画素値であるG信号、R信号、又はB信号を、inputPixel(k,i,j)と表すとともに、位置(I',J')の出力画素の画素値であるG信号、R信号、又はB信号を、outputPixel(I',J')と表すこととすると、式（６）ないし式（８）は、式（１１）で表すことができる。
【０２０１】
【数１１】
2008028763.tif 000013
・・・（１１）
【０２０２】
但し、式（１１）において、p(k,i,j)とq(k,i,j)は、k枚目画像の位置(i,j)の画素の位置合わせ後の位置（基準座標系上の位置）を、(x,y)として、次式で表される。
【０２０３】
【数１２】
2008028763.tif 000014
・・・（１２）
【０２０４】
また、式（１１）において、その右辺の括弧（）の前にあるΣは、N枚の撮影画像についての総和を表す。
【０２０５】
さらに、式（１１）において、位置(I',J')の出力画素の画素値outputPixel(I',J')として、G信号、R信号、又はB信号のうちのG信号を求める場合には、式（１１）の右辺における分数の分母と分子のΣは、位置合わせ後のN枚の撮影画像の画素のうちの、寄与領域内にあるG画素すべてについての総和を表し、inputPixel(k,i,j)は、位置合わせ後の位置が寄与領域内の位置となるk枚目画像の位置(i,j)のG画素の画素値を表す。
【０２０６】
また、式（１１）において、位置(I',J')の出力画素の画素値outputPixel(I',J')として、R信号を求める場合には、式（１１）の右辺における分数の分母と分子のΣは、位置合わせ後のN枚の撮影画像の画素のうちの、寄与領域内にあるR画素すべてについての総和を表し、inputPixel(k,i,j)は、位置合わせ後の位置が寄与領域内の位置となるk枚目画像の位置(i,j)のR画素の画素値を表す。
【０２０７】
さらに、式（１１）において、位置(I',J')の出力画素の画素値outputPixel(I',J')として、B信号を求める場合には、式（１１）の右辺における分数の分母と分子のΣは、位置合わせ後のN枚の撮影画像の画素のうちの、寄与領域内にあるB画素すべてについての総和を表し、inputPixel(k,i,j)は、位置合わせ後の位置が寄与領域内の位置となるk枚目画像の位置(i,j)のB画素の画素値を表す。
【０２０８】
なお、ここでは、出力画素の画素値outputPixel(I',J')のG信号、R信号、又はB信号のうちの、例えば、G信号を求める場合には、撮影画像の画素のうちのG画素の画素値のみ、つまり、G信号のみを用いるようにしたが、出力画素の画素値outputPixel(I',J')のG信号は、撮影画像の画素のうちのG画素の画素値であるG信号の他、R画素の画素値であるR信号や、B画素の画素値であるB信号をも用いて求めることも可能である。出力画素の画素値outputPixel(I',J')のR信号やB信号についても、同様である。
【０２０９】
次に、図１８のフローチャートを参照して、出力画素の画素値であるG信号、R信号、及びB信号を補間することにより、出力画像を生成する図１０のステップＳ４における画像生成処理について説明する。
【０２１０】
初めに、ステップＳ７１において、演算回路２４は、基準座標系上のある出力画素を注目画素として、注目画素の位置（I',J'）を、注目位置（I',J'）として選択する。
【０２１１】
そして、ステップＳ７１からステップＳ７２に進み、演算回路２４は、k枚目画像のG画素（G信号Gobs(k,ig,jg)の画素）の位置(ig-1,jg-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、注目位置（I',J'）についての寄与領域を表す式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ig,jg)の組を、１ないしN枚目画像についてすべて求め、その（k,ig,jg)で表されるG画素を、注目画素の補間に寄与する寄与画素として特定し、ステップＳ７３に進む。
【０２１２】
なお、k枚目画像のG画素の位置を、基準座標系上の位置（x,y）にアフィン変換するときの変換パラメータ(ak,bk,ck,dk,sk,tk)は、動き検出回路２３k-1から演算回路２４に供給される。また、基準画像でもある１枚目画像については、すなわち、k=1の場合については、変換パラメータ(a1,b1,c1,d1,s1,t1)として、(1,0,0,1,0,0)が用いられる。したがって、１枚目画像は、実質的にアフィン変換されない。
【０２１３】
ここで、k枚目画像の画素の位置の、基準座標系上へのアフィン変換後の位置（x,y）を、以下、適宜、変換位置（x,y）ともいう。
【０２１４】
ステップＳ７３において、演算回路２４は、ステップＳ７２で求めたすべての（k,ig,jg)の組を用いて、式（６）（式（１１））を演算することにより、注目画素の画素値のG信号Lg（I',J'）(outputPixel(I',J'))を求め、ステップＳ７４に進む。
【０２１５】
すなわち、演算回路２４は、ステップＳ７２で求めた（k,ig,jg）で特定される寄与画素すべての画素値であるG信号Gobs(k,ig,jg)と、変換位置(x,y)に応じて変化する補間関数w((x,y),(I',J'))としてのバイリニア関数Bilinear(p(k,i,j),q(k,i,j))とを用いた式（６）（式（１１））の補間によって、注目画素の画素値のG信号Lg（I',J'）(outputPixel(I',J'))を求める。
【０２１６】
ステップＳ７４において、演算回路２４は、k枚目画像のR画素（R信号Robs(k,ir,jr)の画素）の位置(ir-1,jr-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の変換位置（x,y）が、注目位置（I',J'）についての寄与領域を表す式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ir,jr)の組を、１ないしN枚目画像についてすべて求め、その（k,ir,jr)で表されるR画素を、注目画素の補間に寄与する寄与画素として特定し、ステップＳ７５に進む。
【０２１７】
ステップＳ７５において、演算回路２４は、ステップＳ７４で求めたすべての（k,ir,jr)の組を用いて、式（７）（式（１１））を演算することにより、注目画素の画素値のR信号Lr（I',J'）(outputPixel(I',J'))を求め、ステップＳ７６に進む。
【０２１８】
すなわち、演算回路２４は、ステップＳ７４で求めた（k,ir,jr)で特定される寄与画素すべての画素値であるR信号Gobs(k,ir,jr)と、変換位置(x,y)に応じて変化する補間関数w((x,y),(I',J'))としてのバイリニア関数Bilinear(p(k,i,j),q(k,i,j))とを用いた式（７）（式（１１））の補間によって、注目画素の画素値のR信号Lr（I',J'）(outputPixel(I',J'))を求める。
【０２１９】
ステップＳ７６において、演算回路２４は、k枚目画像のB画素（B信号Bobs(k,ib,jb)の画素）の位置(ib-1,jb-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の変換位置（x,y）が、注目位置（I',J'）についての寄与領域を表す式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ib,jb)の組を、１ないしN枚目画像についてすべて求め、その（k,ib,jb)で表されるB画素を、注目画素の補間に寄与する寄与画素として特定し、ステップＳ７７に進む。
【０２２０】
ステップＳ７７において、演算回路２４は、ステップＳ７６で求めたすべての（k,ib,jb)の組を用いて、式（８）（式（１１））を演算することにより、注目画素の画素値のB信号Lb（I',J'）(outputPixel(I',J'))を求め、ステップＳ７８に進む。
【０２２１】
すなわち、演算回路２４は、ステップＳ７６で求めた（k,ib,jb)で特定される寄与画素すべての画素値であるB信号Gobs(k,ib,jb)と、変換位置(x,y)に応じて変化する補間関数w((x,y),(I',J'))としてのバイリニア関数Bilinear(p(k,i,j),q(k,i,j))とを用いた式（８）（式（１１））の補間によって、注目画素の画素値のB信号Lb（I',J'）(outputPixel(I',J'))を求める。
【０２２２】
ステップＳ７８において、演算回路２４は、出力画像のすべての出力画素を注目画素としたか、すなわち、出力画像のすべての出力画素の画素値であるG信号Lg（I',J'）、R信号Lr（I',J'）、及びB信号Lb（I',J'）を求めたか否かを判定する。
【０２２３】
ステップＳ７８で、まだ注目画素としていない出力画素があると判定された場合、ステップＳ７１に戻り、ステップＳ７１ないしＳ７８の処理が繰り返される。すなわち、演算回路２４は、まだ注目画素としていない出力画素を新たな注目画素として、その新たな注目画素のG信号Lg（I',J'）、R信号Lr（I',J'）、及びB信号Lb（I',J'）をそれぞれ求める。
【０２２４】
一方、ステップＳ７８で、すべての出力画素を注目画素としたと判定された場合、ステップＳ７９に進み、演算回路２４は、すべての出力画素について求めたG信号Lg（I',J'）、R信号Lr（I',J'）、B信号Lb（I',J'）を画素値とする出力画像を生成し、D/Aコンバータ９又はコーデック１２に供給してリターンする。
【０２２５】
以上のように、高速撮像により得られた複数枚の撮影画像どうしの位置関係を検出し、その位置関係に基づいて位置合わせした位置合わせ後の複数の撮影画像の画素値と、位置合わせ後の複数の撮影画像の画素の位置に応じて変化する補間関数とを用いて、出力画素の画素値を求め、その画素値からなる出力画像を生成することにより、カメラぶれのない鮮明な出力画像を得ることができる。
【０２２６】
ところで、図１８で説明したように、N枚の撮影画像を用いて出力画像を生成する場合には、前述したように、その撮影画像に動体が映っていると、例えば、ジッパノイズや、偽色、欠落領域が現れた不自然な出力画像が得られることがある。
【０２２７】
そこで、演算回路２４（図１２）では、出力画素が、動いている被写体が映っている領域内の画素である動き画素であるかどうかを判定し、出力画素が動き画素であるかどうかの判定結果に基づいて、出力画素の補間に用いる補間関数の高域通過特性を調整することにより、撮影画像に動体が映っていることに起因して生じる出力画像の不自然さを低減することができるようになっている。
【０２２８】
演算回路２４において、出力画素が動き画素であるかどうかの判定は、例えば、以下のようにして行われる。
【０２２９】
すなわち、演算回路２４は、位置合わせ後の撮影画像における、出力画像の注目画素の位置から近い範囲の近傍領域を、注目画素が動き画素であるかどうかを判定するのに用いる判定領域として、位置合わせ後の撮影画像の画素のうちの、判定領域内の画素の画素値に基づいて、注目画素が動き画素であるかどうかを判定する。
【０２３０】
具体的には、例えば、いま、説明を簡単にするために、N枚の撮影画像として、１枚目画像と２枚目画像との２枚の撮影画像から、出力画像を生成することとすると、演算回路２４は、例えば、図１９に示すように、１枚目画像の画素のうちの、注目画素の位置から最も近い位置にある画素を中心とする横×縦が５×５画素の領域を、１枚目画像についての判定領域とするとともに、図２０に示すように、２枚目画像の画素のうちの、注目画素の位置から最も近い位置にある画素を中心とする横×縦が５×５画素の領域を、２枚目画像についての判定領域とし、この１枚目画像と２枚目画像それぞれについての判定領域内の５×５画素の画素値に基づいて、注目画素が動き画素であるかどうかを判定する。
【０２３１】
ここで、図１９は、位置合わせ後の１枚目画像の画素を示しており、図２０は、位置合わせ後の２枚目画像の画素を示している。また、図２１は、位置合わせ後の１枚目画像と２枚目画像の両方の画素を示している。
【０２３２】
図２１に示すように、位置合わせ後の１枚目画像の画素の位置と、位置合わせ後の２枚目画像の画素の位置とは、必ずしも一致するとは限らないため、位置合わせ後の１枚目画像の画素値と、位置合わせ後の２枚目画像の画素値とを、画素単位で比較することは困難である。
【０２３３】
そこで、演算回路２４では、図１９に示すように、位置合わせ後の１枚目画像の画素のうちの、注目画素に最も近い位置にある画素である近接画素を中心とする５×５画素の領域を１枚目画像についての判定領域とするとともに、図２０に示すように、位置合わせ後の２枚目画像の画素のうちの、注目画素に最も近い位置にある画素である近接画素を中心とする５×５画素の領域を２枚目画像についての判定領域として、判定領域単位で画素値を比較することにより、出力画素が動き画素であるかどうかを判定する。
【０２３４】
具体的には、図１９の１枚目画像についての判定領域内の５×５画素の画素値の合計値（総和）をreg1と、図２０の２枚目画像についての判定領域内の５×５画素の判定領域内の画素値の合計値をreg2と、所定の閾値をratioTHと、それぞれ表すこととすると、演算回路２４は、例えば、以下の規則（Ｒ１）にしたがって、注目画素が動き画素であるかどうかを判定する。
【０２３５】
if(reg1 > reg2){
reg1 / reg2 > ratioTH
}else{
reg2 / reg1 > ratioTH
}
・・・（Ｒ１）
【０２３６】
規則（Ｒ１）においては、１枚目画像についての判定領域内の画素値の合計値reg1が、２枚目画像についての判定領域内の画素値の合計値reg2よりも大きい場合には、reg1/reg2が閾値ratioTHより大きければ、出力画素が動き画素であると判定され、reg1/reg2が閾値ratioTHより大きくなければ、出力画素が動き画素でないと判定される。
【０２３７】
また、規則（Ｒ１）においては、１枚目画像についての判定領域内の画素値の合計値reg1が、２枚目画像についての判定領域内の画素値の合計値reg2よりも大きくない場合には、reg2/reg1が閾値ratioTHより大きければ、出力画素が動き画素であると判定され、reg2/reg1が閾値ratioTHより大きくなければ、出力画素が動き画素でないと判定される。
【０２３８】
ここで、演算回路２４では、その他、例えば、合計値reg1とreg2との差分絶対値|reg1-reg2|を閾値absTHと比較する次の規則（Ｒ２）にしたがって、注目画素が動き画素であるかどうかを判定することができる。
【０２３９】
|reg1 - reg2| > absTH
・・・（Ｒ２）
【０２４０】
規則（Ｒ２）によれば、差分絶対値|reg1-reg2|が閾値absTHより大きければ、注目画素が動き画素であると判定され、差分絶対値|reg1-reg2|が閾値absTHより大きくなければ、注目画素が動き画素でないと判定される。
【０２４１】
また、上述の場合には、説明を簡単にするために、N枚の撮影画像として、１枚目画像と２枚目画像との２枚の撮影画像から出力画像を生成することとしたが、２枚以上のN枚の撮影画像から出力画像を生成する場合には、そのN枚の撮影画像それぞれについての判定領域の画素の画素値の合計値の分散をdevとするとともに、所定の閾値をdevTHとして、以下の規則（Ｒ３）にしたがって、注目画素が動き画素であるかどうかを判定することができる。
【０２４２】
dev > devTH
・・・（Ｒ３）
【０２４３】
規則（Ｒ３）によれば、分散devが閾値devTHより大きければ、注目画素が動き画素であると判定され、分散devが閾値devTHより大きくなければ、注目画素が動き画素でないと判定される。
【０２４４】
その他、例えば、N枚の撮影画像それぞれについての判定領域の画素の画素値の合計値のうちの最大値をmaxRegと、最小値をminRegと、閾値をdiffTHと、それぞれして、以下の規則（Ｒ４）にしたがって、注目画素が動き画素であるかどうかを判定することができる。
【０２４５】
maxReg - minReg > diffTH
・・・（Ｒ４）
【０２４６】
規則（Ｒ４）によれば、最大値maxRegと最小値minRegとの差maxReg-minRegが閾値diffTHよりも大きければ、注目画素が動き画素であると判定され、差maxReg-minRegが閾値diffTHよりも大きくなければ、注目画素が動き画素でないと判定される。
【０２４７】
なお、上述の場合には、撮影画像の画素のうちの、注目画素の位置に最も近い位置にある画素である近傍画素を中心とする５×５画素を、判定領域とすることとしたが、判定領域のサイズは、５×５画素に限定されるものではない。判定領域のサイズは、例えば、実験を行うこと等によって、動き画素であるかどうかの判定の精度が最も良くなるサイズに決定することができる。
【０２４８】
また、判定領域内の画素の画素値の合計値としては、判定領域内のG画素の画素値であるG信号、R画素の画素値であるR信号、及びB画素の画素値であるB信号のすべての合計値を採用することもできるし、近傍画素と同一種類の色信号（図１９及び図２０では、G信号）を有する画素の画素値（色信号）のみの合計値を採用することもできる。
【０２４９】
さらに、判定領域内の画素の画素値の合計値としては、判定領域内の画素の画素値を適切な色空間に変換して得られる画素値(例えば、YUV空間における輝度信号Yなど)の合計値を採用することもできる。
【０２５０】
次に、出力画像の注目画素が動き画素であるかどうかの判定結果に基づいて、補間関数の高域通過特性を調整して、注目画素を補間する方法について説明する。
【０２５１】
なお、ここでは、補間関数として、例えば、バイリニア関数を採用することとする。
【０２５２】
注目画素が動き画素であるかどうかの判定結果に基づいて、補間関数の高域通過特性を調整して、注目画素を補間する場合においては、補間関数であるバイリニア関数Bilinear(x,y)として、例えば、式（１３）で表されるバイリニア関数Bilinear(x,y)が採用される。
【０２５３】
【数１３】
2008028763.tif 000015
・・・（１３）
【０２５４】
式（１３）において、scaleX及びscaleYは、補間関数としてのバイリニア関数Bilinear(x,y)の高域通過特性を調整するフィルタパラメータであり、このフィルタパラメータscaleX及びscaleYが大であるほど、補間関数のローパスフィルタとしての効果が大となる。すなわち、フィルタパラメータscaleX及びscaleYが大であるほど、補間関数は、より高周波数成分を制限するローパスフィルタとなる。
【０２５５】
撮影画像に動体が映っていない場合には、補間関数が、出力画像にアーチファクトを生じさせない程度のローパスフィルタとして機能するように、フィルタパラメータscaleX及びscaleYを小さくし、これにより、撮影画像に映っているエッジなどの高周波数成分を維持することが望ましい。
【０２５６】
しかしながら、撮影画像に動体が映っている場合には、フィルタパラメータscaleX又はscaleYが小さいと、その動体が映っている部分において、前述の図２ないし図６で説明したジッパノイズや偽色が発生しやすくなる。
【０２５７】
そこで、演算回路２４では、注目画素が動き画素でない場合には、フィルタパラメータscaleX及びscaleYを小さくすることにより、エッジなどの高周波数成分を維持する一方、注目画素が動き画素である場合には、フィルタパラメータscaleX及びscaleYを大きくすることにより、補間関数のローパスフィルタとしての効果を大にして、ジッパノイズや偽色の発生を防止（低減）するようになっている。
【０２５８】
図２２ないし図２４は、式（１３）のバイリニア関数Bilinear(x,y)のフィルタパラメータscaleX及びscaleYを調整して行われる出力画素の画素値の補間の様子を示している。
【０２５９】
なお、図２２ないし図２４には、撮影画像や出力画像の画素値、バイリニア関数Bilinear(x,y)を示してあるが、画素値としては、ある１ラインの方向に並ぶ画素のG信号だけを示してあり、バイリニア関数Bilinear(x,y)としては、画素値が並ぶ方向に注目したバイリニア関数Bilinear(x,y)、つまり、リニア関数Linear(z/scaleZ)を示してある。ここで、Zは、注目画素からの距離を表し、scaleZは、フィルタパラメータである。
【０２６０】
また、図２２ないし図２４では、説明を簡単にするために、位置合わせ後の撮影画像の画素の位置どうし、さらには、位置合わせ後の撮影画像の画素と出力画像の画素との位置が一致している。
【０２６１】
図２２上から１番目は、位置合わせ後の撮影画像の画素の画素値（G信号）を示しており、０ではない、ある値の画素値と、０の画素値とが交互に並んでいる。なお、図２２上から１番目は、前述の図５及び図６上から１番目と同一の図である。
【０２６２】
図２２上から２番目は、フィルタパラメータscaleZが1.0のリニア関数Linear(z/scaleZ)を示している。
【０２６３】
図２２上から３番目は、図２２上から１番目の撮影画像と、図２２上から２番目のリニア関数Linear(z/scaleZ)とを用いた補間において、図２２上から１番目の撮影画像の画素値の、補間に寄与する寄与成分としての画素値を示している。
【０２６４】
フィルタパラメータscaleZが1.0である場合には、撮影画像の画素のうちの、注目画素の位置にある画素の隣の画素、つまり、注目画素から距離Zが1.0以上離れた画素の画素値については、リニア関数Linear(z/scaleZ)は0となり、その画素値は、注目画素の補間に寄与しないため、図２２上から１番目の撮影画像の画素値が補間に寄与する寄与成分は、図２２上から３番目に示すように、図２２上から１番目の撮影画像の画素値と一致する。
【０２６５】
図２３は、図２２と同様に、撮影画像の画素値、リニア関数Linear(z/scaleZ)、及び撮影画像の画素値が補間に寄与する寄与成分を示している。
【０２６６】
但し、図２３では、リニア関数Linear(z/scaleZ)のフィルタパラメータscaleZが、1.0より大の、例えば、1.5になっている。
【０２６７】
図２３上から１番目は、図２２上から１番目と同一の、位置合わせ後の撮影画像の画素の画素値（G信号）を示している。
【０２６８】
図２３上から２番目は、フィルタパラメータscaleZが1.5のリニア関数Linear(z/scaleZ)を示している。
【０２６９】
図２３上から３番目は、図２３上から１番目の撮影画像と、図２３上から２番目のリニア関数Linear(z/scaleZ)とを用いた補間において、図２３上から１番目の撮影画像の画素値の、補間に寄与する寄与成分としての画素値を示している。
【０２７０】
フィルタパラメータscaleZが1.5である場合には、撮影画像の画素のうちの、注目画素から1.5以上離れた画素の画素値について、リニア関数Linear(z/scaleZ)が0となる。
【０２７１】
したがって、撮影画像の画素のうちの、注目画素の位置にある画素の隣の画素、つまり、注目画素から1.0以上離れた画素の画素値については、図２２の場合と異なり、リニア関数Linear(z/scaleZ)は0とならないため、その画素値は、注目画素の補間に寄与する。その結果、図２３上から１番目の撮影画像の画素値が補間に寄与する寄与成分は、図２３上から３番目に示すように、図２２上から１番目の撮影画像の画素値を平滑化したようなものとなる。
【０２７２】
図２４は、２枚の撮影画像P1及びP2に映っている被写体が動いている場合の、位置合わせ後の２枚の撮影画像P1及びP2のある１ラインの画素の画素値と、その位置合わせ後の２枚の撮影画像P1及びP2、並びにフィルタパラメータscaleZが1.5のリニア関数Linear(z/scaleZ)を用いた補間によって生成された出力画像Poutの画素の画素値とを示している。
【０２７３】
すなわち、図２４上から１番目は、位置合わせ後の２枚の撮影画素のうちの１枚目の撮影画像P1の画素の画素値を示しており、図２４上から２番目は、２枚目の撮影画像P2の画素の画素値を示している。
【０２７４】
図２４上から１番目と２番は、それぞれ、前述の図６上から１番目と２番目と同一の図であり、したがって、図２４上から２番目の画素の位置は、図２４上から１番目の画素に対して、１画素分だけずれており、また、２枚の撮影画像P1及びP2には、動体が映っている。
【０２７５】
そして、２枚の撮影画像P1及びP2に、動体が映っているために、位置合わせ後の撮影画像P1の画素と、その画素に近い、位置合わせ後の撮影画像P2の画素とには、異なる被写体が映ってしまい、その結果、位置合わせ後の撮影画像P1の画素と、その画素に近い、位置合わせ後の撮影画像P2の画素とのG信号は、大きく異なる値となっている。
【０２７６】
図２４上から３番目は、図２４上から１番目の１枚目の撮影画像P1、及び図２４上から２番目の２枚目の撮影画像P2と、フィルタパラメータscaleZが1.5のリニア関数Linear(z/scaleZ)を用いた補間によって生成された出力画像Poutの画素値を示している。
【０２７７】
フィルタパラメータscaleZが1.5である場合には、図２３で説明したように、撮影画像の画素値が補間に寄与する寄与成分は、その撮影画像の画素値を平滑化したようなものとなる。
【０２７８】
そして、出力画像Poutの画素値は、撮影画像P1の画素値が平滑化された寄与成分と、撮影画像P2の画素値が平滑化された寄与成分とを重ね合わせ（加算した）ものとなるから、図２４上から３番目に示すように、滑らかに変化する値（平均化された値）となる。
【０２７９】
その結果、出力画像Poutにおいて、ジッパノイズや偽色が発生することを防止することができる。
【０２８０】
次に、図２５のフローチャートを参照して、上述のように、補間関数のフィルタパラメータを調整しながら、出力画素の画素値であるG信号、R信号、及びB信号を補間することにより、出力画像を生成する図１０のステップＳ４における画像生成処理について説明する。
【０２８１】
初めに、ステップＳ１０１において、図１８のＳ７１と同様に、演算回路２４は、基準座標系上のある出力画素を注目画素として、注目画素の位置（I',J'）を、注目位置（I',J'）として選択して、ステップＳ１０２に進む。
【０２８２】
ステップＳ１０２では、演算回路２４は、N枚の撮影画像それぞれについて、注目画素の位置に最も近い位置にある画素である近傍画素を中心とする５×５画素を、判定領域として認識し、ステップＳ１０３に進む。
【０２８３】
ステップＳ１０３では、演算回路２４は、N枚の撮影画像それぞれについての判定領域の画素の合計値に基づいて、上述したように、注目画素が動き画素であるかどうかを判定する動き判定を行って、ステップＳ１０４に進む。
【０２８４】
ステップＳ１０４では、演算回路２４は、注目画素についての動き判定結果に基づいて、補間関数としての、例えば、バイリニア関数Bilinear(x,y)=Linear(x/scaleX)×Linear(y/scaleY)のフィルタパラメータscaleX及びscaleYを調整する。
【０２８５】
すなわち、演算回路２４は、ステップＳ１０３で注目画素が動き画素であるとの動き判定結果が得られた場合、フィルタパラメータscaleXを定数pXに決定するとともに、フィルタパラメータscaleYを定数pYに決定する。
【０２８６】
また、演算回路２４は、ステップＳ１０３で注目画素が動き画素であるとの動き判定結果が得られた場合、フィルタパラメータscaleXを定数pX'に決定するとともに、フィルタパラメータscaleYを定数pY'に決定する。
【０２８７】
ここで、定数pX,pY,pX',pY'は、式pX>pX'、及び式pY>pY'を満足する関係を有し、例えば、定数pX及びpYは1.5であり、定数pX'及びpY'は1.0である。
【０２８８】
その後は、ステップＳ１０５ないしＳ１１２において、図１８のステップＳ７２ないしＳ７９における場合とそれぞれ同様の処理が行われ、出力画像が求められる。但し、ステップＳ１０６，Ｓ１０８、及びＳ１１０においては、式（１１）の補間関数としてのバイリニア関数Bilinear(p(k,i,j),q(k,i,j))として、フィルタパラメータscaleX及びscaleYによる高域通過特性の調整が可能なバイリニア関数Bilinear(x,y)=Linear(x/scaleX)×Linear(y/scaleY)を用いた補間によって、注目画素の画素値outputPixel(I',J')が求められる。
【０２８９】
以上のように、注目画素が動き画素であるかどうかを判定し、注目画素が動き画素でない場合には、フィルタパラメータscaleXとscaleYをそれぞれ小さい値pX'とpY'に調整し、注目画素が動き画素である場合には、フィルタパラメータscaleXとscaleYをそれぞれ大きい値pX'とpY'に調整することにより、撮影画像の高周波成分を維持しつつ（解像度を不必要に劣化させずに）、ジッパノイズや偽色のない（低減した）自然な出力画像を得ることができる。
【０２９０】
ここで、図２６は、図２５の画像生成処理により求めた、前述の図２と同様の出力画像の一部を拡大した拡大画像を示している。
【０２９１】
図２６においては、ジッパノイズが低減されている。
【０２９２】
なお、注目画素（の画素値）の補間では、図１８で説明したように、k枚目画像の画素の位置(i-1,j-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の変換位置（x,y）が、注目位置（I',J'）についての、いわばサイズが固定の寄与領域を表す式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,i,j)の組が、１ないしN枚目画像についてすべて求められ、その（k,i,j)で表される画素が、注目画素の補間に寄与する寄与画素として特定される。そして、その寄与画素を用いて、注目画素の補間が行われる。
【０２９３】
また、図２２及び図２３で説明したことから、フィルタパラメータscaleX及びscaleYによる高域通過特性の調整が可能なバイリニア関数Bilinear(x,y)=Linear(x/scaleX)×Linear(y/scaleY)による補間においては、撮影画像の画素のうちの、変換位置(x,y)が、式|x|<scaleX、及び式|y|<scaleYを満たす画素が、注目画素の補間に寄与する。
【０２９４】
したがって、図２５の画像生成処理においては、変換位置（x,y）が、注目位置（I',J'）についてのサイズが固定の寄与領域内にあり、かつ、変換位置(x,y)が、式|x|<scaleX、及び式|y|<scaleYを満たす画素が、注目画素の補間に寄与することになる。
【０２９５】
なお、寄与領域を、フィルタパラメータscaleX及びscaleYに応じてサイズが可変の領域、すなわち、例えば、式|x-I'|<scaleX、及び式|y-J'|<scaleYを満たす領域として、変換位置(x,y)がこの寄与領域にある画素すべてを用いて、位置(I',J')の注目画素の補間を行うようにすることが可能である。この場合、フィルタパラメータscaleX及びscaleYが大、又は小であるほど、寄与領域は大きな領域、又は小さな領域となる。
【０２９６】
また、図２５の画像生成処理では、撮影画像についての判定領域の画素の合計値に基づいて、出力画素が動き画素であるかどうかを判定するようにしたが、その他、例えば、動き画素であると判定された出力画素の補間に用いられる撮影画像の画素を用いて補間が行われる他の出力画素については、動き画素と判定し、判定領域の画素の合計値に基づいて動き画素かどうかの判定を行わない（スキップする）ことができる。
【０２９７】
さらに、図２５の画像生成処理では、注目画素が動き画素でない場合には、フィルタパラメータscaleXとscaleYをそれぞれ小さい値pX'とpY'に調整し、注目画素が動き画素である場合には、フィルタパラメータscaleXとscaleYをそれぞれ大きい値pX'とpY'に調整したが、フィルタパラメータscaleXとscaleYの値は、注目画素の動きの程度に応じて調整することが可能である。
【０２９８】
すなわち、例えば、規則（Ｒ３）で説明したN枚の撮影画像それぞれについての判定領域の画素の画素値の合計値の分散devを、注目画素の動きの程度を表す値として、フィルタパラメータscaleXとscaleYは、その分散devに比例した値に調整することが可能である。
【０２９９】
以上のことは、後述する図３１の画像生成処理においても同様である。
【０３００】
次に、図１８や図２５の画像生成処理では、N枚の撮影画像の画素によって、出力画素を補間するので、撮影画像に動体が映っていても、出力画像には、前述の図８で説明したような、背景が欠落している欠落領域が生じることはないが、それでも、動体又は背景が不自然に現れた出力画像が得られるおそれがある。
【０３０１】
そこで、演算回路２４（図１２）では、位置合わせ後の撮影画像における、出力画像の注目画素の位置から近い範囲の近傍領域を、位置合わせ後の撮影画像の画素の画素値が注目画素の画素値に影響する度合いを表す影響パラメータを求めるのに用いる影響領域として、位置合わせ後の撮影画像の画素のうちの、影響領域内の画素の画素値に基づいて、影響パラメータを求め、位置合わせ後の撮影画像の画素の画素値、及び補間関数の他に、影響パラメータを用いた補間を行うことによって、撮影画像の動体が映っている画素の画素値と、背景が映っている画素の画素値とを、いわば適切にブレンドし、これにより、違和感のない自然な出力画像を得ることができるようにすることができる。
【０３０２】
演算回路２４において、影響パラメータを用いた出力画素の補間、つまり、撮影画像の画素の画素値の適切なブレンドは、例えば、以下のようにして行われる。
【０３０３】
すなわち、図２７は、位置合わせ後のN枚の撮影画像を示している。
【０３０４】
図２７においては、N枚の撮影画像として、８枚の撮影画像が示されている。
【０３０５】
演算回路２４は、図２７に示すように、位置合わせ後の１枚目画像の画素のうちの、注目画素の位置から最も近い位置にある画素を中心とする横×縦が、例えば、５×５画素の領域を、１枚目画像についての影響領域とする。同様に、演算回路２４は、位置合わせ後の２枚目画像ないし８枚目画像それぞれの画素のうちの、注目画素の位置から最も近い位置にある画素を中心とする横×縦が５×５画素の領域を、影響領域とする。
【０３０６】
なお、ここでは、影響領域は、上述の判定領域と同一の領域となるが、必ずしも、判定領域と同一の領域である必要はない。また、影響領域は、上述したサイズが固定の寄与領域やサイズが可変の寄与領域と同一の領域とすることができる。さらに、影響領域としては、実験等によって求めた適切なサイズの領域を採用することが可能である。
【０３０７】
演算回路２４は、１枚目画像ないし８枚目画像それぞれについての影響領域内の画素値、すなわち、例えば、１枚目画像ないし８枚目画像それぞれについての影響領域内の画素値の合計値のヒストグラムに基づいて、注目画素の補間に用いる影響パラメータを求める。
【０３０８】
ここで、図２８は、１枚目画像ないし８枚目画像それぞれについての影響領域内の画素値の合計値のヒストグラムを示している。
【０３０９】
なお、図２８において、１枚目画像ないし８枚目画像のうちのk枚目画像の影響領域内の画素値の合計値は、regkで示されている。
【０３１０】
図２８左のヒストグラムでは、例えば、１枚目画像ないし８枚目画像についての影響領域のすべてに背景が映っており、このため、１枚目画像ないし８枚目画像についての影響領域内の画素値の合計値reg1ないしreg8それぞれが、同一の値val1になっている。
【０３１１】
一方、図２８右のヒストグラムでは、撮影画像に動体が映っており、つまり、１枚目画像ないし８枚目画像についての影響領域のうちのある影響領域には、ある被写体が映り、他の影響領域には、他の被写体が映っており、このため、１枚目画像ないし８枚目画像についての影響領域内の画素値の合計値reg1ないしreg8が、同一の値になっていない。
【０３１２】
すなわち、図２８右のヒストグラムでは、１枚目画像ないし３枚目画像についての影響領域内の画素値の合計値reg1ないしreg3が値val11になっており、４枚目画像ないし７枚目画像についての影響領域内の画素値の合計値reg4ないしreg7が、値val11より大の値val12になっている。また、８枚目画像についての影響領域内の画素値の合計値reg8が、値val11より大で、かつ値val12より小の値val13になっている。
【０３１３】
演算回路２４は、図２８左に示したように、１枚目画像ないし８枚目画像についての影響領域内の画素値の合計値reg1ないしreg8それぞれが、同一の値になっている場合、１枚目画像ないし８枚目画像それぞれの寄与領域内の画素の画素値を、同一の比率でブレンドすることにより、出力画素の画素値を求める。
【０３１４】
一方、演算回路２４は、図２８右に示したように、１枚目画像ないし８枚目画像についての影響領域内の画素値の合計値reg1ないしreg8それぞれが、同一の値になっていない場合、１枚目画像ないし８枚目画像それぞれの寄与領域内の画素の画素値を、異なる比率でブレンドすることにより、出力画素の画素値を求める。
【０３１５】
すなわち、演算回路２４は、１枚目画像ないし８枚目画像それぞれの寄与領域内の画素の画素値をブレンドするときの比率を求める基準となる画素値である基準値refを求め、その基準値refに基づき、k枚目画像の寄与領域内の画素の画素値をブレンドするときの比率、つまり、出力画素の画素値を補間するときに、k枚目画像の寄与領域内の画素の画素値を、出力画素の画素値に影響させる度合いを表す影響パラメータαkを求める。
【０３１６】
具体的には、演算回路２４は、例えば、式（１４）にしたがい、１枚目画像ないし８枚目画像についての影響領域内の画素値の合計値reg1ないしreg8の平均値を、基準値refとして求める。
【０３１７】
【数１４】
2008028763.tif 000016
・・・（１４）
【０３１８】
式（１４）によれば、図２８左では、値val1が、図２８右では、値aveが、それぞれ、基準値refとなる。
【０３１９】
また、演算回路２４は、例えば、式（１５）にしたがい、１枚目画像ないし８枚目画像についての影響領域内の画素値の合計値reg1ないしreg8の中央値を、基準値refとして求める。
【０３２０】
【数１５】
2008028763.tif 000017
・・・（１５）
【０３２１】
ここで、式（１５）において、関数med()は、かっこ内の中央値を返す関数であり、reqkのサフィックスkは、図２８では、１から８までの整数値をとる。
【０３２２】
式（１５）によれば、図２８左では、値val1が、図２８右では、値val13が、それぞれ、基準値refとなる。
【０３２３】
さらに、演算回路２４では、その他、例えば、式（１６）にしたがい、１枚目画像ないし８枚目画像についての影響領域内の画素値の合計値reg1ないしreg8の度数が最も高い最頻値を、基準値refとして求めることができる。
【０３２４】
【数１６】
2008028763.tif 000018
・・・（１６）
【０３２５】
ここで、式（１５）において、関数maxfreq()は、かっこ内の最頻値を返す関数であり、reqkのサフィックスkは、図２８では、１から８までの整数値をとる。
【０３２６】
式（１６）によれば、図２８左では、値val1が、図２８右では、値val12が、それぞれ、基準値refとなる。
【０３２７】
演算回路２４は、基準値refを求めた後は、例えば、以下のような規則（Ｒ５）にしたがって、影響パラメータαkを求める。
【０３２８】
if(reqk < ref){
αk = g×reqk/ref
}else{
αk = g×ref/regk
}
if(αk > 1){
αk = 1
}
・・・（Ｒ５）
【０３２９】
なお、規則（Ｒ５）において、gは、正の値の係数である。
【０３３０】
規則（Ｒ５）によれば、k枚目画像についての影響領域内の画素値の合計値regkが、基準値refより小さい場合には、式αk=g×reqk/refにしたがって、仮の影響パラメータαkが求められ、k枚目画像についての影響領域内の画素値の合計値regkが、基準値refより小さくない場合には、式αk=g×ref/regkにしたがって、仮の影響パラメータαkが求められる。
【０３３１】
さらに、仮の影響パラメータαkが1より大である場合には、1が、最終的な影響パラメータαkに決定され、仮の影響パラメータαkが1より大でない場合には、その仮の影響パラメータαkが、そのまま、最終的な影響パラメータαkに決定される。したがって、影響パラメータαkの最大値は、1である。
【０３３２】
そして、演算回路２４では、最終的な影響パラメータαkの決定後、式（１１）に代えて、式（１７）にしたがって、出力画素（注目画素）の画素値outputPixel(I',J')が求められる。
【０３３３】
【数１７】
2008028763.tif 000019
・・・（１７）
【０３３４】
式（１７）によれば、k枚目画像の寄与領域内の画素の画素値inputPixel(k,i,j)は、影響パラメータαkの値の程度だけ、注目画素のoutputPixel(I',J')に影響する。
【０３３５】
ここで、規則（Ｒ５）によれば、k枚目画像の影響領域内の画素の画素値inputPixel(k,i,j)の合計値regkが、基準値refと大きく異なる場合には、影響パラメータαkは小さくなり、合計値regkが、基準値refと同様の値である場合には、影響パラメータαkは大きくなる。
【０３３６】
例えば、ある程度の速さで動いている小さな動体が映っているN枚の撮影画像については、一般に、k枚目画像の寄与領域に背景のみが映っている場合には、影響領域内の画素値の合計値regkは、基準値refに近い値となり、影響パラメータαkは、1に近い値となる。一方、k枚目画像の寄与領域に、動体のみが映っている場合や、動体と背景との両方が映っている場合には、影響領域内の画素値の合計値regkは、基準値refと（大きく）異なる値となり、影響パラメータαkは、1より小さい値（0に近い値）になる。
【０３３７】
したがって、k枚目画像の寄与領域に、動体のみが映っている場合や、動体と背景との両方が映っている場合には、その寄与領域内の画素値は、注目画素の画素値outputPixel(I',J')にあまり影響しないが、k枚目画像の寄与領域に背景のみが映っている場合には、その寄与領域内の画素値が、注目画素の画素値outputPixel(I',J')に大きく影響し、その結果、注目画素の画素値outputPixel(I',J')は、動体の影響をほとんど受けておらず、背景の影響を大きく受けた画素値となる。
【０３３８】
なお、規則（Ｒ５）において、定数gは、可変の定数であり、注目画素の画素値outputPixel(I',J')に、動体が映っている画素の画素値を影響させる程度は、この定数gによって調整することができる。
【０３３９】
すなわち、定数gを小とすることにより、注目画素の画素値outputPixel(I',J')に、動体が映っている画素の画素値を影響させる程度を低下させ、これにより、出力画像において、動体を目立たなくすることができる。
【０３４０】
例えば、前述の図７に示したように、動体が映っている２枚の撮影画像P1及びP2を用いて出力画像を生成する場合において、動体が映っている領域が重複していないときには、定数gを小とすることにより、動体が目立たない出力画像を得ることができる。
【０３４１】
一方、定数gを大とすることにより、注目画素の画素値outputPixel(I',J')に、動体が映っている画素の画素値を影響させる程度を大にし、これにより、出力画像において、動体を目立たせることができる。
【０３４２】
例えば、前述の図８に示したように、動体が映っている２枚の撮影画像P1及びP2を用いて出力画像を生成する場合において、動体が映っている領域が重複しているときには、定数gを大とすることにより、図２９に示すように、動体が目立つようにして、欠落領域が現れるのを防止した自然な出力画像を得ることができる。
【０３４３】
以上のように、定数gは、状況に応じて、適切な値に設定することが望ましい。
【０３４４】
次に、図３０のフローチャートを参照して、上述のように、影響パラメータを求め、その影響パラメータを用いて、出力画素の画素値であるG信号、R信号、及びB信号を補間することにより、出力画像を生成する図１０のステップＳ４における画像生成処理について説明する。
【０３４５】
初めに、ステップＳ１３１において、図１８のＳ７１と同様に、演算回路２４は、基準座標系上のある出力画素を注目画素として、注目画素の位置（I',J'）を、注目位置（I',J'）として選択して、ステップＳ１３２に進む。
【０３４６】
ステップＳ１３２では、演算回路２４は、N枚の撮影画像それぞれについて、注目画素の位置に最も近い位置にある画素である近傍画素を中心とする５×５画素を、影響領域として認識し、ステップＳ１３３に進む。
【０３４７】
ステップＳ１３３では、演算回路２４は、N枚の撮影画像それぞれについての影響領域の画素の合計値に基づいて、上述したように、基準値refを求め、さらに、その基準値refに基づき、規則（Ｒ５）にしたがって、N枚の撮像画像それぞれについての影響パラメータαkを求める。
【０３４８】
その後は、ステップＳ１３４ないしＳ１４１において、図１８のステップＳ７２ないしＳ７９における場合とそれぞれ同様の処理が行われ、出力画像が求められる。但し、ステップＳ１３５，Ｓ１３７、及びＳ１３９においては、式（１１）に代えて、式（１７）にしたがい、位置合わせ後のN枚の撮影画像の画素値、補間関数としてのバイリニア関数Bilinear(p(k,i,j),q(k,i,j))、及び影響パラメータαkを用いた補間によって、注目画素の画素値outputPixel(I',J')が求められる。
【０３４９】
以上のように、位置合わせ後の撮影画像の画素のうちの、影響領域内の画素の画素値に基づいて、影響パラメータを求め、位置合わせ後の撮影画像の画素の画素値、及び補間関数の他に、影響パラメータをも用いた補間を行うことによって、撮影画像の動体が映っている画素の画素値と、背景が映っている画素の画素値とを、いわば適切にブレンドすることができ、その結果、違和感のない自然な出力画像を得ることができる。
【０３５０】
なお、図３０の画像生成処理では、出力画像のすべての出力画素の補間を、規則（Ｒ５）にしたがって求められる影響パラメータαkを用いて行うようにしたが、その他、例えば、図２５で説明したように、出力画素が動き画素であるかどうかを判定し、動き画素でないと判定された出力画素の補間は、1をセットした影響パラメータαkを用いて行い、動き画素であると判定された出力画素の補間は、規則（Ｒ５）にしたがって求められた影響パラメータαkを用いて行うことができる。
【０３５１】
次に、演算回路２４（図１２）では、上述の、高域通過特性の調整が可能な補間関数と、影響パラメータαkとの両方を用いて、出力画素の補間を行うことができる。
【０３５２】
そこで、図３１のフローチャートを参照して、フィルタパラメータscaleXとscaleYによって高域通過特性の調整が可能な補間関数としての、例えば、バイリニア関数Bilinear(x,y)=Linear(x/scaleX)×Linear(y/scaleY)と、影響パラメータαkとを用いて、出力画素の画素値であるG信号、R信号、及びB信号を補間することにより、出力画像を生成する図１０のステップＳ４における画像生成処理について説明する。
【０３５３】
初めに、ステップＳ１６１において、図１８のＳ７１と同様に、演算回路２４は、基準座標系上のある出力画素を注目画素として、注目画素の位置（I',J'）を、注目位置（I',J'）として選択して、ステップＳ１６２に進む。
【０３５４】
ステップＳ１６２では、演算回路２４は、図２５のステップＳ１０２と同様に、N枚の撮影画像それぞれについて、注目画素の位置に最も近い位置にある画素である近傍画素を中心とする５×５画素を、判定領域として認識し、ステップＳ１６３に進む。
【０３５５】
ステップＳ１６３では、演算回路２４は、図２５のステップＳ１０３と同様に、N枚の撮影画像それぞれについての判定領域の画素の合計値に基づいて、注目画素が動き画素であるかどうかを判定する動き判定を行って、ステップＳ１６４に進む。
【０３５６】
ステップＳ１６４では、演算回路２４は、図２５のステップＳ１０４と同様に、注目画素についての動き判定結果に基づいて、補間関数としてのバイリニア関数Bilinear(x,y)=Linear(x/scaleX)×Linear(y/scaleY)のフィルタパラメータscaleX及びscaleYを調整して、ステップＳ１６５に進む。
【０３５７】
ステップＳ１６５では、演算回路２４は、図３０のステップＳ１３２と同様に、N枚の撮影画像それぞれについて、注目画素の位置に最も近い位置にある画素である近傍画素を中心とする５×５画素を、影響領域として認識し、ステップＳ１６６に進む。
【０３５８】
なお、ここでは、判定領域及び影響領域として、いずれも、注目画素の位置に最も近い位置にある近傍画素を中心とする５×５画素の領域を採用している。したがって、ステップＳ１６２で得られた判定領域を、そのまま影響領域として用いることができ、この場合、ステップＳ１６５の処理は、スキップすることができる。
【０３５９】
ステップＳ１６６では、演算回路２４は、図３０のステップＳ１３３と同様に、N枚の撮影画像それぞれについての影響領域の画素の合計値に基づいて、基準値refを求め、さらに、その基準値refに基づき、規則（Ｒ５）にしたがって、N枚の撮像画像それぞれについての影響パラメータαkを求める。
【０３６０】
その後は、ステップＳ１６７ないしＳ１７４において、図１８のステップＳ７２ないしＳ７９における場合とそれぞれ同様の処理が行われ、出力画像が求められる。但し、ステップＳ１６８，Ｓ１７０、及びＳ１７２においては、式（１１）に代えて、式（１７）を用いた補間であって、かつ、その式（１７）の補間関数としてのバイリニア関数Bilinear(p(k,i,j),q(k,i,j))として、フィルタパラメータscaleX及びscaleYによる高域通過特性の調整が可能なバイリニア関数Bilinear(x,y)=Linear(x/scaleX)×Linear(y/scaleY)を用いた補間によって、注目画素の画素値outputPixel(I',J')が求められる。
【０３６１】
なお、図３１の画像生成処理では、図３０の画像生成処理と同様に、出力画像のすべての出力画素の補間を、規則（Ｒ５）にしたがって求められる影響パラメータαkを用いて行うようにしたが、その他、例えば、動き画素でないと判定された出力画素の補間は、1をセットした影響パラメータαkを用いて行い、動き画素であると判定された出力画素の補間は、規則（Ｒ５）にしたがって求められた影響パラメータαkを用いて行うことができる。
【０３６２】
以上のように、フィルタパラメータscaleXとscaleYによって高域通過特性の調整が可能な補間関数と、影響パラメータαkとを用いて、出力画素の補間を行うことにより、撮影画像の高周波成分を維持しつつ、ジッパノイズや偽色、さらには欠陥領域がない自然な出力画像を得ることができる。
【０３６３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３６４】
そこで、図３２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３６５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０３６６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３６７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０３６８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０３６９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３７０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３７１】
以上、本発明を、ディジタルスチルカメラに適用した場合について説明したが、本発明は、ディジタルスチルカメラの他、例えば、ディジタルビデオカメラや、その他、画像を処理する画像処理装置に適用することができる。
【０３７２】
なお、本実施の形態では、ベイヤ配列の撮影画像を用いて、出力画像を生成するようにしたが、出力画像は、その他の色配列の撮影画像を用いて生成することができる。
【０３７３】
また、本実施の形態では、１画素につき、１種類の色信号を画素値として有するベイヤ配列の撮影画像を用いて出力画像を生成するようにしたが、出力画像は、１画素につき、複数種類の色信号を画素値として有する撮影画像を用いて生成することができる。
【０３７４】
すなわち、出力画像は、例えば、１画素につき、R信号、G信号、及びB信号の３色の信号を出力する３板式の撮像素子で得られる撮影画像の、出力画素の画素値として求めようとする色信号と同一種類の色信号を用いた補間によって生成することができる。
【０３７５】
また、演算回路２４では、規則（Ｒ５）に代えて、例えば、以下のような規則（Ｒ６）にしたがって、影響パラメータαkを求めることができる。
【０３７６】
if(reqk < ref){
αk = g×ref/reqk
}else{
αk = g×regk/ref
}
・・・（Ｒ６）
【０３７７】
規則（Ｒ６）によれば、k枚目画像についての影響領域内の画素値の合計値regkが、基準値refより小さい場合には、式αk=g×ref/reqkにしたがって、影響パラメータαkが求められ、k枚目画像についての影響領域内の画素値の合計値regkが、基準値refより小さくない場合には、式αk=g×regk/refにしたがって、影響パラメータαkが求められる。
【０３７８】
上述の規則（Ｒ５）によれば、k枚目画像の影響領域内の画素の画素値inputPixel(k,i,j)の合計値regkが、基準値refと大きく異なる場合には、影響パラメータαkは小さくなり、合計値regkが、基準値refと同様の値である場合には、影響パラメータαkは大きくなるが、規則（Ｒ６）によれば、k枚目画像の影響領域内の画素の画素値inputPixel(k,i,j)の合計値regkが、基準値refと大きく異なる場合には、影響パラメータαkは大きくなり、合計値regkが、基準値refと同様の値である場合には、影響パラメータαkは小さくなる。
【０３７９】
したがって、規則（Ｒ６）によれば、例えば、N枚の撮影画像に、ある程度の速さで動く小さな動体が映っている場合において、出力画素が動体が映っている動き画素であれば、その出力画素の画素値として、動体の影響を強く受けた画素値が求められ、その結果、動体が目立つ出力画像を得ることができる。
【０３８０】
このように、動体が目立つ出力画像を得ることは、例えば、モニタカメラに映った動体としての不信な人や車両を強調して表示するセキュリティ用監視システムなどに、特に有用である。
【０３８１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３８２】
【図１】複数の撮影画像が２枚の撮影画像である場合の、出力画像を求める方法を説明する図である。
【図２】複数枚の撮影画像を重ね合わせることにより求めた出力画像を示す図である。
【図３】出力画像の一部を拡大した拡大画像を示す図である。
【図４】ベイヤ配列の撮像素子から得られる撮影画像を示す図である。
【図５】位置合わせ後の撮影画素を示す図である。
【図６】位置合わせ後の撮影画素を示す図である。
【図７】動体を除去した出力画像を生成する方法を説明する図である。
【図８】欠落領域が現れた出力画像を示す図である。
【図９】本発明を適用したディジタルスチルカメラの一実施の形態の構成例を示すブロック図である。
【図１０】図９のディジタルスチルカメラ１の撮影処理を説明するフローチャートである。
【図１１】図９の撮像素子４の画素の配列を示す図である。
【図１２】図９の信号処理回路７の詳細な構成例を示すブロック図である。
【図１３】画素の位置をプロットした基準座標系を示す図である。
【図１４】位置（I',J'）のG信号Lg（I',J'）を補間する補間方法を説明する図である。
【図１５】ベイヤ配列の撮影画像の4×4の寄与領域に存在する８個のG画素を示す図である。
【図１６】リニア関数Linear(z)を示す波形図である。
【図１７】キュービック関数Cubic(z)を示す波形図である。
【図１８】画像生成処理を説明するフローチャートである。
【図１９】位置合わせ後の１枚目画像についての判定領域を示す図である。
【図２０】位置合わせ後の２枚目画像についての判定領域を示す図である。
【図２１】位置合わせ後の１枚目画像と２枚目画像それぞれの画素を示す図である。
【図２２】バイリニア関数Bilinear(x,y)のフィルタパラメータscaleX及びscaleYを調整して行われる出力画素の画素値の補間を説明する図である。
【図２３】バイリニア関数Bilinear(x,y)のフィルタパラメータscaleX及びscaleYを調整して行われる出力画素の画素値の補間を説明する図である。
【図２４】バイリニア関数Bilinear(x,y)のフィルタパラメータscaleX及びscaleYを調整して行われる出力画素の画素値の補間を説明する図である。
【図２５】画像生成処理を説明するフローチャートである。
【図２６】出力画像の一部を拡大した拡大画像を示す図である。
【図２７】位置合わせ後のN枚の撮影画像を示す図である。
【図２８】１枚目画像ないし８枚目画像それぞれについての影響領域内の画素値の合計値のヒストグラムを示す図である。
【図２９】欠落領域が現れるのを防止した出力画像を示す図である。
【図３０】画像生成処理を説明するフローチャートである。
【図３１】画像生成処理を説明するフローチャートである。
【図３２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３８３】
１  ディジタルスチルカメラ，  ２  レンズ，  ３  絞り，  ４  撮像素子，  ５  相関２重サンプリング回路，  ６  A/Dコンバータ，  ７  信号処理回路，  ８  タイミングジェネレータ，  ９  D/Aコンバータ，  １０  ビデオエンコーダ，  １１  モニタ，  １２コーデック，  １３  メモリ，  １４  バス，  １５  CPU，  １６  入力デバイス，  ２２1ないし２２N  フレームメモリ，  ２３1ないし２３N-1  動き検出回路，  ２４  演算回路，  ２５  コントローラ，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2008028763.tif 000020
【図２】
2008028763.tif 000021
【図３】
2008028763.tif 000022
【図４】
2008028763.tif 000023
【図５】
2008028763.tif 000024
【図６】
2008028763.tif 000025
【図７】
2008028763.tif 000026
【図８】
2008028763.tif 000027
【図９】
2008028763.tif 000028
【図１０】
2008028763.tif 000029
【図１１】
2008028763.tif 000030
【図１２】
2008028763.tif 000031
【図１３】
2008028763.tif 000032
【図１４】
2008028763.tif 000033
【図１５】
2008028763.tif 000034
【図１６】
2008028763.tif 000035
【図１７】
2008028763.tif 000036
【図１８】
2008028763.tif 000037
【図１９】
2008028763.tif 000038
【図２０】
2008028763.tif 000039
【図２１】
2008028763.tif 000040
【図２２】
2008028763.tif 000041
【図２３】
2008028763.tif 000042
【図２４】
2008028763.tif 000043
【図２５】
2008028763.tif 000044
【図２６】
2008028763.tif 000045
【図２７】
2008028763.tif 000046
【図２８】
2008028763.tif 000047
【図２９】
2008028763.tif 000048
【図３０】
2008028763.tif 000049
【図３１】
2008028763.tif 000050
【図３２】
2008028763.tif 000051