(57)【要約】【課題】補間によって、高画質の画像を得る。【解決手段】ステップＳ１０２において、注目画素におけるエッジ方向が判定され、ステップＳ１０４において、エッジ方向に沿う方向に存在する撮影画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する撮影画像の画素が補間に寄与する度合いが小になるように、補間関数としてのバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)の寄与パラメータscaleP及びscaleQが調整される。そして、ステップＳ１０５ないしＳ１１０において、補間関数と、撮影画像の画素とを用いて、注目画素が補間される。本発明は、例えば、ディジタルスチルカメラ等に適用できる。【選択図】図１７
2008028762.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を用いた補間によって、出力画像を生成する画像処理装置において、
前記入力画像の画素の画素値と、補間関数とを用いた補間によって、前記出力画像の画素の画素値を求める画素値算出手段と、
前記入力画像を用いて、前記出力画像の画素におけるエッジの方向であるエッジ方向を判定するエッジ判定手段と、
エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数を調整する調整手段と
を備える画像処理装置。
【請求項２】
前記画素値算出手段は、
複数の方向それぞれをエッジ方向に仮定し、エッジ方向に仮定した方向について調整した前記補間関数を用いた補間によって、エッジ方向に仮定した複数の方向それぞれについて、補間値を求め、
前記出力画像の画素におけるエッジ方向が、前記複数の方向のうちの所定の方向である度合いに基づいて、前記複数の方向について求められた補間値をブレンドすることにより、前記出力画像の画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項３】
前記エッジ判定手段は、エッジ方向が所定の方向である度合いを表すエッジ度を、複数の方向それぞれについて求め、
前記調整手段は、
前記複数の方向それぞれについてのエッジ度のうちのいずれかが、所定の閾値以上である場合、その所定の閾値以上のエッジ度の方向を、エッジ方向として、エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数を調整し、
前記複数の方向それぞれについてのエッジ度が、所定の閾値より小さい場合、前記出力画像の画素の周囲に存在する前記入力画像の画素が補間に寄与する度合いが大になるように、前記補間関数を調整する
請求項１に記載の画像処理装置。
【請求項４】
画像を撮像する撮像手段が連続して撮像した複数の入力画像どうしの位置関係を検出する検出手段をさらに備え、
前記調整手段は、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の前記複数の入力画像の画素のうちの、エッジ方向に沿う方向に存在する画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する画素が補間に寄与する度合いが小になるように、前記補間関数を調整し、
前記画素値算出手段は、前記複数の入力画像の画素の画素値と、前記補間関数とを用いた補間によって、前記出力画像の画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項５】
入力画像を用いた補間によって、出力画像を生成する画像処理方法において、
前記入力画像の画素の画素値と、補間関数とを用いた補間によって、前記出力画像の画素の画素値を求める画素値算出ステップと、
前記入力画像を用いて、前記出力画像の画素におけるエッジの方向であるエッジ方向を判定するエッジ判定ステップと、
エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数を調整する調整ステップと
を含む画像処理方法。
【請求項６】
入力画像を用いた補間によって、出力画像を生成する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像の画素の画素値と、補間関数とを用いた補間によって、前記出力画像の画素の画素値を求める画素値算出ステップと、
前記入力画像を用いて、前記出力画像の画素におけるエッジの方向であるエッジ方向を判定するエッジ判定ステップと、
エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数を調整する調整ステップと
を含む画像処理を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、ディジタルスチルカメラ等において、高画質の画像を得ることができるようにする画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば、ディジタルスチルカメラなどで手持ちで撮影する場合において、光量が足りないために、露光時間を長くせざるを得ないときには、手振れによって、ディジタルスチルカメラで撮影された画像がぶれた画像になることがある。このようなぶれた画像が得られるのを回避するために、手振れの影響を受けない程度に短い露光時間で連続して撮影した複数枚の暗い画像を、いわば重ね合わせることにより、ぶれのない画像を得る方法がある（例えば、特許文献１を参照）。
【０００３】
すなわち、特許文献１に記載の方法では、ディジタルスチルカメラにおいて、時間的に連続して複数回の撮影が行われ、これにより、時間的に連続した複数枚の撮影画像を複数枚の入力画像として得る。さらに、その複数枚の撮影画像のうちの１枚を基準画像として、その基準画像に対する複数枚の撮影画像それぞれの全体の動きが求められ、その動きに基づいて、複数枚の撮影画像の位置合わせが行われる。そして、位置合わせ後の複数枚の撮影画像を重ね合わせる(合成する)ことで、１枚の画像（出力画像）が求められる。
【０００４】
図１は、複数枚の撮影画像が２枚の撮影画像である場合の、出力画像を求める方法を示している。
【０００５】
図１において、２枚の撮影画像P1とP2は、ディジタルスチルカメラで連続して撮影された撮影画像であり、手振れなどにより被写体の位置がずれている。
【０００６】
いま、２枚の撮影画像P1とP2のうちの、例えば、撮影画像P1を基準画像とすると、その基準画像に対する撮影画像P1とP2それぞれの動きが求められる。そして、その動きに基づいて、２枚の撮影画像P1とP2に映っている被写体が重なるように、撮影画像P1とP2の位置合わせが行われ、その位置合わせ後の撮影画像P1とP2を重ね合わせることにより、出力画像Poutが求められる。
【０００７】
なお、上述の場合には、複数枚の撮影画像を、短い露光時間で撮影することとしたが、複数枚の撮影画像は、適正露出で撮影しても良い。複数枚の撮影画像を、適正露出で撮影し、上述のように重ね合わせる場合には、高S/N(Signal to Noise ratio)の出力画像を得ることができる。
【０００８】
上述したように、複数枚の撮影画像の位置合わせを行い、その位置合わせ後の複数枚の撮影画像を重ね合わせることで、１枚の出力画像を求める出力画像の生成を行う場合においては、位置合わせ後の複数枚の撮影画像の画素の位置が、必ずしも、出力画像の画素の位置に一致するとは限らない。
【０００９】
このため、いま、出力画像の画素のうちの、画素値を求めようとする画素を、注目画素ということとすると、位置合わせ後の複数枚の撮影画像の重ね合わせは、位置合わせ後の複数枚の撮影画像の画素（以下、適宜、撮影画素ともいう）のうちの、注目画素の位置に近い位置にある撮影画素の画素値を用いて、注目画素の画素値を補間することによって行われる。
【００１０】
注目画素の画素値の補間の方法としては、例えば、注目画素の位置に近い位置にある１以上の撮影画素の画素値をそのまま加算する単純加算を行う方法や、注目画素の位置に近い位置にある１以上の撮影画素の画素値と、補間関数とを用いて補間を行う方法がある。
【００１１】
ここで、補間関数は、補間に用いる撮影画素の、注目画素からの相対的な位置（補間に用いる画素と注目画素との距離）に応じて変化する関数であり、例えば、１次式で表されるリニア関数（線形関数）や、キュービック関数等が用いられる。なお、上述の単純加算は、補間に用いる撮影画素の（相対的な）位置にかかわらず、値が1の関数を補間関数として用いることと等価である。
【００１２】
【特許文献１】特開2005-38396号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
撮影画像を用いた補間によって出力画像を求める場合においては、補間に用いる撮影画像の高周波数成分を、ある程度抑制しないと、出力画像に、ジッパノイズと呼ばれる粒状のノイズや偽色が現れ、出力画像が不自然な画像となることがある。
【００１４】
特に、撮影画像の撮影に用いられたディジタルスチルカメラの撮像素子として、例えば、色配列がベイヤ配列のような単板センサが採用されている場合には、撮影画像は、各画素が、R(Red)信号、G(Green)信号、又はB(Blue)信号のうちの１つの色信号(色成分)だけを画素値として有する画像となるが、このような撮影画像を用いた補間において、ジッパノイズや偽色は顕著に現れることがある。
【００１５】
一方、補間に用いる撮影画像の高周波数成分を抑制しすぎると、エッジがぼけてしまい、出力画像の画質が劣化する。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、補間によって、高画質の画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の一側面の画像処理装置は、入力画像を用いた補間によって、出力画像を生成する画像処理装置であり、前記入力画像の画素の画素値と、補間関数とを用いた補間によって、前記出力画像の画素の画素値を求める画素値算出手段と、前記入力画像を用いて、前記出力画像の画素におけるエッジの方向であるエッジ方向を判定するエッジ判定手段と、エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数を調整する調整手段とを備える。
【００１８】
本発明の一側面の画像処理方法、又はプログラムは、入力画像を用いた補間によって、出力画像を生成する画像処理方法、又は、入力画像を用いた補間によって、出力画像を生成する画像処理を、コンピュータに実行させるプログラムであり、前記入力画像の画素の画素値と、補間関数とを用いた補間によって、前記出力画像の画素の画素値を求める画素値算出ステップと、前記入力画像を用いて、前記出力画像の画素におけるエッジの方向であるエッジ方向を判定するエッジ判定ステップと、エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数を調整する調整ステップとを含む。
【００１９】
なお、プログラムは、各種の記録媒体に記録することができる。また、プログラムは、各種の伝送媒体を介して伝送することができる。
【００２０】
本発明の一側面においては、前記入力画像の画素の画素値と、補間関数とを用いた補間によって、前記出力画像の画素の画素値が求められる。その際、前記入力画像を用いて、前記出力画像の画素におけるエッジの方向であるエッジ方向が判定され、また、エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数が調整される。
【発明の効果】
【００２１】
本発明の一側面によれば、補間によって、高画質の画像を得ることができる。
【発明を実施するための最良の形態】
【００２２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２３】
本発明の一側面の画像処理装置は、
入力画像を用いた補間によって、出力画像を生成する画像処理装置（例えば、図２のディジタルスチルカメラ１）であり、
前記入力画像の画素の画素値と、補間関数とを用いた補間によって、前記出力画像の画素の画素値を求める画素値算出手段（例えば、図１７のステップＳ１０６，Ｓ１０８、及びＳ１１０の処理や、図２３のステップＳ２０２ないしＳ２０６、及びステップＳ２１０の処理を実行する図５の演算回路２４）と、
前記入力画像を用いて、前記出力画像の画素におけるエッジの方向であるエッジ方向を判定するエッジ判定手段（例えば、図１７のステップＳ１０２の処理や、図２３のステップＳ２０７の処理を実行する図５の演算回路２４）と、
エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数を調整する調整手段（例えば、図１７のステップＳ１０４の処理や、図２３のステップＳ２０２ないしＳ２０６の処理を実行する図５の演算回路２４）と
を備える。
【００２４】
本発明の一側面の画像処理装置には、
画像を撮像する撮像手段が連続して撮像した複数の入力画像どうしの位置関係を検出する検出手段（例えば、図３のステップＳ３の処理を実行する図２の信号処理回路７）をさらに設けることができ、
この場合、前記調整手段には、前記位置関係に基づいて前記複数の入力画像の位置合わせを行うことにより得られる位置合わせ後の前記複数の入力画像の画素のうちの、エッジ方向に沿う方向に存在する画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する画素が補間に寄与する度合いが小になるように、前記補間関数を調整させ、
前記画素値算出手段には、前記複数の入力画像の画素の画素値と、前記補間関数とを用いた補間によって、前記出力画像の画素の画素値を求めさせる
ことができる。
【００２５】
本発明の一側面の画像処理方法、又はプログラムは、
入力画像を用いた補間によって、出力画像を生成する画像処理方法、又は、入力画像を用いた補間によって、出力画像を生成する画像処理を、コンピュータに実行させるプログラムであり、
前記入力画像の画素の画素値と、補間関数とを用いた補間によって、前記出力画像の画素の画素値を求める画素値算出ステップ（例えば、図１７のステップＳ１０６，Ｓ１０８、及びＳ１１０の処理や、図２３のステップＳ２０２ないしＳ２０６、及びステップＳ２１０の処理）と、
前記入力画像を用いて、前記出力画像の画素におけるエッジの方向であるエッジ方向を判定するエッジ判定ステップ（例えば、図１７のステップＳ１０２の処理や、図２３のステップＳ２０７の処理）と、
エッジ方向に沿う方向に存在する前記入力画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する前記入力画像の画素が補間に寄与する度合いが小になるように、前記補間関数を調整する調整ステップ（例えば、図１７のステップＳ１０４の処理や、図２３のステップＳ２０２ないしＳ２０６の処理）と
を含む。
【００２６】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２７】
図２は、本発明を適用したディジタルスチルカメラの一実施の形態の構成例を示すブロック図である。
【００２８】
図２のディジタルスチルカメラ１は、レンズ２、絞り３、撮像素子４、相関２重サンプリング回路５、A/D(Analog/Digital)コンバータ６、信号処理回路７、タイミングジェネレータ８、D/A(Digital/Analog)コンバータ９、ビデオエンコーダ１０、モニタ１１、コーデック(CODEC)１２、メモリ１３、バス１４、CPU(Central Processing Unit)１５、及び入力デバイス１６で構成される。また、信号処理回路７は、フレームメモリ２２を有している。
【００２９】
図示せぬ被写体からの光は、レンズ２、絞り３等の光学系を通過して、撮像素子４に入射される。撮像素子４は、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等でなる単板センサから構成され、所定の数の画素（受光素子）を有している。
【００３０】
そして、撮像素子４は、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔で、所定の時間（シャッタ時間）だけ、入射される被写体の光を受光する。さらに、撮像素子４は、画素としての各受光素子で受光された光の受光量を光電変換により電気信号である画像信号に変換し、その画像信号を、相関２重サンプリング回路５に供給する。撮像素子４は、例えば、単板センサであり、撮像素子４から相関２重サンプリング回路５に供給される画像信号は、１画素につきR信号、G信号、B信号のうちのいずれか１種類の色信号（データ）である。
【００３１】
ここで、カメラぶれ（手ぶれ）が発生していても、より鮮明な画像を出力するために、撮像素子４は、１回の撮影（１回のレリーズボタンの操作）で、適正露出におけるシャッタ速度（シャッタ時間（露出時間））よりも高速に（短いシャッタ時間で）、複数回であるN回の撮像を行い、これにより、N枚の撮影画像の画像信号を、後段の信号処理回路７への入力となる入力画像として、時系列に出力する。
【００３２】
相関２重サンプリング回路５は、撮像素子４から供給される撮影画像の画像信号のノイズ成分を、相関２重サンプリングにより除去し、A/Dコンバータ６に供給する。
【００３３】
A/Dコンバータ６は、相関２重サンプリング回路５から供給される画像信号をA/D変換、すなわち、サンプリングして量子化する。
【００３４】
また、A/Dコンバータ６は、必要に応じて、A/D変換後のディジタルの撮影画像（の画像信号）を、例えば、ビットシフトすることなどによって、適正露出の撮影画像となるようにゲインアップし、信号処理回路７に供給する。
【００３５】
信号処理回路７は、例えば、DSP（Digial Signal Processor）等で構成され、A/Dコンバータ６から供給される撮影画像を、内蔵するフレームメモリ２２に一時記憶し、所定の画像処理を施す。
【００３６】
すなわち、上述したように、撮像素子４は、１回の撮影でN枚の撮影画像を時系列に出力するので、信号処理回路７には、撮影素子４から、サンプリング回路５及びA/Dコンバータ６を介して、N枚の撮影画像が順次供給される。
【００３７】
信号処理回路７は、そこに供給されるN枚の撮影画像を、内蔵するフレームメモリ２２に供給して一時記憶させる。さらに、信号処理回路７は、フレームメモリ２２に記憶されたN枚の撮影画像に所定の画像処理を施す。
【００３８】
すなわち、信号処理回路７は、N枚の撮影画像のうちの、例えば、１枚目の撮影画像を基準画像とするとともに、２ないしN枚目の撮影画像それぞれをターゲット画像とし、ターゲット画像が基準画像に対して、どのような位置ずれを起こしているか、つまり、基準画像とターゲット画像との位置関係（基準画像とターゲット画像に映っている同一の被写体の位置関係）を検出する。
【００３９】
そして、信号処理回路７は、基準画像とターゲット画像との位置関係に基づいて、カメラぶれが補正された１枚の鮮明な画像である、１画素につきG信号、R信号、B信号のすべてを有する出力画像を求め、D/Aコンバータ９とコーデック１２のうちの一方、又は両方に供給する。
【００４０】
タイミングジェネレータ８は、１回の撮影において、所定の間隔でN枚の撮影画像の高速撮像が行われるように、露光（露出）タイミング信号を、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、及び信号処理回路７に供給する。なお、高速撮像の露光時間（あるいは、高速撮像により撮像する撮影画像の枚数N）は、例えば、被写体の明るさなどに合わせて、ユーザが変更することができるようになっている。ユーザが高速撮像の露光時間を変更する場合、入力デバイス１６をユーザが操作することによりCPU１５で決定される露光時間の変更値が、CPU１５よりバス１４を介して、タイミングジェネレータ８に供給される。
【００４１】
D/Aコンバータ９は、信号処理回路７から供給された出力画像の画像信号をD/A変換し、ビデオエンコーダ１０に供給する。
【００４２】
ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号（アナログ信号）を、モニタ１１で表示することができる画像信号に変換し、モニタ１１に供給する。モニタ１１は、ディジタルスチルカメラ１のファインダ等の役割を果たすもので、LCDなどで構成され、ビデオエンコーダ１０から供給される画像信号を表示する。これにより、モニタ１１では、出力画像が表示される。
【００４３】
コーデック１２は、信号処理回路７から供給される出力画像の画像信号を、JPEG(Joint Photographic Experts Group)方式などの所定の方式に従って符号化し、メモリ１３に供給する。
【００４４】
メモリ１３は、フラッシュメモリなどの半導体メモリで構成され、コーデック１２から供給される符号化された画像信号を記憶（記録）する。なお、メモリ１３の代わりに、磁気ディスク、光（磁気）ディスク等の記録媒体を用いることができる。メモリ１３、又はメモリ１３の代わりに用いる記録媒体は、ディジタルスチルカメラ１に対して着脱可能とすることができる。また、ディジタルスチルカメラ１に内蔵される記録媒体と、ディジタルスチルカメラ１に着脱可能な記録媒体の両方を設けることが可能である。
【００４５】
CPU１５は、バス１４を介して各部に制御信号を供給し、各種の処理を制御する。例えば、ユーザの操作に応じて入力デバイス１６から供給される撮像開始の操作信号に従い、被写体を撮像し、その撮像によって最終的に得られる出力画像をメモリ１３に記憶するように、各部に制御信号を供給する。
【００４６】
入力デバイス１６は、ディジタルスチルカメラ１本体にあるレリーズボタンなどの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の操作信号が、入力デバイス１６からバス１４を介してCPU１５に供給され、CPU１５は、入力デバイス１６からバス１４を介して供給される各種の操作信号に従う処理を実行するように各部を制御する。なお、入力デバイス１６の１以上の操作ボタンは、モニタ１１に表示することが可能である。モニタ１１に表示された操作ボタンに対する操作は、例えば、モニタ１１上に透明なタブレットを設け、そのタブレットにより検出することができる。
【００４７】
次に、図３のフローチャートを参照して、ディジタルスチルカメラ１の撮影処理について説明する。
【００４８】
初めに、ステップＳ１において、撮像素子４は、被写体を撮像する。すなわち、撮像素子４は、１回のレリーズボタン（シャッタボタン）押下による撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でN回連続して、入射される被写体の光を受光し、光電変換することにより、N回の高速撮像を行う。したがって、１回の撮影において、N枚の撮影画像が得られ、各撮影画像は、適正露出以下（未満）の暗い画像となる。撮像素子４での光電変換により得られたN枚の撮影画像の画像信号は、相関２重サンプリング回路５に順次供給され、ノイズ成分が除去された後、A/Dコンバータ６に供給される。
【００４９】
その後、ステップＳ１からステップＳ２に進み、A/Dコンバータ６は、相関２重サンプリング回路５から順次供給されるN枚の撮影画像それぞれの画像信号をA/D変換する。その後、A/Dコンバータ６は、適正露出以下の暗い撮影画像をビットシフトして適正露出の明るさの画像信号に変換し、信号処理回路７に供給して、ステップＳ３に進む。
【００５０】
ステップＳ３において、信号処理回路７は、A/Dコンバータ６からのN枚の撮影画像のうちの、例えば、１枚目の撮影画像を基準画像として、N枚の撮影画像それぞれが基準画像に対して、どのような位置ずれを起こしているか、すなわち、基準画像に対するN枚の撮影画像の位置関係を検出して、ステップＳ４に進む。
【００５１】
ステップＳ４において、信号処理回路７は、N枚の撮影画像と、ステップＳ３で検出されたN枚の撮影画像の位置関係とに基づいて、N枚の撮影画像から１枚の出力画像を生成する画像生成処理を行い、ステップＳ５に進む。
【００５２】
ここで、画像生成処理の詳細は後述するが、この画像生成処理により、カメラぶれが（ほとんど）なく、適正露出の１枚の鮮明な画像である、１画素がG信号、R信号、B信号のすべてを有する出力画像が生成される。画像生成処理により得られた出力画像の画像信号は、信号処理回路７から、D/Aコンバータ９とコーデック１２のうちの一方、又は両方に供給される。
【００５３】
ステップＳ５では、信号処理回路７で得られた出力画像が、モニタ１１に表示されるとともに、フラッシュメモリ等のメモリ１３に記録されて、処理を終了する。
【００５４】
すなわち、ステップＳ５では、ステップＳ４で信号処理回路７からD/Aコンバータ９に供給された画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給されたアナログの画像信号を、モニタ１１に表示することができる画像信号に変換し、モニタ１１に供給する。そして、ステップＳ５において、モニタ１１は、ビデオエンコーダ１０から供給された画像信号に基づいて、出力画像を表示する。また、ステップＳ５では、ステップＳ４で信号処理回路７からコーデック１２に供給された画像信号に対し、JPEG等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録される。
【００５５】
次に、図４は、図２の撮像素子４の画素の配列を示している。
【００５６】
なお、図４では、撮像素子４のうちの左上の一部分の画素（横方向６画素、縦方向４画素の計２４画素）を示しているが、それ以外の部分の画素も同様に配置されている。
【００５７】
ここで、図４において、撮像素子４の左上の画素の中心（重心）を原点として、横（右）方向をx方向とし、縦（下）方向をy方向とするxy座標系を設定する。また、画素は、矩形状をしており、１画素の横と縦方向の長さ（幅）がそれぞれ１であるとする。
【００５８】
いま、画素の位置を、画素としての、横と縦方向の長さが１の矩形の重心の座標で表すこととすると、左からi番目で、上からj番目の画素の位置（の座標）(x,y)は、(i-1,j-1)と表すことができる。
【００５９】
図４において、撮像素子４の画素の配列は、いわゆる、ベイヤ配列となっている。なお、撮像素子４の画素の配列は、ベイヤ配列に限定されるものではなく、その他の配列でもよい。
【００６０】
ベイヤ配列の撮像素子４からは、画素の位置に応じた色信号の画素値を有する画像が出力される。
【００６１】
すなわち、ベイヤ配列では、G信号を取り出すことのできる画素として、原点からx方向に１番目で、y方向に１番目の画素である画素G00、原点からx方向に３番目で、y方向に１番目の画素である画素G02、原点からx方向に５番目で、y方向に１番目の画素である画素G04、原点からx方向に２番目で、y方向に２番目の画素である画素G11、以下、同様に、画素G13、画素G15、画素G20、画素G22、画素G24、画素G31、画素G33、画素G35が配置されている。
【００６２】
また、R信号を取り出すことのできる画素として、原点からx方向に２番目で、y方向に１番目の画素である画素R01、原点からx方向に４番目で、y方向に１番目の画素である画素R03、原点からx方向に６番目で、y方向に１番目の画素である画素R05、原点からx方向に２番目で、y方向に３番目の画素である画素R21、以下、同様に、画素R23、画素R25が配置されている。
【００６３】
さらに、B信号を取り出すことのできる画素として、原点からx方向に１番目で、y方向に２番目の画素である画素B10、原点からx方向に３番目で、y方向に２番目の画素である画素B12、原点からx方向に５番目で、y方向に２番目の画素である画素B14、原点からx方向に１番目で、y方向に４番目の画素である画素B30、以下、同様に、画素B32、画素B34が配置されている。
【００６４】
ここで、撮像素子４が、各画素において、G信号、R信号、及びB信号が得られる撮像素子であるとし、そのような撮像素子４を用いて、カメラぶれなしで、かつ適正露光で撮影された、いわば理想的な画像である理想画像を想定し、その理想画像のG信号、R信号、B信号を、撮像素子４を基準としたxy座標系上の位置（x,y）を用いて、それぞれLg（x,y），Lr（x,y），Lb（x,y）と表すこととする。
【００６５】
この理想画像が、図３のステップＳ４の画像生成処理で求めたい出力画像であり、出力画像の、左からi+1番目で、上からj+1番目である「i+1番目、j+1番目の画素」のG信号、R信号、B信号は、それぞれLg（i,j），Lr（i,j），Lb（i,j）と表すことができる。
【００６６】
なお、撮像素子４の、左からi+1番目で、上からj+1番目である「i+1番目、j+1番目の画素」が、G信号を出力する画素であるとき、その画素の位置を表すi,jを、それぞれ、ig,jgとも記載する。同様に、「i+1番目、j+1番目の画素」が、R信号を出力する画素であるとき、その画素の位置を表すi,jを、それぞれir,jrとも記載し、「i+1番目、j+1番目の画素」が、B信号を出力する画素であるとき、その画素の位置を表すi,jを、それぞれib,jbとも記載する。
【００６７】
変数ig,jgの組み合わせは、G信号を出力する画素の位置を表す変数i,jの組み合わせと等しい。また、変数ir,jrの組み合わせは、R信号を出力する画素の位置を表す変数i,jの組み合わせと等しく、変数ib,jbの組み合わせは、B信号を出力する画素の位置を表す変数i,jの組み合わせと等しい。
【００６８】
ここで、撮像素子４が、上述したように、ベイヤ配列の撮像素子である場合には、変数igとjgは、変数iとjとの差i-jが偶数であるという条件を満たす変数iとjである。また、変数irとjrは、変数iが偶数で、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数iとjである。さらに、変数ibとjbは、変数iが奇数で、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数iとjである。
【００６９】
但し、撮像素子４がベイヤ配列以外の配列の単板センサである場合には、その配列の性質に応じて、変数igとjg、変数irとjr、及び変数ibとjbとなる変数iとjの条件は異なる。
【００７０】
また、撮像素子４が１回の撮影で出力するN枚の撮影画像のうちの、k枚目(k=1,2,・・・,N)の撮影画像の、左からi+1番目で、上からj+1番目である「i+1番目、j+1番目の画素」が、G信号のみを画素値として有する画素であるとき、その画素値であるG信号を、Gobs(k,i,j)と表す。
【００７１】
同様に、k枚目の撮影画像の、左からi+1番目で、上からj+1番目である「i+1番目、j+1番目の画素」が、R信号のみを画素値として有する画素であるときは、その画素値であるR信号を、Robs(k,i,j)と表し、B信号のみを画素値として有する画素であるときは、その画素値であるB信号を、Bobs(k,i,j)と表す。
【００７２】
なお、画素値Gobs(k,i,j),Robs(k,i,j),Bobs(k,i,j)は、それぞれ、Gobs(k,ig,jg),Robs(k,ir,jr),Bobs(k,ib,jb)とも表すことができる。
【００７３】
次に、図５は、図２の信号処理回路７の一部分についての詳細な構成例を示している。
【００７４】
信号処理回路７は、フレームメモリ２２、動き検出回路２３、演算回路２４、コントローラ２５で構成されている。また、フレームメモリ２２は、N個のフレームメモリ２２1ないし２２Nで構成され、動き検出回路２３は、N-1個の動き検出回路２３1ないし２３N-1で構成されている。
【００７５】
上述したように、A/Dコンバータ６からN枚の撮影画像がフレームメモリ２２に順次供給される。フレームメモリ２２1は、A/Dコンバータ６から供給される１枚目の撮影画像を一時記憶する。フレームメモリ２２2は、A/Dコンバータ６から供給される２枚目の撮影画像を記憶する。以下同様にして、フレームメモリ２２kは、A/Dコンバータ６から供給されるk枚目の撮影画像を記憶する。
【００７６】
フレームメモリ２２1は、所定のタイミングにおいて、記憶している１枚目の撮影画像を、演算回路２４と動き検出回路２３1ないし２３N-1に供給する。フレームメモリ２２2は、所定のタイミングにおいて、記憶している２枚目の撮影画像を、演算回路２４と動き検出回路２３1に供給する。以下、同様にして、フレームメモリ２２kは、所定のタイミングにおいて、記憶しているk枚目の撮影画像を、演算回路２４と動き検出回路２３k-1に供給する。
【００７７】
動き検出回路２３は、２枚の撮影画像どうしの位置関係を検出する。すなわち、動き検出回路２３は、１枚目の撮影画像を、位置関係の検出の基準となる基準画像とするとともに、２枚目以降の各撮影画像をターゲット画像として、ターゲット画像（２ないしN枚目の画像）が基準画像に対して、どのような位置ずれを起こしているかを表す、基準画像に対するターゲット画像の位置ずれのずれ量を検出する。なお、このずれ量は、手ぶれにより生じるものである。
【００７８】
そして、動き検出回路２３は、基準画像に対するターゲット画像の位置ずれのずれ量に基づき、基準画像とターゲット画像との位置関係を検出する。
【００７９】
ここで、手ぶれによって生じる画像の位置ずれの成分には、被写体に対してカメラを向けた状態で、カメラが左右にずれた場合に生じる平行移動成分と、カメラが時計方向または反時計方向に回転した場合に生じるレンズの光軸を中心とする回転成分とがある。さらに、カメラのレンズの光軸に垂直な軸の回りの回転成分や、カメラの奥行き方向の移動による拡大縮小成分もある。
【００８０】
このような手ぶれが生じている基準画像とターゲット画像との位置関係は、例えば、アフィン変換によって表すことができる。アフィン変換では、基準画像上の位置(x,y)と、ターゲット画像上の位置(x',y')との位置関係は、次の式（１）で表される。
【００８１】
【数１】
2008028762.tif 000003
・・・（１）
【００８２】
なお、、式（１）において、例えば、a=K×cosθ,b=-K×sinθθ,c=K×sinθ,d=K×cosθとした場合、式（１）は、位置(x',y')に対して、角度θの回転、(s,t)の平行移動、K倍の拡大縮小を施すアフィン変換を表す。
【００８３】
また、以下、適宜、アフィン変換の行列(a,b,c,d)と２次元ベクトル(s,t)とを合わせて、変換パラメータ(a,b,c,d,s,t)という。
【００８４】
変換パラメータによって規定される式（１）のアフィン変換が、基準画像とターゲット画像との位置関係を表すが、動き検出回路２３は、この式（１）を規定する変換パラメータを、例えば、以下のようにして求める。
【００８５】
すなわち、動き検出回路２３は、ターゲット画像を複数のブロックに分割し、各ブロックの、基準画像に対する動きベクトルを、基準画像に対するターゲット画像の位置ずれのずれ量として検出する。
【００８６】
そして、動き検出回路２３は、ターゲット画像の各ブロックの動きベクトルに従って、ターゲット画像の各画素（の位置）(x',y')を、基準画像上に移動したときの、その移動後の位置(x'',y'')と、式（１）によって、ターゲット画像の各画素(x',y')を、基準画像上の位置(x,y)に変換したときの、その変換後の位置(x,y)との自乗誤差の総和を最小にする式（１）の変換パラメータ(a,b,c,d,s,t)を、位置関係として求める。
【００８７】
具体的には、動き検出回路２３1には、基準画像としての１枚目の撮影画像がフレームメモリ２２1から供給され、ターゲット画像としての２枚目の撮影画像がフレームメモリ２２2から供給される。
【００８８】
動き検出回路２３1は、２枚目の撮影画像を複数のブロックに分割したときの各ブロックが、１枚目の撮影画像のどの位置に対応しているかを表す動きベクトルを検出し、すなわち、２枚目の撮影画像のある位置に投影されている被写体の部分と同一の部分が投影されている１枚目の撮影画像上の位置を検出し、その検出結果としての動きベクトルに基づき、１枚目の撮影画像と２枚目の撮影画像との位置関係を表す式（１）と同一の式（２）を規定する変換パラメータ(a2,b2,c2,d2,s2,t2)を求めて、演算回路２４に供給する。
【００８９】
【数２】
2008028762.tif 000004
・・・（２）
【００９０】
ここで、画像の座標系として、図４の撮像素子４における場合と同様に、その画像の左上の画素の中心を原点として、水平方向（右方向）をx方向とするとともに、垂直方向（下方向）をy方向とするxy座標系を定義すると、式（２）において、（x2，y2）は、２枚目の撮影画像の画素の、その２枚目の撮影画像の座標系上の位置を表し、（x1(2)，y1(2)）は、２枚目の撮影画像の画素の位置（x2，y2）を、１枚目の撮影画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（x1(2)，y1(2)）における下付きの（１）は、２枚目の撮影画像の座標系上の位置（x2，y2）が、１枚目の撮影画像の座標系上の位置に変換されたことを表す。１枚目の撮影画像の座標系上の位置（x1(2)，y1(2)）には、（理想的には）２枚目の撮影画像の画素の位置（x2，y2）に投影されている被写体の部分と同一の部分が投影されている。
【００９１】
動き検出回路２３2には、基準画像としての１枚目の撮影画像がフレームメモリ２２1から供給されるとともに、ターゲット画像としての３枚目の撮影画像がフレームメモリ２２3から供給される。
【００９２】
動き検出回路２３2も、動き検出回路２３1と同様に、３枚目の撮影画像を複数のブロックに分割したときの各ブロックが、１枚目の撮影画像のどの位置に対応しているかを表す動きベクトルを検出し、その動きベクトルに基づき、１枚目の撮影画像と３枚目の撮影画像との位置関係を表す式（１）と同一の式（３）のアフィン変換を規定する変換パラメータ(a3,b3,c3,d3,s3,t3)を求めて、演算回路２４に供給する。
【００９３】
【数３】
2008028762.tif 000005
・・・（３）
【００９４】
ここで、式（３）において、（x3，y3）は、３枚目の撮影画像の画素の、その３枚目の撮影画像の座標系上の位置を表し、（x1(3)，y1(3)）は、３枚目の撮影画像の画素の位置（x3，y3）を、１枚目の撮影画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（x1(3)，y1(3)）における下付きの（２）は、式（２）における場合と同様に、３枚目の撮影画像の座標系上の位置（x3，y3）が、１枚目の撮影画像の座標系上の位置に変換されたことを表す。
【００９５】
以下同様に、動き検出回路２３k-1は、１枚目の撮影画像とk枚目の撮影画像との位置関係を検出し、検算回路２４に供給する。
【００９６】
すなわち、動き検出回路２３k-1には、基準画像としての１枚目の撮影画像がフレームメモリ２２1から供給されるとともに、ターゲット画像としてのk枚目の撮影画像がフレームメモリ２２kから供給される。
【００９７】
動き検出回路２３k-1は、k枚目の撮影画像の各ブロックの、１枚目の撮影画像に対する動きベクトルを検出し、その動きベクトルに基づき、１枚目の撮影画像とk枚目の撮影画像との位置関係を表す式（１）と同一の式（４）のアフィン変換を規定する変換パラメータ(ak,bk,ck,dk,sk,tk)を求めて、演算回路２４に供給する。
【００９８】
【数４】
2008028762.tif 000006
・・・（４）
【００９９】
ここで、式（４）において、（xk，yk）は、k枚目の撮影画像の画素の、そのk枚目の撮影画像の座標系上の位置を表し、（x1(k)，y1(k)）は、k枚目の撮影画像の画素の位置（xk，yk）を、１枚目の撮影画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（x1(k)，y1(k)）における下付きの（k）は、式（２）における場合と同様に、k枚目の撮影画像の座標系上の位置（xk，yk）が、１枚目の撮影画像の座標系上の位置に変換されたことを表す。
【０１００】
演算回路２４には、フレームメモリ２２1ないし２２NからN枚の撮影画像が供給される。また、演算回路２４には、動き検出回路２３1ないし２３N-1から１枚目の撮影画像とk枚目の撮影画像との位置関係を表す変換パラメータ(ak,bk,ck,dk,sk,tk)が供給される。
【０１０１】
演算回路２４は、フレームメモリ２２1ないし２２Nから供給される撮影画像の画素の画素値、及び、動き検出回路２３1ないし２３N-1から供給される２ないしN枚目の撮影画像それぞれと、１枚目の撮影画像との位置関係を表す変換パラメータ(ak,bk,ck,dk,sk,tk)に基づいてN枚の撮影画像の位置合わせを行うことにより得られる位置合わせ後の撮影画像の画素の位置に応じて変化する補間関数を用いて、出力画像の画素の画素値としてのG信号、R信号、及びB信号を求め、出力画像を生成する画像生成処理を行い、その結果得られる出力画像を、D/Aコンバータ９又はコーデック１２に供給する。
【０１０２】
ここで、A/Dコンバータ６から信号処理回路７に供給されるN枚の撮影画像それぞれは、１画素がG信号、R信号、B信号のうちのいずれか１つの画素値を有する画像であるのに対して、演算回路２４で生成される出力画像は、１画素につきG信号、R信号、及びB信号の３個の画素値（色信号）を有する画像である。
【０１０３】
コントローラ２５は、CPU１５の制御に従い、信号処理回路７内のフレームメモリ２２1ないし２２N、動き検出回路２３1ないし２３N-1、演算回路２４等の制御を行う。
【０１０４】
以上のように構成される信号処理回路７では、動き検出回路２３が、図３のステップＳ３において、A/Dコンバータ６からのN枚の撮影画像どうしの位置関係としての変換パラメータを検出する。
【０１０５】
さらに、信号処理回路７では、演算回路２４が、図３のステップＳ４において、撮影画像の画素の画素値、及び変換パラメータに基づいてN枚の撮影画像の位置合わせを行うことにより得られる位置合わせ後の撮影画像の画素の位置に応じて変化する補間関数等を用いて、出力画像の画素の画素値としてのG信号、R信号、及びB信号を求め、出力画像を生成する画像生成処理を行う。
【０１０６】
すなわち、演算回路２４は、ステップＳ４の画像生成処理において、N枚の撮影画像から、そのN枚の撮影画像どうしの位置関係を検出するときの基準となった撮影画像、つまり、ここでは、１枚目の撮影画像に投影されている被写体の範囲の画像を、出力画像として生成する。
【０１０７】
演算回路２４は、N枚の撮影画像から出力画像を生成するにあたり、その出力画像の各画素の画素値を補間により求める。
【０１０８】
演算回路２４は、このように、出力画像の画素値を補間によって求めるために、N枚の撮影画像それぞれに投影されている被写体の各部が一致（対応）するように、そのN枚の撮影画像の画素（の位置）を、出力画像上の位置、すなわち、ここでは、基準画像である１枚目の撮影画像上の位置に変換する位置合わせを行う。
【０１０９】
ここで、以下、適宜、出力画像の生成に用いられるN枚の撮影画像のうちのk枚目の撮影画像を、k枚目画像ともいう。
【０１１０】
演算回路２４において、N枚の撮影画像の画素の位置の、基準画像としての１枚目の撮影画像上の位置でもある出力画像上の位置への変換、つまり、N枚の撮像画像の位置合わせは、動き検出回路２３（図５）で求められた変換パラメータで規定される式（１）のアフィン変換によって行われる。
【０１１１】
そして、演算回路２４では、N枚の撮影画像の画素の位置をアフィン変換した、アフィン変換後の位置における画素の画素値のうちのG信号Gobs(k,i,j)=Gobs(k,ig,jg)（k=1,2,・・・,N）を用いた補間によって、出力画像の座標系上の位置(i,j)の画素の画素値のうちのG信号Lg(i,j)が求められる。
【０１１２】
同様に、演算回路２４では、N枚の撮影画像の画素の位置をアフィン変換した、アフィン変換後の位置における画素の画素値のうちのR信号Robs(k,i,j)=Robs(k,ir,jr)を用いた補間によって、出力画像の座標系上の位置(i,j)の画素の画素値のうちのR信号Lr(i,j)が求められ、B信号Bobs(k,i,j)=Bobs(k,ib,jb)を用いた補間によって、出力画像の座標系上の位置(i,j)の画素の画素値のうちのB信号Lr(i,j)が求められる。
【０１１３】
ここで、基準画像の座標系でもある出力画像の座標系において、出力画像の「i番目、j番目の画素」の位置(i-1,j-1)を（I',J'）と表すことにする。すなわち、I'=i-1,J'=j-1とする。なお、I',J'は、０以上の整数である。
【０１１４】
また、以下、適宜、基準画像の座標系でもある出力画像の座標系を、基準座標系ともいう。さらに、出力画像の画素を、以下、適宜、出力画素ともいう。
【０１１５】
演算回路２４は、１ないしN枚目画像の画素（の位置）を、基準座標系上の位置にアフィン変換し、そのアフィン変換後の位置における画素のG信号Gobs(k,ig,jg)を用いた補間によって、基準座標系上の位置（I',J'）の出力画素のG信号Lg（I',J'）を求める。
【０１１６】
但し、基準座標系上の位置（I',J'）の出力画素のG信号Lg（I',J'）の補間に、１ないしN枚目画像の画素の、基準座標系上へのアフィン変換後の位置における画素のG信号Gobs(k,ig,jg)のすべてを用いたのでは、補間の精度が劣化する。
【０１１７】
そこで、演算回路２４は、１ないしN枚目画像の画素の、基準座標系上へのアフィン変換後の位置が、G信号Lg（I',J'）を補間する出力画素の位置（I',J'）の近傍にある１ないしN枚目画像の画素を、そのG信号Lg（I',J'）の補間に用いる画素として特定し、その特定した１ないしN枚目画像の画素のG信号Gobs(k,ig,jg)を用いて、G信号Lg（I',J'）を補間する。
【０１１８】
具体的には、演算回路２４は、基準座標系の位置（I',J'）の近傍の領域を、その位置（I',J'）の出力画素の画素値の補間に寄与する画素が存在する寄与領域として設定し、基準座標系上へのアフィン変換後の位置が、寄与領域内にある１ないしN枚目画像の画素を、位置（I',J'）の出力画素の画素値の補間に用いる画素して特定する。
【０１１９】
すなわち、図６は、演算回路２４が位置（I',J'）の出力画素の画素値の補間に用いる１ないしN枚目画像の画素の位置をプロットした基準座標系を示している。
【０１２０】
演算回路２４は、基準座標系上の位置（I',J'）について、例えば、式I'-1≦x＜I'+1、及び式J'-1≦y＜J'+1を満たす、位置（I',J'）を中心とする横×縦が2×2の範囲の領域を、寄与領域として設定し、基準座標系上へのアフィン変換後の位置が、寄与領域内にある１ないしN枚目画像の画素を、出力画素のG信号Lg（I',J'）の補間に用いる画素して特定する。
【０１２１】
すなわち、演算回路２４では、位置（I',J'）について、位置(ig-1,jg-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、式I'-1≦x＜I'+1、及び式J'-1≦y＜J'+1を満たす整数k,ig,jgの組がすべて求められ、この(k,ig,jg)で表される画素が、出力画素のG信号Lg（I',J'）の補間に用いる画素して特定される。
【０１２２】
図６では、１ないしN枚目画像の画素の中で、G信号を画素値として有する画素（以下、適宜、G画素ともいう）のうちの、基準座標系上へのアフィン変換後の位置が、式I'-1≦x＜I'+1、及び式J'-1≦y＜J'+1の範囲の寄与領域内にある画素として、5つのG画素A，B，C，D，Eが存在している。
【０１２３】
したがって、演算回路２４では、その5つのG画素AないしEが、G信号Lg（I',J'）の補間に用いる画素して特定される。
【０１２４】
そして、演算回路２４では、G画素AないしEそれぞれの画素値（G信号）Gobs(k,ig,jg)を用いて、位置（I',J'）の出力画素のG信号Lg（I',J'）が補間される。
【０１２５】
なお、図６では、位置（I',J'）についての寄与領域として、位置（I',J'）を中心とする横×縦が2×2の範囲の領域を採用したが、位置（I',J'）についての寄与領域は、位置（I',J'）の近傍の領域であれば良く、位置（I',J'）を中心とする横×縦が2×2の範囲の領域に限定されるものではない。すなわち、図６では、位置（I',J'）についての寄与領域としては、位置（I',J'）を中心とする横×縦が2×2の範囲の領域の他、例えば、位置（I',J'）を中心とする横×縦が4×4の範囲の領域、つまり、式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす領域や、1×1の範囲の領域などを採用することが可能である。
【０１２６】
次に、図７を参照し、１ないしN枚目画像のG画素のうちの、基準座標系上へのアフィン変換後の位置が寄与領域内にあるG画素の画素値（G信号）Gobs(k,ig,jg)を用いて、位置（I',J'）のG信号Lg（I',J'）を補間する補間方法について説明する。
【０１２７】
なお、図７（及び後述する図８でも同様）では、寄与領域として、横×縦が4×4の範囲の領域が設定されている。
【０１２８】
演算回路２４は、位置（I',J'）についての寄与領域内のG画素の画素値Gobs(k,ig,jg)と、その寄与領域内のG画素の位置に応じて変化する補間関数とを用いた、次式で示される補間によって、位置（I',J'）の出力画素のG信号Lg（I',J'）を求める。
【０１２９】
【数５】
2008028762.tif 000007
・・・（５）
【０１３０】
ここで、式（５）におけるΣは、N枚の撮影画像の位置合わせ後の位置が寄与領域内にあるG画素すべてについての総和、つまり、撮影画像のG画素の位置(ig,jg)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ig,jg)の組についての総和を表す。
【０１３１】
また、式（５）において、w((x,y),(I',J'))は、撮影画像のG画素の位置(ig,jg)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）と、G信号Lg（I',J'）を補間しようとする画素の位置（I',J'）とを引数とする補間関数である。補間関数w((x,y),(I',J'))は、撮影画像のG画素の位置(ig,jg)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）、つまり、撮影画像の位置合わせ後のG画素の位置（x,y）を引数とするから、その撮影画像の位置合わせ後のG画素の位置（x,y）に応じて変化する関数である。
【０１３２】
いま、例えば、変数pを、式p=x-I'で定義するとともに、変数qを、式q=y-J'で定義すると、図７に示すように、(p,q)は、位置(I',J')を基準とする、撮影画像の位置合わせ後のG画素の相対的な位置を表す。
【０１３３】
演算回路２４は、位置（I',J'）の出力画素のR信号Lr（I',J'）と、B信号Lb（I',J'）も、G信号Lg（I',J'）と同様に補間により求める。すなわち、演算回路２４は、R信号Lr（I',J'）と、B信号Lb（I',J'）を、式（５）と同様の式（６）と式（７）にしたがって求める。
【０１３４】
【数６】
2008028762.tif 000008
・・・（６）
【０１３５】
【数７】
2008028762.tif 000009
・・・（７）
【０１３６】
ここで、式（６）におけるΣは、N枚の撮影画像の位置合わせ後の位置が寄与領域内にある、R信号のみを画素値として有する画素（以下、適宜、R画素ともいう）すべてについての総和、つまり、撮影画像のR画素の位置(ir,jr)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ir,jr)の組についての総和を表す。
【０１３７】
また、式（７）におけるΣは、N枚の撮影画像の位置合わせ後の位置が寄与領域内にある、B信号のみを画素値として有する画素（以下、適宜、B画素ともいう）すべてについての総和、つまり、撮影画像のB画素の位置(ib,jb)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ib,jb)の組についての総和を表す。
【０１３８】
なお、ここでは、ベイヤ配列の撮像素子４を採用しているため、位置(I',J')についての4×4の寄与領域の全体に、位置合わせ後の撮影画像が重なっているとすると、G画素としては、例えば、図８に○印で示すように、寄与領域には、位置合わせ後の撮影画像の１枚あたり、８画素が存在する。一方、R画素とB画素としては、寄与領域には、位置合わせ後の撮影画像の１枚あたり、それぞれ４画素が存在する。
【０１３９】
次に、上述の式（５）ないし式（７）の補間関数w((x,y),(I',J'))について説明する。
【０１４０】
いま、上述したように、変数pを、式p=x-I'で定義するとともに、変数qを、式q=y-J'で定義し、補間関数w((x,y),(I',J'))として、変数pとqを引数とする関数f(p,q)を採用することとする。
【０１４１】
この場合、補間関数f(p,q)としては、例えば、バイリニア(Bilinear)関数やバイキュービック(Bicubic)関数を採用することができる。
【０１４２】
バイリニア関数Bilinear(p,q)は、２つのリニア(Linear)関数Linear(z)の積であり、例えば、式（８）で表される。
【０１４３】
【数８】
2008028762.tif 000010
・・・（８）
【０１４４】
ここで、図９に、式(８)のリニア関数Linear(z)を示す。
【０１４５】
バイキュービック関数Bicubic(p,q)は、２つのキュービック(Cubic)関数Cubic(z)の積であり、例えば、式（９）で表される。
【０１４６】
【数９】
2008028762.tif 000011
・・・（９）
【０１４７】
ここで、図１０に、式(９)のキュービック関数Cubic(z)を示す。
【０１４８】
いま、補間関数f(p,q)として、例えば、式（９）のバイキュービック関数を採用することとし、さらに、N枚の撮影画像のうちのk枚目画像の、位置(i,j)の画素の画素値であるG信号、R信号、又はB信号を、inputPixel(k,i,j)と表すとともに、位置(I',J')の出力画素の画素値であるG信号、R信号、又はB信号を、outputPixel(I',J')と表すこととすると、式（５）ないし式（７）は、式（１０）で表すことができる。
【０１４９】
【数１０】
2008028762.tif 000012
・・・（１０）
【０１５０】
但し、式（１０）において、p(k,i,j)とq(k,i,j)は、k枚目画像の位置(i,j)の画素の位置合わせ後の位置（基準座標系上の位置）を、(x,y)として、次式で表される。
【０１５１】
【数１１】
2008028762.tif 000013
・・・（１１）
【０１５２】
式（１１）によれば、(p(k,i,j),q(k,i,j))は、出力画素の位置(I',J')を基準（原点）としたk枚目画像の位置(i,j)の画素の座標（相対的な座標）を表す。
【０１５３】
また、式（１０）において、その右辺の括弧（）の前にあるΣは、N枚の撮影画像についての総和を表す。
【０１５４】
さらに、式（１０）において、位置(I',J')の出力画素の画素値outputPixel(I',J')として、G信号、R信号、又はB信号のうちのG信号を求める場合には、式（１０）の右辺における分数の分母と分子のΣは、位置合わせ後のN枚の撮影画像の画素のうちの、寄与領域内にあるG画素すべてについての総和を表し、inputPixel(k,i,j)は、位置合わせ後の位置が寄与領域内の位置となるk枚目画像の位置(i,j)のG画素の画素値を表す。
【０１５５】
また、式（１０）において、位置(I',J')の出力画素の画素値outputPixel(I',J')として、R信号を求める場合には、式（１０）の右辺における分数の分母と分子のΣは、位置合わせ後のN枚の撮影画像の画素のうちの、寄与領域内にあるR画素すべてについての総和を表し、inputPixel(k,i,j)は、位置合わせ後の位置が寄与領域内の位置となるk枚目画像の位置(i,j)のR画素の画素値を表す。
【０１５６】
さらに、式（１０）において、位置(I',J')の出力画素の画素値outputPixel(I',J')として、B信号を求める場合には、式（１０）の右辺における分数の分母と分子のΣは、位置合わせ後のN枚の撮影画像の画素のうちの、寄与領域内にあるB画素すべてについての総和を表し、inputPixel(k,i,j)は、位置合わせ後の位置が寄与領域内の位置となるk枚目画像の位置(i,j)のB画素の画素値を表す。
【０１５７】
なお、ここでは、出力画素の画素値outputPixel(I',J')のG信号、R信号、又はB信号のうちの、例えば、G信号を求める場合には、撮影画像の画素のうちのG画素の画素値のみ、つまり、G信号のみを用いるようにしたが、出力画素の画素値outputPixel(I',J')のG信号は、撮影画像の画素のうちのG画素の画素値であるG信号の他、R画素の画素値であるR信号や、B画素の画素値であるB信号をも用いて求めることも可能である。出力画素の画素値outputPixel(I',J')のR信号やB信号についても、同様である。
【０１５８】
次に、図１１のフローチャートを参照して、出力画素の画素値であるG信号、R信号、及びB信号を補間することにより、出力画像を生成する図３のステップＳ４における画像生成処理について説明する。
【０１５９】
初めに、ステップＳ７１において、演算回路２４は、基準座標系上のある出力画素を注目画素として、注目画素の位置（I',J'）を、注目位置（I',J'）として選択する。
【０１６０】
そして、ステップＳ７１からステップＳ７２に進み、演算回路２４は、k枚目画像のG画素（G信号Gobs(k,ig,jg)の画素）の位置(ig-1,jg-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の位置（x,y）が、注目位置（I',J'）についての寄与領域を表す式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ig,jg)の組を、１ないしN枚目画像についてすべて求め、その（k,ig,jg)で表されるG画素を、注目画素の補間に寄与する寄与画素として特定し、ステップＳ７３に進む。
【０１６１】
なお、k枚目画像のG画素の位置を、基準座標系上の位置（x,y）にアフィン変換するときの変換パラメータ(ak,bk,ck,dk,sk,tk)は、動き検出回路２３k-1から演算回路２４に供給される。また、基準画像でもある１枚目画像については、すなわち、k=1の場合については、変換パラメータ(a1,b1,c1,d1,s1,t1)として、(1,0,0,1,0,0)が用いられる。したがって、１枚目画像は、実質的にアフィン変換されない。
【０１６２】
ここで、k枚目画像の画素の位置の、基準座標系上へのアフィン変換後の位置（x,y）を、以下、適宜、変換位置（x,y）ともいう。
【０１６３】
ステップＳ７３において、演算回路２４は、ステップＳ７２で求めたすべての（k,ig,jg)の組を用いて、式（５）（式（１０））を演算することにより、注目画素の画素値のG信号Lg（I',J'）(outputPixel(I',J'))を求め、ステップＳ７４に進む。
【０１６４】
すなわち、演算回路２４は、ステップＳ７２で求めた（k,ig,jg）で特定される寄与画素すべての画素値であるG信号Gobs(k,ig,jg)と、変換位置(x,y)に応じて変化する補間関数w((x,y),(I',J'))としてのバイキュービック関数Bicubic(p(k,i,j),q(k,i,j))とを用いた式（５）（式（１０））の補間によって、注目画素の画素値のG信号Lg（I',J'）(outputPixel(I',J'))を求める。
【０１６５】
ステップＳ７４において、演算回路２４は、k枚目画像のR画素（R信号Robs(k,ir,jr)の画素）の位置(ir-1,jr-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の変換位置（x,y）が、注目位置（I',J'）についての寄与領域を表す式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ir,jr)の組を、１ないしN枚目画像についてすべて求め、その（k,ir,jr)で表されるR画素を、注目画素の補間に寄与する寄与画素として特定し、ステップＳ７５に進む。
【０１６６】
ステップＳ７５において、演算回路２４は、ステップＳ７４で求めたすべての（k,ir,jr)の組を用いて、式（６）（式（１０））を演算することにより、注目画素の画素値のR信号Lr（I',J'）(outputPixel(I',J'))を求め、ステップＳ７６に進む。
【０１６７】
すなわち、演算回路２４は、ステップＳ７４で求めた（k,ir,jr)で特定される寄与画素すべての画素値であるR信号Gobs(k,ir,jr)と、変換位置(x,y)に応じて変化する補間関数w((x,y),(I',J'))としてのバイキュービック関数Bicubic(p(k,i,j),q(k,i,j))とを用いた式（６）（式（１０））の補間によって、注目画素の画素値のR信号Lr（I',J'）(outputPixel(I',J'))を求める。
【０１６８】
ステップＳ７６において、演算回路２４は、k枚目画像のB画素（B信号Bobs(k,ib,jb)の画素）の位置(ib-1,jb-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の変換位置（x,y）が、注目位置（I',J'）についての寄与領域を表す式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,ib,jb)の組を、１ないしN枚目画像についてすべて求め、その（k,ib,jb)で表されるB画素を、注目画素の補間に寄与する寄与画素として特定し、ステップＳ７７に進む。
【０１６９】
ステップＳ７７において、演算回路２４は、ステップＳ７６で求めたすべての（k,ib,jb)の組を用いて、式（７）（式（１０））を演算することにより、注目画素の画素値のB信号Lb（I',J'）(outputPixel(I',J'))を求め、ステップＳ７８に進む。
【０１７０】
すなわち、演算回路２４は、ステップＳ７６で求めた（k,ib,jb)で特定される寄与画素すべての画素値であるB信号Gobs(k,ib,jb)と、変換位置(x,y)に応じて変化する補間関数w((x,y),(I',J'))としてのバイキュービック関数Bicubic(p(k,i,j),q(k,i,j))とを用いた式（７）（式（１０））の補間によって、注目画素の画素値のB信号Lb（I',J'）(outputPixel(I',J'))を求める。
【０１７１】
ステップＳ７８において、演算回路２４は、出力画像のすべての出力画素を注目画素としたか、すなわち、出力画像のすべての出力画素の画素値であるG信号Lg（I',J'）、R信号Lr（I',J'）、及びB信号Lb（I',J'）を求めたか否かを判定する。
【０１７２】
ステップＳ７８で、まだ注目画素としていない出力画素があると判定された場合、ステップＳ７１に戻り、ステップＳ７１ないしＳ７８の処理が繰り返される。すなわち、演算回路２４は、まだ注目画素としていない出力画素を新たな注目画素として、その新たな注目画素のG信号Lg（I',J'）、R信号Lr（I',J'）、及びB信号Lb（I',J'）をそれぞれ求める。
【０１７３】
一方、ステップＳ７８で、すべての出力画素を注目画素としたと判定された場合、ステップＳ７９に進み、演算回路２４は、すべての出力画素について求めたG信号Lg（I',J'）、R信号Lr（I',J'）、B信号Lb（I',J'）を画素値とする出力画像に対して、例えば、フィルタ処理、色補正処理、開口補正等の必要な処理を施す。そして、演算回路２４は、ステップＳ８０において、出力画像を、D/Aコンバータ９又はコーデック１２に出力してリターンする。
【０１７４】
以上のように、高速撮像により得られた複数枚の撮影画像どうしの位置関係を検出し、その位置関係に基づいて位置合わせした位置合わせ後の複数の撮影画像の画素値と、位置合わせ後の複数の撮影画像の画素の位置に応じて変化する補間関数とを用いて、出力画素の画素値を求め、その画素値からなる出力画像を生成することにより、カメラぶれのない鮮明な出力画像を得ることができる。
【０１７５】
ところで、図１１の画像生成処理では、１ないしN枚目画像の画素のうちの、位置合わせ後の画素の位置、すなわち、アフィン変換後の変換位置（x,y）が、注目位置（I',J'）についての寄与領域内にある画素が、注目画素の補間に寄与する寄与画素として特定され、その寄与画素の画素値と、補間関数w((x,y),(I',J'))としてのバイキュービック関数Bicubic(p(k,i,j),q(k,i,j))とを用いた式（１０）の補間によって、注目画素の画素値outputPixel(I',J')が求められる。
【０１７６】
ここで、(p(k,i,j),q(k,i,j))は、式（１１）で説明したように、出力画素の位置(I',J')を基準としたk枚目画像の位置(i,j)の画素の相対的な座標を表すが、この相対的な座標(p(k,i,j),q(k,i,j))を、以下、適宜、(p,q)と表すこととする。
【０１７７】
いま、説明を簡単にするために、式（１０）の分母を無視することとすると、式（１０）の補間においては、変換位置(x,y)が位置(p,q)である寄与画素は、式（９）を演算することにより得られるバイキュービック関数Bicubic(p,q)の関数値の分だけ、補間に寄与する。
【０１７８】
ここで、寄与画素（の画素値）が、補間に寄与する度合いを、以下、適宜、寄与率という。
【０１７９】
補間関数としての式（９）のバイキュービック関数Bicubic(p,q)は、２つのキュービック関数Cubic(p)とCubic(q)との積であるから、注目画素が、出力画像のどのような画素であっても、変換位置(x,y)が位置(p,q)である寄与画素は、同一の寄与率で補間に寄与する。
【０１８０】
しかしながら、出力画像の画素としては、エッジとなっている画素（以下、適宜、エッジ画素ともいう）や、エッジになっておらず、例えば、平坦なテクスチャを表示している画素（以下、適宜、非エッジ画素ともいう）等が存在する。
【０１８１】
そして、注目画素が、例えば、エッジ画素である場合には、寄与画素のうちの、エッジの方向であるエッジ方向に沿う方向に存在する寄与画素については、寄与率を大にすることにより、エッジ方向に生じるジッパノイズやアーチファクトを抑制することができる。
【０１８２】
さらに、注目画素がエッジ画素である場合には、寄与画素のうちの、エッジ方向と直交する方向に存在する寄与画素については、寄与率を小にすることにより、エッジ方向の高周波成分を維持し、エッジがぼけることを防止することができる。
【０１８３】
また、注目画素が、例えば、平坦なテクスチャが表示されている非エッジ画素である場合には、注目画素の周囲に存在する寄与画素すべてについて、寄与率を大とすることにより、平坦なテクスチャが表示されている平坦部に生じるノイズを抑制することができる。
【０１８４】
以上のように、寄与画素が補間に寄与する寄与率を制御することにより、エッジがぼけることを防止するとともに、ノイズ等を抑制して、高画質の出力画像を得ることができる。
【０１８５】
そこで、演算回路２４では、注目画素におけるエッジ方向を判定し、その判定結果に応じて、寄与画素が補間に寄与する寄与率を制御することができるようになっている。
【０１８６】
演算回路２４において、エッジ方向の判定と、寄与率の制御は、例えば、以下のようにして行われる。
【０１８７】
すなわち、図１２は、基準画像を示している。
【０１８８】
出力画像の各画素の位置は、基準画像の各画素の位置と一致している。そこで、演算回路２４では、基準画像を用いて、出力画像の画素である注目画素におけるエッジ方向を判定するエッジ判定を行う。
【０１８９】
具体的には、図１２では、基準画像において、注目画素の位置(I',J')にある画素を含む、右側の横×縦が３×５画素の画素値がある値vaになっており、左側の横×縦が２×５画素の画素値がある値vbになっている。
【０１９０】
演算回路２４は、大雑把には、図１２において、右側に並ぶ３×５画素等の画素値vaと、左側に並ぶ２×５画素等の画素値vbとの差が一定値以上である場合には、注目画素におけるエッジ方向が、垂直方向（y方向）であると判定し、その差が一定値より小さい場合には、注目画素が非エッジ画素であると判定する。
【０１９１】
なお、演算回路２４では、同様にして、注目画素の位置(I',J')の上側に並ぶ画素の画素値と、下側に並ぶ画素の画素値との差に基づき、注目画素におけるエッジ方向が、水平方向（x方向）であるとの判定、又は、注目画素が非エッジ画素であるとの判定を行う。
【０１９２】
そして、演算回路２４は、注目画素におけるエッジ方向が垂直方向若しくは水平方向であるとの判定、又は、注目画素が非エッジ画素であるとの判定に基づいて、例えば、以下のように、寄与画素が補間に寄与する寄与率を制御する。
【０１９３】
すなわち、注目画素が、エッジ方向が垂直方向若しくは水平方向のエッジが表示されているエッジ画素である場合には、演算回路２４は、寄与画素のうちの、エッジ方向に沿う方向に存在する寄与画素の寄与率を大になるとともに、エッジ方向と直交する方向に存在する寄与画素の寄与率が小になるように、寄与率を制御する。
【０１９４】
また、注目画素が、非エッジ画素である場合には、演算回路２４は、すべての寄与画素の寄与率が大になるように、寄与率を制御する。
【０１９５】
寄与率の制御は、例えば、以下のようにして行われる。
【０１９６】
すなわち、演算回路２４において、寄与率を制御する場合には、補間関数であるバイキュービック関数Bicubic(p,q)として、例えば、式（１２）で表されるバイキュービック関数Bicubic(p,q)が採用される。
【０１９７】
【数１２】
2008028762.tif 000014
・・・（１２）
【０１９８】
式（１２）において、scaleP及びscaleQは、補間において、補間関数としてのバイキュービック関数Bicubic(p,q)と乗算される寄与画素の画素値inputPixel(k,i,j)が補間に寄与する寄与率を制御する寄与パラメータであり、演算回路２４は、寄与パラメータscaleP及びscaleQ（によって規定される式（１２）のバイキュービック関数Bicubic(p,q)）を調整することにより、寄与率を制御する。
【０１９９】
ここで、寄与パラメータscaleP及びscaleQは、補間関数としてのバイキュービック関数Bicubic(p,q)の高域通過特性を調整するパラメータでもある。寄与パラメータscaleP又はscaleQが大であるほど、補間関数のローパスフィルタとしての効果が大となる。すなわち、寄与パラメータscaleP又はscaleQが大であるほど、補間関数は、より高周波数成分を制限するローパスフィルタとなる。
【０２００】
上述したように、注目画素が、エッジ方向が垂直方向若しくは水平方向のエッジが表示されているエッジ画素である場合には、演算回路２４は、寄与画素のうちの、エッジ方向に沿う方向に存在する寄与画素の寄与率が大になるとともに、エッジ方向と直交する方向に存在する寄与画素の寄与率が小になるように、寄与率を制御する。また、注目画素が、非エッジ画素である場合には、演算回路２４は、すべての寄与画素の寄与率が大になるように、寄与率を制御する。寄与率の制御は、寄与パラメータscaleP及びscaleQを、以下のように調整（設定）することによって行われる。
【０２０１】
すなわち、注目画素が、エッジ方向が水平方向のエッジが表示されているエッジ画素である場合には、演算回路２４は、寄与パラメータscalePを、例えば、１以上の値（大きな値）vbigに調整し、寄与パラメータscaleQを、例えば、０より大で、値vbig以下の値（小さな値）vsmallに調整する。
【０２０２】
さらに、注目画素が、エッジ方向が垂直方向のエッジが表示されているエッジ画素である場合には、演算回路２４は、寄与パラメータscaleQを、例えば、１以上の値（大きな値）vbigに調整し、寄与パラメータscalePを、例えば、０より大で、値vbig以下の値（小さな値）vsmallに調整する。
【０２０３】
また、注目画素が、非エッジ画素である場合には、演算回路２４は、寄与パラメータscaleP及びscaleQを、例えば、１以上の値（大きな値）vNに調整する。
【０２０４】
なお、１以上の大きな値vbig及びvNとしては、例えば、1.5などを採用することができる。但し、値vbig及びvNは、同一である必要はない。また、０より大で、値vbig以下の小さな値vsmallとしては、例えば、0.5などを採用することができる。
【０２０５】
ここで、式（１２）の補間関数としてのバイキュービック関数Bicubic(p,q)を定義する２つのキュービック関数Cubic(p/scaleP)とCubic(q/scaleQ)のうちの、例えば、キュービック関数Cubic(p/scaleP)に注目すると、このキュービック関数Cubic(p/scaleP)は、図１３や図１４に示すようになる。
【０２０６】
すなわち、図１３は、寄与パラメータscalePを、小さな値としての、例えば、0.5に調整したキュービック関数Cubic(p/scaleP)を示しており、図１４は、寄与パラメータscalePを、大きな値としての、例えば、1.5に調整したキュービック関数Cubic(p/scaleP)を示している。
【０２０７】
図１３の、寄与パラメータscalePを小さな値に調整したキュービック関数Cubic(p/scaleP)では、pに対する変化が急峻になっており、図１４の寄与パラメータscalePを大きな値に調整したキュービック関数Cubic(p/scaleP)では、pに対する変化が緩やかになっている。
【０２０８】
上述したように、補間においては、寄与画素の画素値inputPixel(k,i,j)は、補間関数としてのバイキュービック関数Bicubic(p,q)（を構成するキュービック関数Cubic(p/scaleP)）と乗算される。
【０２０９】
したがって、キュービック関数Cubic(p/scaleP)の寄与パラメータscalePが小さな値に調整された場合には、０でないある値のpで表される位置(p,q)にある寄与画素は、急峻に変化するキュービック関数Cubic(p/scaleP)と乗算されることになり、基本的に、補間に寄与する寄与率が小さくなる。
【０２１０】
一方、キュービック関数Cubic(p/scaleP)の寄与パラメータscalePが大きな値に調整された場合には、０でないある値のpで表される位置(p,q)にある寄与画素は、緩やかに変化するキュービック関数Cubic(p/scaleP)と乗算されることになり、基本的に、補間に寄与する寄与率が大きくなる。
【０２１１】
同様に、キュービック関数Cubic(p/scaleQ)の寄与パラメータscaleQが小さな値に調整された場合には、０でないある値のqで表される位置(p,q)にある寄与画素は、急峻に変化するキュービック関数Cubic(p/scaleQ)と乗算されることになり、基本的に、補間に寄与する寄与率が小さくなる。
【０２１２】
また、キュービック関数Cubic(p/scaleQ)の寄与パラメータscaleQが大きな値に調整された場合には、０でないある値のqで表される位置(p,q)にある寄与画素は、緩やかに変化するキュービック関数Cubic(p/scaleQ)と乗算されることになり、基本的に、補間に寄与する寄与率が大きくなる。
【０２１３】
ここで、演算回路２４は、注目画素におけるエッジ方向が垂直方向若しくは水平方向であると判定した場合と、注目画素が非エッジ画素であると判定した場合には、原点が注目画素の位置(I',J')となるように基準座標系を平行移動したxy座標系（以下、適宜、平行移動xy座標系という）を、補間に用いる補間座標系として、補間を行う。
【０２１４】
平行移動xy座標系を、補間座標系として、補間を行う場合においては、寄与画素の位置(p,q)のうちの、pは、補間座標系である平行移動xy座標系のx座標を表し、qは、平行移動xy座標系のy座標を表す。
【０２１５】
したがって、注目画素が、エッジ方向が水平方向のエッジが表示されているエッジ画素である場合には、寄与パラメータscalePが、大きな値vbigに調整されるとともに、寄与パラメータscaleQが、小さな値vsmallに調整されることによって、平行移動xy座標系においてx方向にある寄与画素、つまり、水平方向のエッジ方向に沿う方向にある寄与画素の寄与率が大になるとともに、平行移動xy座標系においてy方向にある寄与画素、つまり、水平方向のエッジ方向と直交する方向にある寄与画素の寄与率が小になる。
【０２１６】
また、注目画素が、エッジ方向が垂直方向のエッジが表示されているエッジ画素である場合には、寄与パラメータscalePが、小さな値vsmallに調整されるとともに、寄与パラメータscaleQが、大きな値vCubicに調整されることによって、平行移動xy座標系においてx方向にある寄与画素、つまり、垂直方向のエッジ方向と直交する方向にある寄与画素の寄与率が小になるとともに、平行移動xy座標系においてy方向にある寄与画素、つまり、垂直方向のエッジ方向に沿う方向にある寄与画素の寄与率が大になる。
【０２１７】
さらに、注目画素が、非エッジ画素である場合には、寄与パラメータscaleP及びscaleQが、大きな値vNに調整されることによって、平行移動xy座標系においてx方向にある寄与画素の寄与率も、y方向にある寄与画素の寄与率も、いずれも大になる。
【０２１８】
次に、図１５は、他の基準画像を示している。
【０２１９】
上述したように、出力画像の各画素の位置は、基準画像の各画素の位置と一致しており、演算回路２４では、基準画像を用いて、出力画像の画素である注目画素におけるエッジ方向を判定するエッジ判定を行う。
【０２２０】
図１５では、基準画像において、注目画素の位置(I',J')にある画素を含む、右下側の１５画素の画素値がある値vaになっており、左上側の１０画素の画素値がある値vbになっている。
【０２２１】
演算回路２４は、大雑把には、図１５において、右下側の１５画素等の画素値vaと、左上側の１０画素等の画素値vbとの差が一定値以上である場合には、注目画素におけるエッジ方向が、右斜め方向（右斜め上方向）（左斜め下方向）であると判定し、その差が一定値より小さい場合には、注目画素が非エッジ画素であると判定する。
【０２２２】
同様に、演算回路２４では、注目画素の位置(I',J')の右上側の画素の画素値と、左下側の画素の画素値との差に基づき、注目画素におけるエッジ方向が、左斜め方向（左斜め上方向）（右斜め下方向）であるとの判定、又は、注目画素が非エッジ画素であるとの判定を行う。
【０２２３】
そして、演算回路２４は、上述した場合と同様に、注目画素が、エッジ方向が左斜め方向若しくは右斜め方向のエッジが表示されているエッジ画素であれば、寄与画素のうちの、エッジ方向に沿う方向に存在する寄与画素の寄与率を大になるとともに、エッジ方向と直交する方向に存在する寄与画素の寄与率が小になるように、寄与率を制御する。
【０２２４】
また、注目画素が、非エッジ画素であれば、演算回路２４は、すべての寄与画素の寄与率が大になるように、寄与率を制御する。
【０２２５】
そして、寄与率の制御も、上述した場合と同様に、補間関数である式（１２）のバイキュービック関数Bicubic(p,q)の寄与パラメータscaleP及びscaleQを調整することによって行われる。
【０２２６】
但し、演算回路２４は、注目画素におけるエッジ方向が左斜め方向若しくは右斜め方向であると判定した場合には、原点が注目画素の位置(I',J')となるように基準座標系を平行移動し、さらに、その平行移動後のxy座標系（平行移動xy座標系）を、さらに、時計回りに４５度だけ回転したxy座標系（以下、適宜、回転移動xy座標系という）を、補間に用いる補間座標系として、補間を行う。
【０２２７】
ここで、図１６は、回転移動xy座標系を示している。
【０２２８】
回転移動xy座標系を、補間座標系として、補間を行う場合においては、寄与画素の位置(p,q)のうちの、pは、補間座標系である回転移動xy座標系のx座標を表し、qは、回転移動xy座標系のy座標を表す。
【０２２９】
回転移動xy座標系では、x方向又はy方向に隣接する画素どうしの距離（画素ピッチ）が、平行移動xy座標系の場合の√２倍になる。
【０２３０】
このため、補間座標系として回転移動xy座標系が用いられる場合には、寄与パラメータscaleP及びscaleQの調整に用いられる値も、平行移動xy座標系の場合の√２倍の値が採用される。
【０２３１】
すなわち、注目画素が、エッジ方向が左斜め方向のエッジが表示されているエッジ画素である場合、つまり、エッジの方向が、回転移動xy座標系のx方向である場合には、演算回路２４は、寄与パラメータscalePを、大きな値√２×vbigに調整し、寄与パラメータscaleQを、小さな値√２×vsmallに調整する。
【０２３２】
また、注目画素が、エッジ方向が右斜め方向のエッジが表示されているエッジ画素である場合、つまり、エッジの方向が、回転移動xy座標系のy方向である場合には、演算回路２４は、寄与パラメータscaleQを、大きな値√２×vbigに調整し、寄与パラメータscalePを、小さな値√２×vsmallに調整する。
【０２３３】
なお、演算回路２４において、注目画素が非エッジ画素であると判定された場合には、補間座標系としては、平行移動xy座標系又は回転移動xy座標系のうちのいずれを採用しても良い。但し、補間座標系として、回転移動xy座標系を採用する場合には、寄与パラメータscaleP及びscaleQは、平行移動xy座標系の場合の√２倍の値、つまり、√２×vNに調整される。
【０２３４】
以上のように、注目画素が、エッジ方向が左斜め方向のエッジが表示されているエッジ画素である場合には、寄与パラメータscalePが、大きな値√２×vbigに調整されるとともに、寄与パラメータscaleQが、小さな値√２×vsmallに調整されることによって、回転移動xy座標系においてx方向にある寄与画素、つまり、左斜め方向のエッジ方向に沿う方向にある寄与画素の寄与率が大になるとともに、回転移動xy座標系においてy方向にある寄与画素、つまり、左斜め方向のエッジ方向と直交する方向にある寄与画素の寄与率が小になる。
【０２３５】
また、注目画素が、エッジ方向が右斜め方向のエッジが表示されているエッジ画素である場合には、寄与パラメータscalePが、小さな値√２×vsmallに調整されるとともに、寄与パラメータscaleQが、大きな値√２×vCubigに調整されることによって、回転移動xy座標系においてx方向にある寄与画素、つまり、右斜め方向のエッジ方向と直交する方向にある寄与画素の寄与率が小になるとともに、回転移動xy座標系においてy方向にある寄与画素、つまり、右斜め方向のエッジ方向に沿う方向にある寄与画素の寄与率が大になる。
【０２３６】
なお、注目画素が、非エッジ画素である場合には、寄与パラメータscaleP及びscaleQを、大きな値√２×vNに調整し、回転移動xy座標系においてx方向にある寄与画素の寄与率と、y方向にある寄与画素の寄与率とを、大にすることができる。
【０２３７】
次に、図１７のフローチャートを参照して、上述のように、補間関数の寄与パラメータを調整して、出力画素の画素値であるG信号、R信号、及びB信号を補間することにより、出力画像を生成する図３のステップＳ４における画像生成処理について説明する。
【０２３８】
初めに、ステップＳ１０１において、図１１のＳ７１と同様に、演算回路２４は、基準座標系上のある出力画素を注目画素として、注目画素の位置（I',J'）を、注目位置（I',J'）として選択して、ステップＳ１０２に進む。
【０２３９】
ステップＳ１０２では、演算回路２４は、N枚の撮影画像のうちの、例えば、基準画像となっている１枚目画像を用いて、出力画像の注目画素におけるエッジのエッジ方向を判定するエッジ判定を行って、ステップＳ１０３に進む。
【０２４０】
ステップＳ１０３では、演算回路２４は、注目画素についてのエッジ判定の判定結果に基づき、補間を行う補間座標系を決定して、ステップＳ１０４に進む。
【０２４１】
すなわち、エッジ判定において、注目画素が、エッジ方向が水平方向のエッジが表示されているエッジ画素（以下、適宜、水平エッジ画素ともいう）、又は垂直方向のエッジが表示されているエッジ画素（以下、適宜、垂直エッジ画素ともいう）であるとの判定結果が得られた場合と、注目画素が、非エッジ画素であるとの判定結果が得られた場合には、演算回路２４は、補間座標系を、平行移動xy座標系（図１２）に決定する。
【０２４２】
また、エッジ判定において、注目画素が、エッジ方向が左斜め方向のエッジが表示されているエッジ画素（以下、適宜、左斜めエッジ画素ともいう）、又は右斜め方向のエッジが表示されているエッジ画素（以下、適宜、右斜めエッジ画素ともいう）であるとの判定結果が得られた場合には、演算回路２４は、補間座標系を、回転移動xy座標系（図１６）に決定する。
【０２４３】
ステップＳ１０４では、演算回路２４は、注目画素についてのエッジ判定の判定結果に基づき、エッジ方向に沿う方向に存在する撮影画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する撮影画像の画素が補間に寄与する度合いが小になるように、補間関数としての、例えば、式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)の寄与パラメータscaleP及びscaleQを調整する。
【０２４４】
すなわち、エッジ判定において、注目画素が、非エッジ画素であるとの判定結果が得られた場合には、演算回路２４は、寄与パラメータscaleP及びscaleQを、大きな値vNに調整する。
【０２４５】
また、エッジ判定において、注目画素が、水平エッジ画素であるとの判定結果が得られた場合には、演算回路２４は、寄与パラメータscalePを大きな値vbigに調整するとともに、寄与パラメータscaleQを小さな値vsmallに調整する。
【０２４６】
さらに、エッジ判定において、注目画素が、垂直エッジ画素であるとの判定結果が得られた場合には、演算回路２４は、寄与パラメータscalePを小さな値vsmallに調整するとともに、寄与パラメータscaleQを大きな値vbigに調整する。
【０２４７】
また、エッジ判定において、注目画素が、左斜めエッジ画素であるとの判定結果が得られた場合には、演算回路２４は、寄与パラメータscalePを大きな値√２×vbigに調整するとともに、寄与パラメータscaleQを小さな値√２×vsmallに調整する。
【０２４８】
さらに、エッジ判定において、注目画素が、右斜めエッジ画素であるとの判定結果が得られた場合には、演算回路２４は、寄与パラメータscalePを小さな値√２×vsmallに調整するとともに、寄与パラメータscaleQを大きな値√２×vbigに調整する。
【０２４９】
その後は、ステップＳ１０５ないしＳ１１３において、図１１のステップＳ７２ないしＳ８０における場合とそれぞれ同様の処理が行われ、出力画像が求められる。
【０２５０】
但し、ステップＳ１０６，Ｓ１０８、及びＳ１１０においては、式（１０）の補間関数としてのバイキュービック関数Bicubic(p(k,i,j),q(k,i,j))として、寄与パラメータscaleP及びscaleQがステップＳ１０４で調整された式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)を用いた補間によって、注目画素の画素値outputPixel(I',J')が求められる。また、式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)を用いた補間は、ステップＳ１０３で決定された補間座標系を用いて行われる。
【０２５１】
以上のように、注目画素におけるエッジ方向を判定し、エッジ方向に沿う方向に存在する撮影画像の画素が補間に寄与する度合いが大になるとともに、エッジ方向と直交する方向に存在する撮影画像の画素が補間に寄与する度合いが小になるように、補間関数としての式（１２）のバイキュービック関数Bicubic(p,q)（の寄与パラメータscaleP及びscaleQ）を調整することにより、撮影画像の高周波成分を維持しつつ（解像度を不必要に劣化させずに）、ジッパノイズや偽色のない（低減した）高画質の出力画像を得ることができる。
【０２５２】
さらに、上述したように、寄与パラメータscaleP又はscaleQを大とすることにより、補間関数としての式（１２）のバイキュービック関数Bicubic(p,q)は、ローパスフィルタの効果が大となる。
【０２５３】
したがって、上述したように、エッジ判定の判定結果に基づき、寄与パラメータscaleP又はscaleQを、適宜、大きな値に調整することにより、式（１２）のバイキュービック関数Bicubic(p,q)を、補間関数の他に、ローパスフィルタとしても機能させ、出力画像に生じるノイズやアーチファクトの除去等を行うことができる。
【０２５４】
その結果、出力画像が得られた後に、ノイズやアーチファクトの除去等を行うのに、出力画像に、別途、ローパスフィルタをかける処理を不要とすることができ、そのローパスフィルタの分だけ、計算量を削減すること、又は、回路規模を削減することができる。
【０２５５】
また、エッジ判定において、注目画素が、左斜めエッジ画素、又は右斜めエッジ画素であるとの判定結果が得られた場合、つまり、注目画素におけるエッジ方向が、左斜め方向、又は右斜め方向である場合には、回転移動xy座標系において、x方向又はy方向に位置する寄与画素、つまり、左斜め方向、又は右斜め方向に位置する寄与画素を用いて、注目画素の補間が行われるので、左斜め方向、又は右斜め方向のエッジに発生しやすいジャギーを抑制することができる。その結果、斜め方向のエッジが滑らかになり、より自然な出力画像を生成することができる。
【０２５６】
なお、図１７の画像生成処理における注目画素（の画素値）の補間では、図１１で説明した画像生成処理の場合と同様に、k枚目画像の画素の位置(i-1,j-1)を変換パラメータ(ak,bk,ck,dk,sk,tk)でアフィン変換した基準座標系上の変換位置（x,y）が、注目位置（I',J'）についての、いわばサイズが固定の寄与領域を表す式I'-2≦x＜I'+2、及び式J'-2≦y＜J'+2を満たす（k,i,j)の組が、１ないしN枚目画像についてすべて求められ、その（k,i,j)で表される画素が、注目画素の補間に寄与する寄与画素として特定される。そして、その寄与画素を用いて、注目画素の補間が行われる。
【０２５７】
また、式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)は、補間座標系（注目画素の位置(I',J')を原点とするxy座標系）において、式|p|≧2×scaleP、又は式|q|≧2×scaleQを満たす位置(p,q)では、0となるから、式（１２）のバイキュービック関数Bicubic(p,q)を補間関数として用いた補間では、撮影画像の画素のうちの、補間座標系上の変換位置(x,y)が、式|x|<2×scaleP、及び式|y|<2×scaleQを満たす画素が、注目画素の補間に寄与する。
【０２５８】
以上から、図１７の画像生成処理においては、結局、変換位置（x,y）が、注目位置（I',J'）についてのサイズが固定の寄与領域内にあり、かつ、補間座標系上の変換位置(x,y)が、式|x|<2×scaleP、及び式|y|<2×scaleQを満たす画素が、注目画素の補間に寄与することになる。
【０２５９】
なお、寄与領域を、寄与パラメータscaleP及びscaleQに応じてサイズが可変の領域、すなわち、補間座標系において、例えば、式|x|<2×scaleP、及び式|y|<2×scaleQを満たす領域として、補間座標系上の変換位置(x,y)がこの寄与領域にある画素すべてを用いて、位置(I',J')の注目画素の補間を行うようにすることが可能である。この場合、寄与パラメータscaleP及びscaleQが大、又は小であるほど、寄与領域は大きな領域、又は小さな領域となる。
【０２６０】
図１８及び図１９は、上述のような、サイズが可変の寄与領域を示している。
【０２６１】
例えば、位置(I',J')の注目画素が垂直エッジ画素である場合には、補間座標系が、平行移動xy座標系とされ、寄与パラメータscalePが小さな値vsmallに調整されるとともに、寄与パラメータscaleQが大きな値vbigに調整される。
【０２６２】
いま、例えば、値vsmallが0.5であり、値vbigが1.5であるとすると、補間座標系である平行移動xy座標系において、寄与領域は、図１８に影を付して示すように、原点（注目画素の位置）を中心とする、横×縦が２×６の領域となり、補間座標系上の変換位置(x,y)が、この横×縦が２×６の寄与領域内の位置となる撮影画像の画素だけが、注目画素の補間に寄与することとなる。
【０２６３】
また、例えば、位置(I',J')の注目画素が右斜めエッジ画素である場合には、補間座標系が、回転移動xy座標系とされ、寄与パラメータscalePが小さな値√２×vsmallに調整されるとともに、寄与パラメータscaleQが大きな値√２×vbigに調整される。
【０２６４】
上述した場合と同様に、値vsmallが0.5であり、値vbigが1.5であるとすると、補間座標系である回転移動xy座標系において、寄与領域は、図１９に影を付して示すように、原点を中心とする、横×縦が（√２×２）×（√２×６）の領域となり、補間座標系上の変換位置(x,y)が、この横×縦が（√２×２）×（√２×６）の寄与領域内の位置となる撮影画像の画素だけが、注目画素の補間に寄与することとなる。
【０２６５】
次に、図２０のフローチャートを参照して、図１７のステップＳ１０２において、演算回路２４が行うエッジ判定の処理について説明する。
【０２６６】
演算回路２４は、ステップＳ１３１において、N枚の撮影画像のうちの、例えば、基準画像となっている１枚目画像から、注目画素の位置(I',J')を中心とする複数の画素を、エッジ判定に用いる判定用画素として抽出し、ステップＳ１３２に進む。
【０２６７】
ステップＳ１３２では、演算回路２４は、注目画素におけるエッジ方向が、水平方向である度合いを表すエッジ度（以下、適宜、水平方向のエッジ度という）edgeHと、垂直方向である度合いを表すエッジ度（以下、適宜、垂直方向のエッジ度という）edgeVとを、判定用画素を用いて求め、ステップＳ１３３に進む。
【０２６８】
ここで、演算回路２４は、例えば、エッジ度を求めるオペレータとして、式（１３）の３行×３列の行列hを用い、式（１４）にしたがって、位置(I',J')の注目画素についてのエッジ度edge(I',J')を求める。
【０２６９】
【数１３】
2008028762.tif 000015
・・・（１３）
【０２７０】
【数１４】
2008028762.tif 000016
・・・（１４）
【０２７１】
なお、行列hが、式（１３）に示したように、３行×３列の行列である場合には、判定用画素としては、注目画素の位置(I',J')を中心とする横×縦が３×３の９画素が用いられる。
【０２７２】
また、式（１４）において、am,kは、式（１３）の行列hの３×３個のコンポーネントのうちの、第m行第k列のコンポーネントを表す。さらに、式（１４）において、pixel(I'+k-1,J'+m-1)は、３×３画素の判定用画素のうちの、左からk+1番目で、上からm番目の画素の画素値を表す。
【０２７３】
水平方向のエッジ度edgeHは、例えば、式（１５）のオペレータとしての行列hを用い、垂直方向のエッジ度edgeVは、例えば、式（１６）のオペレータとしての行列hを用いて求めることができる。
【０２７４】
【数１５】
2008028762.tif 000017
・・・（１５）
【０２７５】
【数１６】
2008028762.tif 000018
・・・（１６）
【０２７６】
ステップＳ１３３では、演算回路２４は、注目画素が、エッジ方向が水平方向又は垂直方向のエッジとなっている可能性を表すエッジ度比RatioEを、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとを用いて求め、ステップＳ１３４に進む。
【０２７７】
すなわち、演算回路２４は、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとを比較し、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeV以上である（より大きい）場合には、edgeV/edgeHを、エッジ度比RatioEとして求める。また、演算回路２４は、垂直方向のエッジ度edgeVが、水平方向のエッジ度edgeHより大きい（以上である）場合には、edgeH/edgeVを、エッジ度比RatioEとして求める。
【０２７８】
ここで、エッジ度比RatioEが小さいほど、注目画素が、エッジ方向が水平方向又は垂直方向のエッジとなっている可能性が高い。
【０２７９】
ステップＳ１３４では、演算回路２４は、エッジ度比RatioEが、所定の閾値としての、例えば、0.5以下（未満）であるかどうかを判定する。
【０２８０】
ステップＳ１３４において、エッジ度比RatioEが、所定の閾値としての0.5以下であると判定された場合、すなわち、注目画素が、エッジ方向が水平方向又は垂直方向のエッジとなっている可能性が高い場合、ステップＳ１３５に進み、演算回路２４は、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVのうちの大きい方を表す関数max(edgeH,edgeV)の関数値が、エッジが存在するときのエッジ度の最低値としてあらかじめ定められた所定の閾値threshNoEdge未満であるかどうかを判定する。
【０２８１】
ステップＳ１３５において、関数max(edgeH,edgeV)の関数値が、所定の閾値threshNoEdge未満であると判定された場合、すなわち、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとが、いずれも、所定の閾値threshNoEdge未満である場合、ステップＳ１３６に進み、演算回路２４は、注目画素が、非エッジ画素であると判定して、リターンする。
【０２８２】
また、ステップＳ１３５において、関数max(edgeH,edgeV)の関数値が、所定の閾値threshNoEdge未満でないと判定された場合、すなわち、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとのうちの大きい方が、少なくとも、所定の閾値threshNoEdge以上である場合、ステップＳ１３７に進み、演算回路２４は、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きいかどうかを判定する。
【０２８３】
ステップＳ１３７において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きいと判定された場合、ステップＳ１３８に進み、演算回路２４は、注目画素が、水平エッジ画素であると判定して、リターンする。
【０２８４】
また、ステップＳ１３７において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きくないと判定された場合、ステップＳ１３９に進み、演算回路２４は、注目画素が、垂直エッジ画素であると判定して、リターンする。
【０２８５】
一方、ステップＳ１３４において、エッジ度比RatioEが、所定の閾値としての0.5以下でないと判定された場合、すなわち、注目画素が、エッジ方向が水平方向又は垂直方向のエッジとなっている可能性が低い場合、ステップＳ１４０に進み、演算回路２４は、注目画素におけるエッジ方向が、左斜め方向である度合いを表すエッジ度（以下、適宜、左斜め方向のエッジ度という）edgeLと、右斜め方向である度合いを表すエッジ度（以下、適宜、右斜め方向のエッジ度という）edgeRとを、判定用画素を用いて求め、ステップＳ１４１に進む。
【０２８６】
ここで、左斜め方向のエッジ度edgeLは、例えば、式（１７）のオペレータとしての行列hを用い、右斜め方向のエッジ度edgeRは、例えば、式（１８）のオペレータとしての行列hを用いて、式（１４）を計算することにより求めることができる。
【０２８７】
【数１７】
2008028762.tif 000019
・・・（１７）
【０２８８】
【数１８】
2008028762.tif 000020
・・・（１８）
【０２８９】
ステップＳ１４１に進み、演算回路２４は、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRのうちの大きい方を表す関数max(edgeL,edgeR)の関数値が、エッジが存在するときのエッジ度の最低値としてあらかじめ定められた所定の閾値threshNoEdge未満であるかどうかを判定する。
【０２９０】
ステップＳ１４１において、関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満であると判定された場合、すなわち、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRとが、いずれも、所定の閾値threshNoEdge未満である場合、ステップＳ１４２に進み、演算回路２４は、注目画素が、非エッジ画素であると判定して、リターンする。
【０２９１】
また、ステップＳ１４１において、関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満でないと判定された場合、すなわち、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRとのうちの大きい方が、少なくとも、所定の閾値threshNoEdge以上である場合、ステップＳ１４３に進み、演算回路２４は、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRより大きいかどうかを判定する。
【０２９２】
ステップＳ１４３において、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも大きいと判定された場合、ステップＳ１４４に進み、演算回路２４は、注目画素が、左斜めエッジ画素であると判定して、リターンする。
【０２９３】
また、ステップＳ１４３において、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも大きくないと判定された場合、ステップＳ１４５に進み、演算回路２４は、注目画素が、右斜めエッジ画素であると判定して、リターンする。
【０２９４】
なお、エッジ判定の方法は、上述したオペレータを用いてエッジ度を計算して行う方法に限定されるものではない。
【０２９５】
また、式（１３）、及び式（１５）ないし式（１８）に示した３行３列の行列hのオペレータは例示である。本実施の形態では、式（１４）において、オペレータとしての行列hとともに、エッジ度edge(I',J')の計算に用いられる基準画像は、ベイヤ配列の画像であり、実際に、ベイヤ配列の画像である基準画像とオペレータとを用いて、エッジ度edge(I',J')を計算する場合には、ベイヤ配列の画像を対象としてエッジを判定するのに適したオペレータと判定用画素が用いられる。
【０２９６】
さらに、エッジ判定は、N枚の撮影画像のうちの、基準画像となっている１枚目画像そのものを用いて行うようにしたが、その他、例えば、基準画像に、単純なデモザイク処理を施して得られる、１画素につき、R,G、及びB信号のすべてを画素値として有する画像や、N枚の撮影画像から、図１１の画像生成処理によって生成した、１画素につき、R,G、及びB信号のすべてを画素値として有する画像を用いて行うことも可能である。
【０２９７】
但し、エッジ判定は、N枚の撮影画像のうちの１枚の撮影画像である基準画像そのものを用いて行う方が、基準画像にデモザイク処理を施して得られる画像や、N枚の撮影画像から生成した画像を用いて行う場合よりも、処理量を低減することができる。
【０２９８】
次に、図２１は、図３のステップＳ４における画像生成処理の他の実施の形態を示すフローチャートである。
【０２９９】
図１７の画像生成処理では、注目画素におけるエッジ方向を判定し、その判定結果に基づき、補間関数としての式（１２）のバイキュービック関数Bicubic(p,q)（の寄与パラメータscaleP及びscaleQ）を調整して、補間を行うようになっているが、図２１の画像生成処理では、先に、補間関数を調整して補間を行い、その後、注目画素のにおけるエッジ方向の判定が行われる。
【０３００】
すなわち、図２１の画像生成処理では、大雑把には、複数の方向としての、例えば、水平方向、垂直方向、左斜め方向、及び右斜め方向の４つの方向それぞれを、注目画素におけるエッジ方向に仮定し、エッジ方向に仮定した方向について調整した補間関数を用いた補間によって、エッジ方向に仮定した複数の方向それぞれについて、注目画素の仮の画素値としての補間値が求められる。その後、注目画素におけるエッジ方向が、水平方向、垂直方向、左斜め方向、又は右斜め方向のうちのいずれであるかが判定され、その判定結果が表す方向について調整した補間関数によって求められた補間値が、注目画素の最終的な画素値とされる。
【０３０１】
具体的には、ステップＳ１６１において、図１１のＳ７１と同様に、演算回路２４は、基準座標系上のある出力画素を注目画素として、注目画素の位置（I',J'）を、注目位置（I',J'）として選択して、ステップＳ１６２に進む。
【０３０２】
ステップＳ１６２では、演算回路２４は、注目画素が非エッジ画素であると仮定して、補間座標系の決定と、補間関数としての、例えば、式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)の寄与パラメータscaleP及びscaleQの調整を行い、その補間座標系上での、寄与パラメータscaleP及びscaleQが調整された式（１２）のバイキュービック関数Bicubic(p,q)を用いての補間を行い、これにより、注目画素が非エッジ画素であると仮定した場合の、注目画素の仮の画素値としての補間値pixelNを求めて、ステップＳ１６３に進む。
【０３０３】
すなわち、演算回路２４は、図１７の画像生成処理のステップＳ１０２において、注目画素が非エッジ画素であると判定された場合に行われるステップＳ１０３ないしＳ１１０と同様の処理を行うことにより、画素が非エッジ画素であると仮定した場合の補間値（以下、適宜、非エッジ画素の補間値ともいう）pixelNを求める。
【０３０４】
ステップＳ１６３では、演算回路２４は、注目画素が水平エッジ画素であると仮定して、補間座標系の決定と、補間関数としての、例えば、式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)の寄与パラメータscaleP及びscaleQの調整を行い、その補間座標系上での、寄与パラメータscaleP及びscaleQが調整された式（１２）のバイキュービック関数Bicubic(p,q)を用いての補間を行い、これにより、注目画素が水平エッジ画素であると仮定した場合の、注目画素の仮の画素値としての補間値pixelHを求めて、ステップＳ１６４に進む。
【０３０５】
すなわち、演算回路２４は、図１７の画像生成処理のステップＳ１０２において、注目画素が水平エッジ画素であると判定された場合に行われるステップＳ１０３ないしＳ１１０と同様の処理を行うことにより、画素が水平エッジ画素であると仮定した場合の補間値（以下、適宜、水平エッジ画素の補間値ともいう）pixelHを求める。
【０３０６】
ステップＳ１６４では、演算回路２４は、注目画素が垂直エッジ画素であると仮定して、補間座標系の決定と、補間関数としての、例えば、式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)の寄与パラメータscaleP及びscaleQの調整を行い、その補間座標系上での、寄与パラメータscaleP及びscaleQが調整された式（１２）のバイキュービック関数Bicubic(p,q)を用いての補間を行い、これにより、注目画素が垂直エッジ画素であると仮定した場合の、注目画素の仮の画素値としての補間値pixelVを求めて、ステップＳ１６５に進む。
【０３０７】
すなわち、演算回路２４は、図１７の画像生成処理のステップＳ１０２において、注目画素が垂直エッジ画素であると判定された場合に行われるステップＳ１０３ないしＳ１１０と同様の処理を行うことにより、画素が垂直エッジ画素であると仮定した場合の補間値（以下、適宜、垂直エッジ画素の補間値ともいう）pixelVを求める。
【０３０８】
ステップＳ１６５では、演算回路２４は、注目画素が左斜めエッジ画素であると仮定して、補間座標系の決定と、補間関数としての、例えば、式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)の寄与パラメータscaleP及びscaleQの調整を行い、その補間座標系上での、寄与パラメータscaleP及びscaleQが調整された式（１２）のバイキュービック関数Bicubic(p,q)を用いての補間を行い、これにより、注目画素が左斜めエッジ画素であると仮定した場合の、注目画素の仮の画素値としての補間値pixelLを求めて、ステップＳ１６６に進む。
【０３０９】
すなわち、演算回路２４は、図１７の画像生成処理のステップＳ１０２において、注目画素が左斜めエッジ画素であると判定された場合に行われるステップＳ１０３ないしＳ１１０と同様の処理を行うことにより、画素が左斜めエッジ画素であると仮定した場合の補間値（以下、適宜、左斜めエッジ画素の補間値ともいう）pixelLを求める。
【０３１０】
ステップＳ１６６では、演算回路２４は、注目画素が右斜めエッジ画素であると仮定して、補間座標系の決定と、補間関数としての、例えば、式（１２）のバイキュービック関数Bicubic(p,q)=Cubic(p/scaleP)×Cubic(q/scaleQ)の寄与パラメータscaleP及びscaleQの調整を行い、その補間座標系上での、寄与パラメータscaleP及びscaleQが調整された式（１２）のバイキュービック関数Bicubic(p,q)を用いての補間を行い、これにより、注目画素が右斜めエッジ画素であると仮定した場合の、注目画素の仮の画素値としての補間値pixelRを求めて、ステップＳ１６７に進む。
【０３１１】
すなわち、演算回路２４は、図１７の画像生成処理のステップＳ１０２において、注目画素が右斜めエッジ画素であると判定された場合に行われるステップＳ１０３ないしＳ１１０と同様の処理を行うことにより、画素が右斜めエッジ画素であると仮定した場合の補間値（以下、適宜、右斜めエッジ画素の補間値ともいう）pixelRを求める。
【０３１２】
ステップＳ１６７では、演算回路２４は、図１７のステップＳ１０２の場合と同様に、つまり、図２０のフローチャートで説明したように、注目画素について、エッジ判定を行い、ステップＳ１６８に進む。
【０３１３】
ステップＳ１６８では、演算回路２４は、ステップＳ１６７でのエッジ判定の判定結果に基づき、注目画素の画素値を、ステップＳ１６２ないしＳ１６６それぞれで求められた５つの補間値pixelN,pixelH,pixelV,pixelL,pixelRのうちのいずれかに決定して、ステップＳ１６９に進む。
【０３１４】
すなわち、エッジ判定において、注目画素が、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、又は右斜めエッジ画素であると判定された場合、演算回路２４は、それぞれ、注目画素の画素値を、補間値pixelN,pixelH,pixelV,pixelL、又はpixelRに決定する。
【０３１５】
ステップＳ１６９では、演算回路２４は、出力画像のすべての出力画素を注目画素としたか、すなわち、出力画像のすべての出力画素の画素値であるG信号Lg（I',J'）、R信号Lr（I',J'）、及びB信号Lb（I',J'）を求めたか否かを判定する。
【０３１６】
ステップＳ１６９で、まだ注目画素としていない出力画素があると判定された場合、ステップＳ１６１に戻り、ステップＳ１６１ないしＳ１６９の処理が繰り返される。すなわち、演算回路２４は、まだ注目画素としていない出力画素を新たな注目画素として、その新たな注目画素の画素値（G信号Lg（I',J'）、R信号Lr（I',J'）、及びB信号Lb（I',J'））を求める。
【０３１７】
一方、ステップＳ１６９で、すべての出力画素を注目画素としたと判定された場合、ステップＳ１７０に進み、演算回路２４は、すべての出力画素について求めた画素値（G信号Lg（I',J'）、R信号Lr（I',J'）、B信号Lb（I',J'））からなる出力画像に対して、例えば、フィルタ処理、色補正処理、開口補正等の必要な処理を施す。そして、演算回路２４は、ステップＳ１７１において、出力画像を、D/Aコンバータ９又はコーデック１２に出力してリターンする。
【０３１８】
ところで、図１７及び図２１の画像生成処理は、実質的に同一の処理であり、いずれの画像生成処理でも、注目画素が、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、又は右斜めエッジ画素であると判定された場合、それぞれ、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、又は右斜めエッジ画素に適した補間値pixelN,pixelH,pixelV,pixelL、又はpixelRそのものを、注目画素の画素値に決定する。
【０３１９】
したがって、図１７及び図２１の画像生成処理では、撮影画像が、例えば、CZP(Circular Zone Plate)チャートのようにエッジの方向が連続的に変化するような画像であり、注目画素におけるエッジ方向が、例えば、水平方向又は垂直方向と、左斜め方向又は右斜め方向との中間の方向であっても、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、又は右斜めエッジ画素に適した補間値pixelN,pixelH,pixelV,pixelL、又はpixelRのうちのいずれかそのものが、注目画素の画素値に決定される。
【０３２０】
しかしながら、注目画素におけるエッジ方向が、例えば、水平方向と左斜め方向との中間の方向である場合に、注目画素の画素値を、水平エッジ画素、又は左斜めエッジ画素に適した補間値pixelH、又はpixelLのうちのいずれか一方に決定すると、出力画像において、画素値が水平エッジ画素に適した補間値pixelHに決定された出力画素と、左斜めエッジ画素に適した補間値pixelLに決定された出力画素との境界部分が、不自然に現れることがある。
【０３２１】
そこで、注目画素におけるエッジ方向が、例えば、水平方向と左斜め方向との中間の方向である場合には、注目画素におけるエッジ方向が水平方向である度合い、又は左斜め方向である度合いに基づいて、水平エッジ画素に適した補間値pixelHと、左斜めエッジ画素に適した補間値pixelLとをブレンドするブレンド比ratioBを求め、そのブレンド比ratioBに基づく比率で、水平エッジ画素に適した補間値pixelHと、左斜めエッジ画素に適した補間値pixelLとをブレンドして得られる画素値を、注目画素の画素値とするようにすることができる。
【０３２２】
ここで、以上のことは、注目画素におけるエッジ方向が、水平方向と右斜め方向との中間の方向である場合、垂直方向と左斜め方向との中間の方向である場合、及び、垂直方向と右斜め方向との中間の方向である場合も同様である。
【０３２３】
図２２は、ブレンド比ratioBの求め方を示している。
【０３２４】
例えば、図２２左に示すように、注目画素におけるエッジのエッジ方向が、水平方向に対して、時計回りに、０度以上４５度以下の所定のエッジ角度θだけ傾いている場合、水平エッジ画素に適した補間値pixelHと、左斜めエッジ画素に適した補間値pixelLとのブレンド比ratioBは、図２２右に示すように決定することができる。
【０３２５】
図２２右では、ブレンド比ratioBは、エッジ角度θが０度である場合、つまり、エッジ方向が水平方向である場合に、最小値である０とされ、エッジ角度θが大きくなるに連れ、ブレンド比ratioBも大にされる。そして、エッジ角度が４５度である場合、つまり、エッジ方向が左斜め方向である場合に、最大値である１とされる。
【０３２６】
以上のようにブレンド比ratioBを決定した後は、注目画素の画素値は、例えば、式(1-ratioB)×pixelH+ratioB×pixelLにしたがって、水平エッジ画素に適した補間値pixelHと、左斜めエッジ画素に適した補間値pixelLとをブレンドすることにより求めることができる。
【０３２７】
図２３は、上述のように２つの補間値をブレンドして、注目画素の画素値を求める、図３のステップＳ４における画像生成処理を示すフローチャートである。
【０３２８】
演算回路２４は、ステップＳ２０１ないしＳ２０６において、図２１のステップＳ１６１ないしＳ１６６と同様の処理を行い、これにより、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、又は右斜めエッジ画素に適した補間値pixelN,pixelH,pixelV,pixelL、又はpixelRそれぞれを求め、ステップＳ２０７に進む。
【０３２９】
ステップＳ２０７では、演算回路２４は、出力画像の注目画素におけるエッジのエッジ方向を判定するエッジ判定を行って、ステップＳ２０８に進む。
【０３３０】
ここで、ステップＳ２０７のエッジ判定の処理は、図２０のエッジ判定の処理と異なる。
【０３３１】
すなわち、図２０では、エッジ判定において、エッジ度が求められ、エッジ度に基づき、注目画素が、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、及び右斜めエッジ画素の５種類の画素のうちのいずれであるかの判定が行われるが、ステップＳ２０７のエッジ判定では、エッジ度が求められ、エッジ度に基づき、注目画素が、非エッジ画素、強水平エッジ画素、強垂直エッジ画素、強左斜めエッジ画素、強右斜めエッジ画素、水平と左斜めの中間エッジ画素、水平と右斜めの中間エッジ画素、垂直と左斜めの中間エッジ画素、及び垂直と右斜めの中間エッジ画素の９種類の画素のうちのいずれであるのかの判定が行われる。
【０３３２】
なお、ステップＳ２０７のエッジ判定の処理の詳細については、図２４を参照して後述するが、強水平エッジ画素とは、エッジ方向がほぼ水平方向のエッジとなっている画素であり、以下、同様に、強垂直エッジ画素、強左斜めエッジ画素、強右斜めエッジ画素とは、それぞれ、エッジ方向がほぼ垂直方向、左斜め方向、右斜め方向のエッジになっている画素である。
【０３３３】
また、水平と左斜めの中間エッジ画素とは、エッジ方向が水平方向と左斜め方向の中間の方向のエッジになっている画素であり、水平と右斜めの中間エッジ画素とは、エッジ方向が水平方向と右斜め方向の中間の方向のエッジになっている画素である。
【０３３４】
さらに、垂直と左斜めの中間エッジ画素とは、エッジ方向が垂直方向と左斜め方向の中間の方向のエッジになっている画素であり、垂直と右斜めの中間エッジ画素とは、エッジ方向が垂直方向と右斜め方向の中間の方向のエッジになっている画素である。
【０３３５】
ステップＳ２０８では、演算回路２４は、注目画素についてのエッジ判定の判定結果に基づき、注目画素が非エッジ画素であるかどうかを判定する。
【０３３６】
ステップＳ２０８において、注目画素が非エッジ画素であると判定された場合、ステップＳ２０９をスキップして、ステップＳ２１０に進み、演算回路２４は、注目画素が非エッジ画素であるとのエッジ判定の判定結果に基づき、注目画素の画素値を、非エッジ画素の補間に適した補間値pixelNに決定して、ステップＳ２１１に進む。
【０３３７】
一方、ステップＳ２０８において、注目画素が非エッジ画素でないと判定された場合、すなわち、エッジ判定において、注目画素が、非エッジ画素以外の、強水平エッジ画素、強垂直エッジ画素、強左斜めエッジ画素、強右斜めエッジ画素、水平と左斜めの中間エッジ画素、水平と右斜めの中間エッジ画素、垂直と左斜めの中間エッジ画素、及び垂直と右斜めの中間エッジ画素のうちのいずれかであると判定された場合、ステップＳ２０９に進み、演算回路２４は、ブレンド比ratioBを求めて、ステップＳ２１０に進む。
【０３３８】
ステップＳ２１０では、演算回路２４は、エッジ判定の判定結果に基づき、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、及び右斜めエッジ画素に適した補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの２つを、ブレンド比ratioBにしたがってブレンドすることにより、注目画素の画素値を求めて、ステップＳ２１１に進む。
【０３３９】
すなわち、ステップＳ２０７のエッジ判定では、図２４を参照して後述するように、水平方向のエッジ度edgeHと、垂直方向のエッジ度edgeVとが求められる。ステップＳ２０９では、この水平方向のエッジ度edgeHと、垂直方向のエッジ度edgeVとを用いて、ブレンド比ratioBが求められる。
【０３４０】
具体的には、ステップＳ２０９では、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとが比較され、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVより大きい場合には、edgeV/edgeHが、ブレンド比ratioBとして求められる。また、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVより大きくない場合には、edgeH/edgeVが、ブレンド比ratioBとして求められる。
【０３４１】
そして、ステップＳ２１０では、注目画素が、強水平エッジ画素、強垂直エッジ画素、強左斜めエッジ画素、強右斜めエッジ画素、水平と左斜めの中間エッジ画素、水平と右斜めの中間エッジ画素、垂直と左斜めの中間エッジ画素、又は垂直と右斜めの中間エッジ画素であるとのエッジ判定の判定結果に基づき、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、及び右斜めエッジ画素に適した５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの２つが、ブレンド比ratioBにしたがってブレンドされることにより、注目画素の画素値が求められる。
【０３４２】
具体的には、エッジ判定において、注目画素が、強水平エッジ画素であると判定された場合、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの、２つの補間値pixelN及びpixelHが、式(1-ratioB)×pixelH+ratioB×pixelNにしたがってブレンドされ、注目画素の画素値が求められる。
【０３４３】
また、エッジ判定において、注目画素が、強垂直エッジ画素であると判定された場合、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの、２つの補間値pixelN及びpixelVが、式(1-ratioB)×pixelV+ratioB×pixelNにしたがってブレンドされ、注目画素の画素値が求められる。
【０３４４】
さらに、エッジ判定において、注目画素が、強左斜めエッジ画素であると判定された場合、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの、２つの補間値pixelN及びpixelLが、式(1-ratioB)×pixelN+ratioB×pixelLにしたがってブレンドされ、注目画素の画素値が求められる。
【０３４５】
また、エッジ判定において、注目画素が、強右斜めエッジ画素であると判定された場合、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの、２つの補間値pixelN及びpixelRが、式(1-ratioB)×pixelN+ratioB×pixelRにしたがってブレンドされ、注目画素の画素値が求められる。
【０３４６】
さらに、エッジ判定において、注目画素が、水平と左斜めの中間エッジ画素であると判定された場合、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの、２つの補間値pixelH及びpixelLが、式(1-ratioB)×pixelH+ratioB×pixelLにしたがってブレンドされ、注目画素の画素値が求められる。
【０３４７】
また、エッジ判定において、注目画素が、水平と右斜めの中間エッジ画素であると判定された場合、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの、２つの補間値pixelH及びpixelRが、式(1-ratioB)×pixelH+ratioB×pixelRにしたがってブレンドされ、注目画素の画素値が求められる。
【０３４８】
さらに、エッジ判定において、注目画素が、垂直と左斜めの中間エッジ画素であると判定された場合、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの、２つの補間値pixelV及びpixelLが、式(1-ratioB)×pixelV+ratioB×pixelLにしたがってブレンドされ、注目画素の画素値が求められる。
【０３４９】
また、エッジ判定において、注目画素が、又は垂直と右斜めの中間エッジ画素であると判定された場合、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの、２つの補間値pixelV及びpixelRが、式(1-ratioB)×pixelV+ratioB×pixelRにしたがってブレンドされ、注目画素の画素値が求められる。
【０３５０】
ステップＳ２１１では、演算回路２４は、出力画像のすべての出力画素を注目画素としたか、すなわち、出力画像のすべての出力画素の画素値であるG信号Lg（I',J'）、R信号Lr（I',J'）、及びB信号Lb（I',J'）を求めたか否かを判定する。
【０３５１】
ステップＳ２１１で、まだ注目画素としていない出力画素があると判定された場合、ステップＳ２０１に戻り、ステップＳ２０１ないしＳ２１１の処理が繰り返される。すなわち、演算回路２４は、まだ注目画素としていない出力画素を新たな注目画素として、その新たな注目画素の画素値（G信号Lg（I',J'）、R信号Lr（I',J'）、及びB信号Lb（I',J'））を求める。
【０３５２】
一方、ステップＳ２１１で、すべての出力画素を注目画素としたと判定された場合、ステップＳ２１２に進み、演算回路２４は、すべての出力画素について求めた画素値（G信号Lg（I',J'）、R信号Lr（I',J'）、B信号Lb（I',J'））からなる出力画像に対して、例えば、フィルタ処理、色補正処理、開口補正等の必要な処理を施す。そして、演算回路２４は、ステップＳ２１３において、出力画像を、D/Aコンバータ９又はコーデック１２に出力してリターンする。
【０３５３】
次に、図２４のフローチャートを参照して、図２３のステップＳ２０７において、演算回路２４が行うエッジ判定の処理について説明する。
【０３５４】
演算回路２４は、ステップＳ２３１において、図２０のステップＳ１３１と同様に、N枚の撮影画像のうちの、例えば、基準画像となっている１枚目画像から、注目画素の位置(I',J')を中心とする複数の画素を、エッジ判定に用いる判定用画素として抽出し、ステップＳ２３２に進む。
【０３５５】
ステップＳ２３２では、演算回路２４は、例えば、図２０のステップＳ１３２及びＳ１４０と同様に、判定用画素を用いて、水平方向のエッジ度edgeH、垂直方向のエッジ度edgeV、左斜め方向のエッジ度edgeL、及び右斜め方向のエッジ度edgeRを求め、ステップＳ２３３に進む。
【０３５６】
ステップＳ２３３では、演算回路２４は、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVのうちの大きい方を表す関数max(edgeH,edgeV)の関数値が、エッジが存在するときのエッジ度の最低値としてあらかじめ定められた所定の閾値threshNoEdge未満であるかどうかを判定する。
【０３５７】
ステップＳ２３３において、関数max(edgeH,edgeV)の関数値が、所定の閾値threshNoEdge未満であると判定された場合、すなわち、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとが、いずれも、所定の閾値threshNoEdge未満である場合、ステップＳ２３４に進み、演算回路２４は、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRのうちの大きい方を表す関数max(edgeL,edgeR)の関数値が、エッジが存在するときのエッジ度の最低値としてあらかじめ定められた所定の閾値threshNoEdge未満であるかどうかを判定する。
【０３５８】
ステップＳ２３４において、関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満であると判定された場合、すなわち、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRとが、いずれも、所定の閾値threshNoEdge未満である場合、ステップＳ２３５に進み、演算回路２４は、注目画素が、非エッジ画素であると判定して、リターンする。
【０３５９】
また、ステップＳ２３４において、関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満でないと判定された場合、すなわち、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRとのうちの大きい方が、少なくとも、所定の閾値threshNoEdge以上である場合、ステップＳ２３６に進み、演算回路２４は、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRより大きいかどうかを判定する。
【０３６０】
ステップＳ２３６において、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも大きいと判定された場合、ステップＳ２３７に進み、演算回路２４は、注目画素が、強左斜めエッジ画素であると判定して、リターンする。
【０３６１】
また、ステップＳ２３６において、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも大きくないと判定された場合、ステップＳ２３８に進み、演算回路２４は、注目画素が、強右斜めエッジ画素であると判定して、リターンする。
【０３６２】
一方、ステップＳ２３３において、関数max(edgeH,edgeV)の関数値が、所定の閾値threshNoEdge未満でないと判定された場合、すなわち、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとのうちの大きい方が、少なくとも、所定の閾値threshNoEdge以上である場合、ステップＳ２３９に進み、演算回路２４は、ステップＳ２３４と同様に、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRのうちの大きい方を表す関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満であるかどうかを判定する。
【０３６３】
ステップＳ２３９において、関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満であると判定された場合、すなわち、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRとが、いずれも、所定の閾値threshNoEdge未満である場合、ステップＳ２４０に進み、演算回路２４は、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きいかどうかを判定する。
【０３６４】
ステップＳ２４０において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きいと判定された場合、ステップＳ２４１に進み、演算回路２４は、注目画素が、強水平エッジ画素であると判定して、リターンする。
【０３６５】
また、ステップＳ２４０において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きくないと判定された場合、ステップＳ２４２に進み、演算回路２４は、注目画素が、強垂直エッジ画素であると判定して、リターンする。
【０３６６】
一方、ステップＳ２３９において、関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満でないと判定された場合、すなわち、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRとのうちの大きい方が、少なくとも、所定の閾値threshNoEdge以上である場合、ステップＳ２４３に進み、演算回路２４は、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きく、かつ、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも小さいかどうかを判定する。
【０３６７】
ステップＳ２４３において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きく、かつ、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも小さいと判定された場合、ステップＳ２４４に進み、演算回路２４は、注目画素が、水平と右斜めの中間エッジ画素であると判定して、リターンする。
【０３６８】
また、ステップＳ２４３において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きくないか、又は、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも小さくないと判定された場合、ステップＳ２４５に進み、演算回路２４は、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeV以下であり、かつ、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも小さいかどうかを判定する。
【０３６９】
ステップＳ２４５において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeV以下であり、かつ、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも小さいと判定された場合、ステップＳ２４６に進み、演算回路２４は、注目画素が、垂直と右斜めの中間エッジ画素であると判定して、リターンする。
【０３７０】
また、ステップＳ２４５において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeV以下でないか、又は、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも小さくないと判定された場合、ステップＳ２４７に進み、演算回路２４は、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVより大きく、かつ、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeR以上であるかどうかを判定する。
【０３７１】
ステップＳ２４７において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVより大きく、かつ、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeR以上であると判定された場合、ステップＳ２４８に進み、演算回路２４は、注目画素が、水平と左斜めの中間エッジ画素であると判定して、リターンする。
【０３７２】
また、ステップＳ２４７において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVより大きくないか、又は、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeR以上でないと判定された場合、すなわち、垂直方向のエッジ度edgeVが、水平方向のエッジ度edgeH以上であり、かつ、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeR以上である場合、ステップＳ２４９に進み、演算回路２４は、注目画素が、垂直と左斜めの中間エッジ画素であると判定して、リターンする。
【０３７３】
なお、図２３のステップＳ２０７ないしＳ２１０の処理は、実装上は、例えば、図２５に示すようにして行うことができる。
【０３７４】
すなわち、図２５は、図２３のステップＳ２０７ないしＳ２１０の処理を、上述した手順とは別の手順で行う場合の、演算回路２４の処理を説明するフローチャートである。
【０３７５】
図２５においては、ステップＳ２７１において、演算回路２４は、図２０のステップＳ１３１と同様に、N枚の撮影画像のうちの、例えば、基準画像となっている１枚目画像から、注目画素の位置(I',J')を中心とする複数の画素を、エッジ判定に用いる判定用画素として抽出し、ステップＳ２７２に進む。
【０３７６】
ステップＳ２７２では、演算回路２４は、例えば、図２０のステップＳ１３２及びＳ１４０と同様に、判定用画素を用いて、水平方向のエッジ度edgeH、垂直方向のエッジ度edgeV、左斜め方向のエッジ度edgeL、及び右斜め方向のエッジ度edgeRを求め、ステップＳ２７３に進む。
【０３７７】
ステップＳ２７３ないしＳ２７７では、水平垂直方向エッジ用の補間値pixelHVを求める算出処理が行われる。
【０３７８】
水平垂直方向エッジ用の補間値pixelHVを求める算出処理では、注目画素が、非エッジ画素、水平エッジ画素、又は垂直エッジ画素のうちのいずれかであると仮定した場合に、注目画素の画素値として適切な補間値が、水平垂直方向エッジ用の補間値pixelHVとして求められる。
【０３７９】
すなわち、ステップＳ２７３では、演算回路２４は、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVのうちの大きい方を表す関数max(edgeH,edgeV)の関数値が、エッジが存在するときのエッジ度の最低値としてあらかじめ定められた所定の閾値threshNoEdge未満であるかどうかを判定する。
【０３８０】
ステップＳ２７３において、関数max(edgeH,edgeV)の関数値が、所定の閾値threshNoEdge未満であると判定された場合、すなわち、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとが、いずれも、所定の閾値threshNoEdge未満である場合、ステップＳ２７４に進み、演算回路２４は、非エッジ画素に適した補間値pixelNを、水平垂直方向エッジ用の補間値pixelHVとして選択し、ステップＳ２７８に進む。
【０３８１】
また、ステップＳ２７３において、関数max(edgeH,edgeV)の関数値が、所定の閾値threshNoEdge未満でないと判定された場合、すなわち、水平方向のエッジ度edgeHと垂直方向のエッジ度edgeVとのうちの大きい方が、少なくとも、所定の閾値threshNoEdge以上である場合、ステップＳ２７５に進み、演算回路２４は、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きいかどうかを判定する。
【０３８２】
ステップＳ２７５において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きいと判定された場合、ステップＳ２７６に進み、演算回路２４は、水平エッジ画素に適した補間値pixelHを、水平垂直方向エッジ用の補間値pixelHVとして選択し、ステップＳ２７８に進む。
【０３８３】
また、ステップＳ２７５において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きくないと判定された場合、ステップＳ２７７に進み、演算回路２４は、垂直エッジ画素に適した補間値pixelVを、水平垂直方向エッジ用の補間値pixelHVとして選択し、ステップＳ２７８に進む。
【０３８４】
ステップＳ２７８ないしＳ２８２では、斜め方向エッジ用の補間値pixelLRを求める算出処理が行われる。
【０３８５】
斜め方向エッジ用の補間値pixelLRを求める算出処理では、注目画素が、非エッジ画素、左斜めエッジ画素、又は右斜めエッジ画素のうちのいずれかであると仮定した場合に、注目画素の画素値として適切な補間値が、斜め方向エッジ用の補間値pixelLRとして求められる。
【０３８６】
すなわち、ステップＳ２７８では、演算回路２４は、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRのうちの大きい方を表す関数max(edgeL,edgeR)の関数値が、エッジが存在するときのエッジ度の最低値としてあらかじめ定められた所定の閾値threshNoEdge未満であるかどうかを判定する。
【０３８７】
ステップＳ２７８において、関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満であると判定された場合、すなわち、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRとが、いずれも、所定の閾値threshNoEdge未満である場合、ステップＳ２７９に進み、演算回路２４は、非エッジ画素に適した補間値pixelNを、斜め方向エッジ用の補間値pixelLRとして選択し、ステップＳ２８３に進む。
【０３８８】
また、ステップＳ２７８において、関数max(edgeL,edgeR)の関数値が、所定の閾値threshNoEdge未満でないと判定された場合、すなわち、左斜め方向のエッジ度edgeLと右斜め方向のエッジ度edgeRとのうちの大きい方が、少なくとも、所定の閾値threshNoEdge以上である場合、ステップＳ２８０に進み、演算回路２４は、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも大きいかどうかを判定する。
【０３８９】
ステップＳ２８０において、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも大きいと判定された場合、ステップＳ２８１に進み、演算回路２４は、左斜めエッジ画素に適した補間値pixelLを、斜め方向エッジ用の補間値pixelLRとして選択し、ステップＳ２８３に進む。
【０３９０】
また、ステップＳ２８０において、左斜め方向のエッジ度edgeLが、右斜め方向のエッジ度edgeRよりも大きくないと判定された場合、ステップＳ２８２に進み、演算回路２４は、右斜めエッジ画素に適した補間値pixelRを、斜め方向エッジ用の補間値pixelLRとして選択し、ステップＳ２８３に進む。
【０３９１】
ステップＳ２８３ないしＳ２８５では、水平垂直方向エッジ用の補間値pixelHVと、斜め方向エッジ用の補間値pixelLRとをブレンドする比率を表すブレンド比ratioBを求める算出処理が行われる。
【０３９２】
すなわち、ステップＳ２８３では、演算回路２４は、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きいかどうかを判定する。
【０３９３】
ステップＳ２８３において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きいと判定された場合、ステップＳ２８４に進み、演算回路２４は、垂直方向のエッジ度edgeVを、水平方向のエッジ度edgeHで除算したedgeV/edgeHを、ブレンド比ratioBとして求め、ステップＳ２８６に進む。
【０３９４】
また、ステップＳ２８３において、水平方向のエッジ度edgeHが、垂直方向のエッジ度edgeVよりも大きくないと判定された場合、ステップＳ２８５に進み、演算回路２４は、水平方向のエッジ度edgeHを、垂直方向のエッジ度edgeVで除算したedgeH/edgeVを、ブレンド比ratioBとして求め、ステップＳ２８６に進む。
【０３９５】
ステップＳ２８６では、演算回路２４は、水平垂直方向エッジ用の補間値pixelHVと、斜め方向エッジ用の補間値pixelLRとを、例えば、式（１９）にしたがってブレンドするブレンド処理を行うことにより、注目画素の画素値pixelOutを求める。
【０３９６】
【数１９】
2008028762.tif 000021
・・・（１９）
【０３９７】
以上のように、水平方向等の複数の方向それぞれをエッジ方向に仮定し、エッジ方向に仮定した方向について調整した補間関数を用いた補間によって、エッジ方向に仮定した複数の方向それぞれについて、補間値を求め、注目画素におけるエッジ方向が、複数の方向のうちの所定の方向である度合いに基づいて、複数の方向について求められた補間値をブレンドすることにより、注目画素の画素値を求める場合、すなわち、注目画素が、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、又は右斜めエッジ画素であるとそれぞれ仮定して、補間関数を調整して補間を行うことにより、非エッジ画素、水平エッジ画素、垂直エッジ画素、左斜めエッジ画素、又は右斜めエッジ画素に適した補間値pixelN,pixelH,pixelV,pixelL、又はpixelRをそれぞれ求め、水平方向のエッジ度edgeHと、垂直方向のエッジ度edgeVとから、エッジ方向が水平方向又は垂直方向である度合いとしてのブレンド比ratioBに基づいて、５つの補間値pixelN,pixelH,pixelV,pixelL、及びpixelRのうちの２つの補間値をブレンドすることにより、注目画素の画素値を求める場合には、撮影画像が、例えば、CZPチャートのようにエッジの方向が連続的に変化するような画像である場合に、出力画像に、上述したような、補間値の不自然な境界部分が現れることを防止（低減）して、高画質の出力画像を得ることができる。
【０３９８】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３９９】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４００】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０４０１】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０４０２】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０４０３】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０４０４】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０４０５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４０６】
以上、本発明を、ディジタルスチルカメラに適用した場合について説明したが、本発明は、ディジタルスチルカメラの他、例えば、ディジタルビデオカメラや、その他、画像を処理する画像処理装置に適用することができる。
【０４０７】
なお、本実施の形態では、ベイヤ配列の撮影画像を用いて、出力画像を生成するようにしたが、出力画像は、その他の色配列の撮影画像を用いて生成することができる。
【０４０８】
また、本実施の形態では、１画素につき、１種類の色信号を画素値として有するベイヤ配列の撮影画像を用いて出力画像を生成するようにしたが、出力画像は、１画素につき、複数種類の色信号を画素値として有する撮影画像を用いて生成することができる。
【０４０９】
すなわち、出力画像は、例えば、１画素につき、R信号、G信号、及びB信号の３色の信号を出力する３板式の撮像素子で得られる撮影画像の、出力画素の画素値として求めようとする色信号と同一種類の色信号を用いた補間によって生成することができる。
【０４１０】
さらに、本実施の形態では、図３のステップＳ４の画像生成処理として、複数枚の撮影画像から１枚の出力画像を生成する処理を行うようにしたが、画像生成処理によれば、１枚の撮影画像から１枚の出力画像を生成する処理、すなわち、例えば、１画素につき、R,G、又はB信号のうちのいずれか１つを画素値として有する、色配列がベイヤ配列の１枚の撮影画像を、補間によって、１画素につき、R,G、及びB信号のすべてを画素値として有する画像とするデモザイク処理を行うことも可能である。
【０４１１】
また、本実施の形態では、エッジ判定において、注目画素におけるエッジ方向が、エッジなし（注目画素が非エッジ画素である）、水平方向、垂直方向、左斜め方向、又は右斜め方向の５方向（５パターン）のうちのいずれであるかを判定するようにしたが、エッジ判定でエッジ方向として判定する方向は、任意の方向を採用することが可能である。
【０４１２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０４１３】
【図１】複数の撮影画像が２枚の撮影画像である場合の、出力画像を求める方法を説明する図である。
【図２】本発明を適用したディジタルスチルカメラの一実施の形態の構成例を示すブロック図である。
【図３】図２のディジタルスチルカメラ１の撮影処理を説明するフローチャートである。
【図４】図２の撮像素子４の画素の配列を示す図である。
【図５】図２の信号処理回路７の詳細な構成例を示すブロック図である。
【図６】画素の位置をプロットした基準座標系を示す図である。
【図７】位置（I',J'）のG信号Lg（I',J'）を補間する補間方法を説明する図である。
【図８】ベイヤ配列の撮影画像の4×4の寄与領域に存在する８個のG画素を示す図である。
【図９】リニア関数Linear(z)を示す波形図である。
【図１０】キュービック関数Cubic(z)を示す波形図である。
【図１１】画像生成処理を説明するフローチャートである。
【図１２】垂直方向のエッジがある基準画像を示す図である。
【図１３】寄与パラメータscalePを小さな値に調整したキュービック関数Cubic(p/scaleP)を示す図である。
【図１４】寄与パラメータscalePを大きな値に調整したキュービック関数Cubic(p/scaleP)を示す図である。
【図１５】右斜め方向のエッジがある基準画像を示す図である。
【図１６】回転移動xy座標系を示す図である。
【図１７】画像生成処理を説明するフローチャートである。
【図１８】サイズが可変の寄与領域を示す図である。
【図１９】サイズが可変の寄与領域を示す図である。
【図２０】エッジ判定の処理を説明するフローチャートである。
【図２１】画像生成処理を説明するフローチャートである。
【図２２】ブレンド比を説明する図である。
【図２３】画像生成処理を説明するフローチャートである。
【図２４】エッジ判定の処理を説明するフローチャートである。
【図２５】ステップＳ２０７ないしＳ２１０の処理を説明するフローチャートである。
【図２６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０４１４】
１  ディジタルスチルカメラ，  ２  レンズ，  ３  絞り，  ４  撮像素子，  ５  相関２重サンプリング回路，  ６  A/Dコンバータ，  ７  信号処理回路，  ８  タイミングジェネレータ，  ９  D/Aコンバータ，  １０  ビデオエンコーダ，  １１  モニタ，  １２コーデック，  １３  メモリ，  １４  バス，  １５  CPU，  １６  入力デバイス，  ２２1ないし２２N  フレームメモリ，  ２３1ないし２３N-1  動き検出回路，  ２４  演算回路，  ２５  コントローラ，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2008028762.tif 000022
【図２】
2008028762.tif 000023
【図３】
2008028762.tif 000024
【図４】
2008028762.tif 000025
【図５】
2008028762.tif 000026
【図６】
2008028762.tif 000027
【図７】
2008028762.tif 000028
【図８】
2008028762.tif 000029
【図９】
2008028762.tif 000030
【図１０】
2008028762.tif 000031
【図１１】
2008028762.tif 000032
【図１２】
2008028762.tif 000033
【図１３】
2008028762.tif 000034
【図１４】
2008028762.tif 000035
【図１５】
2008028762.tif 000036
【図１６】
2008028762.tif 000037
【図１７】
2008028762.tif 000038
【図１８】
2008028762.tif 000039
【図１９】
2008028762.tif 000040
【図２０】
2008028762.tif 000041
【図２１】
2008028762.tif 000042
【図２２】
2008028762.tif 000043
【図２３】
2008028762.tif 000044
【図２４】
2008028762.tif 000045
【図２５】
2008028762.tif 000046
【図２６】
2008028762.tif 000047