(57)【要約】【課題】入力画像の枚数によらず、画像の、柔軟な高解像度化を図る。【解決手段】拡大部１２は、入力画像を、周辺の画素値を用いた補間によって拡大し、位置合わせ部１３は、入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う。一方、分離部１４は、直前に得られた出力画像を、低周波数成分と高周波数成分とに分離する。混合加算部１５は、拡大画像に対して、分離部１４で得られた低周波数成分を混合し、さらに、分離部１４で得られた高周波数成分を加算する混合加算を行うことで、新たな出力画像を生成する。本発明は、折り返し成分を含む入力画像から、折り返し成分が低減され、かつ、高周波数成分を復元した高解像度の出力画像を生成する、例えば、TV等に適用できる。【選択図】図２
2010045751.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を、周辺の画素値を用いた補間によって拡大する拡大手段と、
前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせ手段と、
前記出力画像を、低周波数成分と高周波数成分とに分離する分離手段と、
前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算手段と
を備える画像処理装置。
【請求項２】
前記拡大手段、前記位置合わせ手段、及び、前記分離手段は、フィルタで構成され、
前記分離手段のフィルタは、前記拡大手段のフィルタと、前記位置合わせ手段のフィルタとを縦続接続したフィルタと同一又は類似の特性を有する
請求項１に記載の画像処理装置。
【請求項３】
前記位置合わせ手段は、前記拡大画像の位置を、前記出力画像の位置に合わせる位置合わせを行い、
前記混合加算手段は、位置合わせ後の前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、前記新たな出力画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
位置合わせ後の前記拡大画像について、各画素の動きの程度を判定する動き判定手段をさらに備え、
前記混合加算手段は、動きがある画素については、直前に得られた前記出力画像の重みが大となり、動きがない画素については、前記新たな出力画像の重みが大となる重みに従って、直前に得られた前記出力画像と、前記新たな出力画像とを混合する動体混合を、さらに行う
請求項３に記載の画像処理装置。
【請求項５】
前記位置合わせ手段は、前記出力画像の位置を、前記拡大画像の位置に合わせる位置合わせを行い、
前記分離手段は、位置合わせ後の前記出力画像を、前記低周波数成分と前記高周波数成分とに分離する
請求項２に記載の画像処理装置。
【請求項６】
前記拡大画像について、各画素の動きの程度を判定する動き判定手段をさらに備え、
前記混合加算手段は、動きがある画素については、前記拡大画像の重みが大となり、動きがない画素については、前記新たな出力画像の重みが大となる重みに従って、前記拡大画像と、前記新たな出力画像とを混合する動体混合を、さらに行う
請求項５に記載の画像処理装置。
【請求項７】
前記拡大画像、又は、直前に得られた前記出力画像を選択し、位置合わせの対象として、前記位置合わせ手段に供給する第１の選択手段と
前記位置合わせ手段による位置合わせ後の画像、又は、前記拡大画像を選択し、前記混合加算手段に供給する第２の選択手段と、
前記位置合わせ手段による位置合わせ後の画像、又は、直前に得られた前記出力画像を選択し、前記分離手段に供給する第３の選択手段と
をさらに備え、
前記第１の選択手段が、前記拡大画像を選択して、前記位置合わせ手段に供給し、
前記位置合わせ手段が、前記第１の選択手段から供給される前記拡大画像の位置を、前記出力画像の位置に合わせる位置合わせを行い、位置合わせ後の前記拡大画像を、前記第２の選択手段に供給し、
前記第２の選択手段が、前記位置合わせ手段から供給される、位置合わせ後の前記拡大画像を選択して、前記混合加算手段に供給し、
前記第３の選択手段が、直前に得られた前記出力画像を選択して、前記分離手段に供給し、
前記分離手段が、前記第３の選択手段から供給される、直前に得られた前記出力画像を、前記低周波数成分と前記高周波数成分とに分離し、
前記混合加算手段が、前記第２の選択手段から供給される、位置合わせ後の前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、前記新たな出力画像を生成する
第１の処理を行うか、又は、
前記第１の選択手段が、直前に得られた前記出力画像を選択して、前記位置合わせ手段に供給し、
前記位置合わせ手段が、前記第１の選択手段から供給される、直前に得られた前記出力画像の位置を、前記拡大画像の位置に合わせる位置合わせを行い、位置合わせ後の前記出力画像を、前記第３の選択手段に供給し、
前記第２の選択手段が、前記拡大画像を選択して、前記混合加算手段に供給し、
前記第３の選択手段が、前記位置合わせ手段による位置合わせ後の前記出力画像を選択して、前記分離手段に供給し、
前記分離手段が、前記第３の選択手段から供給される、位置合わせ後の前記出力画像を、前記低周波数成分と前記高周波数成分とに分離し、
前記混合加算手段が、前記第２の選択手段から供給される前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、前記新たな出力画像を生成する
第２の処理を行う
請求項２に記載の画像処理装置。
【請求項８】
前記拡大画像について、各画素の動きの程度を判定する動き判定手段と、
前記拡大画像、又は、直前に得られた前記出力画像を選択する第４の選択手段と
をさらに備え、
前記第１の処理では、さらに、
前記第４の選択手段が、直前に得られた前記出力画像を選択し、
前記混合加算手段が、動きがある画素については、直前に得られた前記出力画像の重みが大となり、動きがない画素については、前記新たな出力画像の重みが大となる重みに従って、前記第４の選択手段が選択した、直前に得られた前記出力画像と、前記新たな出力画像とを混合する動体混合を、さらに行い、
前記第２の処理では、さらに、
前記第４の選択手段が、前記拡大画像を選択し、
前記混合加算手段が、動きがある画素については、前記拡大画像の重みが大となり、動きがない画素については、前記新たな出力画像の重みが大となる重みに従って、前記第４の選択手段が選択した前記拡大画像と、前記新たな出力画像とを混合する動体混合を、さらに行う
請求項７に記載の画像処理装置。
【請求項９】
複数の前記入力画像について、
前記拡大手段が、前記入力画像を拡大し、
前記位置合わせ手段が、前記拡大画像と、前記出力画像との位置合わせを行い、
前記分離手段が、前記出力画像を、前記低周波数成分と前記高周波数成分とに分離し、
前記混合加算手段が、前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、前記新たな出力画像を生成する
ことを繰り返す
請求項２に記載の画像処理装置。
【請求項１０】
前記入力画像は、インタレース方式の画像である
請求項２に記載の画像処理装置。
【請求項１１】
前記入力画像は、ベイヤ配列の画像である
請求項２に記載の画像処理装置。
【請求項１２】
画像処理装置が、
入力画像を、周辺の画素値を用いた補間によって拡大する拡大ステップと、
前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせステップと、
前記出力画像を、低周波数成分と高周波数成分とに分離する分離ステップと、
前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算ステップと
を含む画像処理方法。
【請求項１３】
入力画像を、周辺の画素値を用いた補間によって拡大する拡大手段と、
前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせ手段と、
前記出力画像を、低周波数成分と高周波数成分とに分離する分離手段と、
前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算手段と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、画像の、柔軟な高解像度化を図ることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、近年のディジタルカメラでは、撮像素子（例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージャ等）の性能や、画像処理の能力の向上が進んでいる。例えば、連続で高速撮影された複数の画像（入力画像）を合成することで、高画質の画像を生成するディジタルカメラがある。高画質の画像としては、例えば、手ぶれ補正を行った画像や、ノイズを除去した画像（S/N(Signal to Noise ratio)を向上させた画像）、画素数を増加させた高解像度の画像等が生成される。
【０００３】
例えば、１枚の画像（以下、１フレームの画像ともいう）からの、その画素数を増加させた画像の生成は、例えば、ナイキスト周波数以下を通過領域とする、sinc関数(sin(x)/x)を用いた補間ローパスフィルタや、スプライン関数等による補間によって行うことができる。
【０００４】
但し、上述の補間では、画素数を増加させることはできるが、解像度を向上させることはできない。
【０００５】
また、ディジタルカメラの撮像素子は、ベイヤ(Bayer)配列になっている場合がある。この場合、R(Red),G(Green),B(Blue)成分のうちの、例えば、R成分については、撮像素子において、R成分以外の画素を間引いた状態で、R成分のサンプリングが行われる。他のG成分、及びB成分についても、同様である。したがって、ベイヤ配列の撮像素子で撮影される画像は、色成分ごとには、一部の画素が間引かれた画像になっている。
【０００６】
さらに、例えば、TV（テレビジョン受像機）では、インタレース方式の画像が扱われることがある。インタレース方式の画像（以下、インタレース画像ともいう）は、画素が１ラインおきに間引かれた画像ということができる。
【０００７】
上述のような、画素が間引かれた画像の画素値には、いわゆる信号成分の他に、いわゆる折り返し成分が含まれている。折り返し成分を含む画像を対象として、上述の補間を行うと、その補間の結果得られる画像は、折り返し成分が目立つ画像となる。
【０００８】
そこで、複数のフレームを合成して、画素数を増加させ、かつ、高解像度化した１フレームの画像を生成する高解像度化技術がある（例えば、特許文献１，２，３，４を参照）。
【０００９】
従来の高解像度化技術では、動き検出処理、広帯域補間処理、及び、加重和処理の３つの処理により、画像の高解像度化が行われる。
【００１０】
動き検出処理では、入力された複数フレームの画像（入力画像）を用いて、各画像のサンプリングの位置（位相）（標本化位置）（撮像素子の画素が受光する光の空間的な位置）の差が、画像の動きを検出することにより推定される。
【００１１】
ここで、動き検出処理は、例えば、勾配法や、ブロックマッチング法、その他の各種の方法によって行うことができる。
【００１２】
広帯域補間処理では、折り返し成分を含む、画像の高周波数成分をすべて透過させる通過帯域の広いローパスフィルタを用いて、画素(サンプリング点)を補間することで増加させ、いわば高密度化された画像が生成される。
【００１３】
ここで、広帯域補間処理は、ナイキスト周波数の２倍の通過帯域を有する一般的な広帯域LPF(Low Pass Filter)を用いて行うことができる（例えば、特許文献１及び２を参照）。
【００１４】
加重和処理では、高密度化された複数フレームの画像のサンプリングの位相に応じた重みに従って、複数フレームの画像の混合（重み付け加算）を行うことで、画像のサンプリングの際に生じた折り返し成分が打ち消されて除去されるとともに、画像の高周波数成分が復元される。
【００１５】
なお、特許文献１には、２次元に折返しがある画像の９フレームを合成して、高解像画像を生成する技術等が記載されており、特許文献２には、１次元に折返しがある画像の３フレームを合成して、高解像画像を生成する技術等が記載されており、特許文献３及び４には、ヒルベルト変換を行った２フレームの画像を合成して、高解像度の画像を生成する、インタレース画像からプログレッシブの画像への変換を行うIP(Interlace Progressive)変換の技術等が記載されている。
【００１６】
図１を参照して、従来の高解像度化技術について、さらに説明する。
【００１７】
図１Ａは、１次元（ある１方向の空間方向）の周波数領域で、サンプリングの位相が異なる、高速撮像された連続する３フレームの画像（以下、フレーム#1,#2,#3ともいう）の周波数スペクトルを示している。
【００１８】
図１Ａでは、周波数の軸からの距離が信号強度を表し、周波数の軸を中心とした回転角が位相を表す。
【００１９】
フレーム#1ないし#3が、信号成分の他、折り返し成分を含む場合、フレーム#i（ここでは、i=1,2,3）を対象とした広帯域補間処理を行うと、すなわち、ナイキスト周波数fs/2の２倍の帯域-fsないしfs（図１Ａでは、0ないしfsの帯域のみを図示してある）を透過する広帯域LPFによって画素の補間をすると、図１Ａに示すように、ナイキスト周波数fs/2の２倍の帯域-fsないしfsに亘って、信号成分と、サンプリングの位相に応じた折り返し成分とを含む画像が得られる。
【００２０】
広帯域補間処理によって得られる画像は、元の画像よりも画素数が増加した画像となる。
【００２１】
図１Ｂは、広帯域補間処理によって得られる３フレーム#1ないし#3の信号成分の位相を示しており、図１Ｃは、広帯域補間処理によって得られる３フレーム#1ないし#3の折り返し成分の位相を示している。
【００２２】
なお、図１Ｂ及び図１Ｃにおいて、横軸は虚軸を表し、縦軸は実軸を表す。
【００２３】
広帯域補間処理によって得られる３フレーム#1ないし#3の信号成分の位相は一致し、折り返し成分の位相は、例えば、フレーム#1の折り返し成分の位相を基準とすれば、フレーム#1とのサンプリングの位相の差に応じて回転する。
【００２４】
上述したように、広帯域補間処理によって得られる３フレーム#1ないし#3の折り返し成分の位相は、フレーム#1とのサンプリングの位相の差に応じて回転している。したがって、広帯域補間処理によって得られる３フレーム#1ないし#3の折り返し成分は、その３フレーム#1ないし#3の重み付け加算を、フレーム#1とのサンプリングの位相の差に応じた重みに従って行うことで除去することができる。
【００２５】
そこで、従来の高解像度化技術では、広帯域補間処理によって得られる３フレーム#1ないし#3のサンプリングの位相（の差）に応じた重み（重み付け加算によって、折り返し成分が０となる重み）に従って、その３フレーム#1ないし#3の画像を重み付け加算する加重和処理が行われ、折り返し成分が除去される。これにより、帯域-fsないしfsに亘って信号成分を含む、折り返し成分が除去された画像、すなわち、高解像度の画像が得られる。
【００２６】
以上のように、従来の高解像度化技術では、元の画像（入力画像）を、ナイキスト周波数fs/2の帯域-fs/2ないしfs/2の帯域を通過するLPFではなく、ナイキスト周波数の2倍の帯域を透過する広帯域LPFで処理することで得られる画像を用いて、ナイキスト周波数fs/2を超える信号成分を復元することができる。
【００２７】
なお、従来の高解像度化技術では、折り返し成分が０となる重み付け加算の重みを求めるために、重み付け加算に用いるフレーム数が、あらかじめ決まっている必要がある。
【００２８】
ここで、高解像度化技術の対象とする画像を、以下、適宜、入力画像ともいう。
【００２９】
【特許文献１】特開平09- 69755号公報
【特許文献２】特開平08-336046号広報
【特許文献３】特開2007-324789号公報
【特許文献４】特開2000-216682号公報
【発明の開示】
【発明が解決しようとする課題】
【００３０】
例えば、ディジタルテレビジョン放送の画像や、光ディスクに記録された画像に、高解像度化技術を適用する場合には、そのような画像は、S/Nが良いので、２フレームや３フレーム等の少ないフレームを入力画像としても、高画質の画像を得ることができる。
【００３１】
しかしながら、家庭向けのディジタルスチルカメラや、ディジタルビデオカメラで撮影された画像に、高解像度化技術を適用する場合には、ノイズが目立つ画像が得られることがある。
【００３２】
すなわち、家庭向けのディジタルスチルカメラ等で得られる画像は、照度不足等で、S/Nが悪いことがある。そのようなS/Nの悪い画像を、少ないフレーム数だけ入力画像とすると、却って、ノイズが目立つ画像が得られる。
【００３３】
したがって、家庭向けのディジタルスチルカメラ等で得られる画像に、高解像度化技術を適用する場合には、多くのフレームを入力画像とすることが望ましい。
【００３４】
しかしながら、入力画像とすることができるフレーム数（枚数）は、例えば、ディジタルスチルカメラの性能や、被写体の明るさ等により決められる露出時間その他の撮影の条件等によって増減することがある。
【００３５】
本発明は、このような状況に鑑みてなされたものであり、入力画像の枚数によらず、画像の、柔軟な高解像度化を図ることができるようにするものである。
【課題を解決するための手段】
【００３６】
本発明の一側面の画像処理装置、又は、プログラムは、入力画像を、周辺の画素値を用いた補間によって拡大する拡大手段と、前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせ手段と、前記出力画像を、低周波数成分と高周波数成分とに分離する分離手段と、前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００３７】
本発明の一側面の画像処理方法は、画像処理装置が、入力画像を、周辺の画素値を用いた補間によって拡大する拡大ステップと、前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせステップと、前記出力画像を、低周波数成分と高周波数成分とに分離する分離ステップと、前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算ステップとを含む画像処理方法である。
【００３８】
以上のような一側面においては、入力画像が、周辺の画素値を用いた補間によって拡大され、前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせが行われる。また、前記出力画像が、低周波数成分と高周波数成分とに分離され、前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像が生成される。
【００３９】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００４０】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００４１】
本発明の一側面によれば、画像を高画質化することができ、特に、画像の、柔軟な高解像度化を図ることができる。
【発明を実施するための最良の形態】
【００４２】
図２は、本発明を適用した画像処理装置の概要を説明するブロック図である。
【００４３】
図２において、画像処理装置には、連続して撮影（例えば、高速撮影）された１フレーム（枚）以上の画像（入力画像）が、外部から供給される。そして、画像処理装置は、そこに供給される１フレーム以上の入力画像を用いて、高解像度の画像としての出力画像を生成して出力する高解像度化処理としての画像処理を行う。
【００４４】
すなわち、図２の画像処理装置は、記憶部１１、拡大部１２、位置合わせ部１３、分離部１４、混合加算部１５、及び、記憶部１６から構成される。
【００４５】
記憶部１１には、１フレーム以上の入力画像が供給される。記憶部１１は、そこに供給される１フレーム以上の入力画像を一時記憶する。
【００４６】
拡大部１２は、記憶部１１に記憶された入力画像を、周辺の画素値を用いた補間（０値を挿入する０値補間以外の補間）によって拡大して、すなわち、画素数を入力画像よりも増加させた拡大画像を生成して、出力する。
【００４７】
位置合わせ部１３は、拡大画像と、後述する混合加算部１５で直前に得られた出力画像との位置合わせを行う。
【００４８】
分離部１４は、出力画像を、低周波数成分と高周波数成分とに分離し、混合加算部１５に供給する。
【００４９】
混合加算部１５は、拡大画像に対して、分離部１４からの低周波数成分を混合し、さらに、分離部１４からの高周波数成分を加算することで、新たな出力画像を生成し、記憶部１６に供給する。
【００５０】
記憶部１６は、混合加算部１５からの出力画像を記憶し、必要に応じて、外部に出力する。
【００５１】
図３は、図２の画像処理装置で行われる画像処理（高解像度化処理）を説明するフローチャートである。
【００５２】
記憶部１１は、連続して撮影される１フレーム以上の入力画像のうちの、１フレームの入力画像が供給されるのを待って、ステップＳ１１において、そこに供給される入力画像を記憶して、処理は、ステップＳ１２に進む。
【００５３】
ステップＳ１２では、拡大部１２は、記憶部１１に記憶された入力画像を、周辺の画素値を用いた補間によって拡大することにより、拡大画像を生成して出力し、処理は、ステップＳ１３に進む。
【００５４】
ステップＳ１３では、位置合わせ部１３が、拡大部１２で生成された拡大画像と、混合加算部１５で直前に得られた出力画像との位置合わせを行い、処理は、ステップＳ１４に進む。
【００５５】
ステップＳ１４では、分離部１４は、混合加算部１５で直前に得られた出力画像を、低周波数成分と高周波数成分とに分離し、混合加算部１５に供給して、処理は、ステップＳ１５に進む。
【００５６】
ステップＳ１５では、混合加算部１５が、拡大画像に対して、分離部１４からの低周波数成分を混合し、さらに、分離部１４からの高周波数成分を加算することで、新たな出力画像を生成し、記憶部１６に供給して、処理は、ステップＳ１６に進む。
【００５７】
ステップＳ１６では、記憶部１６が、混合加算部１５からの（新たな）出力画像を記憶して、処理は、ステップＳ１７に進む。
【００５８】
ここで、混合加算部１５において、まだ、出力画像が得られていない場合（例えば、拡大画像が、１フレーム目の入力画像の拡大画像である場合等）には、ステップＳ１３ないしＳ１５の処理は、スキップされる。そして、ステップＳ１６では、拡大部１２で得られた拡大画像が、そのまま、新たな出力画像として、記憶部１６に記憶される。
【００５９】
ステップＳ１７では、記憶部１１が、連続して撮影された入力画像が、まだあるかどうかが判定される。
【００６０】
ステップＳ１７において、連続して撮影された入力画像が、まだあると判定された場合、すなわち、連続して撮影された１フレーム以上の入力画像のうちの、１フレームの入力画像が、記憶部１１に、新たに供給された場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００６１】
したがって、画像処理装置に対して、連続して撮影された複数フレームの入力画像が供給される場合には、画像処理装置では、その複数フレームの入力画像について、拡大部１２が、入力画像を拡大し、位置合わせ部１３が、拡大画像と出力画像との位置合わせを行い、分離部１４が、出力画像を、低周波数成分と高周波数成分とに分離し、混合加算部１５が、拡大画像に対して、低周波数成分を混合し、高周波数成分を加算することで、新たな出力画像を生成する、ことが繰り返される
【００６２】
一方、ステップＳ１７において、入力画像がないと判定された場合、すなわち、連続して撮影された１フレーム以上の入力画像を用いて、ステップＳ１１ないしＳ１６の処理が行われた場合、記憶部１６は、そこに記憶している最新の出力画像を、連続して撮影された１フレーム以上の入力画像を高解像度化した画像として、外部に出力して、画像処理は終了する。
【００６３】
なお、記憶部１６に記憶された出力画像の出力は、ステップＳ１７において、入力画像がないと判定された場合に行う他、ステップＳ１６において、新たな出力画像が記憶されるたびに行うことが可能である。
【００６４】
次に、図２の画像処理装置のより具体的な実施の形態を説明するが、その前に、入力画像を拡大して、拡大画像を生成する拡大処理と、拡大画像の高解像度化とについて説明する。
【００６５】
図４は、折り返し成分（エイリアス）を含まない入力画像の垂直方向等のある１方向の画素数を、元の２倍の数にする拡大処理を説明する図である。
【００６６】
サンプリング定理（標本化定理）によれば、信号が、周波数帯域-fないしfの範囲内のみの周波数成分を有する信号である場合には、その信号を、2f以上のサンプリング周波数fsでサンプリングすれば、LPFで高周波数成分を除去することによって、元の信号を、完全に復元することができる。
【００６７】
いま、入力画像の、例えば、垂直方向等のある１方向のサンプリング周波数が、周波数fsであるとすると、折り返し成分を含まない入力画像では、その１方向については、周波数帯域-fs/2ないしfs/2（以下、周波数fs/2以下ともいう）の範囲内にのみ、信号成分が存在する。
【００６８】
図４Ａは、折り返し成分を含まない入力画像の周波数特性（周波数成分）を示している。
【００６９】
なお、図４Ａにおいて、横軸は、周波数を表し、縦軸は、各周波数成分の振幅を表している。以降の周波数特性の図でも、同様である。
【００７０】
いま、折り返し成分を含まない入力画像の、１方向（例えば、垂直方向）に連続に並んだ４画素のうちの、i番目の画素の画素値をy(i)として、その４画素の画素値を、(y(0),y(1),y(2),y(3))と表すこととする。
【００７１】
入力画像の垂直方向の画素数を２倍にする場合には、まず、垂直方向に隣接する画素どうしの中間の位置に、画素値を０とする新たな画素（サンプリング点）を挿入する０値補間が行われる。
【００７２】
ここで、０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。いまの場合、画素数が２倍にされるので、０値補間では、元の画素値が２倍され、その結果、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))となる。
【００７３】
上述の０値補間は、入力画像のサンプリング周波数を、元のサンプリング周波数fsの２倍の周波数2fsにすることに相当する。０値補間の前後で、入力画像の信号成分は変化しないが、０値補間後、すなわち、元のサンプリング周波数fsの２倍の周波数2fsを、新たなサンプリング周波数とすると、その新たなサンプリング周波数2fsに対応する周波数帯域（サンプリング周波数2fsのサンプリングで再現可能な周波数帯域）-fsないしfsでは、折り返し成分が発生しているように見える。
【００７４】
図４Ｂは、０値補間後の入力画像の周波数特性を示している。
【００７５】
図４Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。
【００７６】
折り返し成分を含まない入力画像を０値補間した画像（以下、０値補間画像ともいう）では、図４Ｂに示すように、（絶対値が）ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2に、信号成分が存在する。さらに、ナイキスト周波数fs/2を超える周波数帯域-fs/2ないし-fs、及びfs/2ないしfsに、折り返し成分が存在する。
【００７７】
折り返し成分を含まない拡大画像を得るには、信号成分を取り出すこと（折り返し成分を除去すること）が必要である。したがって、０値補間画像に対して、入力画像のナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで、折り返し成分を含まない拡大画像を得ることができる。
【００７８】
図４Ｃは、０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで得られる拡大画像の周波数特性を示している。
【００７９】
なお、ナイキスト周波数fs/2の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFは、理想的には、sinc関数を用いたフィルタ（sinc関数の関数値をフィルタ係数とするフィルタ）であるが、その理想的なフィルタでは、タップ長（タップ数）が無限長となる。そこで、実際には、sinc関数に窓関数をかけてタップ数を制限したLPFが用いられる。
【００８０】
いま、説明を簡単にするため、LPFとして、フィルタ係数が｛1/4,1/2,1/4｝のLPFを採用することとする。
【００８１】
ここで、フィルタ係数が{a,b,c}のフィルタとは、例えば、３画素の画素値の並び(y(t-1),y(t),y(t+1))の、位置tの画素のフィルタリング結果が、式a×y(t-1) + b×y(t)+ c×y(t+1)で表されるフィルタ（FIR(Finite Impulse Response)フィルタ）を意味する。
【００８２】
０値補間画像としての７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))については、画素値2y(1)の位置の、フィルタ係数が｛1/4,1/2,1/4｝のフィルタによるフィルタリング後の画素値は、1/4×0+1/2×2y(1)+1/4×0=y(1)となる。
【００８３】
また、画素値2y(1)と2y(2)との間のゼロ点（画素値が０の画素）のフィルタリング後の画素値は、1/4×2y(1)+1/2×0+1/4×2y(2)=(y(1)+y(2))/2 となる。
【００８４】
以下、同様にして、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))のフィルタリング後の画素値の並びは、(y(0),(y(0)+y(1))/2,y(1),(y(1)+y(2))/2,y(2),(y(2)+y(3))/2,y(3))となる。
【００８５】
フィルタリング後の画素値の並び(y(0),(y(0)+y(1))/2,y(1),(y(1)+y(2))/2,y(2),(y(2)+y(3))/2,y(3))は、入力画像の画素値の並び(y(0),y(1),y(2),y(3))に対して、線形補間と呼ばれる補間がされたものに等しい。したがって、フィルタリング後の画素値、すなわち、拡大画像では、入力画像の信号成分が再現されていることが分かる。
【００８６】
以上のように、折り返し成分を含まない入力画像については、隣接する画素どうしの中間の位置に、画素値を０とする新たな画素を１個挿入する０値補間を行い、その結果得られる０値補間画像に、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかける拡大処理を行うことで、入力画像を２倍に拡大した（画素数を、入力画像の２倍にした）、折り返し成分を含まず、かつ、入力画像の信号成分を再現した拡大画像を得ることができる。
【００８７】
但し、折り返し成分を含まない入力画像に拡大処理を施しても、解像度を向上させること（ナイキスト周波数fs/2を超える信号成分を含む拡大画像を得ること）はできない。
【００８８】
ここで、図４Ｄは、０値補間画像に対して、ナイキスト周波数fs/2を超える広帯域の周波数帯域-fsないしfsを通過帯域とするLPF（広帯域LPF(WLPF)）をかけることで得られる拡大画像の周波数特性を示している。
【００８９】
折り返し成分を含まない入力画像の０値補間画像に対して、広帯域LPFをかけた場合、折り返し成分が除去されず、拡大画像（図４Ｄ）は、０値補間画像（図４Ｂ）、すなわち、隣接する画素どうしの間に挿入された１個のゼロ点の影響によって、黒の縞模様が存在する、（見た目の）画質の劣化した画像となる。
【００９０】
次に、折り返し成分を含まない入力画像の垂直方向等のある１方向の画素数を、元の、例えば、４倍の数にする拡大処理について説明する。
【００９１】
折り返し成分を含まない入力画像の垂直方向等のある１方向の画素数を、元の４倍の数にする拡大処理も、図４で説明した２倍の拡大処理と同様に行うことができる。
【００９２】
すなわち、図５は、折り返し成分を含まない入力画像の垂直方向等のある１方向の画素数を、元の４倍の数にする拡大処理を説明する図である。
【００９３】
いま、入力画像の、例えば、垂直方向等のある１方向のサンプリング周波数が、周波数fsであるとすると、折り返し成分を含まない入力画像では、その１方向については、周波数帯域-fs/2ないしfs/2の範囲内にのみ、信号成分が存在する。
【００９４】
図５Ａは、折り返し成分を含まない入力画像の周波数特性を示しており、図４Ａの場合と同様に、周波数帯域-fs/2ないしfs/2の範囲内にのみ、信号成分が存在する。
【００９５】
いま、図４の場合と同様に、連続に並んだ４画素の画素値を、(y(0),y(1),y(2),y(3))と表すと、入力画像の画素数を４倍にする場合には、隣接する画素どうしの間に、画素値を０とする新たな画素（ゼロ点）を、３個挿入する０値補間が行われる。
【００９６】
なお、上述したように、０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。いまの場合、画素数が４倍にされるので、０値補間では、元の画素値が４倍され、その結果、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、１３画素の画素値の並び(4y(0),0,0,0,4y(1),0,0,0,4y(2),0,0,0,4y(3))となる。
【００９７】
隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間は、入力画像のサンプリング周波数を、元のサンプリング周波数fsの４倍の周波数4fsにすることに相当する。０値補間の前後で、入力画像の信号成分は変化しないが、０値補間後、すなわち、元のサンプリング周波数fsの４倍の周波数4fsを、新たなサンプリング周波数とすると、その新たなサンプリング周波数4fsに対応する周波数帯域-2fsないし2fsでは、折り返し成分が発生しているように見える。
【００９８】
図５Ｂは、０値補間後の入力画像の周波数特性を示している。
【００９９】
図５Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。
【０１００】
折り返し成分を含まない入力画像を０値補間した０値補間画像では、図５Ｂに示すように、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2に、信号成分が存在する。さらに、ナイキスト周波数fs/2を超える周波数帯域-fs/2ないし-2fs、及びfs/2ないし2fsに、折り返し成分が存在する。
【０１０１】
図５Ｂの０値補間画像については、図４の場合と同様に、０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで、折り返し成分を含まない拡大画像を得ることができる。
【０１０２】
図５Ｃは、０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで得られる拡大画像の周波数特性を示している。
【０１０３】
以上のように、折り返し成分を含まない入力画像について、隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間を行い、その結果得られる０値補間画像に、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかける拡大処理を行うことで、入力画像を４倍に拡大した、折り返し成分を含まず、かつ、入力画像の信号成分を再現した拡大画像を得ることができる。
【０１０４】
但し、折り返し成分を含まない入力画像に拡大処理を施しても、図４の場合と同様に、解像度を向上させることはできない。
【０１０５】
ここで、図５Ｄは、０値補間画像に対して、ナイキスト周波数fs/2を超える広帯域の周波数帯域-fsないしfsを通過帯域とする広帯域LPFをかけることで得られる拡大画像の周波数特性を示している。
【０１０６】
折り返し成分を含まない入力画像の０値補間画像に対して、広帯域LPFをかけた場合、折り返し成分が除去されず、拡大画像（図５Ｄ）は、やはり、図４の場合と同様に、画質の劣化した画像となる。
【０１０７】
次に、折り返し成分を含む入力画像の垂直方向等のある１方向の画素数を、元の２倍の数にする拡大処理について説明する。
【０１０８】
折り返し成分を含む入力画像としては、例えば、テレビジョン放送のインタレース画像等があり、例えば、折り返し成分を含まない画像のライン（水平ライン）を１ラインおきに間引くことで生成することができる。
【０１０９】
図６は、折り返し成分を含む入力画像の垂直方向等のある１方向の画素数を、元の２倍の数にする拡大処理を説明する図である。
【０１１０】
いま、入力画像の、例えば、垂直方向等のある１方向のサンプリング周波数が、周波数fsであるとすると、折り返し成分を含む入力画像では、その１方向については、周波数帯域-fs/2ないしfs/2の信号成分は、そのまま存在し、（絶対値が）その周波数帯域-fs/2ないしfs/2を超える信号成分は、周波数帯域-fs/2ないしfs/2に、折り返し成分として存在する。
【０１１１】
図６Ａは、折り返し成分を含む入力画像の周波数特性を示している。
【０１１２】
例えば、周波数帯域-fsないしfsの範囲にのみ信号成分を有する画像を、サンプリング周波数fsでサンプリングすることにより、図６Ａの周波数特性を有する入力画像を得ることができる。
【０１１３】
図６Ａの入力画像では、周波数帯域-fs/2ないしfs/2の信号成分（実線部分）は、そのまま存在し、周波数帯域-fs/2ないしfs、及びfs/2ないしfsの信号成分は、周波数帯域-fs/2ないしfs/2に、折り返し成分（点線部分）として存在する。
【０１１４】
したがって、折り返し成分を含む入力画像では、周波数帯域-fs/2ないしfs/2に、信号成分と折り返し成分とが混在する。
【０１１５】
折り返し成分を含む入力画像の、１方向（例えば、垂直方向）に連続に並んだの画素値を、図４の場合と同様に、(y(0),y(1),y(2),y(3))と表すと、入力画像の垂直方向の画素数を２倍にする場合には、やはり、図４の場合と同様に、隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間が行われる。
【０１１６】
なお、上述したように、０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。いまの場合、画素数が２倍にされるので、０値補間では、元の画素値が２倍され、その結果、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))となる。
【０１１７】
隣接する画素どうしの間に１個のゼロ点を挿入する０値補間は、入力画像のサンプリング周波数を、元のサンプリング周波数fsの２倍の周波数2fsにすることに相当する。０値補間後の画像（０値補間画像）では、周波数帯域-fsないしfsの全体に亘る信号成分が再現されるが、折り返し成分も再現される。すなわち、周波数帯域-fsないしfsに、信号成分と折り返し成分とが混在する。
【０１１８】
図６Ｂは、０値補間後の入力画像（０値補間画像）の周波数特性を示している。
【０１１９】
図６Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。
【０１２０】
図４の場合と同様に、０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで、折り返し成分を低減した（減衰させた）拡大画像を得ることができる。
【０１２１】
図６Ｃは、０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで得られる拡大画像の周波数特性を示している。
【０１２２】
０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで、高域-fs/2ないし-fs、及び、fs/2ないしfsの折り返し成分を減衰させることができる。しかしながら、この場合、高域-fs/2ないし-fs、及び、fs/2ないしfsの信号成分も減衰する。
【０１２３】
以上のように、折り返し成分を含む入力画像の０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかける拡大処理を行っても、信号成分のうちの高周波数成分（高域-fs/2ないし-fs、及び、fs/2ないしfsの信号成分）を再現することはできない。また、（低域-fs/2ないしfs/2の）折り返し成分を除去する（減衰させる）こともできない。
【０１２４】
ここで、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFとして、例えば、フィルタ係数が｛1/4,1/2,1/4｝のLPFを採用することとすると、そのLPFによる０値補間画像のフィルタリングの結果得られる拡大画像は、図４で説明したように、入力画像を線形補間して得られる画像に等しい。
【０１２５】
折り返し成分があるインタレース画像を線形補間すると、斜め線にジャギーが発生するが、これは、折り返し成分に起因する。折り返し成分があるインタレース画像を線形補間することで得られる線形補間画像については、複数の線形補間画像を、重みを調整して重み付け加算することで、折り返し成分を除去することができる。
【０１２６】
したがって、LPFによる０値補間画像のフィルタリングの結果得られる拡大画像についても、複数の拡大画像（複数の入力画像から得られた複数の拡大画像）を重み付け加算することで、拡大画像に含まれる折り返し成分を除去することができる。
【０１２７】
しかしながら、高域の信号成分は、LPFによる０値補間画像のフィルタリングによって除去されているため、再現することはできない。
【０１２８】
そこで、折り返し成分を含む入力画像の拡大処理では、０値補間画像のフィルタリングに、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFではなく、より広帯域を通過帯域とする広帯域LPFが用いられる。
【０１２９】
図６Ｄは、０値補間画像に対して、広帯域LPFをかけることで得られる拡大画像の周波数特性を示している。
【０１３０】
広帯域LPFは、ナイキスト周波数fs/2の２倍の周波数帯域-fsないしfsを通過させるLPFであり、理想的には、sinc関数を用いたフィルタである。
【０１３１】
サンプリング周波数が2fsの０値補間画像に対して、周波数帯域-fsないしfsを通過させるフィルタは、その０値補間画像の全周波数成分を通過させる全域通過フィルタとなる。
【０１３２】
したがって、０値補間画像に対して、広帯域LPFをかけることで得られる拡大画像は、０値補間画像であり、０値補間画像を、そのまま採用することができる。なお、この場合、０値補間画像である拡大画像は、隣接する画素どうしの間に挿入された１個のゼロ点の影響によって、黒の縞模様が存在する、画質の劣化した画像となる。
【０１３３】
広帯域LPFをかけることで得られる拡大画像は、図６Ｄに示したように、折り返し成分を含むが、高域の信号成分も含む。
【０１３４】
したがって、複数の拡大画像を重み付け加算することで、拡大画像に含まれる折り返し成分を除去することにより、低域の信号成分の他、高域の信号成分も再現された高解像度の画像を得ること、すなわち、入力画像の高解像度化を行うことができる。
【０１３５】
折り返し成分を含む入力画像の垂直方向等のある１方向の画素数を、元の、例えば、４倍の数にする拡大処理も、図６で説明した場合と同様に行うことができる。
【０１３６】
すなわち、図７は、折り返し成分を含む入力画像の垂直方向等のある１方向の画素数を、元の４倍の数にする拡大処理を説明する図である。
【０１３７】
入力画像の、例えば、垂直方向等のある１方向のサンプリング周波数が、周波数fsであるとすると、折り返し成分を含む入力画像では、その１方向については、周波数帯域-fs/2ないしfs/2の信号成分は、そのまま存在し、その周波数帯域-fs/2ないしfs/2を超える信号成分は、周波数帯域-fs/2ないしfs/2に、折り返し成分として存在する。
【０１３８】
図７Ａは、折り返し成分を含む入力画像の周波数特性を示しており、図６Ａの場合と同様に、周波数帯域-fs/2ないしfs/2に、信号成分（実線部分）と折り返し成分（点線部分）とが混在する。
【０１３９】
折り返し成分を含む入力画像の、１方向（例えば、垂直方向）に連続に並んだの画素値を、図４の場合と同様に、(y(0),y(1),y(2),y(3))と表すと、入力画像の垂直方向の画素数を４倍にする場合には、やはり、図５の場合と同様に、隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間が行われる。
【０１４０】
なお、上述したように、０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が４倍され、その結果、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、１３画素の画素値の並び(4y(0),0,0,0,4y(1),0,0,0,4y(2),0,0,0,4y(3))となる。
【０１４１】
隣接する画素どうしの間に３個のゼロ点を挿入する０値補間は、入力画像のサンプリング周波数を、元のサンプリング周波数fsの４倍の周波数4fsにすることに相当する。そして、０値補間後の画像（０値補間画像）では、周波数帯域-2fsないし2fsの全体に亘って、信号成分が再現されるが、折り返し成分も再現される。すなわち、周波数帯域-2fsないし2fsに、信号成分と折り返し成分とが混在する。
【０１４２】
図７Ｂは、０値補間後の入力画像（０値補間画像）の周波数特性を示している。
【０１４３】
図７Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。
【０１４４】
０値補間画像に対しては、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで、折り返し成分を減衰させた拡大画像を得ることができる。
【０１４５】
図７Ｃは、０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで得られる拡大画像の周波数特性を示している。
【０１４６】
０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFをかけることで、高域-fs/2ないし-2fs、及び、fs/2ないし2fsの折り返し成分を減衰させることができる。しかしながら、この場合、高域-fs/2ないし-fs、及び、fs/2ないしfsの信号成分も減衰する。
【０１４７】
そこで、折り返し成分を含む入力画像の拡大処理では、図６で説明したように、０値補間画像のフィルタリングに、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFではなく、広帯域LPFが用いられる。
【０１４８】
図７Ｄは、０値補間画像に対して、広帯域LPFをかけることで得られる拡大画像の周波数特性を示している。
【０１４９】
広帯域LPFは、図６で説明したように、理想的には、sinc関数を用いたフィルタであるが、説明を簡単にするために、フィルタ係数が{1/4,1/2,1/4}のLPFを採用することとすると、１３画素の画素値の並び(4y(0),0,0,0,4y(1),0,0,0,4y(2),0,0,0,4y(3))のフィルタリング後の画素値の並びは、(2y(0),y(0),0,y(1),2y(1),y(1),0,y(2),2y(2),y(2),0,y(3),2y(3))となる。
【０１５０】
したがって、０値補間画像に対して、広帯域LPFをかけることで得られる拡大画像は、０値補間によって挿入されたゼロ点の影響によって、黒の縞模様が存在する、画質の劣化した画像となる。
【０１５１】
広帯域LPFをかけることで得られる拡大画像は、図７Ｄに示したように、折り返し成分を含むが、高域の信号成分も含む。
【０１５２】
したがって、複数の拡大画像を重み付け加算することで、拡大画像に含まれる折り返し成分を除去することにより、低域の信号成分の他、高域の信号成分も再現された高解像度の画像を得ること、すなわち、入力画像の高解像度化を行うことができる。
【０１５３】
以上のように、折り返し成分を含む入力画像の高解像度化は、入力画像に対して、ゼロ点を挿入する０値補間を行い、その結果得られる０値補間画像に広帯域LPFを適用する（０値補間画像を広帯域LPFでフィルタリングする）拡大処理を利用して行うことができる。前述の特許文献１等に記載の従来の高解像度化技術は、この拡大処理を利用している。
【０１５４】
しかしながら、０値補間画像に広帯域LPFを適用して得られる拡大画像は、上述したように、黒の縞模様が存在する、画質の劣化した画像となっている。
【０１５５】
すなわち、折り返し成分を含む入力画像が、例えば、垂直方向の１方向に折り返し成分がある画像である場合には、垂直方向に隣接する画素どうしの間に、ゼロ点を挿入する０値補間が行われることによって、０値補間画像に広帯域LPFを適用することで得られる拡大画像は、黒の横縞（水平方向の縞模様）がある画像となる。
【０１５６】
また、折り返し成分を含む入力画像が、例えば、ベイヤ配列の赤色の画素だけでなる画像のように、垂直方向と水平方向の２方向に折り返し成分がある画像である場合には、垂直方向に隣接する画素どうしの間と、水平方向に隣接する画素どうしの間に、ゼロ点を挿入する０値補間が行われることによって、０値補間画像に広帯域LPFを適用することで得られる拡大画像は、水平方向と垂直方向の両方に、黒い縞模様がある画像となる。
【０１５７】
高速撮影された連続する入力画像として、ある程度多くの枚数（フレーム数）の画像がある場合には、従来の高解像度化技術によって、折り返し成分を減衰させた高解像度の画像を得ることができる。
【０１５８】
しかしながら、入力画像として、少ない枚数の画像しかない場合、すなわち、極端には、１枚の画像しかない場合、従来の高解像度化技術によって得られる画像は、０値補間画像に広帯域LPFを適用して得られる拡大画像そのもの、つまり、黒の縞模様が存在する、画質の劣化した画像となり、そのような、黒の縞模様が存在する画像を、ユーザに提供することは望ましくない。
【０１５９】
そこで、拡大処理として、線形補間や、最近傍補間（さらには、入力画像の周辺の画素を用いたその他の補間）を行い、拡大画像として、黒の縞模様がない画像を生成する方法がある。
【０１６０】
しかしながら、拡大処理として、線形補間を行うことは、図４で説明したように、０値補間画像に対して、ナイキスト周波数fs/2以下の周波数帯域-fs/2ないしfs/2を通過帯域とするLPFを適用することに等しい。そして、この場合、図６Ｃで説明したように、０値補間画像に対してLPFを適用することにより、高域の信号成分が減衰するため、そのような高域の信号成分が減衰した拡大画像を、何枚用いて重み付け加算を行っても、高域の信号成分を復元することはできない。
【０１６１】
これは、拡大処理として、最近傍補間、その他の、入力画像の周辺の画素を用いた補間を行う場合でも同様である。
【０１６２】
すなわち、例えば、最近傍補間では、画素値を補間しようとする位置の画素の画素値として、その位置から最も近い位置にある画素の画素値が補間される。
【０１６３】
具体的には、例えば、いま、折り返し成分を含む入力画像の、１方向（例えば、垂直方向）に連続に並んだ４画素の画素値の並びが、(y(0),y(1),y(2),y(3))であるとすると、画素数を２倍にする最近傍補間では、この４画素の画素値の並び(y(0),y(1),y(2),y(3))が、８個の画素値の並び(y(0),y(0),y(1),y(1),y(2),y(2),y(3),y(3))とされる。
【０１６４】
この最近傍補間は、図４及び図５で説明したのと同様の拡大処理、すなわち、０値補間とLPFによるフィルタリングとによって行うことができる。
【０１６５】
すなわち、入力画像の垂直方向の画素数を２倍にする場合には、まず、垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間が行われる。
【０１６６】
０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が２倍される。したがって、０値補間によって、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))となる。
【０１６７】
拡大処理として、最近傍補間を行う場合には、０値補間によって得られる０値補間画像、すなわち、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))に対して、フィルタ係数が{1/2,1/2,0}のLPFが適用される。７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))に、フィルタ係数が{1/2,1/2,0}のLPFをかけると、７画素の画素値の並び(y(0),y(0),y(1),y(1),y(2),y(2),y(3),y(3))が得られる。
【０１６８】
フィルタ係数が{1/2,1/2,0}のLPFは、元の画像の画素の位置を、半画素分（隣接する画素どうしの距離の1/2）だけずらずフィルタである。このフィルタは、2fsのサンプリング周波数に対応する周波数帯域-fsないしfsに対し、周波数が０のときのゲインが１で、最大周波数fs及び-fsのときのゲインが０になる特性を有する。
【０１６９】
このため、０値補間画像に対して、フィルタ係数が{1/2,1/2,0}のLPFを適用することにより得られる拡大画像においては、高域の信号成分、特に、周波数がfs及び-fs付近の高周波数成分が減衰する。
【０１７０】
したがって、拡大処理として、最近傍補間を行う場合、従来の高解像度化技術では、高域の信号成分が減衰した拡大画像の重み付け加算が行われる。
【０１７１】
拡大処理として、２倍を超える倍率の最近傍補間を行う場合も、２倍の最近傍補間を行う場合と同様である。
【０１７２】
例えば、拡大処理として、４倍の最近傍補間を行うことは、隣接する画素どうしの間に３個のゼロ点を挿入する０値補間を行い、その結果得られる０値補間画像に、フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFを適用することに等しい。
【０１７３】
フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFは、4fsのサンプリング周波数に対応する周波数帯域-2fsないし2fsに対し、周波数が０のときのゲインが１で、最大周波数2fs及び-2fs、並びに中間周波数fs及び-fsのときのゲインが０になる特性を有する。
【０１７４】
このため、０値補間画像に対して、フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFを適用することにより得られる拡大画像においては、高域の信号成分、特に、周波数がfs及び-fs付近の高周波数成分が減衰する。
【０１７５】
したがって、０値補間画像に対して、フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFを適用することにより得られる拡大画像から、ナイキスト周波数fs/2の2倍の周波数fsに対応する周波数帯域-fsないしfsを取り出すために、その周波数帯域-fsないしfsを通過帯域とする広帯域LPFによって、拡大画像をフィルタリングしても、そのフィルタリングの結果得られる拡大画像では、高域の信号成分（周波数がfs及び-fs付近の高周波数成分）は減衰したままである。
【０１７６】
したがって、拡大処理として、４倍の最近傍補間を行う場合も、従来の高解像度化技術では、高域の信号成分が減衰した拡大画像の重み付け加算が行われることになる。
【０１７７】
ここで、図８に、拡大処理として、最近傍補間を行う場合のフィルタの特性（周波数特性）を示す。
【０１７８】
すなわち、図８Ａは、２倍の最近傍補間を行うための、フィルタ係数が{1/2,1/2,0}のLPF（最近傍補間フィルタ）の特性を示しており、図８Ｂは、４倍の最近傍補間を行うための、フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFの特性を示している。
【０１７９】
なお、図８Ａには、２倍の線形補間を行うための、フィルタ係数が{1/4,1/2,1/4}のLPF（線形補間フィルタ）の特性も示してある。また、図８Ｂには、４倍の線形補間を行うための、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}のLPFの特性も示してある。
【０１８０】
以上のように、従来の高解像度化技術では、０値補間画像に広帯域LPFを適用する拡大処理を行うので、入力画像の枚数が少ない（例えば、１枚である）と、黒の縞模様が存在する、画質の劣化した画像が得られる。
【０１８１】
また、拡大処理として、線形補間や最近傍補間を採用する場合には、入力画像が何枚あっても、重み付け加算では、信号成分の高域が（十分に）復元されず、（十分な）高解像度化を図ることができない。
【０１８２】
そこで、図２の画像処理装置では、入力画像の枚数によらず、画像の、柔軟な高解像度化を図ることができる高解像度化処理が行われる。
【０１８３】
すなわち、図２の画像処理装置の高解像度化処理によれば、入力画像の枚数が少ない（例えば、１枚である）場合には、高解像度ではないが、黒の縞模様が存在しない、ある程度画質を維持した画像が生成され、入力画像の枚数が多くなるほど、高解像度で画質が良い画像が生成される。
【０１８４】
以下、図２の画像処理装置の具体的な実施の形態について説明する。
【０１８５】
［第１実施の形態］
【０１８６】
図９は、本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【０１８７】
図９の画像処理装置は、例えば、１方向に折り返し成分（１次元の折り返し成分）を含む画像を入力画像として、１フレーム以上の入力画像を２倍に拡大した拡大画像を用いる高解像度化処理を行う。
【０１８８】
なお、１方向に折り返し成分を含む入力画像としては、例えば、折り返し成分を含まない画像のラインを１ラインおきに間引いて得られるインタレース画像がある。
【０１８９】
また、第１実施の形態では、入力画像が静止画で、そこには、動きが（ほとんど）ない被写体のみが映っていることとし、さらに、画像処理装置には、そのような入力画像の１枚（フレーム）以上が高速撮影されて供給されることとする。
【０１９０】
図９において、画像処理装置は、記憶部２１、動き検出部２２、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８から構成される。
【０１９１】
記憶部２１は、図２の記憶部１１に対応する。記憶部１１には、高速撮影された１フレーム以上の入力画像が供給される。記憶部１１は、そこに供給される１フレーム以上の入力画像を一時記憶する。
【０１９２】
動き検出部２２は、記憶部２１に記憶される１フレーム以上の入力画像の、ある１フレームの入力画像を（位置合わせの）基準として、その基準に対する入力画像の動きベクトルを検出し、位置合わせ部２４に供給する。
【０１９３】
ここで、基準の入力画像としては、記憶部２１に記憶される１フレーム以上の入力画像のうちの、例えば、最初のフレームの入力画像を採用することもできるし、時間的に中央付近のフレームの入力画像を採用することもできる。
【０１９４】
図９の画像処理装置（以下説明する画像処理装置も同様）では、高速撮影された複数フレームの入力画像を混合加算する（後述する混合と加算）ことによって、画像が高解像度にされる。従来の高解像度技術もそうであるが、図９の画像処理装置による画像の高解像度化は、入力画像の画素でサンプリングされている位置（被写体の位置）が、手ぶれ等によって、フレームごとに、微少にずれていることを前提とする。
【０１９５】
例えば、ディジタルスチルカメラにおいて、高速撮影された複数フレームの入力画像を合成して、１枚の写真としての、高解像度の画像を生成する場合、その１枚の写真の生成のために高速撮影することができる入力画像は、例えば、８フレーム程度である。
【０１９６】
そして、８フレームの入力画像を高速撮影する間の手ぶれは、等速直線運動とみなすことができる。この場合、８フレームの入力画像のうちの、時間的に中央付近の４フレーム目や５フレーム目の入力画像を基準とし、その基準の入力画像に対して、他の入力画像の位置合わせを行って、８フレームの入力画像の合成を行うことにより、１フレーム目の入力画像を基準とするときに比較して、合成に用いることができる画素の数が、基準の入力画像の中心部分で多くなる。その結果、中心部分が、周辺部分に比較してより高解像度になった画像を得ることができる。
【０１９７】
なお、以下では、記憶部２１に記憶される１フレーム以上の入力画像のうちの、例えば、最初のフレームの入力画像を、基準の入力画像とすることとする。
【０１９８】
拡大部２３は、図２の拡大部１２に対応する。拡大部２３は、記憶部１１に記憶された１フレーム以上の入力画像を、順次、注目画像とし、その注目画像となった入力画像を、周辺の画素値を用いた補間（０値補間以外の補間）によって拡大する拡大処理を行う。そして、拡大部２３は、拡大処理の結果得られる拡大画像を、位置合わせ部２４に供給する。
【０１９９】
ここで、図９では、拡大部２３は、入力画像を、折り返し成分がある垂直方向に、２倍に拡大する拡大処理を行う。拡大処理としては、例えば、図４で説明したような、線形補間、すなわち、０値補間を行い、その結果得られる０値補間画像に、LPFを適用する処理が行われる。但し、LPFとしては、ナイキスト周波数fs/2を超える高周波数成分を、多少通過させるLPFが用いられる。
【０２００】
なお、以下では、記憶部２１に記憶された１フレーム以上の入力画像のうちの、nフレーム目の入力画像を、入力画像Anともいい、その入力画像Anの拡大画像を、拡大画像Bnともいう。
【０２０１】
位置合わせ部２４は、図２の位置合わせ部１３に対応する。位置合わせ部２４は、拡大部２３から供給される拡大画像Bnの位置を、後述する記憶部２８に記憶された、直前に得られた出力画像Sn-1の位置に合わせる位置合わせを、動き検出部２２から供給される動きベクトルに従って行う。そして、位置合わせ部２４は、位置合わせ後の拡大画像Bnである位置合わせ画像Cnを、混合部２５に供給する。
【０２０２】
混合部２５には、位置合わせ部２４から、位置合わせ画像Cnが供給される他、分離部２７から、記憶部２８に記憶された、直前に得られた出力画像Sn-1の低周波数成分Lnが供給される。
【０２０３】
混合部２５は、位置合わせ部２４からの位置合わせ画像Cn（位置合わせ後の拡大画像Bn）に対して、分離部２７からの低周波数成分Lnを混合し、その混合によって得られる混合画像Dnを、加算部２６に供給する。
【０２０４】
ここで、位置合わせ画像Cnに対する、低周波数成分Lnの混合とは、位置合わせ画像Cnと低周波数成分Lnとの重み付け加算を意味する。
【０２０５】
加算部２６には、混合部２５から、混合画像Dnが供給される他、分離部２７から、記憶部２８に記憶された、直前に得られた出力画像Sn-1の高周波数成分Hnが供給される。
【０２０６】
加算部２６は、混合部２５からの混合画像Dnに対して、分離部２７からの高周波数成分Hnを加算し、その加算の結果得られる画像を、新たな出力画像Sn（入力画像Anを用いて生成された画像）として出力する。
【０２０７】
ここで、混合画像Dnに対する、高周波数成分Hnの加算とは、混合画像Dnと高周波数成分Hnとの単純加算を意味する。
【０２０８】
また、図９において、混合部２５と加算部２６が、図２の混合加算部１５に対応する。
【０２０９】
以下、上述の混合と加算とを、まとめて、混合加算ともいう。
【０２１０】
分離部２７は、図２の分離部１４に対応する。分離部２７は、記憶部２８に記憶された、直前に得られた出力画像Sn-1を、次の出力画像Snを生成するために、低周波数成分Lnと高周波数成分Hnとに分離し、混合部２５と加算部２６に供給する。すなわち、低周波数成分Lnは、混合部２５に供給され、高周波数成分Hnは、加算部２６に供給される。
【０２１１】
記憶部２８は、図２の記憶部１６に対応する。記憶部２８は、加算部２６が出力する出力画像Snを記憶し、必要に応じて、外部に出力する。また、記憶部２８は、前回記憶した出力画像Sn-1、すなわち、直前に得られた出力画像Sn-1を、分離部２７に供給する。
【０２１２】
以上のように構成される図９の画像処理装置では、例えば、記憶部２１に、高速撮影された、垂直方向の折り返し成分を含む１フレーム以上のNフレームの入力画像が供給されて記憶される。
【０２１３】
拡大部２３は、記憶部１１に記憶されたNフレームの入力画像を、１フレーム目の入力画像から、順次、注目画像とし、その注目画像となった入力画像Anを、周辺の画素値を用いた補間によって拡大する拡大処理を行う。そして、拡大部２３は、拡大処理の結果得られる拡大画像Bnを、位置合わせ部２４に供給する。
【０２１４】
一方、動き検出部２２は、記憶部２１に記憶されたNフレームの入力画像のうちの１フレーム目の入力画像A1を基準として、その基準に対する入力画像Anの動きベクトルを検出し、位置合わせ部２４に供給する。
【０２１５】
位置合わせ部２４は、拡大部２３からの拡大画像Bnの位置を、記憶部２８に記憶された、直前に得られた出力画像Sn-1の位置に合わせる位置合わせを、動き検出部２２から供給される動きベクトルに従って行う。そして、位置合わせ部２４は、位置合わせ後の拡大画像Bnである位置合わせ画像Cnを、混合部２５に供給する。
【０２１６】
ここで、拡大部２３から位置合わせ部２４に供給される拡大画像Bnが、（位置合わせの）基準となる１フレーム目の入力画像A1の拡大画像B1である場合（注目画像が１フレーム目の入力画像A1である場合）には、位置合わせ部２４は、拡大部２３からの拡大画像B1を、そのまま、位置合わせ画像C1として、混合部２５に供給する。
【０２１７】
一方、分離部２７では、記憶部２８に記憶された、直前に得られた出力画像Sn-1が、低周波数成分Lnと高周波数成分Hnとに分離され、低周波数成分Lnは、混合部２５に供給され、高周波数成分Hnは、加算部２６に供給される。
【０２１８】
混合部２５は、位置合わせ部２４からの位置合わせ画像Cn（位置合わせ後の拡大画像Bn）に対して、分離部２７からの低周波数成分Lnを混合（重み付け加算）し、その混合によって得られる混合画像Dnを、加算部２６に供給する。
【０２１９】
加算部２６は、混合部２５からの混合画像Dnに対して、分離部２７からの高周波数成分Hnを加算し、その加算の結果得られる画像を、新たな出力画像Snとして出力する。
【０２２０】
加算部２６が出力した出力画像Snは、記憶部２８に供給されて記憶される。
【０２２１】
以下、記憶部２１に記憶されたNフレームの入力画像のうちの、Nフレーム目が注目画像とされ、その注目画像としてのNフレーム目の入力画像に対する出力画像SNが記憶部２８に記憶されるまで、同様の処理が繰り返される。
【０２２２】
なお、注目画像が１フレーム目の入力画像である場合には、記憶部２８には、直前に得られた出力画像が記憶されていないので、分離部２７では、処理は（実質的に）行われない。さらに、混合部２５及び加算部２６でも、処理は行われない。
【０２２３】
この場合、位置合わせ部２４で得られた位置合わせ画像C1（上述したように、拡大画像B1に等しい）は、そのまま、出力画像S1として、記憶部２８に記憶される。
【０２２４】
次に、図１０を参照して、図９の動き検出部２２について説明する。
【０２２５】
動き検出部２２で検出された動きベクトルは、図９で説明したように、位置合わせ部２４において、拡大画像Bnと、出力画像Sn-1との位置合わせに用いられる。
【０２２６】
ここで、拡大画像Bnと、出力画像Sn-1との位置合わせを行うには、拡大画像Bnと、出力画像Sn-1との位置ずれを表す位置ずれ情報が必要である。
【０２２７】
位置ずれ情報としては、例えば、出力画像Sn-1に対する、拡大画像Bnの動きベクトルを採用することができる。
【０２２８】
但し、拡大画像は（出力画像も同様）、入力画像の画素数を増加させた画像であるため、画素数が多く、そのような、画素数が多い画像を対象として、動きベクトルの検出を行うのでは、演算量が大になる。
【０２２９】
そこで、図９の動き検出部２２では、拡大部２３で拡大する前の入力画像An、すなわち、画素数が少ない画像を対象として、動きベクトルの検出を行い、これにより、拡大画像Bnを対象とする場合に比較して、演算量を削減するようになっている。
【０２３０】
図１０は、図９の動き検出部２２の構成例を示している。
【０２３１】
ここで、動きベクトルの検出の方法としては、ブロックマッチング法や、勾配法、その他の任意の方法を採用することができる。
【０２３２】
図１０の動き検出部２２では、動きベクトルの検出の方法として、例えば、ブロックマッチング法が採用されている。
【０２３３】
図１０において、動き検出部２２は、水平LPF４１及び４２、垂直LPF４３及び４４、ブロックマッチング部４５、並びに、統計処理部４６から構成される。
【０２３４】
水平LPF４１には、基準となる入力画像A1が、記憶部２１（図９）から供給される。また、水平LPF４２には、注目画像、すなわち、基準となる入力画像A1に対する動きベクトルを検出する対象の入力画像Anが、記憶部２１から供給される。
【０２３５】
水平LPF４１は、入力画像A1を、水平方向にフィルタリングし、そのフィルタリング後の入力画像A1を、垂直LPF４３に供給する。
【０２３６】
垂直LPF４３は、水平LPF４１からの入力画像A1を、垂直方向にフィルタリングし、そのフィルタリング後の入力画像A1を、動きベクトルを検出する基準となる基準画像M1として、ブロックマッチング部４５に供給する。
【０２３７】
ここで、水平LPF４１及び垂直LPF４３は、入力画像A1に含まれる折り返し成分やノイズ等の信号成分以外を除去（低減）するためにかけるLPFであり、例えば、フィルタ係数が{68/1024, 89/1024, 107/1024, 120/1024, 128/1024, 128/1024, 120/1024, 107/1024, 89/1024, 68/1024}のフィルタである。
【０２３８】
水平LPF４２及び垂直LPF４４も同様である。
【０２３９】
すなわち、水平LPF４２は、注目画像としての入力画像Anを、水平方向にフィルタリングし、垂直LPF４４に供給する。垂直LPF４４は、水平LPF４１からの入力画像Anを、垂直方向にフィルタリングし、動きベクトルを検出する対象となる比較画像Mnとして、ブロックマッチング部４５に供給する。
【０２４０】
ブロックマッチング部４５は、垂直LPF４３からの基準画像M1を、複数の小ブロックに分割する。いま、この、基準画像M1の小ブロックを、基準ブロックということとすると、ブロックマッチング部４５は、垂直LPF４４からの比較画像Mnから、基準ブロックに最も類似するブロックを検索するブロックマッチングを行うことで、各基準ブロックについて、動きベクトルを検出する。
【０２４１】
そして、ブロックマッチング部４５は、基準画像M1のすべての基準ブロックについて、動きベクトルを検出すると、その動きベクトルを、統計処理部４６に供給する。
【０２４２】
統計処理部４６は、ブロックマッチング部４５は、基準画像M1のすべての基準ブロックの動きベクトルから、基準画像M1に対する比較画像Mnの全体の動きを表すグローバル動きベクトルを、例えば、統計的な処理によって求める。
【０２４３】
すなわち、統計処理部４６は、例えば、基準画像M1のすべての基準ブロックの動きベクトルの長さ（ベクトル長）を求め、そのベクトル長の平均値μと標準偏差σを求める。さらに、統計処理部４６は、基準画像M1のすべての基準ブロックの動きベクトルの中で、ベクトル長が、μ±σの範囲にない動きベクトルを除外し、その除外によって残った動きベクトルの平均値を、グローバル動きベクトルとして求める。
【０２４４】
このように、ベクトル長が、μ±σの範囲にない動きベクトルを除外することで、誤っている可能性が高い動きベクトルを用いずに、基準画像M1に対する比較画像Mnの全体の動きを、精度良く表すグローバル動きベクトルを求めることができる。
【０２４５】
図９の位置合わせ部２４では、以上のようなグローバル動きベクトルを用いて、拡大画像Bnの位置合わせが行われる。
【０２４６】
ここで、図９では、拡大部２３において、入力画像の垂直方向のみの画素数を２倍にした拡大画像が求められる。この場合、拡大画像のスケールは、垂直方向については、入力画像を用いて求められる動きベクトル（グローバル動きベクトル）のスケールの２倍になっている。
【０２４７】
このため、動き検出部２２は、統計処理部４６で得られたグローバル動きベクトルを、拡大画像のスケールに調整して、すなわち、いまの場合、統計処理部４６で得られたグローバル動きベクトルの垂直方向の成分（y成分）を２倍にして、位置合わせ部２４に供給する。
【０２４８】
そして、位置合わせ部２４では、動き検出部２２からのグローバル動きベクトルに基づき、拡大画像の位置を移動する位置合わせが行われ、これにより、出力画像に対して拡大画像の位置合わせを行った位置合わせ画像が生成される。
【０２４９】
次に、図１１を参照して、図１０のブロックマッチング部４５での動きベクトルの検出について、さらに説明する。
【０２５０】
図１１Ａは、基準画像M1を示しており、図１１Ｂは、比較画像Mnを示している。
【０２５１】
ブロックマッチング部４５は、基準画像M1を、例えば、横×縦が32画素×32画素の複数の基準ブロックに分割し、この基準ブロックについて、ブロックマッチングを行う。すなわち、ブロックマッチング部４５は、基準ブロックが、比較画像Mnの、どの位置にずれているかをサーチ（探索）し、その位置ずれ量を、基準ブロックについての動きベクトルとして検出する。
【０２５２】
比較画像Mnにおいて、基準ブロックをサーチするサーチ範囲には、その基準ブロックの位置を基準とする、例えば、横×縦が96画素×96画素の範囲が設定される。
【０２５３】
ブロックマッチング部４５は、比較画像Mnのサーチ範囲内において、基準ブロックと同一サイズの32画素×32画素の参照ブロックを、画素単位でずらしながら、基準ブロックに最も類似する参照ブロックの位置の探索を行う。
【０２５４】
すなわち、ブロックマッチング部４５は、基準ブロックと参照ブロックとの相関値を、基準ブロックと参照ブロックとの類似の度合いを評価する評価値として用い、サーチ範囲内の各位置の参照ブロックについて、相関値を求める。
【０２５５】
ここで、サーチ範囲が、96画素×96画素の範囲であり、参照ブロックが、32画素×32画素のブロックである場合、基準ブロックに対する参照ブロックの相対的な座標 (vx,vy)は、式-32≦vx≦+32、及び、式-32 ≦ vy≦+32の範囲内の整数値vx及びvyで表される。したがって、この場合、65×65の位置の参照ブロックについて、相関値が求められる。
【０２５６】
相関値としては、例えば、基準ブロックの画素の輝度値と、参照ブロックの同一の位置の画素の輝度値との差分の絶対値の、基準ブロック及び参照ブロック内の全画素についての総和（差分絶対値総和）SAD(Sum of Absolute Difference)を用いることができる。
【０２５７】
いま、基準ブロックの左上の画素の座標を、(x0, y0)と表すとともに、基準ブロックからの相対的な座標が (vx,vy)の参照ブロックについての相関値を、SAD(vx, vy)と表すこととすると、相関値SAD(vx, vy)は、次式で求めることができる。
【０２５８】
SAD(vx, vy) = ΣxΣy|M1(x0+x,y0+y)-Mn(x0+vx+x,y0+vy+y)|
・・・（１）
【０２５９】
なお、式（１）において、M1(x0+x,y0+y)は、基準画像M1の、位置（座標）(x0+x,y0+y)の画素の画素値（例えば、輝度値）を表し、Mn(x0+vx+x,y0+vy+y)は、基準画像Mnの、位置(x0+vx+x,y0+vy+y)の画素の画素値を表す。
【０２６０】
また、式（１）において、Σxは、xを、０ないし３１の範囲の整数値に変えての総和を表し、Σyは、yを、０から３１までの整数値に変えての総和を表す。
【０２６１】
ブロックマッチング部４５では、式（１）の相関値SAD(vx, vy)を最小にする座標（相対座標）(vx, vy)が、基準ブロックの動きベクトルとして検出される。
【０２６２】
次に、図１２を参照して、図９の拡大部２３について説明する。
【０２６３】
拡大部２３は、記憶部２１（図９）に記憶された入力画像Anの垂直方向の画素数を２倍にした拡大画像Bnを生成する拡大処理を行う。
【０２６４】
従来の高解像度化技術では、折り返し成分を含む入力画像の拡大処理として、図６や図７で説明したように、０値補間と、その０値補間によって得られる０値補間画像の、広帯域LPFでのフィルタリングとが採用される。この場合、拡大画像は、０値補間画像等に等しく、黒の縞模様がある画像となる。
【０２６５】
一方、拡大部２３では、折り返し成分を含む入力画像の拡大処理として、従来、折り返し成分を含まない入力画像の拡大に用いられる、０値補間と、その０値補間によって得られる０値補間画像の、ナイキスト周波数fs/2を超える周波数成分を減衰させるが、多少は残すLPFによるフィルタリングとが採用される。
【０２６６】
このような拡大部２３の拡大処理としては、入力画像の周辺の画素値を用いる各種の補間、すなわち、例えば、線形補間（linear interpolation）や、最近傍補間（ニアレストネイバー法、nearest neighbor）、キュービック補間（cubic convolution）等がある。
【０２６７】
拡大部２３の拡大処理として採用する補間は、入力画像の周辺の画素値を用いる補間であれば、どのような補間であっても良いが、入力画像の高域の周波数成分（周波数fs付近の周波数成分）が、ある程度残る補間であることが望ましい。
【０２６８】
図１２Ａは、図９の拡大部２３の構成例を示している。
【０２６９】
図１２Ａの拡大部２３では、入力画像が、例えば、線形補間によって、垂直方向の画素数が２倍になった拡大画像に拡大される。
【０２７０】
すなわち、図１２Ａにおいて、拡大部２３は、補間部６１と垂直LPF６２から構成される。
【０２７１】
補間部６１には、記憶部２１（図９）から、入力画像が供給される。補間部６１は、記憶部２１からの入力画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる０値補間画像を、垂直LPF６２に供給する。
【０２７２】
なお、０値補間では、図４ないし図７で説明したように、０値補間後に、画素値の平均値が変化しないように、元の画素値が調整されるが、以下では、この画素値の調整の説明は、適宜省略する。
【０２７３】
垂直LPF６２は、例えば、フィルタ係数が{1/4,1/2,1/4}のLPFであり、補間部６１からの０値補間画像を垂直方向にフィルタリングし、これにより、入力画像の垂直方向の画素数を、線形補間によって２倍にした拡大画像を生成して、位置合わせ部２４（図９）に供給する。
【０２７４】
図１２Ｂは、拡大部２３での拡大処理の対象とされる入力画像の垂直方向の周波数特性を示している。
【０２７５】
第１実施の形態においては、入力画像は、上述したように、垂直方向に折り返し成分を含む。図１２Ｂでは、実線部分が信号成分を表し、点線部分が折り返し成分を表している。
【０２７６】
図１２Ｃは、補間部６１で得られる、入力画像の０値補間後の０値補間画像の垂直方向の周波数特性を示している。
【０２７７】
図６で説明したように、折り返し成分を含む入力画像（例えば、周波数成分の最大の周波数が周波数fsの、折り返し成分のない画像のラインを１ラインおきに間引くことで生成される入力画像）について、０値補間を行って得られる０値補間画像では、周波数帯域-fsないしfsの全体に亘る信号成分（図１２Ｃの実線部分）が再現されるが、折り返し成分（図１２Ｃの点線部分）も再現される。
【０２７８】
図１２Ｄは、図１２Ｃの０値補間画像を、垂直LPF６２でフィルタリングして得られる画像、すなわち、入力画像の線形補間を行うことで得られる拡大画像の周波数特性を示している。
【０２７９】
０値補間画像（図１２Ｃ）を、垂直LPF６２でフィルタリングすることにより得られる拡大画像では、高域fs/2ないしfsの折り返し成分を減衰させることができるが、高域fs/2ないしfsの信号成分も減衰する。逆に言えば、拡大画像では、高域fs/2ないしfsの折り返し成分が多少残るが、高域fs/2ないしfsの信号成分も多少残る。
【０２８０】
図１２Ｅは、垂直LPF６２のフィルタ特性（フィルタの周波数特性）を示している。
【０２８１】
０値補間画像（図１２Ｃ）は、図１２Ｅのフィルタ特性の垂直LPF６２でフィルタリングされることにより、高域fs/2ないしfsの周波数成分が減衰した拡大画像（図１２Ｄ）となる。
【０２８２】
なお、図１２では、補間部６１で０値補間を行い、その結果得られる０値補間画像を、垂直LPF６２でフィルタリングすることにより、入力画像を線形補間によって拡大した拡大画像を生成するようにしたが、実際の実装では、拡大画像は、入力画像に対して、単に、線形補間の補間値を挿入することで生成することができる。この場合、０値補間、及びフィルタリングを行う場合に比較して、拡大画像の生成に要する演算量を低減することができる。
【０２８３】
次に、図１３を参照して、図９の位置合わせ部２４について説明する。
【０２８４】
図１３Ａは、図９の位置合わせ部２４の構成例を示している。
【０２８５】
図１３Ａにおいて、位置合わせ部２４は、水平多タップAPF(All Pass Filter)７１、及び、垂直多タップAPF７２から構成される。
【０２８６】
水平多タップAPF７１には、位置合わせ部２４（図９）から、拡大画像Bnが供給されるとともに、動き検出部２２（図９）から、拡大画像Bnに対応する入力画像Anを用いて求められたグローバル動きベクトルが、拡大画像Bnについての動きベクトルとして供給される。
【０２８７】
水平多タップAPF７１は、動き検出部２２からの、拡大画像Bnについての動きベクトルの水平方向の成分（x成分）に基づいて、位置合わせ部２４からの拡大画像Bnをフィルタリングすることにより、拡大画像Bn（の画素の位置）を、その拡大画像Bnについての動きベクトルのx成分に対応する分だけ移動し、垂直多タップAPF７２に供給する。
【０２８８】
垂直多タップAPF７２は、動き検出部２２からの、拡大画像Bnについての動きベクトルの垂直方向の成分（y成分）に基づいて、水平多タップAPF７１からの拡大画像Bnをフィルタリングすることにより、拡大画像Bn（の画素の位置）を、その拡大画像Bnについての動きベクトルのy成分に対応する分だけ移動し、その結果得られる拡大画像Bnを、記憶部２８に記憶された出力画像（１フレーム前の出力画像）Sn-1に位置合わせを行った位置合わせ画像Cn（位置合わせ後の拡大画像Bn）として、混合部２５（図９）に供給する。
【０２８９】
以上のように構成される位置合わせ部２４では、水平多タップAPF７１、及び、垂直多タップAPF７２において、動き検出部２２からの、拡大画像Bnについての動きベクトルに基づいて、拡大画像Bnがフィルタリングされることにより、拡大画像Bnの各画素を、記憶部２８に記憶された出力画像Sn-1の対応する画素（同一の被写体が映った画素）の位置に一致させた位置合わせ画像Cnが生成される。
【０２９０】
すなわち、いま、動き検出部２２からの、拡大画像Bnについての動きベクトルVが、V=(-Vx,-Vy)であるとすると、位置合わせ部２４は、拡大画像Bn（の画素）を、動きベクトルVに基づいて、その動きベクトルVに対応するベクトル(Vx,Vy)だけずらして、出力画像Sn-1の位置とを合わせる。
【０２９１】
具体的には、いま、水平方向及び垂直方向のうちの、水平方向に注目すると、動きベクトルVのx成分-Vxが整数である場合には、水平多タップAPF７１は、拡大画像Bnを、水平方向に、Vxだけ移動し、拡大画像Bnとの比較で、画質の劣化がない位置合わせ画像Cnを生成する。
【０２９２】
動きベクトルVのx成分-Vxが整数でない場合には、水平多タップAPF７１は、拡大画像Bnを、水平方向に、整数int(Vx)（int(x)は、x以下の最大の整数を表す）だけ移動する。さらに、水平多タップAPF７２は、その移動後の拡大画像Bnの各画素の、小数Vx-int(Vx)だけ、水平方向にずれた位置に、画素を補間するフィルタリングを行うことで、その補間により得られた画素からなる画像を、位置合わせ画像Cnとして生成する。
【０２９３】
なお、高解像度の出力画像、すなわち、ナイキスト周波数以上の信号成分を含む出力画像を生成するには、水平多タップAPF７１での補間によって、拡大画像Bnの高周波数成分を劣化させないことが望ましい。
【０２９４】
したがって、水平多タップAPF７１での補間のためのフィルタリングのフィルタ係数としては、sinc関数をそのまま用いることが望ましいが、それでは、タップ長が無限長となる。このため、水平多タップAPF７１としては、実際には、sinc関数に窓関数をかけてタップ数を制限したLPFが用いられる。なお、水平多タップAPF７１は、拡大画像Bnに含まれる周波数成分すべてをなるべく通過させるために、拡大画像Bnに含まれる周波数成分の最大の周波数以下の周波数で、周波数特性がなるべくフラットになり、かつ、ロールオフがなるべく急峻になるように、可能な範囲で、多くのタップ（多タップ）で構成される。
【０２９５】
ここで、水平多タップAPF７１において、例えば、小数点以下が８ビットの精度（拡大画像Bnの水平方向に隣接する画素どうしの間を、２8個に等分する位置の精度）で、画素の補間を行うこととすると、水平多タップAPF７１の１個のタップのフィルタ係数は、２５６（＝２8）通りの値をとり得る。
【０２９６】
さらに、水平多タップAPF７１のタップ数が、例えば、８タップであるとすると、フィルタの対称性から、８タップのフィルタ係数が取り得る値のパターンは、２５６×８／２通りとなる。
【０２９７】
したがって、２５６×８／２パターンのフィルタ係数を、sinc関数から求め、水平多タップAPF７１に、小数Vx-int(Vx)を表す８ビットを引数とする配列として記憶させておけば、水平多タップAPF７１では、補間を行うフィルタリングのたびに、フィルタ係数を演算する必要がなくなって、演算量を低減することができる。
【０２９８】
この場合、水平多タップAPF７１では、動き検出部２２（図９）からの動きベクトルから、小数Vx-int(Vx)が求められる。さらに、水平多タップAPF７１では、その小数Vx-int(Vx)を表す８ビットを引数として、フィルタ係数が決定され、フィルタリングが行われる。
【０２９９】
垂直多タップAPF７２でも、水平多タップAPF７１と同様にして、拡大画像Bnの垂直方向の位置合わせを行うフィルタリングが行われる。
【０３００】
なお、図９で説明したように、１フレーム目の入力画像A1の拡大画像B1は、そのまま、記憶２８に記憶されて、出力画像S1となる。したがって、図９の位置合わせ部２４での、拡大画像Bnの、出力画像Sn-1に対する位置合わせは、拡大画像Bnを、拡大画像B1の位置に合わせることに等しい。
【０３０１】
図１３Ｂは、位置合わせ部２４での位置合わせの対象とされる拡大画像Bnの水平方向の周波数特性を示している。
【０３０２】
拡大画像Bnは、水平方向の折り返し成分を含んでおらず、したがって、信号成分のみが、ナイキスト周波数fs/2以下に存在する。
【０３０３】
図１３Ｃは、位置合わせ部２４において、拡大画像Bnの位置合わせを行うことで得られる位置合わせ画像Cnの水平方向の周波数特性を示している。
【０３０４】
水平多タップAPF７１は、拡大画像Bnに含まれる水平方向の周波数成分すべてをなるべく通過させるために、拡大画像Bnに含まれる水平方向の周波数成分の最大の周波数fs/2以下の周波数で、周波数特性がなるべくフラットになるように、可能な範囲で、多タップで構成される。したがって、位置合わせ画像Cnの水平方向の周波数特性は、（理想的には、）拡大画像Bnの水平方向の周波数特性と同様となる。
【０３０５】
図１３Ｄは、水平多タップAPF７１のフィルタ特性を示している。
【０３０６】
水平多タップAPF７１は、（理想的には、）拡大画像Bnに含まれる水平方向の周波数成分すべて、すなわち、水平方向の折り返し成分がない拡大画像Bnについては、周波数fs/2以下の周波数成分を通過させるAPFになっている。
【０３０７】
なお、水平多タップAPF７１のフィルタ特性は、フィルタリングにより補間を行う画素の水平方向の位置（小数Vx-int(Vx)）により多少異なる。すなわち、有限のタップ数の水平多タップAPF７１のフィルタ特性は、小数Vx-int(Vx)が大であるほど、周波数fs/2付近のゲインが小となる。
【０３０８】
図１３Ｅは、位置合わせ部２４での位置合わせの対象とされる拡大画像Bnの垂直方向の周波数特性を示している。
【０３０９】
図１３Ｅは、図１２Ｄと同一の図であり、拡大画像Bnは、高域fs/2ないしfsの周波数成分（信号成分及び折り返し成分）が減衰した画像になっている。なお、実線部分が信号成分を表し、点線部分が折り返し成分を表している。
【０３１０】
図１３Ｆは、位置合わせ部２４において、拡大画像Bnの位置合わせを行うことで得られる位置合わせ画像Cnの垂直方向の周波数特性を示している。
【０３１１】
垂直多タップAPF７２は、拡大画像Bnに含まれる垂直方向の周波数成分すべてをなるべく通過させるために、拡大画像Bnに含まれる垂直方向の周波数成分の最大の周波数fs以下の周波数で、周波数特性がなるべくフラットになるように、可能な範囲で、多タップで構成される。したがって、位置合わせ画像Cnの垂直方向の周波数特性は、（理想的には、）拡大画像Bnの垂直方向の周波数特性（図１３Ｅ）と同様となる。
【０３１２】
図１３Ｇは、垂直多タップAPF７２のフィルタ特性を示している。
【０３１３】
垂直多タップAPF７２は、（理想的には、）拡大画像Bnに含まれる垂直方向の周波数成分すべて、すなわち、垂直方向の折り返し成分を含む拡大画像Bnについては、周波数fs以下の周波数成分を通過させるAPFになっている。
【０３１４】
なお、垂直多タップAPF７２のフィルタ特性は、水平多タップAPF７１と同様に、フィルタリングにより補間を行う画素の垂直方向の位置（小数Vy-int(Vy)）により多少異なる。すなわち、有限のタップ数の垂直多タップAPF７２のフィルタ特性は、小数Vy-int(Vy)が大であるほど、周波数fs付近のゲインが小となる。
【０３１５】
次に、図１４を参照して、図９の分離部２７について説明する。
【０３１６】
図１４Ａは、図９の分離部２７の構成例を示している。
【０３１７】
図１４Ａにおいて、分離部２７は、垂直LPF８１と演算部８２とから構成され、上述したように、記憶部２８に記憶された出力画像Sn-1を、低周波数成分Lnと高周波数成分Hnとに分離する。
【０３１８】
すなわち、垂直LPF８１には、記憶部２８に記憶された出力画像Sn-1が供給される。
【０３１９】
垂直LPF８１は、記憶部２８からの出力画像Sn-1を垂直方向にフィルタリングすることにより、出力画像Sn-1の低周波数成分Lnを抽出し、演算部８２と、混合部２５に供給する。
【０３２０】
演算部８２には、垂直LPF８１から、低周波数成分Lnが供給される他、記憶部２８に記憶された出力画像Sn-1が供給される。
【０３２１】
演算部８２は、記憶部２８からの出力画像Sn-1から、垂直LPF８１からの低周波数成分Lnを減算することにより、出力画像Sn-1から、その高周波数成分Hnを抽出し、加算部２６に供給する。
【０３２２】
図１４Ｂは、垂直LPF８１のフィルタ特性を示している。
【０３２３】
分離部２７のフィルタである垂直LPF８１は、入力画像に含まれる折り返し成分の方向である垂直方向のフィルタ特性として、拡大部２３のフィルタである垂直LPF６２（図１２）と、位置合わせ部２４のフィルタである垂直多タップAPF７２（図１３）とを縦続接続したフィルタと同一の特性を有する。
【０３２４】
なお、図９の画像処理装置では、位置合わせ部２４の垂直多タップAPF７２（図１３）は、拡大画像Bnに含まれる垂直方向の周波数成分すべてを通過させる、多タップのAPFであるため、垂直LPF８１のフィルタ特性は、結局、拡大部２３の垂直LPF６２のフィルタ特性（図１２Ｅ）と同一となる。
【０３２５】
図９の画像処理装置では、拡大部２３の垂直LPF６２は、図１２で説明したように、フィルタ係数が{1/4,1/2,1/4}のLPFであり、したがって、垂直LPF８１としては、フィルタ係数が{1/4,1/2,1/4}のLPFが採用される。
【０３２６】
図１４Ｃは、加算部２６で得られる出力画像Snの垂直方向の周波数特性の変化を示している。
【０３２７】
なお、図１４Ｃにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。
【０３２８】
上述したように、記憶部２１（図９）に記憶されたNフレームの入力画像のうちの、１フレーム目が注目画像とされた場合には、その１フレーム目の入力画像A1の拡大画像B1が、そのまま、出力画像S1として、記憶部２８に記憶される。
【０３２９】
そして、以降は、混合部２５において、位置合わせ部２４からの位置合わせ画像Cnと、出力画像Sn-1の低周波数成分Lnとが混合されることにより、混合画像Dnが生成され、加算部２６において、混合画像Dnと、出力画像Sn-1の高周波数成分Hnとが加算されることにより、新たな出力画像Snが生成される混合加算が、記憶部２１（図９）に記憶されたNフレームの入力画像を、順次、注目画像として、繰り返される。
【０３３０】
その結果、図１４Ｃに示すように、1フレーム目の入力画像A1を注目画像として行われた混合加算によって得られる出力画像S1は、入力画像A1の解像度で、折り返し成分を含む画像であるが、混合加算が進行するにつれ、すなわち、注目画像とされる入力画像Anが多くなっていくにつれ、混合加算によって得られる出力画像Snは、高解像度で（高域fs/2ないしfsの信号成分が復元され）、かつ、折り返し成分が減衰した高画質の画像になっていく。
【０３３１】
以上のように、分離部２７のフィルタである垂直LPF８１として、拡大部２３のフィルタである垂直LPF６２（図１２）と、位置合わせ部２４のフィルタである垂直多タップAPF７２（図１３）とを縦続接続したフィルタと同一の特性を有するフィルタを採用し、かつ、低周波成分Lnを混合（重み付け加算）し、高周波数成分Hnを加算する混合加算を行うことにより、混合加算が進行していくにつれて、出力画像Snの高域fs/2ないしfsの信号成分が復元され、かつ、折り返し成分が減衰するのは、以下の原理（以下、高解像度化原理ともいう）による。
【０３３２】
すなわち、分離部２７では、垂直LPF８１が、記憶部２８からの出力画像Sn-1を垂直方向にフィルタリングすることにより、出力画像Sn-1の低周波数成分Lnを抽出し、演算部８２と、混合部２５に供給する。
【０３３３】
いま、出力画像Sn-1の位置tの画素の画素値を、s'(t)と、出力画像Sn-1の低周波数成分Lnのうちの、位置tの画素の画素値の低周波数成分を、l(t)と、出力画像Sn-1の高周波数成分Hnのうちの、位置tの画素の画素値の高周波数成分を、h(t)と、それぞれ表すこととすると、演算部８２は、次式の演算を、出力画像Sn-1のすべての画素について行うことで、出力画像Sn-1の高周波数成分Hnを求め、加算部２６に供給する。
【０３３４】
h(t) = s'(t)-l(t)
・・・（２）
【０３３５】
一方、混合部２５では、位置合わせ部２４（図９）からの位置合わせ画像Cnと、分離部２７からの低周波数成分Lnを混合し、その結果得られる混合画像Dnを、加算部２６に供給する。
【０３３６】
すなわち、混合画像Dnの位置tの画素の画素値を、d(t)と、位置合わせ画像Cnの位置tの画素の画素値を、c(t)と、それぞれ表すこととすると、混合部２５は、次式の演算(重み付け加算）を、混合画像Dnのすべての画素について行うことで、混合画像Dnを求め、加算部２６に供給する。
【０３３７】
d(t) = α×c(t)+(1-α)×l(t)
・・・（３）
【０３３８】
ここで、混合比αは、混合である重み付け加算に用いる重みであり、０<α<1の範囲の実数値である。
【０３３９】
混合比αとしては、例えば、0.3等の固定値を採用することができる。
【０３４０】
また、後述するように、式（３）の混合比αは、位置tの画素の動きの程度に応じて、混合比α'（０<α<1）に調整し、その調整後の混合比α'を、混合比αに代えて用いることができる。
【０３４１】
さらに、混合比αは、例えば、後述するような、混合加算に用いられる位置合わせ画像Cnが何フレーム目の入力画像Anに対応する画像であるかに応じた可変の値とすることができる。
【０３４２】
加算部２６では、混合部２５からの位置合わせ画像Dnと、分離部２７からの出力画像Sn-1の高周波数成分Hnとを加算することで、新たな出力画像Snを生成する。
【０３４３】
すなわち、出力画像Snの位置tの画素の画素値を、s(t)と表すこととすると、加算部２６は、次式の演算（加算）を、出力画像Snのすべての画素について行うことで、出力画像Snを求める。
【０３４４】
s(t)= d(t) + h(t)
・・・（４）
【０３４５】
ここで、拡大部２３（図９）では、図１２で説明したように、高域fs/2ないしfsの周波数成分（垂直方向の周波数成分）が減衰した拡大画像Bnが生成される。したがって、そのような拡大画像Bnから生成される位置合わせ画像Cnと、出力画像Sn-1とを単に加算していくだけでは、その加算によって得られる出力画像Snは、やはり、高域fs/2ないしfsの周波数成分が減衰した画像となる。
【０３４６】
これに対して、混合加算では、出力画像Sn-1の低周波数成分Lnは、位置合わせ画像Cnと混合され、高周波数成分Hnは、位置合わせ画像Cnと加算される。かかる混合加算が、十分なフレーム数の位置合わせ画像Cn（ひいては、入力画像An）を用いて行われることで、高域fs/2ないしfsの周波数成分も再現された出力画像Snが生成される。
【０３４７】
すなわち、拡大部２３の補間部６１において、垂直方向の折り返し成分を含む入力画像Anの０値補間を行って得られる０値補間画像は、高速撮像された連続する入力画像A1ないしANのすべてに共通の信号成分Aと、nフレーム目の入力画像Anに固有の折り返し成分Znを含んでいる。したがって、入力画像Anの０値補間画像は、式A+Znで表すことができる。
【０３４８】
いま、拡大部２３の、折り返し成分の方向である垂直方向にフィルタリングを行うフィルタである垂直LPF６２（図１２）と、位置合わせ部２４の、折り返し成分の方向である垂直方向にフィルタリングを行うフィルタである垂直多タップAPF７２とを縦続接続したフィルタの特性を、Fと表すと、混合加算に用いられる位置あわせ画像Cnは、式（５）で表される。
【０３４９】
Cn = F×(A+Zn) = F×A + F×Zn
・・・（５）
【０３５０】
高速撮像された連続する入力画像A1ないしANが、例えば、手ぶれ等によって、サンプリングの位置（被写体の位置）が異なった画像になっている場合には、図１に示したように、信号成分Aは一致する（共通する）が、折り返し成分Znについては、位相が異なる。
【０３５１】
ここで、位置合わせ画像Cnと、出力画像Sn-1とを重み付け加算する場合、すなわち、例えば、n枚の位置合わせ画像C1ないしCnの平均値を、出力画像Snとする場合には、式（６）で表される出力画像Snが得られる。
【０３５２】
Sn = Σk（Ck／n） = F×A + F×(Σk(Zk))／n
・・・（６）
【０３５３】
なお、式（６）において、Σkは、kを１からｎまでの整数値に変えての総和を表す。
【０３５４】
式（６）において、折り返し成分Zkの総和Σk(Zk)は、折り返し成分Zkどうしが、ある程度打ち消し合って、それほど大きな値にならない。そして、重み付け加算を行う位置合わせ画像Cnのフレーム数nが大になるほど、式（６）の右辺の第２項F×(Σk(Zk))／nは、小さくなる。
【０３５５】
重み付け加算を行う位置合わせ画像Cnのフレーム数nが十分に大である場合、式（６）の右辺の第２項F×(Σk(Zk))／nは、０とみなすことができ、この場合、式（６）の出力画像Snは、式（７）で表すことができる。
【０３５６】
Sn = F×A
・・・（７）
【０３５７】
以上のように、位置合わせ画像Cnと、出力画像Sn-1とを重み付け加算する場合には、十分なフレーム数nの位置合わせ画像Cnを用いることで、折り返し成分Znを除去することができる。
【０３５８】
しかしながら、重み付け加算のみによって得られる式（７）の出力画像Snは、信号成分Aを、フィルタ特性FのLPFでフィルタリングした画像であり、高域の信号成分は復元されない。
【０３５９】
一方、混合加算では、混合（重み付け加算）の他に、加算が行われることで、折り返し成分の除去に加えて、高域の信号成分の復元も行われる。
【０３６０】
すなわち、分離部２７の、折り返し成分の方向である垂直方向にフィルタリングを行うフィルタである垂直LPF８１（図１４）は、拡大部２３の垂直LPF６２（図１２）と、位置合わせ部２４の垂直多タップAPF７２とを縦続接続したフィルタの特性Fと同一の特性を有するから、そのような垂直LPF８１で得られる、出力画像Sn-1の低周波数成分Lnは、次式で表すことができる。
【０３６１】
Ln=F×Sn-1
・・・（８）
【０３６２】
また、分離部２７の演算部８２で得られる、出力画像Sn-1の高周波数成分Hnは、次式で表すことができる。
【０３６３】
Hn=(1-F)×Sn-1
・・・（９）
【０３６４】
さらに、混合部２５（図９）での混合（重み付け加算）の結果得られる混合画像Dnは、次式で表すことができる。
【０３６５】
Dn = α×Cn + (1-α)×Ln
・・・（１０）
【０３６６】
また、加算部２６(図９）での加算の結果得られる新たな出力画像Snは、次式で表すことができる。
【０３６７】
Sn = Dn + Hn
・・・（１１）
【０３６８】
式（１１）は、式（８）ないし式（１０）から、式（１２）に変形することができる。
【０３６９】
Sn = α×Cn + (1-α)×F×Sn-1 + (1-F)×Sn-1
・・・（１２）
【０３７０】
さらに、式（１２）は、式（５）を代入して、Cnを消去すると、式（１３）になる。
【０３７１】
Sn = (1-αF)×Sn-1 + α×F×A + α×F×Zn
・・・（１３）
【０３７２】
式（１３）によれば、混合加算で得られる新たな出力画像Snは、１フレーム前の出力画像（直前に得られた出力画像）Sn-1を用いて表すことができる。
【０３７３】
ここで、混合加算では、高域の周波数成分が加算されるので、式（６）及び式（７）で説明した場合と同様に、混合加算を行う位置合わせ画像Cnのフレーム数nが十分に大である場合には、折り返し成分Znのうちの高域の成分は０になる(除去される）。
【０３７４】
また、混合加算では、低域の周波数成分が、混合比αを重みとする重み付け加算によって、やはり加算されるので（各フレームの位置合わせ画像Cnの低周波数成分が均等ではない割合で加算されるので）、混合加算を行う位置合わせ画像Cnのフレーム数nが十分に大である場合には、折り返し成分Znのうちの低域の成分は０になる。
【０３７５】
さらに、混合加算では、低域と高域との間の中域の周波数成分が、上述の低域や高域の周波数成分と同様に加算されるので、やはり、混合加算を行う位置合わせ画像Cnのフレーム数nが十分に大である場合には、折り返し成分Znのうちの中域の成分は０になる。
【０３７６】
したがって、混合加算を行う位置合わせ画像Cnのフレーム数nが十分に大である場合には、式（１３）の折り返し成分Znは０となり、出力画像Snは、次式で表すことができる。
【０３７７】
Sn = (1-αF)×Sn-1 + α×F×A
・・・（１３）
【０３７８】
式（１３）を漸化式として解くと、式（１４）が得られる。
【０３７９】
Sn = A + (1-αF)n-1 ×(S1-A)
・・・（１４）
【０３８０】
フィルタ特性FのLPFが、例えば、上述した、フィルタ係数が{1/4,1/2,1/4}のフィルタである場合、このフィルタは、直流成分（周波数が０）のゲインが最大値１となり、高域の周波数成分のゲインが最小値０となる、ゲインが、全帯域（ここでは、fs以下の周波数帯域）で０ないし１の範囲のLPFである。
【０３８１】
したがって、式（１４）の1-αFは、最小値（最小ゲイン）が、1-αとなり、最大値（最大ゲイン）が１となる、全帯域で１以下の値となる。
【０３８２】
よって、(1-αF)n-1は、混合加算を行う位置合わせ画像Cnのフレーム数nが大であるほど、０に近づき、フレーム数nが十分大となると、０になる。
【０３８３】
したがって、出力画像Snは、最初（位置合わせ画像C1の混合加算が行われたとき）は、初期値S1、すなわち、位置合わせ画像C1になるが、混合加算が繰り返されると、徐々に、信号成分Aに近づく。つまり、折り返し成分が除去され、かつ、高域の信号成分が復元された出力画像Sn=Aを得ることができる。
【０３８４】
なお、混合加算では、以上のように、折り返し成分が除去され、かつ、高域の信号成分
が復元されるが、一般的な強調処理（エンハンス、enhance）のように、特定の周波数成分を強調することはしない。
【０３８５】
すなわち、一般的な強調処理を繰り返すと、特定の周波数成分が強調されすぎることがあるが、混合加算が繰り返されることにより、出力画像Snは、入力画像A1ないしAnに含まれる信号成分Aに近づく。
【０３８６】
以上のように、混合加算を行う図９の画像処理装置によれば、画像の、柔軟な高解像度化を図ることができる。
【０３８７】
すなわち、入力画像の枚数（フレーム数）が多いほど（混合加算を行う画像の数が多いほど）、折り返し成分が低減された、高解像度の出力画像（高域の周波数成分が復元された出力画像）を得ることができる。
【０３８８】
さらに、混合加算は、拡大部２３において、線形補間等の、入力画像の周辺の画素を用いた補間によって生成された拡大画像を用いて行われるので、何らかの理由で、入力画像として、少ない枚数の画像しかない場合であっても、すなわち、極端には、１枚の画像しかない場合であっても、従来の高解像度化技術のように、黒の縞模様が存在する画像が、ユーザに提供されることを防止することができる。すなわち、例えば、入力画像が、１枚の画像しかない最悪の場合であっても、ユーザに提供される出力画像の画質としては、実用的に耐え得る画質、すなわち、線形補間等によって得られる画像の画質が保証される。
【０３８９】
なお、図１２では、拡大部２３のフィルタとして、フィルタ係数が{1/4,1/2,1/4}の、線形補間を行う垂直LPF６２を採用したが、拡大部２３のフィルタとしては、その他、例えば、フィルタ係数が{1/2,1/2,0}等の、最近傍補間を行うフィルタや、フィルタ係数が｛-1/16,0,9/16,1,9/16,0,-1/16｝等の、キュービック補間を行うフィルタ等を、垂直LPF６２に代えて採用することができる。
【０３９０】
拡大部２３のフィルタとして、上述のような最近傍補間を行うフィルタや、キュービック補間を行うフィルタを採用する場合、分離部２７（図１４）でも、垂直LPF８１に代えて、拡大部２３のフィルタと同一のフィルタ特性のフィルタが採用される。
【０３９１】
また、上述の場合には、分離部２７のフィルタ（垂直LPF８１（図１４））として、拡大部２３のフィルタ（垂直LPF６２（図１２））と、位置合わせ部２４のフィルタ（垂直多タップAPF７２（図１３））とを縦続接続したフィルタ（以下、縦続接続フィルタともいう）と同一のフィルタ特性を有するフィルタを採用したが、分離部２７のフィルタは、縦続接続フィルタのフィルタ特性と類似する特性のフィルタであっても良い。
【０３９２】
さらに、上述の場合には、Znが、入力画像Anに含まれる折り返し成分を表すこととしたが、Znは、入力画像Anに含まれる、ノイズ成分（折り返し成分を含んでいてもよい）を表すこととすることができる。ノイズ成分がガウス分布に従うとすれば、ノイズ成分は、加算（重み付け加算）により打ち消し合うので、混合加算によれば、ノイズ成分を除去した出力画像を得ることができる。
【０３９３】
また、図１０では、動き検出部２２において、動きベクトルを検出し、位置合わせ部２４では、その動きベクトルに基づいて、拡大画像と出力画像との位置合わせを行うようにしたが、その他、動き検出部２２では、例えば、拡大画像と出力画像との位置を一致させるアフィン(Affine)変換の係数を、例えば、最小自乗法等によって求め、位置合わせ部２４では、そのアフィン変換の係数に基づくフィルタリングを行って、拡大画像と出力画像との位置合わせを行うことができる。
【０３９４】
すなわち、この場合、位置合わせ部２４は、拡大画像を、出力画像の位置に位置合わせしたときの、拡大画像の各画素の座標（以下、位置合わせ座標という）を、動き検出部２２で求められた係数によるアフィン変換によって算出する。そして、位置合わせ部２４は、拡大画像の位置合わせ座標が表す位置の画素の画素値を用いた補間を行うフィルタによって、出力画像の画素の位置の、位置合わせ画像の画素の画素値を求める。
【０３９５】
動きベクトルに基づく、拡大画像と出力画像との位置合わせでは、平行移動のみによって、位置合わせが行われるが、アフィン変換の係数に基づくフィルタリングによる、拡大画像と出力画像との位置合わせでは、平行移動の他、拡大縮小や、回転をも行って、位置合わせが行われる。したがって、位置合わせの精度を向上させることができる。
【０３９６】
［第２実施の形態］
【０３９７】
図１５は、本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【０３９８】
なお、図中、図９の画像処理装置の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３９９】
すなわち、図１５において、画像処理装置は、図９の場合と同様に、記憶部２１、動き検出部２２、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８から構成される。
【０４００】
但し、図９の画像処理装置では、記憶部２８からの出力画像の外部への出力が、記憶部２１に記憶された入力画像A1ないしAN（から生成される拡大画像B1ないしBNの位置合わせによって得られる位置合わせ画像C1ないしCN（位置合わせ後の拡大画像B1ないしB））すべての混合加算が行われた後に行われるが、図１５の画像処理装置では、記憶部２８からの出力画像の外部への出力が、１フレームの入力画像Anの混合加算のたびに行われるようになっている。
【０４０１】
そのため、図９の画像処理装置では、位置合わせ部２４での拡大画像と出力画像との位置合わせが、拡大画像を、出力画像の位置（図９では、基準となる入力画像A1の拡大画像B1の位置）に合わせることで行われるようになっているが、図１５の画像処理装置では、位置合わせ部２４での拡大画像と出力画像との位置合わせが、出力画像を、混合加算の対象となっている拡大画像の位置に合わせることで行われるようになっている。
【０４０２】
すなわち、図１５では、拡大部２３で生成された拡大画像が、位置合わせ部２４をバイパスして、混合部２５に供給される。さらに、混合部２５及び加算部２６において、拡大部２３からの拡大画像を用いて、混合加算が行われ、その混合加算により得られる新たな出力画像が、記憶部２８に供給されて記憶される。そして、その新たな出力画像は、記憶部２８から、外部に出力される。
【０４０３】
また、記憶部２８に記憶された新たな出力画像は、拡大部２３において、次のフレームの拡大画像が生成されるときに、直前に得られた出力画像（１フレーム前の出力画像）として、位置合わせ部２４に供給される。位置合わせ部２４では、記憶部２８からの出力画像を、拡大部２３で生成される拡大画像の位置に合わせる位置合わせが行われ、その位置合わせ後の出力画像が、分離部２７に供給される。
【０４０４】
分離部２７は、位置合わせ部２４からの、位置合わせ後の出力画像を、低周波数成分と高周波数成分とに分離し、低周波数成分を、混合部２５に供給し、高周波数成分を、加算部２６に供給する。
【０４０５】
混合部２５では、分離部２７からの、位置合わせ後の出力画像の低周波数成分と、拡大部２３からの拡大画像との混合が行われ、その混合によって得られる混合画像が、加算部２６に供給される。
【０４０６】
加算部２６では、分離部２７からの、位置合わせ後の出力画像の低周波数成分と、混合部２５からの混合画像との加算が行われ、その結果得られる出力画像を、記憶部２８に供給する。
【０４０７】
上述の図９の画像処理装置では、Nフレームの入力画像A1ないしANのうちのいずれの入力画像Anが混合加算されるときも、1フレーム目の入力画像A1に被写体が映っている位置に、その被写体が映った出力画像が生成される。
【０４０８】
これに対して、図１５の画像処理装置では、入力画像Anが混合加算されるときは、その入力画像Anに被写体が映っている位置に、その被写体が映った出力画像が生成される。
【０４０９】
ここで、Nフレームの入力画像A1ないしANのうちのいずれの入力画像Anが混合加算されるときも、1フレーム目の入力画像A1に被写体が映っている位置に、その被写体が映った出力画像を生成する混合加算は、例えば、入力画像Anが静止画である場合（この場合、出力画像も静止画である）に便利であり、以下、適宜、静止画用混合加算という。
【０４１０】
また、入力画像Anが混合加算されるときに、その入力画像Anに被写体が映っている位置に、その被写体が映った出力画像を生成する混合加算は、例えば、入力画像Anが動画である場合（この場合、出力画像も動画である）に便利であり、以下、適宜、動画用混合加算という。
【０４１１】
上述したように、動画用混合加算が行われる図１５の画像処理装置では、記憶部２８からの出力画像の外部への出力が、１フレームの入力画像Anの混合加算のたびに行われるので、記憶部２８からの出力画像の外部への出力が、記憶部２１に記憶された入力画像A1ないしANすべての混合加算が行われた後に行われる、静止画用混合加算が行われる図９の画像処理装置に比較して、１フレームの出力画像を得るための演算量が低減する。
【０４１２】
なお、静止画用混合加算では、第１実施の形態で説明したように、動き検出部２２（図１０）において、１フレーム目の入力画像A1を基準画像とするとともに、混合加算の対象の入力画像Anを比較画像として、動きベクトル（グローバル動きベクトル）が求められる。
【０４１３】
そして、位置合わせ部２４において、動きベクトル検出部２２で求められた動きベクトルに基づき、混合加算の対象の拡大画像Bnを、直前に求められた出力画像Sn-1の位置（これは、１フレーム目の入力画像A1の拡大画像B1の位置に等しい）に合わせる位置合わせが行われる。
【０４１４】
一方、動画用混合加算では、動き検出部２２（図１０）において、混合加算の対象の入力画像Anを、基準画像とするとともに、その直前（１フレーム前）の入力画像An-1を比較画像として、動きベクトル（グローバル動きベクトル）が求められる。
【０４１５】
すなわち、動き検出部２２では、混合加算の対象の入力画像Anの拡大画像Bnに対する、直前の入力画像An-1の拡大画像Bn-1の位置ずれ量（これは、直前に得られた出力画像Sn-1の位置ずれ量に等しい）が求められる。
【０４１６】
そして、位置合わせ部２４では、動き検出部２２で求められた位置ずれ量に基づき、直前に得られた出力画像Sn-1を、混合加算の対象の拡大画像Bnの位置に合わせる位置合わせが行われる。
【０４１７】
［第３実施の形態］
【０４１８】
図１６は、本発明を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【０４１９】
なお、図中、図９の画像処理装置の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４２０】
すなわち、図１６の画像処理装置は、記憶部２１、動き検出部２２、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。
【０４２１】
但し、図１６の画像処理装置は、選択部１０１，１０２、及び、１０３をさらに有する点で、図９の画像処理装置と相違する。
【０４２２】
そして、図１６の画像処理装置では、静止画用混合加算と、動画用混合加算とを、選択的に行うことができるようになっている。図１６の画像処理装置において、静止画用混合加算、及び動画用混合加算のうちのいずれを行うかは、例えば、ユーザの操作に応じて選択される。
【０４２３】
図１６において、選択部１０１の端子ａには、拡大部２３から、拡大画像が供給され、端子ｂには、記憶部２８から、１フレーム前の出力画像（直前に得られた出力画像）が供給される。
【０４２４】
選択部１０１は、端子ａに供給される拡大画像、又は、端子ｂに供給される直前に得られた出力画像を選択し、位置合わせの対象として、位置合わせ部２４に供給する。
【０４２５】
選択部１０２の端子ａには、位置合わせ部２４から、位置合わせ後の画像（拡大画像、又は、出力画像）が供給され、端子ｂには、拡大部２３から、拡大画像が供給される。
【０４２６】
選択部１０２は、端子ａに供給される位置合わせ後の画像、又は、端子ｂに供給される拡大画像を選択し、混合部２５に供給する。
【０４２７】
選択部１０３の端子ａには、記憶部２８から、１フレーム前の出力画像（直前に得られた出力画像）が供給され、端子ｂには、位置合わせ部２４から、位置合わせ後の画像（拡大画像、又は、出力画像）が供給される。
【０４２８】
選択部１０３は、端子ａに供給される直前に得られた出力画像、又は、端子ｂに供給される位置合わせ後の画像を選択し、分離部２７に供給する。
【０４２９】
以上のように構成される画像処理装置では、静止画用混合加算を行う場合には、後述する第１の処理が行われ、動画用混合加算を行う場合には、後述する第２の処理が行われる。
【０４３０】
すなわち、第１の処理では、選択部１０１ないし１０３のすべてが、端子ａ及びｂのうちの、端子ａを選択する。
【０４３１】
その結果、選択部１０１は、拡大部２３から端子ａに供給される拡大画像を選択し、位置合わせ部２４に供給する。
【０４３２】
位置合わせ部２４では、選択部１０１からの拡大画像を、記憶部２８に記憶されている直前に得られた出力画像の位置に合わせる位置合わせを行い、位置合わせ後の拡大画像を、選択部１０２の端子ａに供給する。
【０４３３】
選択部１０２は、位置合わせ部２４から端子ａに供給される位置合わせ後の拡大画像を選択し、混合部２５に供給する。
【０４３４】
一方、選択部１０３は、記憶部２８から端子ａに供給される直前に得られた出力画像を選択し、分離部２７に供給する。
【０４３５】
これにより、図１６の画像処理装置を構成する記憶部２１ないし記憶部２８は、図９の画像処理装置の記憶部２１ないし２８と同一の接続状態となって、混合部２５、加算部２６、及び、分離部２７において、静止画用混合加算が行われる。
【０４３６】
すなわち、分離部２７は、選択部１０３から供給される、直前に得られた出力画像を、低周波数成分と高周波数成分とに分離し、低周波数成分を、混合部２５に供給するとともに、高周波数成分を、加算部２６に供給する。
【０４３７】
混合部２５は、選択部１０２から供給される、位置合わせ後の拡大画像（位置合わせ画像）に対して、分離部２７からの低周波数成分を混合し、その結果得られる混合画像を、加算部２６に供給する。
【０４３８】
加算部２６は、混合部２５からの混合画像に対して、分離部２７からの高周波数成分を加算することにより、新たな出力画像を生成し、記憶部２８に供給して記憶させる。
【０４３９】
一方、第２の処理では、選択部１０１ないし１０３のすべてが、端子ａ及びｂのうちの、端子ｂを選択する。
【０４４０】
その結果、選択部１０１は、記憶部２８から端子ｂに供給される、直前に得られた出力画像を選択し、位置合わせ部２４に供給する。
【０４４１】
位置合わせ部２４では、選択部１０１からの出力画像を、拡大部２３で生成された拡大画像の位置に合わせる位置合わせを行い、位置合わせ後の出力画像を、選択部１０３の端子ｂに供給する。
【０４４２】
また、選択部１０２は、拡大部２３から端子ｂに供給される拡大画像を選択し、混合部２５に供給する。
【０４４３】
選択部１０３は、位置合わせ部２４から端子ｂに供給される、位置合わせ後の出力画像を選択し、分離部２７に供給する。
【０４４４】
これにより、図１６の画像処理装置を構成する記憶部２１ないし記憶部２８は、図１５の画像処理装置の記憶部２１ないし２８と同一の接続状態となって、混合部２５、加算部２６、及び、分離部２７において、動画用混合加算が行われる。
【０４４５】
すなわち、分離部２７は、選択部１０３から供給される、位置合わせ後の出力画像を、低周波数成分と高周波数成分とに分離し、低周波数成分を、混合部２５に供給するとともに、高周波数成分を、加算部２６に供給する。
【０４４６】
混合部２５は、選択部１０２から供給される拡大画像に対して、分離部２７からの低周波数成分を混合し、その結果得られる混合画像を、加算部２６に供給する。
【０４４７】
加算部２６は、混合部２５からの混合画像に対して、分離部２７からの高周波数成分を加算することにより、新たな出力画像を生成し、記憶部２８に供給して記憶させる。
【０４４８】
［第４実施の形態］
【０４４９】
図１７は、本発明を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【０４５０】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４５１】
図１７の画像処理装置は、記憶部２１、動き検出部２２、混合部２５、加算部２６、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。
【０４５２】
但し、図１７の画像処理装置は、拡大部２３に代えて拡大部１１１が、位置合わせ部２４に代えて位置合わせ部１１２が、分離部２７に代えて分離部１１３が、それぞれ設けられている点で、図９の画像処理装置と相違する。
【０４５３】
ここで、図９の画像処理装置では、拡大部２３において、入力画像を、折り返し成分を含む垂直方向に、２倍に拡大した拡大画像を生成し、その拡大画像の高周波数成分を劣化させないために、位置合わせ部２４のフィルタ（水平多タップAPF７１及び垂直多タップAPF７２（図１３））を、多タップのAPFで構成するようにしたが、多タップのAPFでは、装置の規模、及び、演算量が大となる。
【０４５４】
一方、位置合わせ部２４のフィルタを、例えば、線形補間やキュービック補間を行う少ないタップ数のフィルタとすることにより、装置の規模、及び、演算量を低減することができる。
【０４５５】
しかしながら、位置合わせ部２４のフィルタを、少ないタップ数のフィルタとすると、拡大画像を、出力画像の位置に合わせるときの移動量（動き検出部２２で得られるグローバル動きベクトル）によって、位置合わせ部２４のフィルタの、特に、高域のフィルタ特性が変化する。その結果、位置合わせによって、拡大画像の高周波数成分を劣化させることとなり、ひいては、出力画像の画質を劣化させることになる。
【０４５６】
そこで、図１７の画像処理装置では、位置合わせのフィルタとして、少ないタップ数のフィルタを採用しても、拡大画像の高周波数成分（信号成分及び折り返し成分）を劣化させないように、拡大部１１１において、入力画像を拡大する拡大処理が行われるようになっている。
【０４５７】
図１８及び図１９を参照して、図１７の拡大部１１１が行う拡大処理について説明する。
【０４５８】
なお、ここでは、拡大部１１１が、入力画像（の画素数）を、水平方向に２倍に拡大し、かつ、垂直方向に４倍に拡大する場合について説明するが、拡大部１１１では、より倍率の大きい拡大を行ってもよい。
【０４５９】
また、第４実施の形態でも、第１実施の形態と同様に、高速撮影された連続する入力画像A1ないしANは、垂直方向に折り返し成分を含むが、水平方向には、折り返し成分を（ほとんど）含まないこととする。
【０４６０】
図１８Ａは、入力画像Anを示している。
【０４６１】
図中、丸印で示す部分が、入力画像Anの画素を表す。
【０４６２】
入力画像Anは、水平方向の周波数成分が、周波数帯域-fh/2ないしfh/2に存在し、かつ、垂直方向の周波数成分が、周波数帯域-fsないしfsに存在する信号を、水平方向にサンプリング周波数fhでサンプリングし、かつ、垂直方向にサンプリング周波数fsでサンプリングした画像であるとする。
【０４６３】
図１８Ｂは、入力画像Anの周波数特性を示している。
【０４６４】
なお、図１８Ｂにおいて、横軸は、水平方向の周波数（水平周波数）を表し、縦軸は、垂直方向の周波数（垂直周波数）を表す。
【０４６５】
入力画像Anでは、水平方向については、周波数帯域-fh/2ないしfh/2に、信号成分だけが存在し、垂直方向については、周波数帯域-fs/2ないしfs/2に、元の信号の周波数fs/2以下の信号成分と、元の信号の周波数fs/2を超える信号成分が折り返した折り返し成分とが存在する。
【０４６６】
ここで、図１８Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。
【０４６７】
上述したように、拡大部１１１（図１７）は、入力画像Anを、水平方向に２倍に拡大し、かつ、垂直方向に４倍に拡大して、全体の画素数が入力画像Anの８倍の拡大画像Bnを生成する。
【０４６８】
すなわち、拡大部１１１は、まず、入力画像Anを、水平方向に２倍に拡大する。
【０４６９】
入力画像Anの水平方向には、折り返し成分がないので、入力画像Anを水平方向に２倍に拡大した画像（以下、水平拡大画像ともいう）の生成は、図４や図５で説明した拡大処理（以下、通常の拡大処理ともいう）によって行われる。
【０４７０】
すなわち、入力画像Anの水平拡大画像の生成は、入力画像Anの水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間と、その０値補間によって得られる０値補間画像のLPFによるフィルタリングとによって行われる。
【０４７１】
図１８Ｃは、図１８Ａの入力画像Anの水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間によって得られる０値補間画像を示している。
【０４７２】
図１８Ｃにおいて、白丸印は、入力画像Anの画素（元の画素）を表し、黒丸印は、ゼロ点としての画素（画素値が０の画素）を表す。
【０４７３】
図１８Ｄは、図１８Ｃの０値補間画像の周波数特性を示している。
【０４７４】
０値補間画像では、水平方向にゼロ点を挿入する０値補間によって、水平方向に、折り返し成分が生じる。
【０４７５】
拡大部１１１（図１７）では、この折り返し成分を除去するために、周波数帯域-fh/2ないしfh/2を通過帯域とするLPFによる水平方向のフィルタリングが行われる。このLPFとしては、理想的には、sinc関数をフィルタ係数とするLPFを用いるのが望ましいが、タップ長が無限長になる。したがって、LPFのフィルタ係数は、sinc関数に窓関数をかけて決定される。
【０４７６】
図１８Ｅは、０値補間画像をLPFでフィルタリングして得られる水平拡大画像を示しており、図１８Ｆは、その水平拡大画像の周波数特性を示している。
【０４７７】
なお、図１８Ｆにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。
【０４７８】
LPFによるフィルタリングによって得られる水平拡大画像は、水平方向について、サンプリング周波数2fhに対し、低周波数の帯域-fh/2ないしfh/2にのみ、信号成分が存在し、高周波数の帯域fh/2ないしfh、及び、-fhないし-fh/2には、周波数成分が存在しない画像となる。
【０４７９】
次に、拡大部１１１（図１７）は、水平拡大画像を、垂直方向を４倍に拡大した拡大画像（入力画像Anを、水平方向に２倍に拡大し、かつ、垂直方向に４倍に拡大した拡大画像）Bnを生成する。
【０４８０】
入力画像An、さらには、その入力画像の水平拡大画像には、垂直方向に、折り返し成分があるので、水平拡大画像を垂直方向に４倍に拡大した拡大画像の生成は、図９の拡大部２３と同様に、例えば、線形補間等の、多少の高周波数成分を残す拡大処理によって行われる。
【０４８１】
すなわち、拡大画像の生成は、水平拡大画像の垂直方向に隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間と、その０値補間によって得られる０値補間画像の、多少の高周波数成分を残すフィルタ特性のLPFによるフィルタリングとによって行われる。
【０４８２】
図１８Ｇは、図１８Ｅの水平拡大画像の垂直方向に隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間によって得られる０値補間画像を示している。
【０４８３】
図１８Ｇにおいて、白丸印は、０値補間画像の画素を表し、黒丸印は、ゼロ点としての画素を表す。
【０４８４】
図１８Ｈは、図１８Ｇの０値補間画像の周波数特性を示している。
【０４８５】
０値補間画像では、垂直方向にゼロ点を挿入する０値補間によって、垂直方向の信号成分が復元され、さらに、高次の折り返し成分が生じる。
【０４８６】
拡大部１１１（図１７）は、図１８Ｈの０値補間画像を、垂直方向の多少の高周波数成分を残すLPFによってフィルタリングすることで、拡大画像を生成する。
【０４８７】
このLPFとしては、例えば、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFを採用することができる。
【０４８８】
図１９は、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFのフィルタ特性を示している。
【０４８９】
なお、図１９においては、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}のフィルタのフィルタ特性の他、フィルタ係数が{1/4,1/4,1/4,1/4,0}のフィルタのフィルタ特性も示してある。
【０４９０】
フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFのフィルタ特性は、サンプリング周波数4fsに対し、周波数０はゲイン１で、周波数fsでゲインが０となる緩やかな特性になっている。さらに、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFのフィルタ特性は、周波数fsから1.5fsにかけてゲインが増加し、周波数2fsで再びゲインが０となる、周波数1.5fs付近の周波数成分を幾らか通す特性になっている。
【０４９１】
図１８Ｈの０値補間画像を、図１９の垂直LPFでフィルタリングして得られる拡大画像においては、周波数1.5fs付近（周波数fsないし2fs）の折り返し成分が幾らか残る。
【０４９２】
この、周波数1.5fs付近の折り返し成分を完全に除去するには、拡大画像を、さらに、周波数帯域-fsないしfsを通過領域とする広帯域LPFでフィルタリングする必要がある。
【０４９３】
以上のようにして得られる拡大画像は、垂直方向について、サンプリング周波数4fsに対して、低周波数の帯域-fsないしfsに、信号成分と折り返し成分とが混在し、高周波数の帯域fsないし2fs、及び、-2fsないし-fsに、周波数成分が存在しない画像となる。
【０４９４】
以上のように、拡大部１１１で得られる拡大画像は、水平方向の低周波数側の半分の帯域-fh/2ないしfh/2と、垂直方向の低周波数側の半分の帯域-fsないしfsにのみ、周波数成分が存在し、他の帯域（高周波数側の帯域）には、周波数成分が存在しない。
【０４９５】
したがって、図１７の画像処理装置では、位置合わせ部１１２のフィルタのフィルタ特性は、上述の低周波数側の半分の帯域を通過することができるフィルタ特性であれば、残りの高域の帯域のフィルタ特性はどのようなフィルタ特性でも良い。
【０４９６】
すなわち、例えば、第１実施の形態の図９の画像処理装置では、位置合わせ部２４のフィルタとしては、動き検出部２２で得られるグローバル動きベクトルによって変化する、位置合わせ部２４のフィルタの高域のフィルタ特性の変化を抑制するために、多タップのAPFを必要である。
【０４９７】
これに対して、図１７の位置合わせ部１１２のフィルタは、垂直方向、及び、水平方向のいずれも、（０値補間画像のナイキスト周波数以下の帯域のうちの）低周波数側の半分の帯域のゲインが１であればよく、例えば、キュービック補間を行う４タップのフィルタ（キュービック補間フィルタ）等の、いわば高域側の特性が悪い、少ないタップ数のフィルタで構成することができる。
【０４９８】
また、位置合わせ部１１２の位置合わせによって得られる位置合わせ画像も、拡大部１１１で生成される拡大画像と同様に、水平方向の低周波数側の半分の帯域-fh/2ないしfh/2と、垂直方向の低周波数側の半分の帯域-fsないしfsにのみ、周波数成分が存在し、残りの高周波数側の帯域には、周波数成分が存在しない画像となる。
【０４９９】
さらに、位置合わせ画像は、第１実施の形態と同様に、水平方向には折り返し成分がなく、垂直方向にのみ、折り返し成分がある画像である。したがって、高域の信号成分の復元は、垂直方向のみを考えればよい。
【０５００】
また、図１７の画像処理装置において、位置合わせ画像を用いた混合加算によって得られる出力画像は、やはり、水平方向の低周波数側の半分の帯域-fh/2ないしfh/2と、垂直方向の低周波数側の半分の帯域-fsないしfsにのみ、周波数成分が存在し、残りの高周波数側の帯域には、周波数成分が存在しない画像となる。
【０５０１】
したがって、図１７の分離部１１３は、そのような周波数成分が存在する周波数帯域だけを考慮して構成すればよい。
【０５０２】
すなわち、上述の高解像度化原理に基づいて、高解像度の出力画像を生成する図１７の画像処理装置では、分離部１１３は、高域の信号成分を復元する垂直方向に、出力画像の低周波数成分を抽出する垂直LPFで構成され、その垂直LPFとしては、拡大部１１１のフィルタと、位置合わせ部１１２のフィルタとを縦続接続した縦続接続フィルタと同一のフィルタ特性のフィルタが採用される。
【０５０３】
但し、分離部１１３の垂直LPFには、出力画像の、上述した周波数成分が存在する周波数帯域だけを考慮すればよく、その周波数帯域において、縦続接続フィルタと同一のフィルタ特性のフィルタを採用することができる。したがって、分離部１１３の垂直LPFとしては、例えば、拡大部１１１において垂直方向のフィルタリングを行うフィルタ、すなわち、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}のフィルタを採用することができる。
【０５０４】
図１７の画像処理装置によれば、図９の画像処理装置と同様に、画像の、柔軟な高解像度化を図ることができる。さらに、図１７の画像処理装置では、位置合わせ部１１２のフィルタを、少ないタップ数のフィルタで構成することができ、装置の規模、及び、演算量を低減することができる。
【０５０５】
なお、図１７の画像処理装置で得られる出力画像は、上述したように、水平方向の低周波数側の半分の帯域-fh/2ないしfh/2と、垂直方向の低周波数側の半分の帯域-fsないしfsにのみ、周波数成分が存在し、残りの高周波数側の帯域には、周波数成分が存在しない画像となる。したがって、出力画像は、その水平方向や垂直方向の画素数を、1/2に縮小することができる。
【０５０６】
図２０は、図１７の拡大部１１１と位置合わせ部１１２の構成例を示している。
【０５０７】
拡大部１１１は、補間部１３１、水平多タップLPF１３２、補間部１３３、垂直LPF１３４、及び、広帯域LPF１３５から構成される。
【０５０８】
補間部１３１には、記憶部２１（図１７）から入力画像が供給される。補間部１３１は、記憶部２１からの入力画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行うことで、水平方向の画素数が入力画像の２倍になった０値補間画像を生成して、水平多タップLPF１３２に供給する。
【０５０９】
水平多タップLPF１３２は、例えば、フィルタ係数が、sinc関数に窓関数をかけて決定された、周波数fs/2以下を通過帯域とする多タップのLPFである。水平多タップLPF１３２は、補間部１３１からの０値補間画像を、水平方向にフィルタリングすることにより、水平拡大画像を生成し、補間部１３３に供給する。
【０５１０】
補間部１３３は、水平多タップLPF１３２からの水平拡大画像の垂直方向に隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間を行うことで、水平方向の画素数が入力画像の２倍で、垂直方向の画素数が入力画像の４倍になった０値補間画像を生成し、垂直LPF１３４に供給する。
【０５１１】
垂直LPF１３４は、例えば、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFであり、補間部１３３からの０値補間画像をフィルタリングすることにより、水平方向の画素数が入力画像の２倍で、垂直方向の画素数が入力画像の４倍になった拡大画像を生成し、広帯域LPF１３５に供給する。
【０５１２】
なお、補間部１３３による０値補間、及び、垂直LPF１３４での、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFによるフィルタリングは、線形補間により、垂直方向の画素数を４倍にする拡大に相当する。
【０５１３】
広帯域LPF１３５は、周波数帯域-fsないしfsを通過領域とする広帯域LPFであり、垂直LPF１３４からの拡大画像を垂直方向にフィルタリングして、位置合わせ部１１２に供給する。
【０５１４】
位置合わせ部１１２は、水平キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２から構成される。
【０５１５】
水平キュービック補間フィルタ１４１には、拡大部１１１から、拡大画像が供給されるとともに、動き検出部２２（図１７）から動きベクトル（グローバル動きベクトル）が供給される。
【０５１６】
水平キュービック補間フィルタ１４１は、図１３の水平多タップAPF７１と同様に、動き検出部２２からの動きベクトルに基づいて、拡大画像を水平方向にフィルタリングすることにより、出力画像の画素の位置に、画素を補間することで、拡大画像を、出力画像の水平方向の位置に合わせ、垂直キュービック補間フィルタ１４２に供給する。
【０５１７】
垂直キュービック補間フィルタ１４２は、図１３の垂直多タップAPF７２と同様に、動き検出部２２からの動きベクトルに基づいて、拡大画像を垂直方向にフィルタリングすることにより、出力画像の画素の位置に、画素を補間することで、拡大画像を、出力画像の垂直方向の位置に合わせ、これにより、水平方向及び垂直方向のいずれも、出力画像の位置に合った位置合わせ画像を生成し、混合部２５（図１７）に供給する。
【０５１８】
なお、水平キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２では、フィルタリングによって、キュービック補間が行われる。また、水平キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２は、例えば、４タップ等の少ないタップ数で構成することができる。
【０５１９】
次に、図２１を参照して、図２０の拡大部１１１において、水平方向に関して行われる処理について説明する。
【０５２０】
図２１Ａは、拡大部１１１を構成する補間部１３１ないし広帯域LPF１３５のうちの、水平方向に関する処理を行うブロックを示している。
【０５２１】
拡大部１１１では、図２１Ａに示すように、補間部１３１及び水平多タップLPF１３２が、水平方向に関する処理を行う。
【０５２２】
図２１Ｂは、補間部１３１に供給される入力画像の水平方向の周波数特性を示している。
【０５２３】
上述したように、入力画像は、水平方向については、周波数fh/2以下に、信号成分のみを含む画像になっている。
【０５２４】
図２１Ｃは、補間部１３１で得られる、入力画像の水平方向に隣接する画素どうしの間に、1個のゼロ点を挿入する０値補間により得られる０値補間画像の水平方向の周波数特性を示している。
【０５２５】
０値補間画像では、水平方向にゼロ点を挿入する０値補間によって、水平方向の周波数fh/2を超える周波数帯域に、折り返し成分が生じる。
【０５２６】
図２１Ｄは、図２１Ｃの０値補間画像を、水平多タップLPF１３２でフィルタリングして得られる水平拡大画像の周波数特性を示している。
【０５２７】
水平多タップLPF１３２によるフィルタリングによって得られる水平拡大画像は、水平方向について、周波数fh/2以下にのみ、信号成分が存在し、周波数fh/2を超える周波数には、周波数成分が存在しない画像となる。
【０５２８】
図２１Ｄは、水平多タップLPF１３２のフィルタ特性を示している。
【０５２９】
水平多タップLPF１３２は、周波数fh/2以下を通過帯域とするLPFであり、周波数fh/2で急峻にゲインが落ちるように（急峻なロールオフとなるように）、多タップで構成される。
【０５３０】
次に、図２２を参照して、図２０の位置合わせ部１１２において、水平方向に関して行われる処理について説明する。
【０５３１】
図２２Ａは、位置合わせ部１１２を構成する水平キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２のうちの、水平方向に関する処理を行うブロックを示している。
【０５３２】
位置合わせ部１１２では、図２２Ａに示すように、水平キュービック補間フィルタ１４１が、水平方向に関する処理を行う。
【０５３３】
図２２Ｂは、拡大部１１１（図２０）から水平キュービック補間フィルタ１４１に供給される水平拡大画像の周波数特性を示しており、図２１Ｄと同一の図である。
【０５３４】
図２２Ｃは、水平キュービック補間フィルタ１４１で、図２２Ｂの水平拡大画像をフィルタリングして得られる、その水平拡大画像の、水平方向の位置を、出力画像の位置に合わせた位置合わせ画像の周波数特性を示している。
【０５３５】
また、図２２Ｄは、水平キュービック補間フィルタ１４１のフィルタ特性を示している。
【０５３６】
水平キュービック補間フィルタ１４１は、動き検出部２２から供給される動きベクトルに基づいて、水平方向にキュービック補間を行うフィルタリングを行う、例えば、４タップのフィルタである。水平キュービック補間フィルタ１４１のフィルタ特性は、図２２Ｄに示すように、高域（周波数fh/2を超える周波数）側が、動き検出部２２から供給される動きベクトルによって変化するが、低域（周波数fh/2以下の周波数）側では、ゲインが（ほぼ）１になっている。
【０５３７】
このため、図２２Ｄのフィルタ特性の水平キュービック補間フィルタ１４１において、図２２Ｂの、周波数fh/2以下の周波数成分のみを有する拡大画像をフィルタリングすることにより得られる位置合わせ画像では、図２２Ｃに示すように、図２２Ｂの拡大画像と周波数特性が、そのまま維持される。
【０５３８】
次に、図２３を参照して、図２０の拡大部１１１において、垂直方向に関して行われる処理について説明する。
【０５３９】
図２３Ａは、拡大部１１１を構成する補間部１３１ないし広帯域LPF１３５のうちの、垂直方向に関する処理を行うブロックを示している。
【０５４０】
拡大部１１１では、図２３Ａに示すように、補間部１３３、垂直LPF１３４、及び、広帯域LPF１３５が、垂直方向に関する処理を行う。
【０５４１】
図２３Ｂは、補間部１３３に供給される入力画像（水平拡大画像）の垂直方向の周波数特性を示している。
【０５４２】
上述したように、入力画像は、垂直方向については、周波数fs/2以下に、信号成分と折り返し成分を含む画像になっている。
【０５４３】
図２３Ｃは、補間部１３３で得られる、図２３Ｂの入力画像の垂直方向に隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間により得られる０値補間画像の垂直方向の周波数特性を示している。
【０５４４】
０値補間画像では、垂直方向にゼロ点を挿入する０値補間によって、垂直方向の周波数fs/2を超える周波数帯域の信号成分が復元されるが、折り返し成分も復元される。
【０５４５】
図２３Ｄは、図２３Ｃの０値補間画像を、垂直LPF１３４でフィルタリングして得られる拡大画像の垂直方向の周波数特性を示している。
【０５４６】
図２３Ｅは、図２３Ｄの拡大画像を、広帯域LPF１３５でフィルタリングして得られる拡大画像の垂直方向の周波数特性を示している。
【０５４７】
図２３Ｆは、垂直LPF１３４のフィルタ特性を示している。また、図２３Ｇは、広帯域LPF１３５の周波数特性を示している。
【０５４８】
垂直LPF１３４は、図２０で説明したように、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFであり、図２３Ｆに示すように、周波数０はゲイン１で、周波数fsでゲインが０となる緩やかなフィルタ特性を有する。さらに、垂直LPF１３４は、周波数fsから1.5fsにかけてゲインが増加し、周波数2fsで再びゲインが０となる、周波数1.5fs付近の周波数成分を幾らか通すフィルタ特性を有する。
【０５４９】
このため、図２３Ｃの０値補間画像を、垂直LPF１３４でフィルタリングして得られる拡大画像は、図２３Ｄに示すように、図２３Ｃの周波数fs/2以下の周波数成分（信号成分及び折り返し成分）がほぼ残り、さらに、図２３Ｃの周波数fs/2ないしfsの周波数成分（信号成分及び折り返し成分）が多少残り、かつ、図２３Ｃの周波数fs以上の周波数成分が幾らか残った画像となる。
【０５５０】
広帯域LPF１３５は、図２３Ｇに示すように、周波数fs以下を通過帯域とするLPFであり、周波数fsで急峻にゲインが落ちるフィルタ特性を有する。
【０５５１】
図２３Ｄの拡大画像が、図２３Ｇに示すフィルタ特性の広帯域LPF１３５でフィルタリングされることにより、周波数fs以上に幾らか残っていた周波数成分が除去され、これにより、拡大画像は、図２３Ｅに示すように、周波数fs以上の周波数成分がない画像となる。
【０５５２】
次に、図２４を参照して、図２０の位置合わせ部１１２において、垂直方向に関して行われる処理について説明する。
【０５５３】
図２４Ａは、位置合わせ部１１２を構成する垂直キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２のうちの、垂直方向に関する処理を行うブロックを示している。
【０５５４】
位置合わせ部１１２では、図２４Ａに示すように、垂直キュービック補間フィルタ１４２が、垂直方向に関する処理を行う。
【０５５５】
図２４Ｂは、水平キュービック補間フィルタ１４１（図２０）から垂直キュービック補間フィルタ１４２に供給される拡大画像の垂直方向の周波数特性を示しており、図２３Ｅと同一の図である。
【０５５６】
図２４Ｃは、垂直キュービック補間フィルタ１４２で、図２４Ｂの拡大画像をフィルタリングして得られる、その拡大画像の、垂直方向の位置を、出力画像の位置に合わせた位置合わせ画像の垂直方向の周波数特性を示している。
【０５５７】
また、図２４Ｄは、垂直キュービック補間フィルタ１４２のフィルタ特性を示している。
【０５５８】
垂直キュービック補間フィルタ１４２は、動き検出部２２から供給される動きベクトルに基づいて、垂直方向にキュービック補間を行うフィルタリングを行う、例えば、４タップのフィルタである。垂直キュービック補間フィルタ１４２のフィルタ特性は、図２４Ｄに示すように、高域（周波数fsを超える周波数）側が、動き検出部２２から供給される動きベクトルによって変化するが、低域（周波数fs以下の周波数）側では、ゲインが１になっている。
【０５５９】
このため、図２４Ｄのフィルタ特性の垂直キュービック補間フィルタ１４２において、図２４Ｂの、周波数fs/2以下の周波数成分のみを有する拡大画像をフィルタリングすることにより得られる位置合わせ画像では、図２４Ｃに示すように、図２４Ｂの拡大画像と周波数特性が、そのまま維持される。
【０５６０】
すなわち、垂直キュービック補間フィルタ１４２のフィルタリングの結果得られる位置合わせ画像は、周波数fs以下において、垂直方向の信号成分と折り返し成分を含む画像となる。
【０５６１】
図２５は、垂直キュービック補間フィルタ１４２の、より詳細な周波数特性を示している。
【０５６２】
垂直キュービック補間フィルタ１４２のフィルタ特性は、周波数fsを超える周波数側が、動き検出部２２から供給される動きベクトルによって変化するが、周波数fs以下の周波数側では、ゲインが（ほぼ）１になっている。
【０５６３】
次に、図２６を参照して、図１７の分離部１１３について説明する。
【０５６４】
図２６Ａは、図１７の分離部１１３の構成例を示している。
【０５６５】
なお、図中、図１４Ａの分離部２７と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５６６】
図２６Ａの分離部１１３は、演算部８２を有する点で、図１４Ａの分離部２７と一致し、垂直LPF８１に代えて、垂直LPF１５１を有する点で、図１４Ａの分離部２７と相違する。
【０５６７】
垂直LPF１５１は、記憶部２８に記憶された出力画像Sn-1を垂直方向にフィルタリングすることにより、出力画像Sn-1の低周波数成分Lnを抽出し、演算部８２と、混合部２５に供給する。
【０５６８】
図２６Ｂは、垂直LPF１５１のフィルタ特性を示している。
【０５６９】
分離部１１３のフィルタである垂直LPF１５１は、入力画像に含まれる折り返し成分の方向である垂直方向のフィルタ特性として、拡大部１１１のフィルタである垂直LPF１３３及び広帯域LPF１３５（図２０）と、位置合わせ部１１２のフィルタである垂直キュービック補間フィルタ１４２（図２０）とを縦続接続した縦続接続フィルタと同一の特性を有する。
【０５７０】
図２６Ｃは、図１７の画像処理装置で得られる出力画像Snの垂直方向の周波数特性の変化を示している。
【０５７１】
なお、図２６Ｃにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。
【０５７２】
記憶部２１（図１７）に記憶されたNフレームの入力画像のうちの、１フレーム目が注目画像とされた場合には、その１フレーム目の入力画像A1の拡大画像B1が、そのまま、出力画像S1として、記憶部２８に記憶される。
【０５７３】
そして、以降は、混合部２５において、位置合わせ部１１２からの位置合わせ画像Cnと、出力画像Sn-1の低周波数成分Lnとが混合されることにより、混合画像Dnが生成され、加算部２６において、混合画像Dnと、出力画像Sn-1の高周波数成分Hnとが加算されることにより、新たな出力画像Snが生成される混合加算が、記憶部２１（図１７）に記憶されたNフレームの入力画像を、順次、注目画像として、繰り返される。
【０５７４】
以上の混合加算が繰り返されると、上述した高解像度化原理により、1フレーム目の入力画像A1を注目画像として行われた混合加算によって得られる出力画像S1は、入力画像A1の解像度で、折り返し成分を含む画像であるが、混合加算が進行するにつれ、すなわち、注目画像とされる入力画像Anが多くなっていくにつれ、混合加算によって得られる出力画像Snは、図２６Ｃに示すように、高解像度で（高域fs/2ないしfsの信号成分が復元され）、かつ、折り返し成分が減衰した高画質の画像になっていく。
【０５７５】
次に、図２７を参照して、図２６の分離部１１３のフィルタである垂直LPF１５１のフィルタ特性について、さらに説明する。
【０５７６】
図２７Ａは、図２０の拡大部１１１の垂直LPF１３４、及び、広帯域LPF１３５、並びに、位置合わせ部１１２の垂直キュービック補間フィルタ１４２のフィルタ特性を示している。
【０５７７】
図２７Ｂは、図２０の拡大部１１１の垂直LPF１３４、及び、広帯域LPF１３５、並びに、位置合わせ部１１２の垂直キュービック補間フィルタ１４２を縦続接続した縦続接続フィルタのフィルタ特性を示している。
【０５７８】
縦続接続フィルタは、図２７Ｂに示すように、周波数fs以下のゲインが、図２７Ａの垂直LPF１３４と同様で、かつ、周波数fs以上のゲインが０のフィルタとなる。
【０５７９】
ここで、縦続接続フィルタの周波数fs以上のゲインが０になるのは、図２７Ａの広帯域LPF１３５の影響による。
【０５８０】
分離部１１３の垂直LPF１５１（図２６）としては、理想的には、図２７Ｂに示した、周波数fs以上のゲインが０となるフィルタ特性のLPFを採用すべきである。
【０５８１】
但し、拡大部１１１の垂直LPF１３４（図２０）は、図２３Ｆで説明したように、周波数fs以上については、周波数1.5fs付近の周波数成分を幾らか通すだけのフィルタであり、したがって、周波数fs以上のゲインは、ほぼ０に近い。
【０５８２】
したがって、拡大部１１１の垂直LPF１３４は、図２７Ｂの縦続接続フィルタのフィルタ特性と類似している。分離部１１３の垂直LPF１５１（図２６）としては、縦続接続フィルタと同一のフィルタ特性のフィルタの他、そのフィルタ特性と類似するフィルタ特性を有する垂直LPF１３４と同一のフィルタを採用することができる。
【０５８３】
すなわち、図２０において、垂直LPF１３４は、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFであるから、図２６の分離部１１３の垂直LPF１５１としても、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFを採用することができる。
【０５８４】
図２８は、図１７の画像処理装置で得られる出力画像の垂直方向の周波数特性を示している。
【０５８５】
上述したように、図１７の画像処理装置で得られる出力画像は、垂直方向については、周波数fs以下の帯域にのみ、周波数成分が存在し、それ以上の、周波数帯域fsないし2fsを含む高周波数側の帯域には、周波数成分が存在しない。したがって、０値補間によって垂直方向のサンプリング周波数が周波数4fsになっている出力画像は、その垂直方向の画素数を、1/2に縮小することができる。
【０５８６】
なお、図２０では、補間部１３３において０値補間を行い、さらに、垂直LPF１３４においてフィルタリングを行うことで、垂直方向の画素数を４倍にしたが、実際の実装では、単に、線形補間を行うことで、垂直方向の画素数を４倍にすることができる。
【０５８７】
また、図２０では、垂直LPF１３４と広帯域LPF１３５とを、別々に設けるようにしたが、垂直LPF１３４と広帯域LPF１３５とは、１個のフィルタで構成することが可能である。
【０５８８】
さらに、上述したように、拡大部１１１の垂直LPF１３４（図２０）は、周波数fs以上のゲインが、０に近いので（図２３Ｆ）、拡大部１１１は、周波数fs以上の周波数成分を除去するための広帯域LPF１３５を設けずに構成することができる。
【０５８９】
また、図２０では、拡大部１１１のフィルタとして、線形補間を行う垂直LPF１３４を採用したが、拡大部１１１のフィルタとしては、その他、例えば、最近傍補間を行うフィルタや、キュービック補間を行うフィルタ等を、垂直LPF１３４に代えて採用することができる。
【０５９０】
さらに、図１７の画像処理装置では、図９等の画像処理装置と同様に、折り返し成分を除去した出力画像の他、ノイズ成分を除去した出力画像を得ることも可能である。
【０５９１】
［第５実施の形態］
【０５９２】
図２９は、本発明を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。
【０５９３】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５９４】
図２９の画像処理装置は、記憶部２１、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。
【０５９５】
但し、図２９の画像処理装置は、動き検出部２２に代えて動き検出部１７１が設けられ、かつ、動体混合部１７２が新たに設けられている点で、図９の画像処理装置と相違する。
【０５９６】
なお、図９の画像処理装置ではなく、例えば、上述した図１７の画像処理装置等の静止画用混合加算を行う画像処理装置を、図２９に示すように構成することも可能である。
【０５９７】
図９の画像処理装置では、入力画像Anに、動きが（ほとんど）ない被写体のみが映っていることを前提としたが、入力画像Anには、動いている被写体（以下、動体ともいう）が映っていることがある。
【０５９８】
入力画像Anに、動体が映っている場合、図９の画像処理装置では、Nフレームの入力画像A1ないしANに映っている、異なる位置にある動体が、混合加算によって、出力画像に現れ、これにより、出力画像は、長い露出時間で撮影した写真のような、いわゆる動きぼけがある画像となる。
【０５９９】
図２９の画像処理装置では、入力画像Anに動体が映っていても、動きぼけがない出力画像を生成することができるようになっている。
【０６００】
すなわち、図２９において、動き検出部１７１は、図９の動き検出部２２（図１０）と同様に、動きベクトルを検出し、位置合わせ部２４に供給する。さらに、動き検出部１７１は、記憶部２１に記憶された、基準となる入力画像A1と、混合加算の対象となる入力画像Anとを用い、位置合わせ後の拡大画像Bn（位置合わせ画像Cn）について、各画素の、拡大画像B1（ひいては、直前に得られた出力画像Sn-1）に対する動きの程度を判定し、その動きの程度を表す動き情報を、動体混合部１７２に供給する。
【０６０１】
なお、動き検出部１７１において、拡大画像Bnの各画素の動きの程度は、入力画像A1及びAnではなく、拡大画像B1及びBnを用いて判定することも可能である。但し、入力画像A1及びAnは、拡大画像B1及びBnに比較して、画素数が少ないので、拡大画像B1及びBnを用いるよりも、入力画像A1及びAnを用いた方が、演算量を低減することができる。
【０６０２】
動体混合部１７２は、混合部２５及び加算部２６とともに、図２の混合加算部１５に対応する。
【０６０３】
動体混合部１７２には、動き検出部１７１から動き情報が供給される他、加算部２６から、新たな出力画像Snが供給されるとともに、記憶部２８から、直前に得られた出力画像Sn-1が供給される。
【０６０４】
動体混合部１７２は、動き検出部１７１から供給される動き情報に基づき、動きがある画素については、直前に得られた出力画像Sn-1の重みが大となり、動きがない画素については、新たな出力画像Snの重みが大となる重みに従って、直前に得られた出力画像Sn-1と、新たな出力画像Snとを混合する動体混合を行うことで、新たな出力画像Snを修正し、記憶部２８に供給する。
【０６０５】
ここで、動き検出部１７１から動体混合部１７２に供給される動き情報を、βと表し、動き情報は、０ないし１の範囲の実数値をとることとする。なお、動き情報βは、値が０である場合に、静止（動きがないこと）を表し、値が大きいほど、動きが大であることを表すこととする。
【０６０６】
また、動き情報βのうちの、位置合わせ後の拡大画像Bnの位置tの画素の動きの程度を表す動き情報を、β(t)と、新たな出力画像Snの位置tの画素の画素値を、s(t)と、直前に得られた出力画像Sn-1の位置tの画素の画素値を、s'(t)と、それぞれ表すこととする。
【０６０７】
動体混合部１７２は、直前に得られた出力画像Sn-1の各画素（新たな出力画像Snの各画素でもある）について、式（１５）に従って動体混合を行うことで、新たな出力画像Snを修正する。
【０６０８】
s(t) = β(t)×s'(t) + (1-β(t))×s(t)
・・・（１５）
【０６０９】
いま、説明を簡単にするために、動き情報βが、０又は１であるとすると、式（１５）によれば、動き情報βが０である画素、すなわち、動きがない画素については、新たな出力画像Snの画素値が、そのまま、修正後の新たな出力画像Snの画素値として採用され、動き情報βが１である画素、すなわち、動きがある画素については、直前に得られた出力画像Snの画素値が、修正後の新たな出力画像Snの画素値として採用される。
【０６１０】
この場合、入力画像A1ないしANにおいて動体が映っている部分に対応する出力画像の部分には、入力画像A1が現れ、出力画像の他の部分には、混合加算によって、画質が向上した画像が現れる。
【０６１１】
図２９の画像処理装置によれば、図９の画像処理装置と同様に、画像の、柔軟な高解像度化を図ることができる。
【０６１２】
また、図２９の画像処理装置では、動体混合が行われることで、動体の部分の混合加算の結果が、出力画像に現れないので、入力画像Anに、動体が映っている場合に、出力画像に、動体に起因する動きぼけが生じることを防止することができる。なお、動体の部分以外の部分（静止している被写体の部分）については、混合加算によって、折り返し成分が除去され、かつ、高解像度化される（ナイキスト周波数以上の信号成分が復元される）。
【０６１３】
図２９の画像処理装置は、例えば、動画の連続する複数フレームから高画質の静止画を生成して、外部のメモリその他の記憶（記録）媒体に保存する機能等を備えた、インタレース方式の画像を扱う家庭用ビデオカメラ等に適用することができる。
【０６１４】
なお、前述した動き検出処理、広帯域補間処理、及び、加重和処理を行う従来の高解像度化技術では、動体が映っている部分かどうかによって、加重和処理で混合（重み付け加算）を行うフレーム数(画像の枚数）を変えることは、困難である。
【０６１５】
図３０は、図２９の動き検出部１７１の構成例を示している。
【０６１６】
なお、図中、図１０の動き検出部２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６１７】
図３０の動き検出部１７１は、水平LPF４１ないし統計処理部４６が設けられている点で、図１０の動き検出部２２と一致し、動き判定部１８１が新たに設けられている点で、図１０の動き検出部２２と相違する。
【０６１８】
動き判定部１８１には、垂直LPF４３から基準画像M1が供給されるとともに、比較画像Mnが供給される。さらに、動き判定部１８１には、統計処理部４６から動きベクトル（グローバル動きベクトル）が供給される。
【０６１９】
動き判定部１８１は、統計処理部４６からの動きベクトルに基づき、垂直LPF４４からの比較画像Mnを、垂直LPF４３からの基準画像M1の位置に合わせる位置合わせをし、位置合わせ後の比較画像Mnの画素を、順次、注目画素とする。
【０６２０】
さらに、動き判定部１８１は、位置合わせ後の比較画像Mnの注目画素と、基準画像M1の対応する画素(注目画素と同一位置の画素）との画素値の差分絶対値sを求める。
【０６２１】
そして、動き判定部１８１は、差分絶対値sと所定の閾値との大小関係を判定し、その大小関係に基づき、注目画素の動きの程度を判定することで、注目画素の動きの程度を表す動き情報βを求める。
【０６２２】
すなわち、動き判定部１８１は、式Th1＜Th2を満たす２つの閾値Th1及びTh2を用い、例えば、差分絶対値sが、式s<Th1を満たす場合には、動き情報βをβ=0.0とし、差分絶対値sが、式Th1≦s≦Th2を満たす場合には、動き情報βを、β=(s-Th1)/(Th2-Th1)とする。
【０６２３】
また、動き判定部１８１は、差分絶対値sが、式s>Th2を満たす場合には、動き情報βを1.0とする。
【０６２４】
ここで、基準画像M1及び比較画像Mnの画素値が、例えば、１０ビットで表現される場合には、閾値Th1及びTh2としては、例えば、Th1=8.0，Th2=16.0を採用することができる。
【０６２５】
なお、上述の場合には、画素単位で求められた差分絶対値sに基づいて、動き情報βを求めたが、その他、例えば、複数の画素からなるブロック単位で、ブロックを構成する画素の画素値の差分絶対値の総和s'を求め、その総和s'を、差分絶対値sと同様に用いて、動き情報βを求めることが可能である。この場合、ブロックを構成する画素の動き情報βは、すべて同一となる。
【０６２６】
また、比較画像Mnの各画素について得られた動き情報βには、動き部分の取りこぼしを防止するため、さらに、ダイレーション(dilation)処理を施すことができる。
【０６２７】
ここで、図２９では、拡大部２３において、入力画像の垂直方向のみの画素数を２倍にした拡大画像が求められるため、位置合わせ後の拡大画像Bnの垂直方向の画素数は、位置合わせ後の比較画像Mnの垂直方向の画素数の２倍になっている。
【０６２８】
このため、動き検出部１７１は、位置合わせ後の比較画像Mnの各画素の動き情報βを用いた線形補間等によって、位置合わせ後の拡大画像Bnの各画素の動き情報βを求め、動体混合部１７２に供給する。
【０６２９】
さらに、上述の場合には、動き検出部１７１は、位置合わせ後の拡大画像Bn、すなわち、位置合わせ画像Cnの各画素の動き情報βを求めたが、動き検出部１７１では、必要に応じて、位置合わせ後の拡大画像Bn（位置合わせ画像Cn）に代えて、位置合わせ前の拡大画像Bnの各画素の動き情報βを求めることができる。
【０６３０】
すなわち、図２９の画像処理装置では、静止画用混合加算が行われるが、静止画用混合加算が行われる場合には、動き検出部１７１では、位置合わせ後の拡大画像Bnの各画素の動き情報βが求められる。
【０６３１】
また、動画用混合加算が行われる、後述する画像処理装置においては、動き検出部１７１では、混合加算の対象の入力画像Anを、基準画像とするとともに、その１フレーム前の入力画像An-1を比較画像として、動きベクトル（グローバル動きベクトル）が求められる。さらに、動き検出部１７１では、その動きベクトルに基づいて、1フレーム前の入力画像An-1を、入力画像Anの位置に合わせる位置合わせが行われる。そして、動き検出部１７１では、入力画像Anの各画素について、位置合わせ後の入力画像An-1との差分絶対値sが求められ、この差分絶対値sに基づき、位置合わせ前の拡大画像Bnの各画素の動き情報βが、上述したように求められる。
【０６３２】
［第６実施の形態］
【０６３３】
図３１は、本発明を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。
【０６３４】
なお、図中、図２９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６３５】
図３１の画像処理装置は、記憶部２１、拡大部２３、位置合わせ部２４、加算部２６、分離部２７、記憶部２８、及び、動き検出部１７１を有する点で、図２９の画像処理装置と一致する。
【０６３６】
但し、図３１の画像処理装置は、混合部２５に代えて混合部１９１が設けられており、動体混合を行う動体混合部１７２が設けられていない点で、図２９の画像処理装置と相違する。
【０６３７】
混合部１９１では、混合部２５で行われる混合と、動体混合部１７２で行われる動体混合とが、同時に行われるようになっている。
【０６３８】
すなわち、上述の式（３）で説明したように、混合部２５で得られる混合画像Dnの位置tの画素の画素値を、d(t)と、位置合わせ部２４で得られる位置合わせ画像Cnの位置tの画素の画素値を、c(t)と、分離部２７で得られる出力画像Sn-1の低周波数成分Lnのうちの、位置tの画素の画素値の低周波数成分を、l(t)と、それぞれ表すこととすると、混合部２５は、混合比αを用いた式（３）の演算、すなわち、式d(t) = α×c(t)+(1-α)×l(t)の演算を行うことで、混合画像Dnを求め、加算部２６に供給する。
【０６３９】
一方、混合部１９１には、位置合わせ部２４から位置合わせ画像Cnが供給されるとともに、分離部２７から出力画像Sn-1の低周波数成分Lnが供給される他、動き検出部１７１から、動き情報βが供給されるようになっている。
【０６４０】
混合部１９１は、式（３）の混合比αを、動き検出部１７１からの動き情報βに応じて、混合比α'（０<α<1）に調整し、その調整後の混合比α'を、混合比αに代えて用いることで、混合部２５で行われる混合と、動体混合部１７２で行われる動体混合とを同時に行う。
【０６４１】
具体的には、混合部１９１は、式（１６）に従って、混合比αを、混合比α'に調整し、その調整後の混合比α'を用いた式（１７）を演算することにより、混合画像Dnを求め、加算部２６に供給する。
【０６４２】
α’= α×(1-β(t))
・・・（１６）
d(t) = α'×c(t)+(1-α')×l(t)
・・・（１７）
【０６４３】
ここで、β(t)は、位置tの画素の動き情報βを表す。
【０６４４】
動きがある画素、すなわち、例えば、動き情報βが１の画素については、修正後の混合比α'は０となり、直前に得られた出力画像Sn-1（ひいては、入力画像A1の拡大画像B1）（の低周波成分l(t)）が現れる。一方、動きがない画素（静止している画素）、すなわち、例えば、動き情報βが０の画素については、修正後の混合比α'は、元の混合比αとなり、位置合わせ画像Cn(c(t))と、出力画像Sn-1の低周波数成分Ln(l(t))との、混合比αを重みとする混合（重み付け加算）が行われる。
【０６４５】
以上のように、図３１の画像処理装置では、混合部１９１において、図２９の画像処理装置における混合部２５で行われる混合と、動体混合部１７２で行われる動体混合とが、同時に行われるので、演算量を削減することができる。
【０６４６】
なお、混合比αは、混合加算に用いられる位置合わせ画像Cnが、何フレーム目の入力画像Anに対応する画像であるかに応じた可変の値とすることができる。
【０６４７】
すなわち、位置合わせ画像Cnの混合加算がされるときには、混合比αは、例えば、1/nとすることができる。この場合、混合加算において、位置合わせ画像C1ないしCNの低周波数成分それぞれは、均一の割合で混合される。
【０６４８】
［第７実施の形態］
【０６４９】
図３２は、本発明を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。
【０６５０】
なお、図中、図１５、又は、図２９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６５１】
図３２の画像処理装置は、記憶部２１、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８を有する点で、図１５の画像処理装置と一致する。
【０６５２】
但し、図３２の画像処理装置は、動き検出部２２に代えて図２９の動き検出部１７１が設けられており、図２９の動体混合部１７２が新たに設けられている点で、図１５の画像処理装置と相違する。
【０６５３】
図３２の画像処理装置では、入力画像Anが動画であり、動画用混合加算が行われる。
【０６５４】
したがって、動き検出部１７１では、図１５で説明したように、混合加算の対象の入力画像Anを、基準画像とするとともに、その直前（１フレーム前）の入力画像An-1を比較画像として、動きベクトル（グローバル動きベクトル）が求められる。
【０６５５】
さらに、動き検出部１７１では、図３０で説明したように、位置合わせ前の拡大画像Bnの各画素の、１フレーム前の拡大画像Bn-1に対する動きの程度を表す動き情報βが求められ、動体混合部１７２に供給される。
【０６５６】
また、動画用混合加算が行われる図３２の画像処理装置では、動体混合部１７２には、図２９の場合と異なり、記憶部２８からの出力画像Sn-1に代えて、拡大部２３からの拡大画像Bnが供給されるようになっている。
【０６５７】
そして、動き検出部１７１から動体混合部１７２に供給される動き情報βのうちの、位置合わせ前の拡大画像Bnの位置tの画素の動きの程度を表す動き情報βを、β(t)と、加算部２６から動体混合部１７２に供給される新たな出力画像Snの位置tの画素の画素値を、s(t)と、拡大部２３から動体混合部１７２に供給される拡大画像（位置合わせ前の拡大画像）Bnの位置tの画素の画素値を、b(t)と、それぞれ表すこととすると、動体混合部１７２は、拡大画像Bnの各画素（新たな出力画像Snの各画素でもある）について、式（１８）に従って動体混合を行うことで、新たな出力画像Snを修正する。
【０６５８】
s(t) = β(t)×b(t) + (1-β(t))×s(t)
・・・（１８）
【０６５９】
式（１８）によれば、動体混合部１７２では、動きがある画素については、拡大画像Bnの重みが大となり、動きがない画素については、新たな出力画像Snの重みが大となる重みに従って、拡大画像Bnと、新たな出力画像Snとを混合する動体混合が行われる。
【０６６０】
すなわち、いま、説明を簡単にするために、動き情報βが、０又は１であるとすると、式（１８）によれば、動き情報βが０である画素、すなわち、動きがない画素については、新たな出力画像Snの画素値が、そのまま、修正後の新たな出力画像Snの画素値として採用され、動き情報βが１である画素、すなわち、動きがある画素については、拡大画像Bnの画素値が、修正後の新たな出力画像Snの画素値として採用される。
【０６６１】
この場合、拡大画像Bnにおいて動体が映っている部分に対応する出力画像の部分には、拡大画像Bnが現れ、出力画像の他の部分には、混合加算によって、画質が向上した画像が現れる。
【０６６２】
図３２の画像処理装置によれば、図９の画像処理装置と同様に、画像の、柔軟な高解像度化を図ることができる。
【０６６３】
また、図３２の画像処理装置では、動画用混合加算、及び、動体混合が行われることで、１フレームの入力画像Anに対して、１フレームの出力画像Snを出力することができ、動画の入力画像Anについて、静止している被写体の部分の高画質化を図ることができる。
【０６６４】
なお、図３２の画像処理装置によれば、例えば、動画のIP変換を行うことができ、IP変換を行うTV等に適用することができる。
【０６６５】
［第８実施の形態］
【０６６６】
図３３は、本発明を適用した画像処理装置の第８実施の形態の構成例を示すブロック図である。
【０６６７】
なお、図中、図１６、又は、図３２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６６８】
図３３の画像処理装置は、記憶部２１、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、記憶部２８、及び、選択部１０１ないし１０３を有する点で、図１６の画像処理装置と一致する。
【０６６９】
但し、図３３の画像処理装置は、動き検出部２２に代えて図３２の動き検出部１７１が設けられており、さらに、図３２の動体混合部１７２が新たに設けられているとともに、選択部１０４が新たに設けられている点で、図１６の画像処理装置と相違する。
【０６７０】
図３３の画像処理装置では、静止画用混合加算と、動画用混合加算とを、選択的に行うことができるようになっている。図３３の画像処理装置において、静止画用混合加算、及び動画用混合加算のうちのいずれを行うかは、例えば、記憶部２１に供給される入力画像に応じて選択される。
【０６７１】
すなわち、図３３の画像処理装置では、例えば、記憶部２１に供給される入力画像が、静止画及び動画のうちのいずれであるかが判定され、入力画像が静止画である場合には、静止画用混合加算が行われ、入力画像が動画である場合には、動画用混合加算が行われる。
【０６７２】
その他、図３３の画像処理装置では、例えば、静止画の撮影を行うか、又は、動画の撮影を行うか等のユーザの操作に応じて、静止画用混合加算、又は動画用混合加算を行うことを選択することができる。
【０６７３】
図３３において、選択部１０４の端子ａには、拡大部２３から、拡大画像が供給され、端子ｂには、記憶部２８から、１フレーム前の出力画像（直前に得られた出力画像）が供給される。
【０６７４】
選択部１０４は、端子ａに供給される拡大画像、又は、端子ｂに供給される直前に得られた出力画像を選択し、動体混合の対象として、動体混合部１７２に供給する。
【０６７５】
図３３の画像処理装置において、静止画用混合加算が行われる場合には、図１６で説明したように、第１の処理として、選択部１０１ないし１０３のすべてが、端子ａ及びｂのうちの、端子ａを選択するが、さらに、選択部１０４も、端子ａ及びｂのうちの、端子ａを選択する。
【０６７６】
その結果、選択部１０４は、記憶部２８から端子ａに供給される、直前に得られた出力画像を選択し、動体混合部１７２に供給する。
【０６７７】
これにより、図３３の画像処理装置では、記憶部２１、拡大部２３ないし記憶部２８、動き検出部１７１、及び、動体混合部１７２が、図２９の画像処理装置の記憶部２１、拡大部２３ないし記憶部２８、動き検出部１７１、及び、動体混合部１７２と同一の接続状態となって、図２９の場合と同様の処理が行われる。
【０６７８】
したがって、図３３において、動体混合部１７２では、上述の式（１５）の演算が行われることで、動き検出部１７１から供給される動き情報に基づき、動きがある画素については、記憶部２８からの直前に得られた出力画像Sn-1の重みが大となり、動きがない画素については、加算部２６からの新たな出力画像Snの重みが大となる重みに従って、直前に得られた出力画像Sn-1と、新たな出力画像Snとを混合する動体混合が行われる。
【０６７９】
その結果、例えば、静止画である入力画像に、動体が映っている場合に、出力画像に、動体に起因する動きぼけが生じることを防止することができる。
【０６８０】
一方、図３３の画像処理装置において、動画用混合加算が行われる場合には、図１６で説明したように、第２の処理として、選択部１０１ないし１０３のすべてが、端子ａ及びｂのうちの、端子ｂを選択するが、さらに、選択部１０４も、端子ａ及びｂのうちの、端子ｂを選択する。
【０６８１】
その結果、選択部１０４は、拡大部２３から端子ｂに供給される拡大画像（位置合わせ前の拡大画像）を選択し、動体混合部１７２に供給する。
【０６８２】
これにより、図３３の画像処理装置では、記憶部２１、拡大部２３ないし記憶部２８、動き検出部１７１、及び、動体混合部１７２が、図３２の画像処理装置の記憶部２１、拡大部２３ないし記憶部２８、動き検出部１７１、及び、動体混合部１７２と同一の接続状態となって、図３２の場合と同様の処理が行われる。
【０６８３】
したがって、図３３において、動体混合部１７２では、上述の式（１８）の演算が行われることで、動き検出部１７１から供給される動き情報に基づき、動きがある画素については、拡大部２３からの拡大画像Bnの重みが大となり、動きがない画素については、加算部２６からの新たな出力画像Snの重みが大となる重みに従って、拡大画像Bnと、新たな出力画像Snとを混合する動体混合が行われる。
【０６８４】
その結果、動画の入力画像に対して、（静止している被写体の部分の）画質が向上した動画としての出力画像を出力することができる。
【０６８５】
以上のように、図３３の画像処理装置では、図２９又は図３２の画像処理装置に、スイッチ１０１ないし１０４を追加するという、装置の規模（画像処理装置を、コンピュータにプログラムを実行させることで実現する場合の、そのプログラムのコードの量を含む）の僅かな増加だけで、図２９の画像処理装置が行う処理（静止画用混合加算）、及び、図３２の画像処理装置が行う処理（動画用混合加算）の両方を行うことができる。
【０６８６】
［第９実施の形態］
【０６８７】
図３４は、本発明を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。
【０６８８】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６８９】
図３４の画像処理装置は、記憶部２１、動き検出部２２、位置合わせ部２４、混合部２５、加算部２６、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。
【０６９０】
但し、図３４の画像処理装置は、拡大部２３に代えて拡大部２０１が設けられ、分離部２７に代えて、分離部２０２が設けられている点で、図９の画像処理装置と相違する。
【０６９１】
図９の画像処理装置では、１方向である垂直方向の折り返し成分が含まれる入力画像を対象としたが、図３４の画像処理装置では、２方向である水平方向及び垂直方向の折り返し成分が含まれる入力画像を対象として、折り返し成分が除去され、かつ、高解像度化された出力画像が生成される。
【０６９２】
ここで、水平方向及び垂直方向の折り返し成分が含まれる入力画像としては、例えば、いわゆるモノクロの撮像素子や、単板式のディジタルカメラの撮像素子で撮影されて出力される画像がある。
【０６９３】
撮像素子が出力する画像は、各種の特性のレンズや、センサとしての撮像素子での積分（電荷の積分）等に相当する光学フィルタで、折り返し成分がない画像をフィルタリングし、そのフィルタリング結果を、撮像素子の画素でサンプリングしたものと考えることができる。光学フィルタを、理想的なフィルタ（撮像素子の画素でのサンプリングのサンプリング周波数の1/2以下を通過帯域とするフィルタ）とすることは困難であるため、撮像素子が出力する画像には、光学フィルタによるフィルタリング後の信号の高周波数成分が、折り返し成分として含まれる。
【０６９４】
なお、以下、２次元の画素の集合、及び、２次元フィルタを、以下のように表す。
【０６９５】
すなわち、例えば、横×縦が、３×３画素の集合を、((A,B,C),(D,E,F),(G,H,I))と表す。ここで、３×３画素の集合((A,B,C),(D,E,F),(G,H,I))においては、１行目に、左から、画素（画素値）A,B,Cが、その順で並び、２行目に、左から、画素D,E,Fが、その順で並び、さらに、３行目に、左から、画素G,H,Iが、その順で並んでいる。
【０６９６】
また、例えば、横×縦が３×３タップの２次元フィルタ（FIRフィルタ）のフィルタ係数を、{{a,b,c},{d,e,f},{g,h,i}}と表す。
【０６９７】
上述した３×３画素の集合((A,B,C),(D,E,F),(G,H,I))のうちの、中心の画素Eに対する、フィルタ係数が{{a,b,c},{d,e,f},{g,h,i}}の２次元フィルタのフィルタリング結果は、例えば、式aA+bB+cC+dD+eE+fF+gG+hH+iIで表される。
【０６９８】
図３５を参照して、図３４の拡大部２０１の処理について説明する。
【０６９９】
図３５Ａは、図３４の画像処理装置で処理の対象となる入力画像を示している。
【０７００】
図３４の画像処理装置で処理の対象となる入力画像は、例えば、水平方向と垂直方向の折り返し成分を含むモノクロ（白黒）の静止画の画像である。
【０７０１】
拡大部２０１（図３４）は、入力画像の水平方向と垂直方向のそれぞれの画素数を２倍にした拡大画像を生成する。
【０７０２】
すなわち、拡大部２０１は、入力画像の水平方向と垂直方向のうちの、例えば、水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入し、さらに、その結果得られる画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入することで、入力画像の水平方向と垂直方向のそれぞれの画素数を２倍にした０値補間画像を生成する。
【０７０３】
図３５Ｂは、図３５Ａの入力画像から生成された０値補間画像を示している。
【０７０４】
図中、白丸印が、入力画像の画素（元の画素）を表し、黒丸印が、ゼロ点を表す。
【０７０５】
いま、入力画像の水平方向及び垂直方向のサンプリング周波数を、周波数fsとすると、上述のように、水平方向と垂直方向のそれぞれにゼロ点を挿入して得られる０値補間画像のサンプリング周波数は、入力画像のサンプリング周波数fsの２倍の周波数2fsとなる。
【０７０６】
図３５Ｃは、図３５Ｂの０値補間画像の周波数特性を示している。
【０７０７】
図３５Ｃにおいて、横軸は、水平方向の周波数（水平周波数）を表し、縦軸は、垂直方向の周波数（垂直周波数）を表す。
【０７０８】
また、図３５Ｃにおいて、実線部分は、信号成分を表し、点線部分は、折り返し成分を表す。
【０７０９】
０値補間画像では、入力画像の信号成分の高周波数成分が復元されているが、折り返し成分も発生しており、信号成分と折り返し成分とが混在している。
【０７１０】
拡大部２０１では、０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。すなわち、拡大部２０１は、０値補間画像の画素のうちの、入力画像の画素の画素値を、４倍にする。
【０７１１】
その後、拡大部２０１は、０値補間画像を、例えば、フィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタでフィルタリングすることで、拡大画像を生成する。
【０７１２】
図３５Ｄは、図３５Ｂの０値補間画像から生成された拡大画像を示している。
【０７１３】
図３５Ｄにおいて、画素A,B,C,D,E,Fは、入力画像の画素であり、他の画素が、ゼロ点が挿入された位置の画素である。
【０７１４】
図３５Ｄにおいて、画素AとDとの間の画素A1の画素値は、画素AとDの画素値の平均値((A+D)/2)となる。また、画素AとBとの間の画素A2の画素値は、画素AとBの画素値の平均値((A+B)/2)となる。さらに、画素A,B,D、及びEの中心の位置の画素A3の画素値は、画素AないしDの画素値の平均値((A+B+D+E)/4)となる。
【０７１５】
したがって、拡大部２０１では、実質的に、入力画像の２次元の線形補間が行われることによって、入力画像の水平方向と垂直方向のそれぞれの画素数を２倍にした拡大画像が生成される。
【０７１６】
ここで、図３４の画像処理装置において、分離部２０２のフィルタは、図９の画像処理装置の場合と同様に、拡大部２０１のフィルタである、上述したフィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタと、位置合わせ部２４のフィルタである水平多タップAPF７１及び垂直多タップAPF７２（図１３）とを縦続接続した縦続接続フィルタと同一の特性を有する。
【０７１７】
したがって、図３４の画像処理装置によれば、上述した高解像度化原理に基づき、画像の、柔軟な高解像度化を図ることができ、入力画像の水平方向及び垂直方向の折り返し成分が除去され、かつ、高解像度化された出力画像が生成される。
【０７１８】
なお、位置合わせ部２４の水平多タップAPF７１及び垂直多タップAPF７２（図１３）は、上述したように、拡大画像に含まれる周波数成分すべてを通過させる、多タップのAPFであるため、分離部２０２のフィルタのフィルタ特性は、結局、拡大部２０１のフィルタ、すなわち、フィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタと同一となる。
【０７１９】
図３６は、図３４の拡大部２０１の構成例を示している。
【０７２０】
図３６において、拡大部２０１は、補間部２１１及び２１２、並びに、２次元LPF２１３から構成される。
【０７２１】
補間部２１１には、記憶部２１に記憶された入力画像が供給される。補間部２１１は、記憶部２１からの入力画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる画像を、補間部２１２に供給する。
【０７２２】
補間部２１２は、補間部２１１からの画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる、入力画像の水平方向と垂直方向のそれぞれの画素数を２倍にした０値補間画像を、２次元LPF２１３に供給する。
【０７２３】
２次元LPF２１３は、例えば、上述したフィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタであり、補間部２１２からの０値補間画像を、水平方向及び垂直方向にフィルタリングし、その結果得られる拡大画像を、位置合わせ部２４（図３４）に供給する。
【０７２４】
次に、図３７を参照して、図３４の拡大部２０１の他の構成例について説明する。
【０７２５】
図３７Ａは、図３４の拡大部２０１の他の構成例を示すブロック図である。
【０７２６】
なお、図中、図３６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０７２７】
すなわち、図３７Ａの拡大部２０１は、補間部２１１及び２１２が設けられている点で、図３６の場合と一致する。
【０７２８】
但し、図３７Ａの拡大部２０１は、２次元LPF２１３が設けられておらず、水平LPF２２１及び垂直LPF２２２が新たに設けられている点で、図３６の場合と相違する。
【０７２９】
図３７Ａでは、補間部２１１において生成された、入力画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行って得られる０値補間画像が、水平LPF２２１に供給される。
【０７３０】
水平LPF２２１は、例えば、フィルタ係数が{1/4,1/2,1/4}のLPFであり、補間部２１１からの０値補間画像を、水平方向にフィルタリングし、その結果得られる画像を、補間部２１２に供給する。
【０７３１】
補間部２１２では、水平LPF２２１からの画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間が行われ、その結果得られる０値補間画像が、垂直LPF２２２に供給される。
【０７３２】
垂直LPF２２２は、例えば、フィルタ係数が{1/4,1/2,1/4}のLPFであり、補間部２１２からの０値補間画像を、垂直方向にフィルタリングし、その結果得られる拡大画像を、位置合わせ部２４（図３４）に供給する。
【０７３３】
図３７Ｂは、水平LPF２２１及び垂直LPF２２２である、フィルタ係数が{1/4,1/2,1/4}のLPFのフィルタ特性を示している。
【０７３４】
図３７Ｃは、フィルタ係数が{1/4,1/2,1/4}のLPFでの水平方向のフィルタリングと、垂直方向のフィルタリングとを同時に行う２次元フィルタのフィルタ係数を示している。
【０７３５】
フィルタ係数が{1/4,1/2,1/4}のLPFでの水平方向のフィルタリングと、垂直方向のフィルタリングとを同時に行う２次元フィルタのフィルタ係数は、{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}であり、したがって、水平LPF２２１による水平方向のフィルタリングと、垂直LPF２２２による垂直方向のフィルタリングとによって、図３６の２次元LPF２１３と同様のフィルタリングが行われる。
【０７３６】
すなわち、図３６の拡大部２０１のフィルタである２次元LPF２１３と、図３７Ａの拡大部２０１のフィルタである水平LPF２２１及び垂直LPF２２２の組み合わせとは、同一のフィルタである。
【０７３７】
図３８は、図３４の分離部２０２の構成例を示している。
【０７３８】
なお、図中、図１４の分離部２７と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０７３９】
すなわち、図３４の分離部２０２は、演算部８２が設けられている点で、図１４の分離部２７と一致し、垂直LPF８１に代えて２次元LPF２４１が設けられている点で、図１４の分離部２７と相違する。
【０７４０】
上述した高解像度化原理に基づき、入力画像の折り返し成分が除去され、かつ、高解像度化された出力画像を生成するには、分離部２０２のフィルタは、拡大部２０１のフィルタである２次元LPF２１３（図３６）と、位置合わせ部２４のフィルタである水平多タップAPF７１及び垂直多タップAPF７２（図１３）とを縦続接続した縦続接続フィルタと同一（又は類似）の特性を有するフィルタである必要がある。
【０７４１】
そこで、分離部２０２の２次元LPF２４１は、そのような縦続接続フィルタと同一の特性を有するフィルタとなっている。
【０７４２】
なお、位置合わせ部２４の水平多タップAPF７１及び垂直多タップAPF７２（図１３）は、上述したように、拡大画像に含まれる周波数成分すべてを通過させる、多タップのAPFであるため、分離部２０２の２次元LPF２４１は、結局、拡大部２０１の２次元フィルタ２１３と同一の、フィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタとなっている。
【０７４３】
ここで、図３４の画像処理装置における入力画像、０値補間画像、拡大画像、位置合わせ画像、及び、出力画像の水平方向と垂直方向それぞれの周波数特性は、第１実施の形態（図９ないし図１４）における入力画像、０値補間画像、拡大画像、位置合わせ画像、及び、出力画像の垂直方向の周波数特性と同一であるため、その説明は、省略する。
【０７４４】
図３４の画像処理装置によれば、水平方向と垂直方向の折り返し成分を含む入力画像について、図９の画像処理装置の場合と同様に、柔軟な高解像度化を図ることができる。
【０７４５】
なお、図３４の画像処理装置でも、第４実施の形態（図１７ないし図２８）と同様に、拡大部２０１での入力画像の水平方向及び垂直方向の拡大率を、２倍ではなく、４倍以上とし、拡大画像と出力画像の位置合わせを行うためのフィルタ（位置合わせ部２４のフィルタ）を、少ないタップ数のフィルタで構成することが可能である。
【０７４６】
この場合、図３４の画像処理装置では、図１７の画像処理装置で垂直方向に行われる処理が、水平方向と垂直方向のそれぞれに対して行われる。
【０７４７】
また、図３４の画像処理装置のように、水平方向と垂直方向の折り返し成分を含む入力画像を対象とした処理は、例えば、図２９や、図３２、図３３等の画像処理装置でも、２次元フィルタを採用することで行うことが可能である。
【０７４８】
図３４の画像処理装置は、例えば、高画質の静止画と動画が撮影可能な３板式のディジタルスチルカメラ等に適用することができる。
【０７４９】
［第１０実施の形態］
【０７５０】
図３９は、本発明を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。
【０７５１】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０７５２】
図９の画像処理装置は、記憶部２１、動き検出部２２、位置合わせ部２４、混合部２５、加算部２６、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。
【０７５３】
但し、図３４の画像処理装置は、拡大部２３に代えて拡大部２６１が設けられ、分離部２７に代えて、分離部２６２が設けられている点で、図９の画像処理装置と相違する。
【０７５４】
例えば、カラーの画像を出力する単板式のディジタルカメラでは、撮像素子で得られる画像は、１画素が、１つの色成分を画素値として有する、例えば、ベイヤ配列の画像になっている。
【０７５５】
ベイヤ配列の画像では、１ライン目に、G成分の画素とB成分の画素とが交互に配置され、２ライン目に、R成分の画素とG成分の画素とが交互に配置され、以下、１ライン目と２ライン目の画素の配置が繰り返される。なお、ベイヤ配列の画像では、人の視覚の特性に基づき、G成分の画素が、R成分の画素やB成分の画素の２倍の数だけある。
【０７５６】
折り返し成分のないベイヤ配列の画像の、ある１つの色成分に注目すると、その注目色成分の画素は、飛び飛びに配置されており、注目色成分の画素から構成される画像は、多くの折り返し成分を含む。
【０７５７】
図３９の画像処理装置では、ベイヤ配列の画像から得られる、G成分の画素だけからなる画像（以下、G画像ともいう）、B成分の画素だけからなる画像（以下、B画像ともいう）、及び、R成分の画素だけからなる画像（以下、R画像ともいう）のそれぞれが、別個に処理され、これにより、折り返し成分が除去され、かつ、高解像度化されたG画像、B画像、及び、R画像が生成される。
【０７５８】
すなわち、図３９の画像処理装置では、記憶部２１に対して、ベイヤ配列の画像が、入力画像として供給されて記憶される。
【０７５９】
そして、動き検出部２２では、記憶部２１に記憶された入力画像の画素のうちの、例えば、最も画素数が多いG成分の画素を用いて、位置合わせのための動きベクトル（グローバル動きベクトル）が求められる。
【０７６０】
すなわち、動き検出部２２は、入力画像の画素のうちの、G成分の画素以外の画素（B成分の画素、及び、R成分の画素）をゼロ点に置換する。この置換後の入力画像は、多くの折り返し成分を含むため、動き検出部２２は、置換後の入力画像をフィルタリングすることで、折り返し成分を含まない、直流に近い周波数成分だけからなる画像を生成し、その画像を、図１０で説明した基準画像及び比較画像として用いて、動きベクトルを求める。
【０７６１】
この動きベクトルは、G画像、B画像、及び、R画像の位置合わせに共通して用いられる。
【０７６２】
図３９の画像処理装置では、以下、拡大部２６１、位置合わせ部２４ないし加算部２６、分離部２６２、及び、記憶部２８において、図９の拡大部２３ないし記憶部２８と同様の処理が、G画像、B画像、及び、R画像のそれぞれについて行われる。
【０７６３】
まず、B画像の処理について説明する。
【０７６４】
なお、B画像とR画像とは、画素の位置が平行移動により一致する画像、すなわち、画素の配置のパターンが同一の画像である。したがって、R画像の処理は、以下説明するB画像の処理と同様であるので、R画像の処理については、説明を省略する。
【０７６５】
図４０は、図３９の拡大部２６１がB画像について行う処理を説明する図である。
【０７６６】
図４０Ａは、ベイヤ配列の画像を示している。
【０７６７】
ベイヤ配列の画像では、１ライン目に、G成分の画素とB成分の画素とが交互に配置され、２ライン目に、R成分の画素とG成分の画素とが交互に配置され、以下、１ライン目と２ライン目の画素の配置が繰り返される。
【０７６８】
図４０Ｂは、図４０Ａのベイヤ配列の画像のうちの、B成分の画素の配置を示している。
【０７６９】
B成分の画素は、ベイヤ配列の画像において、水平方向と垂直方向のいずれの方向にも１画素おきに配置されており、このようなB成分の画素からなるB画像には、水平方向と垂直方向の多くの（強い）折り返し成分が含まれる。
【０７７０】
なお、図４０Ｂにおいて、白丸印が、B成分の画素を表し、黒丸印が、他の色成分の画素を表す。
【０７７１】
拡大部２６１（図３９）は、B画像の水平方向に隣接する画素どうしの間に１個のゼロ点を挿入する０値補間を行い、さらに、その０値補間後のB画像の垂直方向に隣接する画素どうしの間に１個のゼロ点を挿入する０値補間を行う。
【０７７２】
すなわち、拡大部２６１は、図４０Ｂにおいて黒丸印で示す、B成分以外の色成分の画素の位置にゼロ点を挿入する０値補間によって、水平方向と垂直方向の画素数が、それぞれ元のB画像の２倍になった０値補間画像を生成する。
【０７７３】
なお、拡大部２６１では、０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。すなわち、拡大部２６１は、０値補間画像の画素のうちの、B画像の元の画素の画素値を、４倍にする。
【０７７４】
拡大部２６１で得られるB画像の０値補間画像は、B画像の水平方向と垂直方向の画素数が、それぞれ２倍になるから、元のベイヤ配列の画像と同一のサイズ（画素数）となる。いま、B画像の水平方向及び垂直方向のサンプリング周波数（B成分の画素のサンプリング周波数）を、周波数fsとすると、そのB画像の０値補間画像のサンプリング周波数は、水平方向及び垂直方向のいずれも、元のB画像のサンプリング周波数fsの２倍の周波数2fsとなる。
【０７７５】
図４０Ｃは、B画像の０値補間画像の周波数特性を示している。
【０７７６】
図４０Ｃにおいて、横軸は、水平方向の周波数（水平周波数）を表し、縦軸は、垂直方向の周波数（垂直周波数）を表す。
【０７７７】
また、図４０Ｃにおいて、実線部分は、信号成分を表し、点線部分は、折り返し成分を表す。
【０７７８】
０値補間画像では、B画像の信号成分の高周波数成分が復元されているが、折り返し成分も発生しており、信号成分と折り返し成分とが混在している。
【０７７９】
その後、拡大部２６１は、０値補間画像を、例えば、フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタでフィルタリングすることで、B画像の拡大画像を生成する。
【０７８０】
図４０Ｄは、B画像の０値補間画像から生成された拡大画像を示している。
【０７８１】
図４０Ｄにおいて、画素A,B,C,D,E,Fは、元のB画像の画素であり、他の画素が、ゼロ点が挿入された位置の画素である。
【０７８２】
図４０Ｄにおいて、画素Aの下に隣接する画素a1、右に隣接する画素a2、及び、右斜め下に隣接する画素a3の画素値は、すべて、画素Aの画素値と同一になる。同様に、アルファベットの小文字で表す画素の画素値は、同一のアルファベットの大文字で表す画素の画素値と同一になる。
【０７８３】
したがって、拡大部２６１では、実質的に、B画像の２次元の最近傍補間が行われることによって、B画像の水平方向と垂直方向のそれぞれの画素数を２倍にした拡大画像が生成される。
【０７８４】
以上のような、水平方向と垂直方向のそれぞれの画素数を２倍にする最近傍補間では、その最近傍補間によって生成される画素（図４０Ｄの画素ai等の、アルファベットの小文字で表される画素）は、元のB画像の水平方向、垂直方向、又は、水平方向と垂直方向の両方に、半画素分（水平（垂直）方向に隣接する画素どうしの距離の1/2）だけずれた位置に生成される。
【０７８５】
したがって、拡大画像の画素は、図４０Ｅに小さい白丸印で示すように、元のB画像の画素を中心として、その画素から、水平方向と垂直方向の両方に、半画素分だけずれた４カ所の位置にあると考えることができる。
【０７８６】
なお、図４０Ｅにおいて、画素A,B,C,D,E,Fは、元のB画像の画素である。また、図４０Ｅにおいて、画素Aから左上方向に半画素分だけずれた位置の画素a1、右上方向に半画素分だけずれた位置の画素a2、左下方向に半画素分だけずれた位置の画素a3、及び、右下方向に半画素分だけずれた位置の画素a4の、４個の画素の画素値は、すべて、画素Aの画素値と同一である。同様に、図４０Ｅにおいて、アルファベットの小文字で表す画素の画素値は、同一のアルファベットの大文字で表す画素の画素値と同一である。
【０７８７】
ここで、図３９の画像処理装置において、上述した高解像度化原理に基づき、入力画像（B画像）の水平方向及び垂直方向の折り返し成分が除去され、かつ、高解像度化された出力画像を生成するには、分離部２６２のフィルタは、拡大部２６１のフィルタと、位置合わせ部２４のフィルタである水平多タップAPF７１及び垂直多タップAPF７２（図１３）とを縦続接続した縦続接続フィルタと同一又は類似の特性を有する必要がある。
【０７８８】
そして、位置合わせ部２４の水平多タップAPF７１及び垂直多タップAPF７２（図１３）は、上述したように、拡大画像に含まれる周波数成分すべてを通過させる、多タップのAPFであるため、分離部２６２のフィルタは、結局、拡大部２６１のフィルタと同一又は類似の特性を有する必要がある。
【０７８９】
一方、拡大部２６１において、最近傍補間を行う、フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタによるフィルタリングによって生成される、B画像の拡大画像の画素は、図４０Ｅで説明したように、元のB画像の画素を中心として、その画素から、水平方向と垂直方向の両方に、半画素分だけずれた位置にある（と考えることができる）。
【０７９０】
図４０Ｅの拡大画像を生成するための最近傍補間は、例えば、フィルタ係数が{1/2,1/2}のフィルタによる、水平方向のフィルタリングと、垂直方向のフィルタリングによって行うことができる。
【０７９１】
すなわち、拡大部２６１において、図４０Ｅに示した、元のB画像の画素を中心として、その画素から、水平方向と垂直方向の両方に、半画素分だけずれた位置に画素がある拡大画像が生成されることとすると、拡大部２６１のフィルタは、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットになる。
【０７９２】
フィルタ係数が{1/2,1/2}の、２タップのフィルタで画像をフィルタリングした場合、そのフィルタリングの結果得られる画像の画素は、元の画像（フィルタリング前の画像）の画素の位置から、半画素分だけずれる。
【０７９３】
したがって、分離部２６２のフィルタとして、拡大部２６１のフィルタと同一の、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットを採用すると、分離部２６２のフィルタが出力画像をフィルタリングすることにより得られる画像（出力画像の低周波数成分）の画素の位置が、水平方向と垂直方向の両方に、半画素分だけずれるので、混合加算にあたって、再度、位置合わせをする必要が生じる。
【０７９４】
そこで、図３９の画像処理装置では、分離部２６２のフィルタとして、フィルタ係数が{1/2,1/2}のフィルタではなく、そのフィルタと類似するフィルタ特性のフィルタであり、かつ、フィルタリングの結果得られる画像の画素の位置を、フィルタリング前の画像のままずらさないフィルタが用いられる。
【０７９５】
ここで、フィルタ係数が{1/2,1/2}のフィルタと類似するフィルタ特性のフィルタで、画素の位置をずらさないフィルタとしては、例えば、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の５タップのフィルタがある。
【０７９６】
図３９の画像処理装置では、分離部２６２のフィルタとして、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の水平LPF及び垂直LPFのセットが採用されており、これにより、上述の高解像度化原理に基づき、B画像の水平方向及び垂直方向の折り返し成分が除去され、かつ、高解像度化された出力画像が生成される。
【０７９７】
すなわち、図３９の画像処理装置でも、図９の画像処理装置と同様に、B画像の、柔軟な高解像度化を図ることができる。
【０７９８】
なお、図３９の画像処理装置では、拡大部２６１において最近傍補間によって拡大画像を生成することとしたが、拡大画像の生成は、図９の場合と同様に、最近傍補間以外の、例えば、線形補間等によって行うことが可能である。
【０７９９】
図４１は、図３９の拡大部２６１の構成例を示している。
【０８００】
図４１において、拡大部２６１は、補間部２７１及び２７２、並びに、２次元LPF２７３から構成される。
【０８０１】
補間部２７１には、記憶部２１に記憶された入力画像のうちの、B成分の画素だけで構成されるB画像が供給される。補間部２７１は、記憶部２１からのB画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる画像を、補間部２７２に供給する。
【０８０２】
補間部２７２は、補間部２７１からの画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる、B画像の水平方向と垂直方向のそれぞれの画素数を２倍にした０値補間画像を、２次元LPF２７３に供給する。
【０８０３】
２次元LPF２７３は、例えば、上述したフィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタであり、補間部２７２からの０値補間画像を、水平方向及び垂直方向にフィルタリングし、その結果得られる拡大画像を、位置合わせ部２４（図３９）に供給する。
【０８０４】
次に、図４２を参照して、図３９の拡大部２６１の他の構成例について説明する。
【０８０５】
図４２Ａは、図３９の拡大部２６１の他の構成例を示すブロック図である。
【０８０６】
なお、図中、図４１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８０７】
すなわち、図４２Ａの拡大部２６１は、補間部２７１及び２７２が設けられている点で、図４１の場合と一致する。
【０８０８】
但し、図４２Ａの拡大部２６１は、２次元LPF２７３が設けられておらず、水平LPF２８１及び垂直LPF２８２が新たに設けられている点で、図４１の場合と相違する。
【０８０９】
図４２Ａでは、補間部２７１において生成された、B画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行って得られる０値補間画像が、水平LPF２８１に供給される。
【０８１０】
水平LPF２８１は、例えば、フィルタ係数が{1/2,1/2,0}のLPFであり、補間部２７１からの０値補間画像を、水平方向にフィルタリングし、その結果得られる画像を、補間部２７２に供給する。
【０８１１】
補間部２７２では、水平LPF２８１からの画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間が行われ、その結果得られる０値補間画像が、垂直LPF２８２に供給される。
【０８１２】
垂直LPF２８２は、例えば、フィルタ係数が{1/2,1/2,0}のLPFであり、補間部２７２からの０値補間画像を、垂直方向にフィルタリングし、その結果得られる拡大画像を、位置合わせ部２４（図３９）に供給する。
【０８１３】
図４２Ｂは、フィルタ係数が{1/2,1/2,0}のLPFでの水平方向のフィルタリングと、垂直方向のフィルタリングとを同時に行う２次元フィルタのフィルタ係数を示している。
【０８１４】
フィルタ係数が{1/2,1/2,0}のLPFでの水平方向のフィルタリングと、垂直方向のフィルタリングとを同時に行う２次元フィルタのフィルタ係数は、{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}であり、したがって、水平LPF２８１による水平方向のフィルタリングと、垂直LPF２８２による垂直方向のフィルタリングとによって、図４１の２次元LPF２７３と同様のフィルタリングが行われる。
【０８１５】
すなわち、図４１の拡大部２６１のフィルタである２次元LPF２７３と、図４２Ａの拡大部２６１のフィルタである水平LPF２８１及び垂直LPF２８２の組み合わせとは、同一のフィルタである。
【０８１６】
次に、図４３を参照して、図３９の分離部２６２の処理について説明する。
【０８１７】
図４３Ａは、図３９の分離部２６２の構成例を示している。
【０８１８】
なお、図中、図１４の分離部２７と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８１９】
すなわち、図３９の分離部２６２は、演算部８２が設けられている点で、図１４の分離部２７と一致し、垂直LPF８１に代えてLPF部３０１が設けられている点で、図１４の分離部２７と相違する。
【０８２０】
上述した高解像度化原理に基づき、入力画像の折り返し成分が除去され、かつ、高解像度化された出力画像を生成するには、分離部２６２のフィルタであるLPF部３０１は、拡大部２６１のフィルタである２次元LPF２１３（図４１）と、位置合わせ部２４のフィルタである水平多タップAPF７１及び垂直多タップAPF７２（図１３）とを縦続接続した縦続接続フィルタと同一又は類似の特性を有するフィルタである必要がある。
【０８２１】
ここで、位置合わせ部２４の水平多タップAPF７１及び垂直多タップAPF７２（図１３）は、上述したように、拡大画像に含まれる周波数成分すべてを通過させる、多タップのAPFであるため、分離部２６２のLPF部３０１は、結局、拡大部２６１のフィルタと同一又は類似のフィルタ特性のフィルタであればよい。
【０８２２】
但し、拡大部２６１において、図４０Ｅに示した、元のB画像の画素を中心として、その画素から、水平方向と垂直方向の両方に、半画素分だけずれた位置に画素がある拡大画像が生成されると考えると、拡大部２６１のフィルタは、図４０で説明したように、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットになる。
【０８２３】
分離部２６２のフィルタであるLPF部３０１として、拡大部２６１のフィルタである、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットと同一のフィルタ特性のフィルタを採用する場合、図４０で説明したように、LPF部３０１でのフィルタリングの結果得られる画像の画素は、元の画像（フィルタリング前の画像）の画素の位置から、半画素分だけずれる。
【０８２４】
この場合、LPF部３０１でのフィルタリングの結果得られる画像の画素の位置ずれを直す位置合わせが必要となる。
【０８２５】
そこで、図４３Ａでは、分離部２６２のフィルタであるLPF部３０１として、拡大部２６１のフィルタである、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットと同一のフィルタ特性のフィルタであり、かつ、フィルタリングの結果得られる画像の画素の位置を、フィルタリング前の画像のままずらさないフィルタが採用されている。
【０８２６】
すなわち、LPF部３０１は、水平LPF３１１及び垂直LPF３１２から構成される。
【０８２７】
水平LPF３１１は、フィルタ係数が{1/2,1/2}のフィルタと類似するフィルタ特性のフィルタで、画素の位置をずらさない、例えば、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の５タップのフィルタである。水平LPF３１１は、記憶部２８から供給される出力画像Sn-1を水平方向にフィルタリングし、そのフィルタリングの結果られる画像を、垂直LPF３１２に供給する。
【０８２８】
垂直LPF３１２は、水平LPF３１１と同様に、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の５タップのフィルタであり、水平LPF３１１からの画像を、垂直方向にフィルタリングし、その結果得られる出力画像Sn-1の低周波数成分Lnを、演算部８２と、混合部２５に供給する。
【０８２９】
図４３Ｂは、水平LPF３１１及び垂直LPF３１２である、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}のフィルタのフィルタ特性を示している。
【０８３０】
ここで、図４３Ｂには、フィルタ係数が{1/2,1/2}のフィルタのフィルタ特性も併せて示してある。
【０８３１】
フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}のフィルタと、フィルタ係数が{1/2,1/2}のフィルタとは、高域の特性が多少異なるものの、低域及び中域の特性がほぼ一致しており、したがって、全体として、類似する。
【０８３２】
なお、図４３Ａでは、LPF部３０１を、いずれも、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の５タップのフィルタである水平LPF３１１及び垂直LPF３１２で構成することとしたが、LPF部３０１は、水平LPF３１１による水平方向のフィルタリングと、垂直LPF３１２による垂直方向のフィルタリングとを同時に行う２次元LPFで構成することが可能である。
【０８３３】
但し、LPF部３０１を、水平LPF３１１及び垂直LPF３１２のセットと同一のフィルタリングを行う２次元LPFで構成する場合には、その２次元LPFは、２５タップのフィルタとなる。したがって、LPF部３０１を、２次元LPFで構成する場合、LPF部３０１を、水平LPF３１１及び垂直LPF３１２で構成する場合に比較して、フィルタリングによる演算量が増加する。
【０８３４】
次に、図４４を参照して、図３９の画像処理装置が行う、B画像に対する処理について、さらに説明する。
【０８３５】
なお、図４４は、画像及びフィルタの水平方向の周波数特性を示すが、垂直方向の周波数特性も、水平方向の周波数特性と同様である。
【０８３６】
図４４Ａは、入力画像のうちの、B成分の画素だけから構成されるB画像の周波数特性を示している。
【０８３７】
B画像では、ナイキスト周波数fs/2以下に、信号成分と折り返し成分とが混在する。
【０８３８】
図４４Ｂは、図４４ＡのB画像に対し、拡大部２６１（図３９）で０値補間を行うことにより得られる０値補間画像の周波数特性を示している。
【０８３９】
０値補間によって、高域fs/2ないしfsの信号成分が復元されるが、高域fs/2ないしfsの折り返し成分も発生する。
【０８４０】
図４４Ｃは、拡大部２６１のフィルタである２次元LPF２７３（図４１）のフィルタ特性を示しており、図４４Ｄは、拡大部２６１で得られる拡大画像の周波数特性を示している。
【０８４１】
図４４Ｂの０値補間画像は、拡大部２６１において、図４４Ｃのフィルタ特性の２次元LPF２７３でフィルタリングされることにより、高域fs/2ないしfsの周波数成分（信号成分、及び、折り返し成分）が減衰した、図４４Ｄに示す周波数特性の拡大画像となる。
【０８４２】
図４４Ｅは、位置合わせ部２４（図３９）のフィルタである水平多タップAPF７１（図１３）のフィルタ特性を示しており、図４４Ｆは、位置合わせ部２４で得られる位置合わせ画像の周波数特性を示している。
【０８４３】
図１３で説明したように、位置合わせ部２４の水平多タップAPF７１は、拡大画像に含まれる水平方向の周波数成分すべてをなるべく通過させる、周波数特性がなるべくフラットなフィルタになっている。
【０８４４】
したがって、位置合わせ部２４において、図４４Ｄの拡大画像の位置合わせとしての、水平多タップAPF７１でのフィルタリングによって得られる位置合わせ画像は、（理想的には、）図４４Ｄの拡大画像と同一の周波数特性の画像となる。
【０８４５】
図４４Ｇは、分離部２６２（図３９）のフィルタである水平LPF３１１（図４３）のフィルタ特性を示している。
【０８４６】
水平LPF３１１のフィルタ特性は、図４４Ｃの拡大部２６１のフィルタ特性（図４４Ｇにおいて点線で示す）に類似する特性になっている。
【０８４７】
図４４Ｈは、加算部２６（図３９）で得られる出力画像の周波数特性を示している。
【０８４８】
混合部２５及び加算部２６（図３９）において、B画像を対象とした混合加算が繰り返し行われることにより、上述の高解像度化原理に基づき、B画像の高域fs/2ないしfsの信号成分が復元され、かつ、折り返し成分が除去された出力画像が生成される。
【０８４９】
次に、図３９の画像処理装置が、ベイヤ配列の画像から得られるG画像に対して行う処理について説明する。
【０８５０】
図４５Ａは、ベイヤ配列の画像（図４０Ａ）のうちの、G成分の画素の配置を示している。
【０８５１】
G成分の画素は、ベイヤ配列の画像において、斜め方向に、１ラインおきに配置されており、このようなG成分の画素からなるG画像には、水平方向と垂直方向の多くの（強い）折り返し成分が含まれる。
【０８５２】
なお、図４５Ａにおいて、白丸印が、G成分の画素を表し、黒丸印が、他の色成分の画素を表す。
【０８５３】
G画像を、左（又は右）に45度だけ回転させると、G成分の画素は、格子状に並んでいるとみなすことができる。
【０８５４】
45度だけ回転した状態のG画像の水平方向に隣接する画素どうしの間隔（及び垂直方向に隣接する画素どうしの間隔）は、G画像の水平方向及び垂直方向のサンプリング周波数fsに対応する。
【０８５５】
拡大部２６１（図３９）は、図４５Ａに示した、G成分の画素以外の画素（B成分の画素と、R成分の画素）の位置に、ゼロ点を挿入する０値補間を行い、G画像の２倍の画素数の０値補間画像を生成する。
【０８５６】
なお、拡大部２６１では、０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。すなわち、拡大部２６１は、０値補間画像の画素のうちの、G画像の元の画素の画素値を、２倍にする。
【０８５７】
拡大部２６１で得られるG画像の０値補間画像は、上述のように、G画像の２倍の画素数を有し、元のベイヤ配列の画像と同一のサイズ（画素数）となる。そして、G画像の０値補間画像のサンプリング周波数は、水平方向及び垂直方向のいずれも、元のG画像のサンプリング周波数fsの√２倍の周波数(√2)fsとなる。
【０８５８】
図４５Ｂは、G画像の０値補間画像の周波数特性を示している。
【０８５９】
図４５Ｂにおいて、横軸は、水平方向の周波数（水平周波数）を表し、縦軸は、垂直方向の周波数（垂直周波数）を表す。
【０８６０】
また、図４５Ｂにおいて、実線部分は、信号成分を表し、点線部分は、折り返し成分を表す。
【０８６１】
０値補間画像では、G画像の信号成分の高周波数成分が復元されているが、折り返し成分も発生しており、信号成分と折り返し成分とが混在している。
【０８６２】
その後、拡大部２６１は、０値補間画像を、例えば、B画像を処理する場合と同一の、フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタでフィルタリングすることで、G画像の拡大画像を生成する。
【０８６３】
フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタによる、G画像の０値補間画像のフィルタリングによれば、図４５Ａに黒丸印で示した、ゼロ点が挿入された位置、つまり、B成分の画素と、R成分の画素の位置に、画素値が線形補間される。すなわち、元のG画像の水平方向、又は、垂直方向に、半画素分（水平（垂直）方向に隣接する画素どうしの距離の1/2）だけずれた位置に、画素値が線形補間される。
【０８６４】
したがって、G画像の拡大画像の画素は、図４５Ｃに小さい白丸印で示すように、元のG画像の斜め方向に隣接する画素どうしの間の位置（G画像の画素の水平方向と垂直方向の両方に、半画素分だけずれた位置）にあると考えることができ、この場合、図４０Ｅに示した、B画像（及びR画像）の拡大画像の画素の位置と一致する。
【０８６５】
ここで、図４５Ｃにおいて、画素A,B,C,D,E,F,G,H,I,J,K,Lは、元のG画像の画素である。また、図４５Ｃにおいて、例えば、画素Aと、斜め右下方向に隣接する画素Dとの間の拡大画像の画素#1の画素値は、画素AとDの画素値の平均値((A+D)/2)である。さらに、例えば、画素Bと、斜め左下方向に隣接する画素Dとの間の拡大画像の画素#2の画素値は、画素BとDの画素値の平均値((B+D)/2)である。拡大画像の他の画素の画素値も同様である。
【０８６６】
図３９の画像処理装置では、G画像を処理する場合に、拡大部２６１のフィルタ（２次元LPF２７３（図４１））として、B画像（及びR画像）を処理する場合と同一の、フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタを用いることができるので、分離部２６２のフィルタ（水平LPF３１１及び垂直LPF３１２（図４３））としても、B画像を処理する場合と同一の、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}のフィルタを用いることができる。
【０８６７】
そして、図３９の画像処理装置では、上述の高解像度化原理に基づき、G画像の水平方向及び垂直方向の折り返し成分が除去され、かつ、高解像度化された出力画像が生成される。
【０８６８】
すなわち、図３９の画像処理装置でも、図９の画像処理装置と同様に、G画像の、柔軟な高解像度化を図ることができる。
【０８６９】
なお、図３９の画像処理装置では、ベイヤ配列の画像のR画像、G画像、及びB画像を処理して得られる、R成分の出力画像、G成分の出力画像、及び、B成分の出力画像のそれぞれの、同一の位置の画素の画素値としてのR成分、G成分、及び、B成分を集めることで、RGBの３つの色成分を画素値として有するカラー画像を生成して出力することができる。
【０８７０】
すなわち、図３９の画像処理装置では、デモザイク処理を行うことができる。
【０８７１】
以上のように、図３９の画像処理装置によれば、ベイヤ配列の画像である入力画像について、図９の画像処理装置の場合と同様に、柔軟な高解像度化を図ることができる。
【０８７２】
なお、図３９の画像処理装置のように、ベイヤ配列の画像を対象とした処理は、例えば、図２９や、図３２、図３３等の画像処理装置でも、２次元フィルタ等を採用することで行うことが可能である。
【０８７３】
図３９のの画像処理装置は、例えば、高画質の静止画と動画が撮影可能な単板式のディジタルカメラ等に適用することができる。
【０８７４】
以上のように、画像処理装置では、上述の高解像度化原理に基づく処理が行われるので、すなわち、入力画像を、周辺の画素値を用いた補間によって拡大し、入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う一方、直前に得られた出力画像を、低周波数成分と高周波数成分とに分離し、拡大画像に対して、低周波数成分を混合し、高周波数成分を加算する混合加算を行うことで、新たな出力画像を生成するので、画像の、柔軟な高解像度化を図ることができる。
【０８７５】
すなわち、最近傍補間や線形補間で生成した拡大画像を、重み付け加算するだけでは、高域の信号成分を復元することはできない。
【０８７６】
これに対して、高解像度化原理に基づく処理を行う画像処理装置では、低周波数成分を混合（重み付け加算）し、高周波数成分を加算するので、高解像度化原理に基づき、高解像度の出力画像を生成することができる。
【０８７７】
例えば、入力画像が複数枚ある場合には、入力画像の枚数が多いほど、折り返し成分が低減され、かつ、ナイキスト周波数以上の高周波数成分が復元された高解像度の出力画像を得ることができる。すなわち、入力画像が少ない枚数しかない場合には、ある程度の画質の出力画像を生成することができ、入力画像が十分な枚数だけある場合には、折り返し成分が十分に低減され、かつ、ナイキスト周波数以上の高周波数成分が十分に復元された高解像度の出力画像を生成することができる。
【０８７８】
また、１枚の入力画像しかない場合であっても、拡大画像が、線形補間等の、入力画像の周辺の画素を用いた補間によって生成されるので、ユーザに提供される出力画像の画質としては、実用的に耐え得る画質、すなわち、線形補間等によって得られる画像の画質が保証される。
【０８７９】
なお、従来の高解像度技術では、入力画像として、１枚の画像しかない場合には、図６及び図７で説明したように、黒の縞模様が存在する画像が、ユーザに提供されることになる。
【０８８０】
また、入力画像として、複数枚の画像がある場合でも、その複数枚の入力画像が、例えば、インタレース画像の連続する複数フィールドの画像であり、各フィールドの画像が、直前のフィールドの画像に対して、奇数のライン数だけ、垂直方向にずれた、いわば特殊な画像であるときには、画像を構成する画素でサンプリングされている被写体上の点は、各フィールドで同一となる。この場合、複数枚の入力画像があっても、その情報量は、１枚の入力画像と変わらないので、従来の高解像度化技術では、入力画像が１枚の画像しかない場合と同様に、黒の縞模様が存在する画像が、ユーザに提供される。
【０８８１】
これに対して、高解像度化原理に基づく処理を行う画像処理装置では、複数枚の入力画像が、上述のような特殊な画像であっても、ユーザに提供される出力画像の画質としては、線形補間等によって得られる画像の画質が保証される。
【０８８２】
ここで、複数枚の入力画像が、上述のような特殊な画像となるケースは、極めて稀なケースであるが、それでも、入力画像が、２枚や３枚等の少ない枚数である場合には、複数枚の入力画像が特殊な画像となる可能性が高くなる。
【０８８３】
また、高解像度化原理に基づく画像処理装置では、１方向の折り返し成分を含む入力画像はもちろん、２方向の折り返し成分を含む入力画像についても、画像の高解像度化を図ることができる。
【０８８４】
さらに、高解像度化原理に基づく画像処理装置では、例えば、ベイヤ配列の画像の高解像度化を行うことができ、入力画像が、静止画及び動画のうちのいずれであっても、入力画像の高解像度化を行うことができる。
【０８８５】
すなわち、例えば、ディジタルカメラには、３原色(RGB)であるR,G,Bのそれぞれ用の撮像素子を有する３板式のディジタルカメラと、１つの撮像素子において、R,G,Bそれぞれの光を受光する画素を分ける単板式のディジタルカメラとがある。単板式のディジタルカメラでは、撮像素子の画素の配列として、ベイヤ配列が広く用いられている。ベイヤ配列の画像は、１画素がRGBの３つの色成分のうちのいずれか１つの色成分だけを画素値として有する画像であり、そのような画像については、RGBの３つの色成分を各画素の画素値として有する画像に変換するデモザイク処理を行う必要がある。高解像度化原理に基づく画像処理装置では、そのような、ベイヤ配列の画像のデモザイク処理を行うことができる。
【０８８６】
また、近年のディジタルカメラの中には、静止画と動画の両方を撮影することができる製品がある。高解像度化原理に基づく画像処理装置では、入力画像が静止画である場合には、入力画像（拡大画像）を移動する位置合わせを行うことで、静止画の高解像度化を行うことができる。さらに、高解像度化原理に基づく画像処理装置では、入力画像が動画である場合には、出力画像を移動する位置合わせを行うことで、動画の高解像度化を行うこともできる。その他、高解像度化原理に基づく画像処理装置では、例えば、図３３に示したように、いわば、拡大部２３等のブロックを共有して、静止画と動画の高解像度化を、切り換えて（選択して）行うことができる。
【０８８７】
ここで、入力画像が動画である場合には、高解像度化原理に基づく画像処理装置は、上述したように、出力画像を移動する位置合わせを行う。さらに、高解像度化原理に基づく画像処理装置は、その位置合わせ後の出力画像と、入力画像を拡大した拡大画像との混合加算（動画用混合加算）を行い、その混合加算の結果得られる新たな出力画像を、入力画像に対応する出力画像として出力する。したがって、入力画像に対応する出力画像の出力が、１回の混合加算ごとに行われる。
【０８８８】
一方、入力画像が静止画である場合には、高解像度化原理に基づく画像処理装置は、上述したように、入力画像（拡大画像）を移動する位置合わせを行う。さらに、高解像度化原理に基づく画像処理装置は、その位置合わせ後の拡大画像と、出力画像との混合加算（静止画用混合加算）を行い、その混合加算の結果得られる新たな出力画像を得る。そして、高解像度化原理に基づく画像処理装置は、静止画用混合加算を、記憶部２１に記憶された複数の入力画像すべてを対象として繰り返し行い、最終的に得られた新たな出力画像を、記憶部２１に記憶された複数の入力画像に対応する出力画像として出力する。したがって、入力画像に対応する出力画像の出力が、記憶部２１に記憶された複数の入力画像を対象とした複数回の混合加算後に行われる。
【０８８９】
以上から、入力画像が動画である場合には、入力画像が静止画である場合に比較して、高解像度化原理に基づく画像処理装置が１枚の出力画像を出力するのに行われる演算の演算量が少ない。
【０８９０】
なお、入力画像が、動画である場合（動体が映っている静止画である場合も同様）、高解像度化原理に基づく画像処理装置では、動きがある部分については、少ない枚数の入力画像（拡大画像）が混合加算され、動きがない部分については、多くの枚数の入力画像が混合加算される。したがって、動きがある部分については、線形補間等によって得られる画像の画質以上の画質の画像が得られ、動きがない部分については、折り返し成分が低減され、かつ、高周波数成分が復元された高解像度の画像が得られる。
【０８９１】
一方、動き検出処理、広帯域補間処理、及び、加重和処理を行う従来の高解像度化技術では、加重和処理で混合（重み付け加算）を行うフレーム数があらかじめ決まっているので（決めておく必要があるので）、加重和処理で混合を行うフレーム数を、動きがある部分と動きがない部分とで変えることはできない。
【０８９２】
以上のような、高解像度化原理に基づく画像処理装置は、例えば、TVや、ディジタルビデオカメラ、ディジタルスチルカメラ等に適用することができる。
【０８９３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０８９４】
そこで、図４６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０８９５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
【０８９６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０８９７】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０８９８】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０８９９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０９００】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０９０１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０９０２】
【図１】従来の高解像度化技術を説明する図である。
【図２】本発明を適用した画像処理装置の概要を示すブロック図である。
【図３】画像処理装置で行われる画像処理（高解像度化処理）を説明するフローチャートである。
【図４】折り返し成分を含まない入力画像の垂直方向の画素数を、元の２倍の数にする拡大処理を説明する図である。
【図５】折り返し成分を含まない入力画像の垂直方向の画素数を、元の４倍の数にする拡大処理を説明する図である。
【図６】折り返し成分を含む入力画像の垂直方向の画素数を、元の２倍の数にする拡大処理を説明する図である。
【図７】折り返し成分を含む入力画像の垂直方向の画素数を、元の４倍の数にする拡大処理を説明する図である。
【図８】最近傍補間を行うためのフィルタのフィルタ特性を示す図である。
【図９】本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図１０】動き検出部２２の構成例を示すブロック図である。
【図１１】ブロックマッチング部４５の処理を説明する図である。
【図１２】拡大部２３の処理を説明する図である。
【図１３】位置合わせ部２３の処理を説明する図である。
【図１４】分離部２７の処理を説明する図である。
【図１５】本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１６】本発明を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図１７】本発明を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【図１８】拡大部１１１が行う処理を説明する図である。
【図１９】フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFのフィルタ特性を示す図である。
【図２０】拡大部１１１、及び、位置合わせ部１１２の構成例を示すブロック図である。
【図２１】拡大部１１１の、画像の水平方向に関して行われる処理を説明する図である。
【図２２】位置合わせ部１１２の、画像の水平方向に関して行われる処理を説明する図である。
【図２３】拡大部１１１の、画像の垂直方向に関して行われる処理を説明する図である。
【図２４】位置合わせ部１１２の、画像の垂直方向に関して行われる処理を説明する図である。
【図２５】垂直キュービック補間フィルタ１４２の、より詳細な周波数特性を示す図である。
【図２６】分離部１１３の処理を説明する図である。
【図２７】垂直LPF１５１のフィルタ特性を説明する図である。
【図２８】出力画像の周波数特性を示す図である。
【図２９】本発明を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。
【図３０】動き検出部１７１の構成例を示すブロック図である。
【図３１】本発明を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。
【図３２】本発明を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。
【図３３】本発明を適用した画像処理装置の第８実施の形態の構成例を示すブロック図である。
【図３４】本発明を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。
【図３５】拡大部２０１の処理を説明する図である。
【図３６】拡大部２０１の構成例を示すブロック図である。
【図３７】拡大部２０１の他の構成例を説明する図である。
【図３８】分離部２０２の構成例を示すブロック図である。
【図３９】本発明を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。
【図４０】拡大部２６１がB画像について行う処理を説明する図である。
【図４１】拡大部２６１の構成例を示すブロック図である。
【図４２】拡大部２６１の他の構成例を説明する図である。
【図４３】分離部２６２の処理を説明する図である。
【図４４】画像処理装置が行う、B画像（及びR画像）に対する処理を説明する図である。
【図４５】画像処理装置が行う、G画像に対する処理を説明する図である。
【図４６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０９０３】
１１  記憶部，  １２  拡大部，  １３  位置合わせ部，  １４  分離部，  １５  混合加算部，  １６  記憶部，  ２１  記憶部，  ２２  動き検出部，  ２３  拡大部，  ２４  位置合わせ部，  ２５  混合部，  ２６  加算部，  ２７  分離部，  ２８  記憶部，  ４１，４２  水平LPF，  ４３，４４  垂直LPF，  ４５  ブロックマッチング部，  ４６  統計処理部，  ６１  補間部，  ６２  垂直LPF，  ７１  水平多タップAPF，  ７２  垂直多タップAPF，  ８１  垂直LPF，  ８２  演算部，  １０１ないし１０４  選択部，  １１１  拡大部，  １１２  位置合わせ部，  １１３  分離部，  １３１  補間部，  １３２  水平多タップLPF，  １３３  補間部，  １３４  垂直LPF，  １３５  広帯域LPF，  １４１  水平キュービック補間フィルタ，  １４２  垂直キュービック補間フィルタ，  １５１  垂直LPF，  １７１  動き検出部，  １７２  動体混合部，  １８１  動き判定部，  １９１  混合部，  ２０１  拡大部，  ２０２  分離部，  ２１１，２１２  補間部，  ２１３  ２次元LPF，  ２２１  水平LPF，  ２２２  垂直LPF，  ２４１  ２次元LPF，  ２６１  拡大部，  ２６２  分離部，  ２７１，２７２  補間部，  ２７３  ２次元LPF，  ２８１  水平LPF，  ２８２  垂直LPF，  ３０１  LPF部，  ３１１  水平LPF，  ３１２  垂直LPF，  ４０１  バス，  ４０２  CPU，  ４０３  ROM，  ４０４  RAM，  ４０５  ハードディスク，  ４０６  出力部，  ４０７  入力部，  ４０８  通信部，  ４０９  ドライブ，  ４１０  入出力インタフェース，  ４１１  リムーバブル記録媒体
【図１】
2010045751.tif 000003
【図２】
2010045751.tif 000004
【図３】
2010045751.tif 000005
【図４】
2010045751.tif 000006
【図５】
2010045751.tif 000007
【図６】
2010045751.tif 000008
【図７】
2010045751.tif 000009
【図８】
2010045751.tif 000010
【図９】
2010045751.tif 000011
【図１０】
2010045751.tif 000012
【図１１】
2010045751.tif 000013
【図１２】
2010045751.tif 000014
【図１３】
2010045751.tif 000015
【図１４】
2010045751.tif 000016
【図１５】
2010045751.tif 000017
【図１６】
2010045751.tif 000018
【図１７】
2010045751.tif 000019
【図１８】
2010045751.tif 000020
【図１９】
2010045751.tif 000021
【図２０】
2010045751.tif 000022
【図２１】
2010045751.tif 000023
【図２２】
2010045751.tif 000024
【図２３】
2010045751.tif 000025
【図２４】
2010045751.tif 000026
【図２５】
2010045751.tif 000027
【図２６】
2010045751.tif 000028
【図２７】
2010045751.tif 000029
【図２８】
2010045751.tif 000030
【図２９】
2010045751.tif 000031
【図３０】
2010045751.tif 000032
【図３１】
2010045751.tif 000033
【図３２】
2010045751.tif 000034
【図３３】
2010045751.tif 000035
【図３４】
2010045751.tif 000036
【図３５】
2010045751.tif 000037
【図３６】
2010045751.tif 000038
【図３７】
2010045751.tif 000039
【図３８】
2010045751.tif 000040
【図３９】
2010045751.tif 000041
【図４０】
2010045751.tif 000042
【図４１】
2010045751.tif 000043
【図４２】
2010045751.tif 000044
【図４３】
2010045751.tif 000045
【図４４】
2010045751.tif 000046
【図４５】
2010045751.tif 000047
【図４６】
2010045751.tif 000048
【手続補正書】
【提出日】平成21年7月27日(2009.7.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
図６Ａの入力画像では、周波数帯域-fs/2ないしfs/2の信号成分（実線部分）は、そのまま存在し、周波数帯域-fs/2ないし-fs、及びfs/2ないしfsの信号成分は、周波数帯域-fs/2ないしfs/2に、折り返し成分（点線部分）として存在する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１９１
【補正方法】変更
【補正の内容】
【０１９１】
記憶部２１は、図２の記憶部１１に対応する。記憶部２１には、高速撮影された１フレーム以上の入力画像が供給される。記憶部２１は、そこに供給される１フレーム以上の入力画像を一時記憶する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０３４０
【補正方法】変更
【補正の内容】
【０３４０】
また、後述するように、式（３）の混合比αは、位置tの画素の動きの程度に応じて、混合比α'（０<α'<1）に調整し、その調整後の混合比α'を、混合比αに代えて用いることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０３４２
【補正方法】変更
【補正の内容】
【０３４２】
加算部２６では、混合部２５からの混合画像Dnと、分離部２７からの出力画像Sn-1の高周波数成分Hnとを加算することで、新たな出力画像Snを生成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０３７７
【補正方法】変更
【補正の内容】
【０３７７】
Sn = (1-αF)×Sn-1 + α×F×A
・・・（１３の２）
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０３７８
【補正方法】変更
【補正の内容】
【０３７８】
式（１３の２）を漸化式として解くと、式（１４）が得られる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０４００
【補正方法】変更
【補正の内容】
【０４００】
但し、図９の画像処理装置では、記憶部２８からの出力画像の外部への出力が、記憶部２１に記憶された入力画像A1ないしAN（から生成される拡大画像B1ないしBNの位置合わせによって得られる位置合わせ画像C1ないしCN（位置合わせ後の拡大画像B1ないしBN））すべての混合加算が行われた後に行われるが、図１５の画像処理装置では、記憶部２８からの出力画像の外部への出力が、１フレームの入力画像Anの混合加算のたびに行われるようになっている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０５６９
【補正方法】変更
【補正の内容】
【０５６９】
分離部１１３のフィルタである垂直LPF１５１は、入力画像に含まれる折り返し成分の方向である垂直方向のフィルタ特性として、拡大部１１１のフィルタである垂直LPF１３４及び広帯域LPF１３５（図２０）と、位置合わせ部１１２のフィルタである垂直キュービック補間フィルタ１４２（図２０）とを縦続接続した縦続接続フィルタと同一の特性を有する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０６４０
【補正方法】変更
【補正の内容】
【０６４０】
混合部１９１は、式（３）の混合比αを、動き検出部１７１からの動き情報βに応じて、混合比α'（０<α'<1）に調整し、その調整後の混合比α'を、混合比αに代えて用いることで、混合部２５で行われる混合と、動体混合部１７２で行われる動体混合とを同時に行う。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０７１４
【補正方法】変更
【補正の内容】
【０７１４】
図３５Ｄにおいて、画素AとDとの間の画素A1の画素値は、画素AとDの画素値の平均値((A+D)/2)となる。また、画素AとBとの間の画素A2の画素値は、画素AとBの画素値の平均値((A+B)/2)となる。さらに、画素A,B,D、及びEの中心の位置の画素A3の画素値は、画素A,B,D、及びEの画素値の平均値((A+B+D+E)/4)となる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０７３９
【補正方法】変更
【補正の内容】
【０７３９】
すなわち、図３８の分離部２０２は、演算部８２が設けられている点で、図１４の分離部２７と一致し、垂直LPF８１に代えて２次元LPF２４１が設けられている点で、図１４の分離部２７と相違する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０７５２
【補正方法】変更
【補正の内容】
【０７５２】
図３９の画像処理装置は、記憶部２１、動き検出部２２、位置合わせ部２４、混合部２５、加算部２６、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０７５３
【補正方法】変更
【補正の内容】
【０７５３】
但し、図３９の画像処理装置は、拡大部２３に代えて拡大部２６１が設けられ、分離部２７に代えて、分離部２６２が設けられている点で、図９の画像処理装置と相違する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０８１９
【補正方法】変更
【補正の内容】
【０８１９】
すなわち、図４３Ａの分離部２６２は、演算部８２が設けられている点で、図１４の分離部２７と一致し、垂直LPF８１に代えてLPF部３０１が設けられている点で、図１４の分離部２７と相違する。