(57)【要約】【課題】高精細で解像度の高い画像の生成に好適な画像フレームを選択可能とする画像処理技術を提供する。【解決手段】連続写真や動画等の複数の画像フレームは、画像入力部１０１によって受け付けられて、周波数成分調査部１０２によって、画像フレームごとに周波数成分特性が分析され、高周波成分算出部１０３によって、画像フレームごとにその高周波成分の量が算出される。そして、入力画像選択部１０４が、高周波成分の量が所定値以上となる画像フレームを選択する。次に、超解像処理部１０５が、選択された画像フレームの画像データを用いて、高精細で解像度の高い画像を生成する。そして、画像出力部１０６は、生成された画像を出力画像信号として出力する。【選択図】図１
2009273072.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して演算処理を行って出力画像を生成する制御部を備える高精細画像処理装置であって、
前記制御部は、
前記入力画像に含まれる画像フレームごとに高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択し、
前記選択した前記所定値以上の画像フレームを用いて、所定の処理を行って出力画像を生成すること、
を特徴とする高精細画像処理装置。
【請求項２】
入力画像に対して演算処理を行って出力画像を生成する制御部を備える高精細画像処理装置であって、
前記制御部は、
前記入力画像の画像フレームに画像フレーム識別情報を関連付けて記憶部に記憶し、
前記記憶部から前記画像フレームと前記画像フレーム識別情報とを読み出して、
前記読み出した画像フレームを用いて画像フレームごとに高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上となる画像フレームの前記画像フレーム識別情報を用いて、前記記憶部を参照して、その画像フレーム識別情報に対応する画像フレームを取得し、
前記取得した画像フレームを用いて、所定の処理を行って出力画像を生成すること、
を特徴とする高精細画像処理装置。
【請求項３】
前記入力画像は、撮像装置によって撮影された原画像の一部の領域であること、
を特徴とする請求項１または請求項２に記載の高精細画像処理装置。
【請求項４】
前記制御部は、
前記画像フレームごとの前記高周波成分の大きさを、
前記画像フレーム内の画素の輝度値の並びを周波数分析して周波数成分強度を算出し、
前記算出した前記周波数成分強度を、予め記憶部に記憶されている所定の周波数以上について積算して算出すること、
を特徴とする請求項１ないし請求項３のいずれか一項に記載の高精細画像処理装置。
【請求項５】
前記制御部は、
前記周波数成分強度を、
前記入力画像の画像フレームの水平線方向に並んだ画素の輝度値を周波数分析して水平線方向の周波数成分強度を算出し、前記水平線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記水平線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての水平線について平均して算出すること、
を特徴とする請求項４に記載の高精細画像処理装置。
【請求項６】
前記制御部は、
前記周波数成分強度を、
前記入力画像の画像フレームの垂直線方向に並んだ画素の輝度値を周波数分析して垂直線方向の周波数成分強度を算出し、前記垂直線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記垂直線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての垂直線について平均して算出すること、
を特徴とする請求項４に記載の高精細画像処理装置。
【請求項７】
前記周波数分析は、フーリエ変換またはウェーブレット変換であること、
を特徴とする請求項５または請求項６に記載の高精細画像処理装置。
【請求項８】
前記高周波成分の大きさを算出する際に用いられる前記所定の周波数は、
画素数を２倍にする場合には、前記画像フレームに含まれる周波数成分の最高周波数の５０％であること、
を特徴とする請求項４に記載の高精細画像処理装置。
【請求項９】
入力画像に対して演算処理を行って出力画像を生成する制御部を備える高精細画像処理装置であって、
前記制御部は、
前記入力画像に含まれる画像フレームごとに、前記入力画像の画像フレームの水平線方向にサンプリング周波数によって標本化された画素の輝度値を周波数分析して水平線方向の周波数成分強度を算出し、前記水平線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記水平線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての水平線について平均して算出し、予め記憶部に記憶されている所定の周波数を読み出して、前記所定の周波数以上の前記平均した成分強度を積算して、高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択し、
前記選択した前記所定値以上の画像フレームに対して、前記サンプリング周波数より大きいサンプリング周波数で標本化して水平線方向の画素数を増加させ、出力画像を生成すること、
を特徴とする高精細画像処理装置。
【請求項１０】
入力画像に対して演算処理を行って出力画像を生成する制御部を備える高精細画像処理装置であって、
前記制御部は、
前記入力画像に含まれる画像フレームごとに、前記入力画像の画像フレームの垂直線方向にサンプリング周波数によって標本化された画素の輝度値を周波数分析して垂直線方向の周波数成分強度を算出し、前記垂直線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記垂直線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての垂直線について平均して算出し、予め記憶部に記憶されている所定の周波数を読み出して、前記所定の周波数以上の前記平均した成分強度を積算して、高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択し、
前記選択した前記所定値以上の画像フレームに対して、前記サンプリング周波数より大きいサンプリング周波数で標本化して垂直線方向の画素数を増加させ、出力画像を生成すること、
を特徴とする高精細画像処理装置。
【請求項１１】
入力画像に対して演算処理を行って出力画像を生成する制御部を備える高精細画像処理装置であって、
請求項８に記載の高精細画像処理装置から出力される出力画像である第１の出力画像と、請求項９に記載の高精細画像処理装置から出力される出力画像である第２の出力画像とを取得し、
前記第１の出力画像には、垂直線方向の画素値にスプライン補間を適用して、垂直線方向の画素数を前記第２の出力画像における垂直線方向の画素数に一致させて、第３の処理画像を生成し、
前記第２の出力画像には、水平線方向の画素値にスプライン補間を適用して、水平線方向の画素数を前記第１の出力画像における水平線方向の画素数に一致させ、第４の処理画像を生成し、
前記第３の処理画像と前記第４の処理画像における、同じ位置の画素の画素値を平均し、出力画像を生成すること、
を特徴とする高精細画像処理装置。
【請求項１２】
入力画像に対して演算処理を行って出力画像を生成する制御部を備える高精細画像処理装置であって、
前記制御部は、
（１）前記入力画像に含まれる画像フレームごとに、前記入力画像の画像フレームの水平線方向にサンプリング周波数によって標本化された画素の輝度値を周波数分析して水平線方向の周波数成分強度を算出し、前記水平線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記水平線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての水平線について平均して算出し、予め記憶部に記憶されている所定の周波数を読み出して、前記所定の周波数以上の前記平均した成分強度を積算して、高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを第１の画像フレームとして選択し、
前記第１の画像フレームの中で、最大の高周波成分の大きさとなる第２の画像フレームを決定し、
（２）前記入力画像に含まれる画像フレームごとに、前記入力画像の画像フレームの垂直線方向にサンプリング周波数によって標本化された画素の輝度値を周波数分析して垂直線方向の周波数成分強度を算出し、前記垂直線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記垂直線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての垂直線について平均して算出し、予め記憶部に記憶されている所定の周波数を読み出して、前記所定の周波数以上の前記平均した成分強度を積算して、高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを第３の画像フレームとして選択し、
前記第３の画像フレームの中で、最大の高周波成分の大きさとなる第４の画像フレームを決定し、
（３）前記第２の画像フレームの前記高周波成分の大きさと前記第４の画像フレームの前記高周波成分の大きさとを比較して、大きい方を第５の画像フレームとし、
（４）、前記第１〜第５の画像フレームを用いて、所定の処理を行って出力画像を生成すること、
を特徴とする高精細画像処理装置。
【請求項１３】
請求項１、請求項２、ないし請求項１１のいずれか一項に記載の高精細画像処理装置と通信可能な、連続写真または動画を撮影する撮像装置であって、
前記撮像装置は、記録部と制御部とを備え、
前記記録部は、撮影した連続写真または動画を記録し、
前記制御部は、
前記記録部に記憶されている前記連続写真または動画を前記高精細画像処理装置への入力画像として取得し、
前記高精細画像処理装置が生成した出力画像を取得すること、
を特徴とする撮像装置。
【請求項１４】
入力画像に対して演算処理を行って出力画像を生成する制御部を備える高精細画像処理装置に用いられる高精細画像処理方法であって、
前記制御部は、
前記入力画像に含まれる画像フレームごとに高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択し、
前記選択した前記所定値以上の画像フレームを用いて、所定の処理を行って出力画像を生成すること、
を特徴とする高精細画像処理方法。
【請求項１５】
入力画像に対して演算処理を行って出力画像を生成する制御部を備える高精細画像処理装置に用いられるプログラムであって、
前記制御部に、
前記入力画像に含まれる画像フレームごとに高周波成分の大きさを算出させ、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較させ、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択させ、
前記選択した前記所定値以上の画像フレームを用いて、所定の処理を行わせて出力画像を生成させること、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を高精細化する際に、高精細化に好適な画像を選択可能とする高精細画像処理技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体等から入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数（解像度）を増やして表示することが一般的に行われている。この際、一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは高精細な画像を生成することはできない。なお、本明細書では、「高精細」の意味は、単に画素数を増加させるだけでなく、後記するように、画像信号に含まれる高周波成分を復元して細部まで表示すること、として用いる。
【０００３】
非特許文献１には、サンプリング位相のずれた複数の画像フレームを用いて、高精細で解像度の高い画像を生成する超解像処理が記載されている。
この非特許文献１に記載されている超解像処理では、（１）位置推定、（２）広帯域補間、（３）加重和、の３つの処理により高精細化を行う。ここで、（１）位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。（２）広帯域補間は、各画像データの画素数(サンプリング点)を、画像信号に含まれる折返し成分である高周波成分を全て透過する帯域の広いローパスフィルタを用いて補間して増やし、画像データの画素数を高解像度化するものである。（３）加重和は、各高解像度化された画像データに対して、サンプリング位相に応じた重み係数を加味して加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、画像信号の高周波成分を復元するものである。
すなわち、非特許文献１に記載の超解像処理は、画像信号の高周波成分を復元して、高精細で解像度の高い画像を生成するものである。
【０００４】
ここで、前記した超解像処理における高周波成分の復元について、模式的に図１５を用いて説明する。図１５は、入力画像の周波数成分と高精細化前の周波数帯域および超解像処理により復元される周波数帯域とを示す図である。
図１５の実線１５０１は、入力画像の周波数成分曲線（周波数スペクトル）を示している。周波数帯域がｆである表示系では、入力画像は、周波数ｆ以上の周波数成分が折返し歪１５０２となった画像として表示される。
非特許文献１に記載の超解像処理は、複数の画像フレームを、前記した（１）位置推定、（２）広帯域補間、（３）加重和、を用いて演算することによって、折返し歪１５０２を復元して、周波数ｆより高い周波数成分を生成することが可能である。
【０００５】
そして、特許文献１では、前記超解像処理を用いて複数の画像フレームから高精細な静止画像を生成するために、測光変化やホワイトバランス変化の少ない画像フレームの連続している区間に含まれる画像データを選択して用いることが、記載されている。
【特許文献１】特開２００７−１５１０８０号公報
【非特許文献１】青木伸，“複数のデジタル画像データによる超解像処理”, Ricoh Technical Report，NOVEMBER, 1998，No.24，p.19-25
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、前記超解像処理が、高精細化に向いている画像を選定しないと、高精細な画像を生成できないという点までは示唆していない。また、前記超解像処理は、画像フレームの画像データに折返し歪（高周波成分）が含まれていない場合には、元々存在しない高周波成分を復元することはできず、無駄な処理となってしまうだけでなく、かえって有りもしない信号を作り出してしまうという問題がある。
本発明は、以上のような問題に鑑みてなされたものであり、前記超解像処理による画像の高精細化において、高周波成分を含む、高精細化に好適な画像フレームを選択可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明は、画像の高精細化において、画像信号の画像フレームの高周波成分を算出し、高周波成分を適度に含む高精細化に好適な画像フレームを選択可能とし、高精細画像を生成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像の高精細化に好適な画像フレームを選択可能とし、高精細な画像を生成することができる。
【発明を実施するための最良の形態】
【０００９】
次に、本発明を実施するための最良の形態（以降、「実施形態」という）について、適宜図面を用いながら詳細に説明する。
【００１０】
《第１実施形態》
まず、高精細化に適している画像フレームを選択する処理機能の概要について、図１を用いて説明する。図１は、高精細化に適している画像フレームを選択して超解像処理を実行する機能の概要を示す図である。
【００１１】
図１に示すように、高精細画像処理装置１０は、画像入力部１０１、周波数成分調査部１０２、高周波成分算出部１０３、入力画像選択部１０４、超解像処理部１０５、および画像出力部１０６によって構成される。
【００１２】
画像入力部１０１は、記憶領域を備え、デジタルスチルカメラによって撮影された連続写真やデジタルビデオカメラによって撮影された動画等の空間的に連続な複数の画像フレームの画像データを入力画像信号として受け付けて、記憶領域に格納する。ここで、空間的に連続な画像フレームとは、高精細化する被写体が写っている画像フレームのことをいう。例えば、空間的に連続な画像フレームは、高精細化する被写体に対して、ＭＰＥＧ（Moving Picture Experts Group）４等の画像符号化方式で用いられる動きベクトルを抽出して、その動きベクトルの大きさが小さな区間としてもよい。また、記憶領域は、一時的に記憶可能なものであればよい。
なお、連続写真や動画は、通常、デジタルカメラ（デジタルスチルカメラとデジタルビデオカメラの総称）によって録画される際に、録画ＩＤが関連付けられて、デジタルカメラ内の記憶装置に記憶される。そこで、画像入力部１０１は、入力画像信号を受け付ける際に、連続写真や動画に関連付けられた録画ＩＤを単位として、連続した画像フレームを受け付ける。
【００１３】
画像入力部１０１は、記憶領域に連続写真や動画等の画像フレームの画像データを格納する際に、画像フレームを識別可能な画像フレームＩＤ（画像フレーム識別情報）を生成する機能を有する。なお、画像フレームＩＤは、連続した画像フレームを単位として管理する管理ＩＤ部分と個々の画像フレームを識別するフレームＩＤ部分とを連結して構成されているものとする。
例えば、フレームＩＤ部分は、連続した画像フレームのうち、先頭の画像フレームの番号を１として、以降順次１ずつ数字を増加させた番号としてもよい。そして、画像入力部１０１は、画像フレームごとに、画像フレームＩＤを関連付けて記憶する。
【００１４】
次に、画像入力部１０１は、記憶した画像フレームＩＤと画像フレームの画像データとを、周波数成分調査部１０２に出力する。また、画像入力部１０１は、入力画像選択部１０４から画像フレームＩＤを受け付けて、受け付けた画像フレームＩＤに対応する画像フレームの画像データを入力画像選択部１０４に出力する機能を有する。
【００１５】
周波数成分調査部１０２は、画像入力部１０１から受信した画像フレームの画像データについて、周波数成分の特性（周波数成分特性）を調査（算出）し、その結果を高周波成分算出部１０３に出力する機能を有する。なお、周波数成分の算出の詳細については、後記する。
高周波成分算出部１０３は、周波数成分調査部１０２から受信した周波数成分特性から、高周波成分がどのくらい含まれているかを算出し、その結果を入力画像選択部１０４に出力する機能を有する。なお、高周波成分の算出の詳細については、後記する。
【００１６】
入力画像選択部１０４は、高周波成分算出部１０３から受信した高周波成分の量（大きさ）を、所定値と比較し、所定値以上の高周波成分の量を有する画像フレームを、画像入力部１０１から取得する機能を有する。なお、所定値以上の高周波成分の量を有する画像フレームの選定については、後記する。
超解像処理部１０５は、入力画像選択部１０４が選定した画像フレームの画像データを用いて、前記超解像処理を実行する機能を有する。
画像出力部１０６は、超解像処理部１０５において生成された高精細な画像（静止画）を、出力画像信号として出力する機能を有する。なお、出力先は、光ディスクやＨＤＤ等の記録媒体、インターネット等の通信媒体である。
【００１７】
なお、周波数成分調査部１０２、高周波成分算出部１０３、入力画像選択部１０４、および超解像処理部１０５は、高精細画像処理装置１０の処理部１１の機能を機能別に表示したものである。すなわち、処理部１１は、例えば、演算処理を実行する図示しないＣＰＵ（Central Processing Unit ）と、このＣＰＵが演算処理に用いる図示しないメモリとで構成される。メモリは、ＲＡＭ等により実現される。そして、アプリケーションプログラムがＲＡＭに展開され、ＣＰＵが、それを実行することにより各部（１０２〜１０５）の機能を具現化する。また、処理部１１は、画像処理部１０１と画像出力部１０６を制御する機能を有する。
【００１８】
次に、高精細画像処理装置１０の処理の流れについて、図２を用いて説明する（適宜、図１参照）。図２は、高精細画像処理装置における画像フレームの水平線方向の処理の流れを示す図である。
まず、画像入力部１０１における、画像フレームの水平線方向の処理について説明する。
画像入力部１０１は、空間的に連続な複数の画像フレームの画像データを入力画像信号として受け付けて、記憶領域に格納する。そして、画像入力部１０１は、記憶領域に画像フレームの画像データを格納する際に、画像フレームを識別可能な画像フレームＩＤを生成し、生成した画像フレームＩＤと格納する画像フレームの画像データとを関連付けて記憶する（ステップＳ２０１）。そして、画像入力部１０１は、記憶領域から画像フレームＩＤと画像フレームの画像データとを読み出して、周波数成分調査部１０２に出力する。
【００１９】
次に、ステップＳ２０２〜Ｓ２０５に示す、周波数成分調査部１０２における処理の詳細について、図３，図４も用いながら説明する（適宜、図１参照）。図３（ａ）は、処理対象となる画像フレームの一例を示す図であり、（ｂ）は、水平線方向の輝度信号強度特性の一例を示す図であり、（ｃ）は、輝度信号強度の周波数特性の一例を示す図である。図４は、画像フレームの平均周波数成分特性の一例を示す図である。
【００２０】
まず、周波数成分調査部１０２は、画像入力部１０１から、図３（ａ）に示すような、人物と花等が写った画像フレーム３０１の画像データとその画像フレームＩＤとを取得する。図３（ａ）では、画像フレーム３０１の画素の並びを、水平線方向をＸ軸、垂直線方向をＹ軸として示している。
次に、周波数成分調査部１０２は、画像フレーム３０１を水平線３０２の方向（Ｘ軸方向）に走査して、輝度信号強度を取得する（ステップＳ２０２）。その取得された輝度信号強度が、図３（ｂ）には、輝度信号強度曲線３０３として示されている。そして、周波数成分調査部１０２は、輝度信号強度曲線３０３をフーリエ変換して、周波数成分特性を算出する（ステップＳ２０３）。その周波数成分特性が、図３（ｃ）の周波数成分曲線３０４に示される。なお、フーリエ変換の代わりに、ウェーブレット変換を用いてもよい。
【００２１】
次に、周波数成分調査部１０２は、水平線３０２の位置をＹ軸方向に１画素ずらして、次の輝度信号強度曲線３０３を取得し、その周波数成分曲線３０４を算出する。周波数成分調査部１０２は、ステップＳ２０２〜Ｓ２０３の処理が、画像フレーム３０１の全ての水平線３０２について行われたか否かを判定する（ステップＳ２０４）。水平線３０２について処理を行っていないものがある場合（ステップＳ２０４でＮｏ）には、処理は、ステップＳ２０２へ戻る。また、全ての水平線３０２について行われた場合（ステップＳ２０４でＹｅｓ）には、処理は、ステップＳ２０５へ進む。
【００２２】
周波数成分調査部１０２は、画像フレーム内の全ての水平線３０２について、周波数ごとに、周波数成分曲線３０４の成分強度を正規化した値を平均する（ステップＳ２０５）。その結果が、図４に示す平均周波数成分曲線４０１である。ここで、正規化とは、平均周波数成分曲線４０１の成分強度を、周波数を変数として積分して求めた面積が１となるように調整することである。
周波数成分調査部１０２は、画像フレーム３０１ごとに、平均周波数成分曲線４０１を求める。
そして、周波数成分調査部１０２は、平均周波数成分曲線４０１の成分強度と画像フレームＩＤとを、高周波成分算出部１０３に出力する。
【００２３】
次に、ステップＳ２０６に示す、高周波成分算出部１０３における処理の詳細について、図５も用いながら説明する（適宜、図１，図３参照）。図５は、画像フレームに含まれる高周波成分の量を算出する一例を示す図である。
図５に示されるように、高周波数閾値５０２は、平均周波数成分曲線５０１によって表される周波数成分特性の高域周波数とみなす領域の境界の値を表す。そして、高周波成分算出部１０３は、この高周波数閾値５０２以上の成分強度について、周波数を変数として積分して高周波成分の量（面積）を求める（ステップＳ２０６）。この高周波成分の量は、図５の斜線で示される領域であり、その面積を高周波成分面積５０３という。
なお、高周波数閾値５０２は、ユーザによって可変とされ、予め記憶されているものとする。例えば、高周波数閾値５０２は、２倍の高精細化を行う場合には、画像フレーム３０１に含まれる周波数成分特性の最高周波数の５０％に設定されると高精細化にとって好適であることが、実験によって得られている。
そして、高周波成分算出部１０３は、画像フレームＩＤと高周波成分面積５０３とを入力画像選択部１０４に出力する。
【００２４】
次に、ステップＳ２０７〜Ｓ２１０に示す、入力画像選択部１０４における処理について説明する（適宜、図１，図３，図５，図６参照）。入力画像選択部１０４は、高周波成分算出部１０３から、画像フレームＩＤと高周波成分面積５０３とを受け付ける。そして、入力画像選択部１０４は、予めユーザに設定され記憶されている超解像処理基準値６０１と、受け付けた高周波成分面積５０３とを比較する（ステップＳ２０７）。高周波成分面積５０３が超解像処理基準値６０１以上である場合（ステップＳ２０７でＹｅｓ）、入力画像選択部１０４は、その画像フレームＩＤと高周波成分面積５０３とを関連付けて超解像処理参照画像の候補として記憶する（ステップＳ２０８）。そして、処理は、ステップＳ２０９へ進む。また、高周波成分面積５０３が超解像処理基準値６０１未満である場合（ステップＳ２０７でＮｏ）、処理は、ステップＳ２０９へ進む。
【００２５】
次に、入力画像選択部１０４は、全ての画像フレーム３０１に対して比較処理を行ったか否かを判定する（ステップＳ２０９）。画像フレーム３０１について比較処理を行っていないものがある場合（ステップＳ２０９でＮｏ）、処理は、ステップＳ２０７へ戻る。また、全ての画像フレーム３０１について比較処理を行った場合（ステップＳ２０９でＹｅｓ）、処理は、ステップＳ２１０へ進む。そして、入力画像選択部１０４は、記憶された超解像処理参照画像の候補について、高周波成分面積５０３の大きさを相互に比較することによって、最大の高周波成分面積６０２を有する画像フレーム（超解像処理対象画像）を選択する（ステップＳ２１０）。
【００２６】
ここで、前記したステップＳ２０７〜Ｓ２１０の処理を、模式的に示した図６を用いて説明する（適宜、図１〜図５参照）。図６は、高周波成分面積の大きさを比較して、超解像処理に用いる画像フレームを選択する一例を示す図である。
なお、図６では、空間的に連続な複数の画像フレーム３０１が１１フレームの場合を示している。図６の横軸は、先頭の画像フレーム３０１のフレーム番号（フレームＩＤ部分に相当）を１として、順次それ以降のフレーム番号を表し、縦軸は、画像フレーム３０１の高周波成分面積５０３を表している。そして、それぞれの画像フレーム３０１に対応する高周波成分面積５０３が縦棒で示されている。
【００２７】
各高周波成分面積５０３は、超解像処理基準値６０１と比較されて、超解像処理基準値６０１以上のフレーム番号２，４，５，６，９には○印が付けられている。この○印が付けられた画像フレームは、超解像処理に用いられる超解像処理参照画像の候補とされる。そして、○印が付けられたフレーム番号２，４，５，６，９の画像フレームの中で、最大の高周波成分面積６０２となるフレーム番号５が、超解像処理対象画像として選択される（◎印が付されている）。また、◎印以外の○印が付けられたフレーム番号２，４，６，９の画像フレームは、超解像処理参照画像として、超解像処理に用いられる。すなわち、フレーム番号５が超解像処理対象画像フレーム６０３であり、フレーム番号２，４，６，９が超解像処理参照画像フレーム６０４である。
そして、入力画像選択部１０４は、◎印および○印が付けられたフレームの画像フレームＩＤを、画像入力部１０１に出力する。そして、入力画像選択部１０４は、出力した画像フレームＩＤに対応する画像データを取得する。なお、超解像処理参照画像フレーム６０４は、その枚数の最大数が予め決められている場合には、高周波成分面積５０３の大きい方から順に選択されてもよい。
【００２８】
図２に戻って（適宜図１，図６参照）、ステップＳ２１１に示すように、超解像処理部１０５は、入力画像選択部１０４から、超解像処理対象画像フレーム６０３および超解像処理参照画像フレーム６０４として選択された画像フレームの画像データを取得し、超解像処理を行う。ただし、超解像処理では、超解像処理対象画像フレーム６０３が高精細化の対象の画像となり、超解像処理参照画像フレーム６０４は高周波成分の復元のために用いられる。なお、超解像処理は、非特許文献１に記載の方法である。
そして、画像出力部１０６は、超解像処理部１０５から取得した処理画像を出力画像信号として、高精細画像処理装置１０から出力する（ステップＳ２１２）。
したがって、高精細画像処理装置１０は、画像フレームの水平線方向に好適に高周波成分を含んでいる画像フレームを選択して超解像処理を行うため、高精細で解像度の高い画像を生成することが可能となる。
【００２９】
《第２実施形態》
第１実施形態では、画像フレーム全体について超解像処理に好適な画像フレームの選択を行う場合であったが、第２実施形態は、画像フレームの一部（例えば、被写体の顔等）を対象として、超解像処理に好適な画像フレームの選択を行う場合である。
第２実施形態において、超解像処理対象が画像フレームの一部となる場合の処理について、図７を用いて説明する（適宜、図１，図２参照）。図７は、第２実施形態における超解像処理対象を画像フレームの一部（対象領域画像）とした場合の一例を示す図である。
図７に示すように、超解像処理対象となる画像フレーム３０１の一部（対象領域画像７０１）は、矩形の太い線で囲まれた領域の画像のことである。そして、周波数成分調査部１０２は、対象領域画像７０１内を水平線７０３方向に走査して、輝度信号強度を取得する（ステップＳ２０２と同様）。そして、それ以降の処理は、図２に示す処理と同様に行われるので、説明を省略する。
【００３０】
ここで、対象領域画像７０１を設定する構成について、図８を用いて説明する（適宜、図１参照）。図８は、対象領域画像を設定する構成の一例を示す図である。
画像処理部１０１は、制御部８１１、画像フレームＩＤ（画像フレーム識別情報）発生部８１２、入力用バッファ８１３、出力用バッファ８１４、および記憶部８１５によって構成される。そして、制御部８１１は、マウスやキーボード等によって構成される入力部８２１からの入力を受け付け、表示部８２２に、入力部８２１からの指示によって記憶部８１５に格納された画像フレームの画像データを表示したり、マウスポインタやカーソル等を表示したりする。
【００３１】
制御部８１１は、各部（８１２〜８１５）の制御を司る。また、制御部８１１は、入力部８２１、表示部８２２、周波数成分調査部１０２、および入力画像選択部１０４との間で、情報の送受信を行う。
画像フレームＩＤ発生部８１２は、入力用バッファ８１３に入力画像信号が入力されたときに、画像フレームＩＤを発生する機能を有する。
入力用バッファ８１３は、入力画像信号を一時的に記憶し、制御部８１１の制御タイミングに合わせて、記憶された画像データが読み出される機能を有する。
出力用バッファ８１４は、記憶部８１５から読み出した画像フレームの画像データを一時的に記憶し、周波数成分調査部１０２および入力画像選択部１０４へ出力する機能を有する。
記憶部８１５は、ＲＡＭ、ＳＤメモリカード、ハードディスク（ＨＤＤ）等の記憶媒体で構成されている。そして、記憶部８１５は、デジタルカメラによって撮影された連続写真や動画等の入力画像信号が制御部８１１によって、画像フレームごとに分解され、画像フレームＩＤに関連付けられた画像フレームの画像データを記憶する。また、記憶部８１５は、制御部８１１によって作成された画像フレームのサムネイルも、画像フレームＩＤと関連付けて記憶する。
【００３２】
次に、対象領域画像７０１の設定方法について、図８を用いて、説明する（適宜図７参照）。
まず、入力部８２１は、記憶部８１５に記憶されている画像フレームのサムネイルの一覧を表示する指示を、制御部８１１に送信する。制御部８１１は、その指示を受信すると、記憶部８１５に記憶している画像フレームのサムネイルの一覧を表示部８２２に表示する。そして、入力部８２１によって、画面に表示されているマウスポインタを用いて処理対象とするサムネイルがクリックされると、制御部８１１は、クリックされたサムネイルに対応する画像フレーム３０１を表示部８２２に表示する。そして、入力部８２１によって、マウスポインタを用いて、例えば、表示された画像上で矩形の頂点となる左上と右下の位置がクリックされ、処理対象領域の矩形が指定される。制御部８１１は、指定された矩形の座標を読み取って、対象領域画像７０１の画像データを取得する。
さらに、制御部８１１は、この対象領域画像７０１を含む画像フレームの管理ＩＤと同じ管理ＩＤに関連付けられた他の画像フレームから、同じ座標の対象領域画像７０１の画像データを抽出する。あるいは、制御部８１１は、ＭＰＥＧ４等で用いられている動き予測技術を用いて、対象領域画像７０１によって定められた被写体（絵柄）を含む画像データを抽出する。そして、制御部８１１は、抽出した対象領域画像７０１に新たに画像フレームＩＤを関連付けて記憶部８１５に記憶する。
そして、記憶した対象領域画像７０１に対して、図２に示した処理が行われる。
【００３３】
《第３実施形態》
第１実施形態は、画像フレームの水平線方向の超解像処理に好適な画像フレームの選択を行う場合であったが、第３実施形態は、垂直線方向の超解像処理に好適な画像フレームの選択を行う場合である。したがって、第３実施形態における処理と第１実施形態における処理との主な相違点は、垂直線方向に高精細化するか、または水平線方向に高精細化するかの違いである。
第３実施形態における高精細画像処理装置１０の処理について、図９を用いて説明する。図９は、高精細画像処理装置における画像フレームの垂直線方向の処理の流れを示す図である。
なお、図９に示した処理について、図２と同様の処理は、説明を省略する。
【００３４】
ステップＳ９０１の処理は、ステップＳ２０１の処理と同様である。
ステップＳ９０２〜Ｓ９０５に示す、周波数成分調査部１０２における処理について、図１０も用いながら説明する（適宜図１，図２参照）。図１０は、処理対象となる画像フレームと垂直線を示す図である。
図１０では、画像フレーム３０１の画素の並びを、水平線方向をＸ軸、垂直線方向をＹ軸として示している。
周波数成分調査部１０２は、画像入力部１０１から取得した画像フレーム３０１を垂直線１００２の方向（Ｙ軸方向）に走査して、輝度信号強度を取得する（ステップＳ９０２）。そして、周波数成分調査部１０２は、輝度信号強度をフーリエ変換して、周波数成分特性を算出する（ステップＳ９０３）。なお、フーリエ変換の代わりに、ウェーブレット変換を用いてもよい。
次に、周波数成分調査部１０２は、垂直線１００２の位置をＸ軸方向に１画素ずらして、輝度信号強度を取得し、周波数成分特性を算出する。周波数成分調査部１０２は、この処理が、画像フレーム３０１の全ての垂直線１００２にわたって行われたか否かを判定する（ステップＳ９０４）。垂直線１００２について処理を行っていないものがある場合（ステップＳ９０４でＮｏ）には、処理は、ステップＳ９０２へ戻る。また、全ての垂直線１００２にわたって行われた場合（ステップＳ９０４でＹｅｓ）には、処理は、ステップＳ９０５へ進む。
【００３５】
そして、周波数成分調査部１０２は、画像フレーム３０１内の全ての垂直線１００２について、周波数ごとに、周波数成分特性の成分強度を正規化した値を平均する（ステップＳ９０５）。すなわち、画像フレーム３０１ごとに、平均周波数成分曲線（図４の平均周波数成分曲線４０１と同様）が求められる。
そして、周波数成分調査部１０２は、平均周波数成分曲線と画像フレームＩＤとを、高周波成分算出部１０３に出力する。
なお、ステップＳ９０６〜Ｓ９１２における処理の流れは、ステップＳ２０６〜Ｓ２１２における処理の流れと同様であるので、説明を省略する。
また、第３実施形態における高精細画像処理装置１０は、垂直線方向に好適に高周波成分を含んでいる画像フレームを選択して超解像処理を行うため、高精細で解像度の高い画像を生成することが可能となる。
【００３６】
《第４実施形態》
第３実施形態では、画像フレーム全体について超解像処理に好適な画像フレームの選択を行う場合であったが、第４実施形態は、画像フレームの一部（例えば、被写体の顔等）を対象として、超解像処理に好適な画像フレームの選択を行う場合である。
第４実施形態において、超解像処理対象が画像フレームの一部となる場合の処理について、図１１を用いて説明する（適宜、図１，図９参照）。図１１は、第４実施形態における超解像処理対象を画像フレームの一部（対象領域画像）とした場合の一例を示す図である。
図１１に示すように、超解像処理対象となる画像フレーム３０１の一部（対象領域画像１１０１）とは、矩形の太い線で囲まれた領域の画像のことである。そして、周波数成分調査部１０２は、対象領域画像１１０１内を垂直線１１０３方向（Ｙ軸方向）に走査して、輝度信号強度を取得する（ステップＳ９０２と同様）。そして、それ以降の処理の流れは、図９に示す処理と同様に行われる。また、第４実施形態は、第２実施形態における水平線方向の処理を、垂直線方向に行う場合である。
【００３７】
≪第５実施形態≫
第５実施形態では、超解像処理を水平線方向と垂直線方向とに分離して行い、それらを合成して高精細画像を生成する場合の処理について、図１２を用いて説明する（適宜、図１，図５，図６参照）。図１２は、超解像処理を水平線方向と垂直線方向に分離して行い、それらを合成して高精細な画像を生成する場合の処理を示す図である。
図１２に示すように、高精細画像処理装置１２００は、水平線方向の超解像処理（図１２の左側）と垂直線方向の超解像処理（図１２の右側）とを行う機能を備え、それぞれの処理画像を合成して高精細な画像を出力する構成となっている。したがって、超解像処理の対象となる画像フレームが水平線方向の超解像処理と垂直線方向の超解像処理との間で一致するようにするために、超解像処理対象画像フレーム６０３を決定する機能として、対象画像決定部１２０１が備えられている。なお、図１に示した機能と同じ画像処理部１０１、水平線方向周波数成分調査部１０２、垂直線方向周波数成分調査部１０２、および高周波成分算出部１０３には、同じ符号を付し、説明を省略する。
ただし、高周波成分算出部１０３で使用される高周波数閾値５０２は、水平線方向の処理と垂直線方向の処理とで異なっていてもよい。
【００３８】
次に、入力画像選択部１０４ａ，１０４ｂと対象画像決定部１２０１とにおける処理について説明する。入力画像選択部１０４ａ，１０４ｂは、入力画像選択部１０４（図１参照）と同様に、超解像処理対象画像フレーム６０３と超解像処理参照画像フレーム６０４を選択する機能を有する。さらに、入力画像選択部１０４ａ，１０４ｂは、それぞれが選択した超解像処理対象画像フレーム６０３の高周波成分面積５０３の大きさとその画像フレームＩＤとを対象画像選択部１２０１に出力する。そして、対象画像決定部１２０１は、入力された高周波成分面積５０３の大きさを比較する。次に、対象画像決定部１２０１は、高周波成分面積５０３の大きい方の画像フレームＩＤを入力画像選択部１０４ａ，１０４ｂに出力する。
【００３９】
そして、例えば、入力画像選択部１０４ａが選択した超解像処理対象画像フレーム６０３の高周波成分面積５０３の大きさの方が、入力画像選択部１０４ｂが選択した超解像処理対象画像フレーム６０３の高周波成分面積５０３の大きさより大きい場合には、入力画像選択部１０４ｂは、自身の決めた超解像処理対象画像フレーム６０３を超解像処理参照画像フレーム６０４に変更し、対象画像決定部１２０１から取得した画像フレームＩＤに対応する画像フレームを、超解像処理対象画像フレーム６０３に変更する。
そして、入力画像選択部１０４ａ，１０４ｂは、それぞれ、超解像処理対象画像フレーム６０３および超解像処理参照画像フレーム６０４を、水平線方向超解像処理部１２０２と垂直線方向超解像処理部１２０３とに出力する。
なお、入力画像選択部１０４で使用される超解像処理基準値６０１は、水平線方向の処理と垂直線方向の処理とで異なっていてもよい。
【００４０】
次に、水平線方向超解像処理部１２０２、垂直線方向超解像処理部１２０３、および合成処理部１２０４について説明する。
水平線方向超解像処理部１２０２は、水平線方向には画素数を増加するが、垂直線方向には画素数を増加しない（第１の出力画像）。また、垂直線方向超解像処理部１２０３は、垂直線方向には画素数を増加するが、水平線方向には画素数を増加しない（第２の出力画像）。
【００４１】
合成処理部１２０４は、水平線方向超解像処理部１２０２から水平線方向の画素数が増加された横長の処理画像を受け付け、また、垂直線方向超解像処理部１２０３から垂直線方向の画素数が増加された縦長の処理画像を受け付ける。そして、合成処理部１２０４は、横長の処理画像に対しては、垂直線方向にスプライン補間処理を行うことによって、縦横の画素数の比率を、元の画像フレーム３０１（図３参照）の縦横の画素数比率と同じになるようにする（第３の出力画像）。同様に、合成処理部１２０４は、縦長の処理画像に対しては、水平線方向にスプライン補間処理を行うことによって、縦横の画素数の比率を、元の画像フレーム３０１の縦横の画素数比率と同じになるようにする（第４の出力画像）。
次に、合成処理部１２０４は、垂直線方向にスプライン補間処理を行った画像、および水平線方向にスプライン補間処理を行った画像の双方から、同じ位置の画素の画素値を取得して平均することによって、合成画像を算出する。
なお、合成処理部１２０４は、前記したように平均する代わりに、同じ位置の画素の各画素値に、重みを付けて加算し、合成画像を求めてもよい。
【００４２】
そして、画像出力部１０６は、合成処理部１２０４から取得した合成画像を出力画像信号として、高精細画像処理装置１２００から出力する（図２のステップＳ２１２および図９のステップＳ９１２と同様）。
したがって、高精細画像処理装置１２００は、水平線方向および垂直線方向に好適に高周波成分を含んだ画像フレームを選択して超解像処理を行うため、高精細で解像度の高い画像を生成することが可能となる。
なお、処理対象の画像は、図７，図１１に示す対象領域画像７０１，１１０１であってもよい。
【００４３】
図１３には、合成処理部１２０４における処理の概要を模式的に示した（適宜、図１，図１２参照）。図１３は、合成処理部における処理の概要を模式的に示す図である。
まず、画像入力部１０１に入力された画像フレーム１３０１の画素数が、横ｘ、縦ｙであったとする。水平線方向超解像処理部１２０２によって、画像フレーム１３０２の画素数は、横２ｘ、縦ｙとなる。また、垂直線方向超解像処理１２０３によって、画像フレーム１３０３の画素数は、横ｘ、縦２ｙとなる。そして、合成処理部１２０４によって、画像フレーム１３０２、画像フレーム１３０３はともにスプライン補間されて、画素値が平均され、画像フレーム１３０４の画素数は、横２ｘ、縦２ｙとなる。
そして、画像フレーム１３０４が、合成処理部１２０４から画像出力部１０６に出力される。画像出力部１０６から出力された出力画像信号は、光ディスクやＨＤＤ等の記録媒体に記憶されたり、インターネット等の通信媒体に出力されたりする。
【００４４】
《第６実施形態》
第６実施形態では、前記した高精細画像処理装置１０，１２００を、撮像装置（例えば、デジタルカメラ）に外付けして超解像処理を行う場合の構成について説明する。
図１４は、撮像装置に高精細画像処理装置を外付けした場合の構成を示す図である。
図１４に示すように、撮像装置１４００は、主な機能として、撮像装置制御部１４０１、撮像部１４０２、Ａ／Ｄ（Analog/Digital）変換部１４０３、信号処理部１４０４、記録部１４０５、操作部１４０６、および表示部１４０７を備えている。
【００４５】
撮像装置制御部１４０１は、各部（１４０２〜１４０７）の制御を司る。また、撮像装置制御部１４０１は、外付けされた高精細画像処理装置１０，１２００との入力画像信号および出力画像信号等の送受信を行う（線１４１１，線１４１２）。
撮像部１４０２は、ＣＣＤ（Charge Coupled Device）イメージセンサを備え、光電変換によって光をアナログ電気信号に変換する。
Ａ／Ｄ変換部１４０３は、撮像部１４０２によって生成されたアナログ電気信号を、サンプリングおよび量子化して、デジタル信号に変換する。
信号処理部１４０４は、Ａ／Ｄ変換部１４０３から受け付けたデジタル信号に、信号レベル調整、コントラスト調整、ブライトネス調整、ホワイトバランス調整等の処理を行う。
【００４６】
記録部１４０５は、信号処理部１４０４から出力される画像データを格納する。記録部１４０５は、例えば、ＨＤＤ、ブルーレイディスク、ＤＶＤ、ＳＤメモリカードである。
操作部１４０６は、撮像装置１４００自身の録画や再生等を可能とするボタンや操作項目を選択可能とするキースイッチ等で構成される。また、操作部１４０６は、高精細画像処理装置１０，１２００を用いた超解像処理の実行を指示する機能を有する。さらに、操作部１４０６は、高周波数閾値５０２（図５参照）および超解像処理基準値６０１（図６参照）を設定する機能を有する。そして、設定した高周波数閾値５０２（図５参照）および超解像処理基準値６０１（図６参照）は、撮像装置制御部１４０１によって、図示しない撮影装置の記憶部または高精細画像処理装置１０，１２００の記憶部に格納され、高周波成分算出のための処理および画像フレーム選択のための処理の際に読み出されて使用される。
表示部１４０７は、録画中の画像や再生する画像を表示する。また、表示部１４０７は、操作部１４０６による操作を誘導する誘導画面を表示する。
【００４７】
そして、高精細画像処理装置１０，１２００と撮像装置１４００とは、相互に通信を可能にするインタフェースを備えているものとする。例えば、撮像装置制御部１４０１から高精細画像処理装置１０，１２００へ接続されている線１４１１は、図８に示す入力部８２１から制御部８１１へ接続されている線や入力画像信号が伝送される線に相当する。また、高精細画像処理装置１０，１２００から撮像装置制御部１４０１へ接続されている線１４１２は、図８に示す制御部８１１から表示部８２２へ接続されている線や図１，図１２に示す出力画像信号が伝送される線に相当する。そして、操作部１４０６は、図８に示す入力部８２１に相当する。また、表示部１４０７は、図８に示す表示部８２２に相当する。
なお、出力画像信号は、高精細画像処理装置１０，１２００から、撮像装置１４００以外の光ディスクやＨＤＤ等の記録媒体に記憶されたり、インターネット等の通信媒体に出力されたりしても構わない。
【００４８】
また、撮像装置１４００が、高精細画像処理装置１０，１２００を内蔵してもかまわない。ただし、高精細画像処理装置１０，１２００を内蔵する場合には、図８に示す制御部８１１の機能を撮像装置制御部１４０１において実現すればよい。
さらに、高精細画像処理装置１０，１２００は、撮像装置１４００ではなく、撮像装置制御部１４０１、記録部１４０５、操作部１４０６、および表示部１４０７と同等の機能を含むプリンタに外付け、または内蔵されてもよい。そして、そのプリンタは、高精細な処理画像を印刷して出力することが可能になる。
【００４９】
以上説明したように、本実施形態に係る高精細画像処理装置１０，１２００（図１、図１２参照）は、連続写真や動画等の空間的に連続な複数の画像フレームから、超解像処理に好適な画像フレームを選択可能とするため、高精細で解像度の高い画像（静止画）を容易に生成することが可能となる。
【図面の簡単な説明】
【００５０】
【図１】高精細化に適している画像フレームを選択して超解像処理を実行する機能の概要を示す図である。
【図２】高精細画像処理装置における画像フレームの水平線方向の処理の流れを示す図である。
【図３】（ａ）は、処理対象となる画像フレームの一例を示す図であり、（ｂ）は、水平線方向の輝度信号強度特性の一例を示す図であり、（ｃ）は、輝度信号強度の周波数特性の一例を示す図である。
【図４】画像フレームの平均周波数成分特性の一例を示す図である。
【図５】画像フレームに含まれる高周波成分の量を算出する一例を示す図である。
【図６】高周波成分面積の大きさを比較して、超解像処理に用いる画像フレームを選択する一例を示す図である。
【図７】第２実施形態における超解像処理対象を画像フレームの一部（対象領域画像）とした場合の一例を示す図である。
【図８】対象領域画像を設定する構成の一例を示す図である。
【図９】高精細画像処理装置における画像フレームの垂直線方向の処理の流れを示す図である。
【図１０】処理対象となる画像フレームと垂直線を示す図である。
【図１１】第４実施形態における超解像処理対象を画像フレームの一部（対象領域画像）とした場合の一例を示す図である。
【図１２】超解像処理を水平線方向と垂直線方向に分離して行い、それらを合成して高精細な画像を生成する場合の処理を示す図である。
【図１３】合成処理部における処理の概要を模式的に示す図である。
【図１４】撮像装置に高精細画像処理装置を外付けした場合の構成を示す図である。
【図１５】入力画像の周波数成分と高精細化前の周波数帯域および超解像処理により復元される周波数帯域とを示す図である。
【符号の説明】
【００５１】
１０，１２００  高精細画像処理装置（画像処理装置）
１１      処理部
１０２    周波数成分調査部
１０３    高周波成分算出部
１０４，１０４ａ，１０４ｂ  入力画像選択部
１０５    超解像処理部
３０２    水平線
３０３    輝度信号強度曲線
５０１    平均周波数成分曲線
５０２    高周波数閾値
５０３    高周波面積
６０１    超解像処理基準値
６０３    超解像処理対象画像フレーム
６０４    超解像処理参照画像フレーム
７０１    対象選択画像
１００２  垂直線
１２０１  対象画像処理部
１２０４  合成処理部
１４００  撮像装置
【図１】
2009273072.tif 000003
【図２】
2009273072.tif 000004
【図３】
2009273072.tif 000005
【図４】
2009273072.tif 000006
【図５】
2009273072.tif 000007
【図６】
2009273072.tif 000008
【図７】
2009273072.tif 000009
【図８】
2009273072.tif 000010
【図９】
2009273072.tif 000011
【図１０】
2009273072.tif 000012
【図１１】
2009273072.tif 000013
【図１２】
2009273072.tif 000014
【図１３】
2009273072.tif 000015
【図１４】
2009273072.tif 000016
【図１５】
2009273072.tif 000017