【手続補正書】
【提出日】平成19年11月14日(2007.11.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段と、該類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする撮像装置。
【請求項２】
被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記サンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップと、前記類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする画像の高解像化方法。
【請求項３】
前記位置関係算出ステップは、前記基準画像を複数のモーションで変形させて複数の画像列を生成するステップと、前記各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステップと、前記複数の画像列と前記参照画像との類似度値を各々算出するステップと、前記複数の画像列を生成するための変形モーションのパラメータと前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップと、前記作成した類似度マップを用いて類似度の極値を求めるステップと、前記求めた類似度の極値を持つ変形モーションを特定するステップと、を含むことを特徴とする請求項２に記載の画像の高解像化方法。
【請求項４】
前記高解像化ステップは、撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップを含むことを特徴とする、請求項２または請求項３に記載の画像の高解像化方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
（１）．本発明の撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段と、該類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
（１）の発明は、図9に示された第3の実施形態例が対応する。（１）の発明の構成で「被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は光学系、撮像部301が該当する。「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段」は撮像位置推定部302が該当する。「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段」は基準画像選択部307が該当する。「位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段」、「類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段」は重み計算部304が該当する。重み計算部304は、図１０で説明したように、モーション推定精度が高いものほど画像高解像度化処理のときに大きい重み付けを行う。「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段」は、高解像化処理部306が該当する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
（１）の発明は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求め、求められた相対的な位置関係を用いて得られる基準画像と各フレーム毎の画像との類似度を算出して、各画像毎に算出した基準となる画像との類似度に対応した重み付けを行うものである。この構成によれば、基準画像に対して対象画像の位置関係の推定精度が低いフレームを用いることによる、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
（２）本発明にかかる画像の高解像化方法は、被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像ステップでサンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップと、前記類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
（２）の発明は、図９に示された第３の実施形態例が対応する。（２）の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部301による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備える。さらに、撮像位置推定部302による「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」、基準画像選択部307による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」、重み計算部304による「位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップ」、および「類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップ」、高解像化処理部306による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」を備える。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
（２）の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求め、求められた相対的な位置関係を用いて得られる基準画像と各フレーム毎の画像との類似度を算出して、各画像毎に算出した基準となる画像との類似度に対応した重み付けを行うものである。このように、高解像度化する画像と低解像度画像の間で推定した位置関係から、画像間の類似度を求め、その類似度が高いほど大きな重みをつけることにより、基準画像に対して対象画像の位置関係の推定精度が低いフレームに対する対応の不整合による高解像度画像の推定精度の低下に対応することが可能な方法を提供することができる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
（３）.本発明の実施形態にかかる画像の高解像化方法は、前記位置関係算出ステップは、前記基準画像を複数のモーションで変形させて複数の画像列を生成するステップと、前記各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステップと、前記複数の画像列と前記参照画像との類似度値を各々算出するステップと、前記複数の画像列を生成するための変形モーションのパラメータと前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップと、前記作成した類似度マップを用いて類似度の極値を求めるステップと、前記求めた類似度の極値を持つ変形モーションを特定するステップと、を含むことを特徴とする。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
（３）の発明は、図３に示された第１の実施形態例が対応する。「基準画像を複数のモーションで変形させて複数の画像列を生成するステップ」はS2が、「各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステップ」はS3が、「複数の画像列と前記参照画像との類似度値を各々算出するステップ」はS4が、「複数の画像列を生成するための変形モーションのパラメータと前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップ」はS5が、「作成した類似度マップを用いて類似度の極値を求めるステップ」、および「求めた類似度の極値を持つ変形モーションを特定するステップ」はS6が、それぞれ該当する。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
（３）の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、画素数の少ない画像データを用いてモーション推定を精度良く行うことができる。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
（４）.本発明の実施形態にかかる画像の高解像化方法は、前記高解像化ステップは、撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップを含むことを特徴とする。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
（４）の発明は、図５に示された第１の実施形態例が対応する。（４）の発明の「撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップ」は、S15が該当する。（４）の発明にかかる画像の高解像化方法は、このようなステップを備えることにより、読み取られた低解像度画像から高解像度画像への変換を円滑に行うことができる。