【手続補正書】
【提出日】平成16年12月24日(2004.12.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置及びその画像処理方法及びその画像処理を実行させるためのプログラム
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理装置であって、
入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定手段と、
前記各特徴点の探索領域から前記画像の特微量に基づいて、前記構図内の被写体の特徴的な位置情報を前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記位置情報抽出手段は更に、前記分割された画像以外の前記入力画像のそれぞれに対して、前記特徴的な位置情報に対応する点を探索し、得られた対応する点をその画像に対する座標に関連させた位置情報として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は更に、前記位置情報抽出手段で抽出された前記特徴的な位置情報及び前記対応する点の位置情報の各座標間のずれに基づく補正パラメータを検出する補正パラメータ検出手段と、
検出された補正パラメータに基づき、各画像の被写体位置が一致するように画像を補正する画像補正手段と、
を具備することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記位置情報抽出手段により抽出される位置情報は、
前記画像内を移動する物体が検出された分割領域の座標に関連する位置情報を除外した位置情報であることを特徴とする請求項１乃至３の何れか一つに記載の画像処理装置。
【請求項５】
前記位置情報抽出手段は、前記画像内の各分割領域に対して、直交変換したときの高周波成分の割合、飽和した画素の割合、画素値の平均値、最大及び最小の画素値の差、コントラストのいずれかの値を基準として、前記入力した画像から所望の分割領域に対する座標関連位置情報を抽出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記探索領域設定手段は、前記画像内の各分割領域に対して、直交変換したときの高周波成分の割合、飽和した画素の割合、画素値の平均値、最大及び最小の画素値の差、コントラストの何れかの値を基準として、特徴点の探索を行う領域とするか否かを判定する状態判定部を有することを特徴とする請求項１乃至５の何れか一つに記載の画像処理装置。
【請求項７】
撮影条件の異なる複数の画像に対して補正を行う画像処理装置であって、
画像を複数の分割領域に分割する領域分割手段と、
前記分割領域中におのおのの分割領域と同じまたは小さい特徴点探索領域を設ける特徴点探索領域設定手段と、
前記それぞれの特徴点探索領域から画像の統計量に基づいて被写体の特徴的な位置情報を抽出する特徴位置情報抽出手段と、
前記複数の画像のうち、被写体の特徴的な位置情報を抽出した画像とは異なる画像中で対応する点を探索する対応点探索手段と、
前記特徴的な位置情報及び対応する点の位置情報より画像間の回転・移動・倍率変化を含む補正パラメータを検出する補正パラメータ検出手段と、
前記補正パラメータとしての画像間の回転・移動・倍率変化に基づいて画像を補正する画像補正手段と、
を具備することを特徴とする画像処理装置。
【請求項８】
撮影条件の異なる複数の画像に対して補正を行う画像処理方法であって、画像を複数の分割領域に分割する領域分割工程と、
前記分割領域中におのおのの分割領域と同じまたは小さい特徴点探索領域を設ける特徴点探索領域設定工程と、
前記それぞれの特徴点探索領域から画像の統計量に基づいて被写体の特徴的な位置情報を抽出する特徴位置情報抽出工程と、
前記複数の画像のうち、被写体の特徴的な位置情報を抽出した画像とは異なる画像中で対応する点を探索する対応点探索工程と、
前記特徴的な位置情報及び対応する点の位置情報より画像間の回転・移動・倍率変化を含む補正パラメータを検出する補正パラメータ検出工程と、
前記補正パラメータとしての画像間の回転・移動・倍率変化に基づいて画像を補正する画像補正工程と、を具備することを特徴とする画像処理方法。
【請求項９】
前記画像補正工程は、前記補正パラメータの前記回転・移動・倍率変化に基づいて画像を補正する際に特定の基準画像から見た回転・移動・倍率変化を表すように、前記補正パラメータを変換してから補正することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記領域分割工程は、分割する領域を画像の一部に制限することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記補正パラメータ検出工程は、前記画像の統計量に基づく被写体の特徴的な位置情報のうち、複数の画像間で位置の移動の無い被写体上に設定された位置情報を画像間の回転・移動・倍率変化の検出に用いることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記領域分割工程は、直交変換したときの高周波成分の割合、飽和した画素の割合、画素値の平均値、最大及び最小の画素値の差、コントラストのいずれかの値を基準に前記分割する領域を制限することを特徴とする請求項１０に記載の画像処理方法。
【請求項１３】
前記領域分割工程は更に、ユーザーの指定に基く特定点を中心に制限領域を広げていくことを特徴とすることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記領域分割工程は更に、ユーザーの指定に基く分割領域を中心に制限領域を広げていくことを特徴とする請求項１２に記載の画像処理方法。
【請求項１５】
ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理方法であって、
入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定工程と、
前記各特徴点の探索領域から前記画像の特徴量に基づいて、前記構図内の被写体の特徴的な位置情報を前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出工程と、を具備することを特徴とする画像処理方法。
【請求項１６】
ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理のためのプログラムであって、
コンピュータに入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定機能と、
前記各特徴点の探索領域から前記画像の特徴量に基づいて、前記構図内の被写体の特徴的な位置情報を前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出機能と、を実行させるためのプログラム。
【請求項１７】
撮影条件の異なる複数の画像に対して補正を行う画像処理のためのプログラムであって、
コンピュータに、
画像を複数の分割領域に分割する領域分割機能と、
前記分割領域中におのおのの分割領域と同じまたは小さい特徴点探索領域を設ける特徴点探索領域設定機能と、
前記それぞれの特徴点探索領域から画像の統計量に基づいて被写体の特徴的な位置情報を抽出する特徴位置情報抽出機能と、
前記複数の画像のうち、被写体の特徴的な位置情報を抽出した画像とは異なる画像中で対応する点を探索する対応点探索機能と、
前記特徴的な位置情報及び対応する点の位置情報より画像間の回転・移動・倍率変化を含む補正パラメータを検出する補正パラメータ検出機能と、
前記補正パラメータとしての画像間の回転・移動・倍率変化に基づいて画像を補正する画像補正機能と、を実行させるためのプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】  
本発明は、同一の被写体を異なる撮影条件で撮影した複数の画像から入力機器のダイナミックレンジや被写界深度を超えた画像を合成処理に係り、特に各画像を重ね合わせた際に被写体が一致するように位置合わせ補正を行う画像処理装置及びその画像処理方法及びその画像処理を実行させるためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
そこで本発明は、ほぼ同一の構図で露出や焦点位置など撮影条件が異なる複数の画像間の位置関係を検出し、検出した位置関係を示すパラメータの値によって、正確に画像が重なるように補正する画像処理装置及びその画像処理方法及びその画像処理を実行させるためのプログラムを提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
【課題を解決するための手段】
本発明は上記目的を達成するために、第１に、ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理装置であって、入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定手段と、前記各特徴点の探索領域から前記画像の特微量に基づいて、前記構図内の被写体の特徴的な位置情報を前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出手段とを備える画像処理装置を提供する。  
第２に、撮影条件の異なる複数の画像に対して補正を行う画像処理方法であって、画像を複数の分割領域に分割する領域分割工程と、前記分割領域中におのおのの分割領域と同じまたは小さい特徴点探索領域を設ける特徴点探索領域設定工程と、前記それぞれの特徴点探索領域から画像の統計量に基づいて被写体の特徴的な位置情報を抽出する特徴位置情報抽出工程と、前記複数の画像のうち、被写体の特徴的な位置情報を抽出した画像とは異なる画像中で対応する点を探索する対応点探索工程と、前記特徴的な位置情報及び対応する点の位置情報より画像間の回転・移動・倍率変化を含む補正パラメータを検出する補正パラメータ検出工程と、前記補正パラメータとしての画像間の回転・移動・倍率変化に基づいて画像を補正する画像補正工程とで構成される画像処理方法を提供する。  
第３に、ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理のためのプログラムであって、コンピュータに入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定機能と、前記各特徴点の探索領域から前記画像の特徴量に基づいて、前記構図内の被写体の特徴的な位置情報を前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出機能とを実行させるためのプログラムを提供する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
【発明の効果】
以上詳述したように本発明によれば、ほぼ同一の構図で露出や焦点位置など撮影条件が異なる複数の画像間の位置関係を検出し、検出した位置関係を示すパラメータの値によって、正確に画像が重なるように補正する画像処理装置及びその画像処理方法及びその画像処理を実行させるためのプログラムを提供することができる。
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
1999185018.tif 000001
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
1999185018.tif 000002
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
1999185018.tif 000003
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
1999185018.tif 000004