(57)【要約】【課題】画像間の動き検出に要する処理量や回路規模の増大を防止しつつ、手振れ補正を行いかつ低解像度の画像から高解像度の画像を生成することができる画像処理装置を提供する。【解決手段】画像処理装置１の動き検出部２０は、メモリ部１０に保持された低解像度画像を読み出し、画像間の動きベクトルを検出する。手振れ補正パラメータ計算部３０ａは、動きベクトルを用いて補正グローバル動きパラメータを求める。動きベクトル補正部４０は、補正グローバル動きパラメータを用いて、動き検出部２０で求めた動きベクトルを補正する。画像統合部５０ａは、補正された動きベクトルを用いて、処理対象画像と参照画像群とを小数画素精度で合成（統合）する。統合画像処理部６０は、不等間隔に配置された統合画像の画素から等間隔に配置された高解像度画像の画素を生成し、高解像度画像を出力する。【選択図】図１
2007267378.tif 000002
【特許請求の範囲】
【請求項１】
所定の時間間隔で入力される複数の画像中の１つである処理対象画像と、当該処理対象画像と時間的に前後する画像である複数の参照画像とを用いて、当該処理対象画像に対応する統合画像を生成する画像処理方法であって、
前記処理対象画像と前記複数の参照画像との間の分割された領域毎の動き量を、小数画素精度でそれぞれ検出する動き検出ステップと、
前記処理対象画像と前記複数の参照画像との間の動き量の少なくとも一部を用いて、手振れ変動成分を計算する手振れ変動成分計算ステップと、
前記処理対象画像と前記複数の参照画像との間の動き量と、前記手振れ変動成分とに基づいて前記処理対象画像の高解像度化と手振れ補正とを行うように、前記処理対象画像の画素と、前記参照画像の画素とを前記統合画像の統合画像空間で統合する画像統合ステップと、
拡大率または画素数により定まる数の画素を有し、かつ等間隔の画素配置を有する統合画像を、前記統合画像空間の画素から生成する統合画像処理ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記画像処理方法は、さらに
前記手振れ変動成分に基づいて、前記処理対象画像の手振れ補正動き量を計算する第１手振れ補正動き量計算ステップと、
前記動き量と、前記手振れ変動成分に基づいて、前記参照画像の手振れ補正動き量を計算する第２手振れ補正動き量計算ステップとを含み、
前記画像統合ステップは、
前記参照画像の手振れ補正動き量に基づいて、当該参照画像の画素を移動させてから前記統合画像空間にマッピングする第１統合ステップと、
前記処理対象画像の手振れ補正動き量に基づいて、当該処理対象画像の画素を移動させてから前記統合画像空間にマッピングする第２統合ステップと
を含むことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記手振れ変動成分計算ステップは、
画面全体の優勢な動きを表現するパラメータであるグローバル動きパラメータを計算する第１パラメータ計算ステップと、
前記グローバル動きパラメータの履歴に基づいて、前記手振れ変動成分を計算する第２パラメータ計算ステップと
を含むことを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記画像統合ステップは、
前記動き量に基づいて、前記参照画像の画素を移動させてから前記統合画像空間にマッピングするとともに、前記処理対象画像の画像を移動させずに前記統合画像空間にマッピングする第３統合ステップと、
前記手振れ変動成分に基づいて、前記統合画像空間にマッピングされた統合画像の画素の画素位置を補正するグローバル動き補正ステップとを含む
ことを特徴とする請求項１記載の画像処理方法。
【請求項５】
前記手振れ変動成分計算ステップは、
画面全体の優勢な動きを表現するパラメータであるグローバル動きパラメータを計算する第１パラメータ計算ステップと、
前記グローバル動きパラメータの履歴に基づいて、前記手振れ変動成分を計算する第２パラメータ計算ステップ
とを含むことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記拡大率または画素数は外部から指定される
ことを特徴とする請求項１記載の画像処理方法。
【請求項７】
前記拡大率または画素数は、前記入力画像と同じ画素数となるように指定される
ことを特徴とする請求項１記載の画像処理方法。
【請求項８】
前記画像処理方法は、さらに画素の移動量の所定の最大値を指定する制御ステップを含み、
前記手振れ変動成分計算ステップでは、画素の移動量が所定の最大値を超えないように前記手振れ変動成分を計算し、
前記統合画像処理ステップでは、前記拡大率を前記入力画像の画素数と前記最大値により決定する
ことを特徴とする請求項１記載の画像処理方法。
【請求項９】
所定の時間間隔で入力される複数の画像中の１つである処理対象画像と、当該処理対象画像と時間的に前後する画像である複数の参照画像とを用いて、当該処理対象画像に対応する統合画像を生成する画像処理装置であって、
前記処理対象画像と前記複数の参照画像との間の分割された領域毎の動き量を、小数画素精度でそれぞれ検出する動き検出手段と、
前記処理対象画像と前記複数の参照画像との間の動き量の少なくとも一部を用いて、手振れ変動成分を計算する手振れ変動成分計算手段と、
前記処理対象画像と前記複数の参照画像との間の全ての動き量と、前記手振れ変動成分とに基づいて前記処理対象画像の高解像度化と手振れ補正とを行うように、前記処理対象画像の画素と、前記参照画像の画素とを前記統合画像の統合画像空間で統合する画像統合手段と、
拡大率または画素数により定まる数の画素を有し、かつ等間隔の画素配置を有する統合画像を、前記統合画像空間の画素から生成する統合画像処理手段と
を備えることを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置が備える手段を一体化したことを特徴とする集積回路。
【請求項１１】
請求項９に記載の画像処理装置を備えることを特徴とするカメラ。
【請求項１２】
コンピュータ読取可能な記録媒体に記録され、請求項１に記載の画像処理方法に含まれるステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および画像処理装置に関し、特に、低解像度で撮影した画像から高解像度画像を生成する技術に関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラが普及し、日常的に撮影されているが、撮影時に手振れが生じ、画像の品質が劣化することが多い。このようなカメラでの撮影時に生じる手振れを補正する方法は、いわゆるメカニカルな処理による光学式と、電気的な処理による電子式とに分類することができる。光学式によると小型化とコスト面から不利であるため、電子式が採用される場合が多い。従来の電子式手振れ補正方式（例えば、特許文献１）では、時間的に隣接する画像間の位置ずれ（以下「動き」、「動きベクトル」とも記す。）を求めることにより手振れ成分を検出し、その手振れ成分を抑圧するように処理対象の画像の各画素に補正をかける。つまり、動きベクトル分だけ処理対象の画像全体を移動させることにより、手振れ補正をしている。
【特許文献１】特開２００５−１３０１５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、一般的なカメラではイメージセンサから出力される画像の解像度が低く、処理対象の画像もピンぼけしている場合が多い。このため、処理対象の画像に手振れ補正を施しても低解像度のままで、解像度を高くすることができないという問題がある。また、画像信号に対して上記の手振れ補正処理を施す際に、アフィン変換等の画像補正を行う場合には、画素値を線形内挿で求める必要が生じる。よって、手振れ補正後の画像にボケが生じてしまうという問題がある。また、画素値を線形内挿する画素としない画素とを、空間的または時間的に混合する場合、ボケが生じた画素と生じていない画素とが混じって生成される。よって、主観的な品質劣化が生じるという問題がある。なお、手振れ補正量が整数画素単位であれば線形内挿処理はされず、手振れ補正量が整数画素単位でなければ、つまり１画素未満の精度（小数画素精度）であれば線形内挿処理がされることになる。
【０００４】
ところで、近年低解像度の動画像に含まれる連続する複数枚の画像を合成し、高解像度画像を生成する画像処理方法、いわゆる超解像画像処理方法が提案されている（例えば、非特許文献１：Ｓ．Ｃ．Ｐａｒｋ，  Ｍ．Ｋ．Ｐａｒｋ  ａｎｄ  Ｍ．Ｇ．Ｋａｎｇ，  “Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：  Ａ  Ｔｅｃｈｎｉｃａｌ  Ｏｖｅｒｖｉｅｗ，”  ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ，  Ｍａｙ  ２００３．）。
【０００５】
この超解像画像処理方法では、低解像度画像間の位置ずれ量（動き量）を１画素未満の小数画素精度で検出し、その位置ずれ量に従って低解像度画像の合成を行う。
【０００６】
そこで、手振れ補正を行った後、さらに超解像度処理を行うことが考えられる。つまり、画像を構成する画素に対して上記の手振れ補正処理と超解像処理との両者を施す場合、すなわち画像信号の手振れ補正を施した後に、高解像度画像を生成する場合を考える。
【０００７】
しかしながらこの場合には、手振れ補正処理と超解像処理のそれぞれについて、重複した画像間の位置ずれ量を求める必要が生じ、処理量や回路規模の増大を招くという問題が生じる。
【０００８】
そこで、本発明は、上記課題を解決し、画像間の動き検出に要する処理量や回路規模の増大を防止しつつ、手振れ補正を行いかつ低解像度の画像から高解像度の画像を生成することができる画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記問題を解決するために、本発明に係る画像処理方法においては、所定の時間間隔で入力される複数の画像中の１つである処理対象画像と、当該処理対象画像と時間的に前後する画像である複数の参照画像とを用いて、当該処理対象画像に対応する統合画像を生成する画像処理方法であって、前記処理対象画像と前記複数の参照画像との間の分割された領域毎の動き量を、小数画素精度でそれぞれ検出する動き検出ステップと、前記処理対象画像と前記複数の参照画像との間の動き量の少なくとも一部を用いて、手振れ変動成分を計算する手振れ変動成分計算ステップと、前記処理対象画像と前記複数の参照画像との間の全ての動き量と、前記手振れ変動成分とに基づいて前記処理対象画像の高解像度化と手振れ補正とを行うように、前記処理対象画像の画素と、前記参照画像の画素とを前記統合画像の統合画像空間で統合する画像統合ステップと、拡大率または画素数により定まる数の画素を有し、かつ等間隔の画素配置を有する統合画像を、前記統合画像空間の画素から生成する統合画像処理ステップとを含むことを特徴とする。
【００１０】
これにより、画像間の動き検出が１回ですみ、画像間の動き検出に要する処理量や回路規模の増大を防止しつつ、手振れ補正を行いかつ低解像度の画像から高解像度の画像を生成することが可能となる。
【００１１】
また、本発明に係る画像処理方法においては、前記画像処理方法は、さらに前記手振れ変動成分に基づいて、前記処理対象画像の手振れ補正動き量を計算する第１手振れ補正動き量計算ステップと、前記動き量と、前記手振れ変動成分に基づいて、前記参照画像の手振れ補正動き量を計算する第２手振れ補正動き量計算ステップとを含み、前記画像統合ステップは、前記参照画像の手振れ補正動き量に基づいて、当該参照画像の画素を移動させてから前記統合画像空間にマッピングする第１統合ステップと、前記処理対象画像の手振れ補正動き量に基づいて、当該処理対象画像の画素を移動させてから前記統合画像空間にマッピングする第２統合ステップとを含むことを特徴とすることができる。
【００１２】
これにより、精度の高い手振れ補正を実現することができ、さらに低解像度画像の折り返し周波数成分が復元された高解像度画像を生成することができる。
【００１３】
また、本発明に係る画像処理方法においては、前記手振れ変動成分計算ステップは、画面全体の優勢な動きを表現するパラメータであるグローバル動きパラメータを計算する第１パラメータ計算ステップと、前記グローバル動きパラメータの履歴に基づいて、グローバル動きパラメータを補正することにより、前記手振れ変動成分を計算する第２パラメータ計算ステップとを含むことを特徴とすることもできる。
【００１４】
これにより、精度の高い手振れ変動成分を生成することができる。
また、本発明に係る画像処理方法においては、前記画像統合ステップは、前記動き量に基づいて、前記参照画像の画素を移動させてから前記統合画像空間にマッピングするとともに、前記処理対象画像の画像を移動させずに前記統合画像空間にマッピングする第３統合ステップと、前記手振れ変動成分に基づいて、前記統合画像空間にマッピングされた統合画像の画素の画素位置を補正するグローバル動き補正ステップとを含むことを特徴とすることができる。
【００１５】
これによっても、精度の高い手振れ補正を実現することができ、さらに低解像度画像の折り返し周波数成分が復元された高解像度画像を生成することができる。
【００１６】
また、本発明に係る画像処理方法においては、前記手振れ変動成分計算ステップは、画面全体の優勢な動きを表現するパラメータであるグローバル動きパラメータを計算する第１パラメータ計算ステップと、前記グローバル動きパラメータの履歴に基づいて、グローバル動きパラメータを補正することにより、前記手振れ変動成分を計算する第２パラメータ計算ステップとを含むことを特徴とすることもできる。
【００１７】
これにより、精度の高い手振れ変動成分を生成することができる。
また、本発明に係る画像処理方法においては、前記拡大率または画素数は外部から指定されることを特徴とすることができる。
【００１８】
また、本発明に係る画像処理方法においては、前記拡大率または画素数は、前記入力画像と同じ画素数となるように指定されることを特徴とすることができる。
【００１９】
また、本発明に係る画像処理方法においては、前記画像処理方法は、さらに画素の移動量の所定の最大値を指定する制御ステップを含み、前記手振れ変動成分計算ステップでは、画素の移動量が所定の最大値を超えないように前記手振れ変動成分を計算し、前記統合画像処理ステップでは、前記拡大率を前記入力画像の画素数と前記最大値により決定することを特徴とすることができる。
【００２０】
なお、本発明は、このような画像処理方法として実現することができるだけでなく、このような画像処理方法が含む特徴的なステップを手段とする画像処理装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、画像処理装置の手段を一体化したＬＳＩとして実現したり、画像処理装置を備えるカメラとして実現したり、画像処理装置を備える画像再生装置として実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２１】
以上の様に、本発明の画像処理方法を用いることにより、画像間の動き検出が１回ですみ、画像間の動き検出に要する処理量や回路規模の増大を防止しつつ、手振れ補正を行いかつ低解像度の画像から高解像度の画像を生成することが可能となり、デジタルビデオカメラが普及し、日常的に撮影されている今日における本願発明の実用的価値が極めて高い。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
（実施の形態１）
図１は、本実施の形態１における画像処理装置全体の機能構成を示すブロック図である。
【００２４】
画像処理装置１は、デジタルビデオカメラ等から入力される低解像度（ＬＲ：Ｌｏｗ  Ｒｅｓｏｌｕｔｉｏｎ）の入力画像に対して効率的な手振れ補正処理および高解像度化処理を施すことにより、手振れがなく、かつ入力画像の解像度より高い高解像度（ＨＲ：Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ、以下、超解像度（Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ）とも記す。）の画像を生成して出力するものであり、図１に示されるように、メモリ部１０と、動き検出部２０と、手振れ補正パラメータ計算部３０ａと、動きベクトル補正部４０と、画像統合部５０ａと、統合画像処理部６０とを備える。
【００２５】
メモリ部１０は、所定の時間毎に入力される低解像度の画像を複数、一時的に保持する。
【００２６】
なお、ここでは、入力画像ＬＲは図２に示されるような画像列であるとし、処理対象画像が画像Ｐ（ｔ）であるとして説明する。また、動き検出部２０における動き検出においては、処理対象画像Ｐ（ｔ）に対して時間的に前後に位置する画像を参照画像として用いる。また、画像Ｐ（ｔ−２）、画像Ｐ（ｔ−１）、画像Ｐ（ｔ＋１）、画像Ｐ（ｔ＋２）の４枚の低解像度画像を参照画像として用いるものとして説明する。
【００２７】
動き検出部２０は、メモリ部１０に保持された複数（５枚）の低解像度画像Ｐ（ｔ−２），Ｐ（ｔ−１），Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２）を読み出し、その真ん中の処理対象画像Ｐ（ｔ）と、この処理対象画像Ｐ（ｔ）と時間的に前後する複数（例えば、４枚）の画像（以下、この画像を「参照画像」とも記す。）Ｐ（ｔ−２），Ｐ（ｔ−１），Ｐ（ｔ＋１），Ｐ（ｔ＋２）との間の動き量（位置ずれ量、動きベクトル）ＭＶ（ｔ−２），ＭＶ（ｔ−１），ＭＶ（ｔ＋１），ＭＶ（ｔ＋２）を検出する。
【００２８】
手振れ補正パラメータ計算部３０ａは、処理対象画像に対して手振れ補正するための補正グローバル動きパラメータＰＭを計算するものであり、グローバル動きパラメータ計算部３１と、補正グローバル動きパラメータ計算部３２とを備える。グローバル動きパラメータ計算部３１は、画面全体の優勢な動きを表現するパラメータであるグローバル動きパラメータを計算する。補正グローバル動きパラメータ計算部３２は、グローバル動きパラメータの履歴に基づいてグローバル動きパラメータを補正し、補正グローバル動きパラメータを計算する。
【００２９】
動きベクトル補正部４０は、動き検出部２０によって検出された動きベクトルＭＶ（ｔ−２），ＭＶ（ｔ−１），ＭＶ（ｔ＋１），ＭＶ（ｔ＋２）と、手振れ補正パラメータＰＭとに基づいて、処理対象画像Ｐ（ｔ）の手振れ補正動き量ＭＶ’（ｔ）を求めるものであり、第１補正部４１と第２補正部４２とを備える。第１補正部４１は、手振れ補正パラメータ計算部３０ａから得られた補正グローバル動きパラメータＰＭを用いて、動き検出部２０から得られた動きベクトルＭＶ（ｔ−２），ＭＶ（ｔ−１），ＭＶ（ｔ＋１），ＭＶ（ｔ＋２）を補正し、補正した動きベクトルＭＶ’（ｔ−２），ＭＶ’（ｔ−１），ＭＶ’（ｔ＋１），ＭＶ’（ｔ＋２）を計算する。また、第２補正部４２は、処理対象画像Ｐ（ｔ）に対する動きベクトル（位置ずれ量）ＭＶ（ｔ）を計算する。
【００３０】
画像統合部５０ａは、動きベクトルＭＶ’（Τ）（ｔ−２≦Ｔ≦ｔ＋２）を用いて、処理対象画像と参照画像群とを小数画素精度で移動させた後に統合するものであり、第１統合部５２と、第２統合部５１ａとを備える。
【００３１】
第１統合部５２は、処理対象画像の画素を動きベクトルＭＶ’（ｔ）により動かし、統合空間に貼り付ける。
【００３２】
第２統合部５１ａは、補正された動きベクトルＭＶ’（Τ）（Ｔ＝ｔ−２，ｔ−１，ｔ＋１，ｔ＋２）を用いて各参照画像の画素を動かし、その動かした画素を統合画像空間に対して貼り付ける。
【００３３】
統合画像処理部６０は、小数画素精度で合成（統合）された統合画像ＣＩから高解像度画像を生成する。
【００３４】
次いで、画像処理装置１の各部による処理を説明する。
図３は、画像処理装置１の各部による処理手順を示すフローチャートである。
【００３５】
動き検出部２０では、メモリ部１０に保持された低解像度画像Ｐ（ｔ−２），Ｐ（ｔ−１），Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２）を読み出し、図４に示されるように、画像間の動き量（位置ずれ量、動きベクトル）ＭＶ（ｔ−２），ＭＶ（ｔ−１），ＭＶ（ｔ＋１），ＭＶ（ｔ＋２）を検出する（Ｓ２０１）。
【００３６】
動き検出は、処理対象画像Ｐ（ｔ）を複数の領域に分割し、分割された領域毎に行われる。処理対象画像を領域に分割する方法としては、規則的に正方形状や長方形状で分割する方法や、規則的に正方形状や長方形状で分割した後に再度正方形や長方形の領域内部で分割する方法、代表点を設定してその代表点を中心として領域に分割する方法、などがあり、どの方法を採用してもよい。
【００３７】
動き検出においては、処理対象画像Ｐ（ｔ）の中の処理対象領域と類似度が高い領域を、各参照画像から抽出する。ここで領域の類似度を示す指標としては、対応する画素値の差分絶対値や、差分２乗値の和を用いることができる。この場合には、この和が小さいほど類似度が高いことになり、和が最小となる領域を各参照画像から選択すれば良い（選択された領域を「参照領域」と呼ぶ）。そして、この場合には、処理対象領域の画像中での位置（例えば、画像の左上端を原点とし、右方向にｘ座標、下方向にｙ座標を取った二次元座標で表現した位置）と、参照領域の画像中での位置との差を示す２次元ベクトルが、動きベクトル（動き量、位置ずれ量）となる。
【００３８】
また、動き検出部２０は、動きベクトルを小数画素精度で求める。小数画素精度で動きベクトルを求める方法には、参照画素中の小数画素位置の画素値を線形補間等で生成してから類似度を求める方法や、整数画素位置で求めた類似度を元に小数画素精度の動きベクトルを推定する方法等があり、どの方法を採用してもよい。
【００３９】
動き検出部２０は、検出した動きベクトルのうち、画像Ｐ（ｔ−１）に対して求めた動きベクトルＭＶ（ｔ−１）を、手振れ補正パラメータ計算部３０ａに対して出力する。また、動き検出部２０は、検出した全ての動きベクトル（画像Ｐ（ｔ−２）に対して求めた動きベクトルＭＶ（ｔ−２）、画像Ｐ（ｔ−１）に対して求めた動きベクトルＭＶ（ｔ−１）、画像Ｐ（ｔ＋１）に対して求めた動きベクトルＭＶ（ｔ＋１）、および画像Ｐ（ｔ＋２）に対して求めた動きベクトルＭＶ（ｔ＋２））を、動きベクトル補正部４０に対して出力する。
【００４０】
手振れ補正パラメータ計算部３０ａのグローバル動きパラメータ計算部３１は、まず、動き検出部２０から入力された動きベクトルＭＶ（ｔ−１）を用いて、グローバル動きパラメータを求める（ステップＳ２０２）。ここでグローバル動きパラメータは、例えば、動きモデルとしてアフィンモデルを用いる場合には、下記に示される式（１）のような変換式でグローバル動きを表現される。
【００４１】
【数１】
2007267378.tif 000003
…（１）
【００４２】
式（１）では、図５に示されるように、座標（ｘ，ｙ）にあった画素がグローバル動きパラメータ（ａ０，ａ１，ａ２，ｂ０，ｂ１，ｂ２）によって、座標（ｘ’，ｙ’）に移動することを表現している。ここで、グローバル動きとして平行移動のみを仮定する場合には、ａ１＝ｂ２＝１、ａ２＝ｂ１＝０とすれば良い。
【００４３】
グローバル動きパラメータ計算部３１は、グローバル動きパラメータを計算する場合、例えば、処理対象画像中の各処理対象領域の座標（ｘ，ｙ）を式（１）に当てはめ、その時に得られる参照領域の座標（ｘ’，ｙ’）と処理対象領域の動きベクトルにより得られる参照領域の座標（処理対象領域の動きベクトルを（ｍｖｘ，ｍｖｙ）とすれば、参照領域の座標は（ｘ＋ｍｖｘ，ｙ＋ｍｖｙ）となる）との２乗誤差の和が、処理対象画像全体で最小になるように、グローバル動きパラメータを計算すれば良い。
【００４４】
手振れ補正パラメータ計算部３０ａの補正グローバル動きパラメータ計算部３２は、続いて、グローバル動きパラメータの履歴に基づいてグローバル動きパラメータを補正し、補正グローバル動きパラメータを求める（ステップＳ２０３）。グローバル動きパラメータの補正は、グローバル動きパラメータの時間方向の微少変動、すなわち手振れ成分、を取り出すために行う。
【００４５】
このような方法としては、例えば図６に示されるように各画像間のグローバル動きパラメータと、処理対象画像に対するグローバル動きパラメータとから求めることができる。具体的には、例えば、グローバル動きパラメータに時間方向の高域通過フィルタを施す方法を用いることができる。このような補正により得られた補正グローバル動きパラメータＰＭ＝（ａ０’，ａ１’，ａ２’，ｂ０’，ｂ１’，ｂ２’）は、動きベクトル補正部４０に対して出力される。
【００４６】
動きベクトル補正部４０の第１補正部４１は、手振れ補正パラメータ計算部３０ａから得られた補正グローバル動きパラメータＰＭを用いて、動き検出部２０から得られた動きベクトルＭＶ（ｔ−２），ＭＶ（ｔ−１），ＭＶ（ｔ＋１），ＭＶ（ｔ＋２）を補正する（ステップＳ２０４）。
【００４７】
また、第２補正部４２は、処理対象画像Ｐ（ｔ）に対する動きベクトル（位置ずれ量）ＭＶ’（ｔ）を求める（ステップＳ２０５）。
【００４８】
処理対象画像Ｐ（ｔ）の位置（ｘ，ｙ）の画素に対する動きベクトルＭＶ’（ｔ，ｘ，ｙ）は、例えば図７に示される方法を用い、処理対象画像Ｐ（ｔ）の各画素に対して補正グローバル動きパラメータＰＭを適用することにより求めることができる。
【００４９】
動きベクトルＭＶ’（ｔ，ｘ，ｙ）の各成分（ｍｖｘ’，ｍｖｙ’）は、下記に示される式（２）で求めることができる。
【００５０】
【数２】
2007267378.tif 000004
…（２）
【００５１】
動き検出部２０から得られた動きベクトルに対する補正は、動き検出部２０から得られた動きベクトルに対して、補正グローバル動きパラメータＰＭを適用して求めた動きベクトルを加算することにより行う。
【００５２】
参照画像Ｐ（Ｔ）（ここでは、Ｔ＝ｔ−２、ｔ−１、ｔ＋１またはｔ＋２）の位置（ｘ，ｙ）の画素に対する動きベクトルＭＶ’（Ｔ，ｘ，ｙ）の各成分（ｍｖｘ’，ｍｖｙ’）は、補正前の動きベクトルＭＶ（Ｔ，ｘ，ｙ）（成分は（ｍｖｘ，ｍｖｙ））を用いて下記に示される式（３）により求めることができる。
【００５３】
【数３】
2007267378.tif 000005
…（３）
【００５４】
この動きベクトルＭＶ’（ｔ）は、図８に示されるように、先行する参照画像の動きの平均値と１つ前の画像に対する動きとの差、すなわち手振れ補正を行うための補正量を示している。
【００５５】
第１補正部４１によって補正された動きベクトルＭＶ’（ｔ−２），ＭＶ’（ｔ−１），ＭＶ’（ｔ＋１），ＭＶ’（ｔ＋２）と、第２補正部４２によって補正された動きベクトルＭＶ’（ｔ）は、画像統合部５０ａに対して出力される。
【００５６】
画像統合部５０ａでは、動きベクトルＭＶ’（Τ）（ｔ−２≦Ｔ≦ｔ＋２）を用いて、処理対象画像と参照画像群とを小数画素精度で合成する（ステップＳ２０６）。
【００５７】
この方法を図９を用いて説明する。
より詳しくは、まず、画像統合部５０ａの第１統合部５２は、処理対象画像Ｐ（ｔ）の各画素を動きベクトルＭＶ’（ｔ，ｘ，ｙ）を用いて統合画像空間に対して貼り付ける（図９の矢印（Ａ））。
【００５８】
続いて、画像統合部５０ａの第２統合部５１ａは、補正された動きベクトルＭＶ’（Τ）（Ｔ＝ｔ−２，ｔ−１，ｔ＋１，ｔ＋２）を用いて各参照画像の画素を動かし、その動かした画素を統合画像空間に対して貼り付ける。
【００５９】
ここで動きベクトルは小数精度であることから、統合画像中の各画素は不均一に分布していることになる。
【００６０】
統合画像ＣＩは、統合画像処理部６０に対して出力される。
統合画像処理部６０では、小数画素精度で合成（統合）された統合画像ＣＩから高解像度画像を生成する（ステップＳ２０７）。なお、ここでは、低解像度画像に対する拡大率は外部から指定されるものとして説明する。また、ここでは水平方向の拡大率がｒｈ（ｒｈ＞１）、垂直方向の拡大率がｒｖ（ｒｖ＞１）であるとして説明する。また、指定されるのは拡大率ではなく、生成する出力画像の画素数で指定するようにしても良い。
【００６１】
図１０は、生成したい高解像度画像ＨＲの画素位置と、統合画像ＣＩの画素位置との関係を示す模式図である。なお、図１０に示される白丸は高解像度画像の画素位置を示し、黒丸は統合画像の画素位置を示している。
【００６２】
高解像度画像の画素数は、水平方向が低解像度画像のｒｈ倍、垂直方向が低解像度画像のｒｖ倍であり、高解像度画像の画素は等間隔に配置される。これに対して、統合画像の画素位置は一般に不等間隔である。よって、不等間隔に配置された統合画像の画素から、等間隔に配置された高解像度画像の画素を生成する必要がある。
【００６３】
このためには、従来から提案されている方法を用いることができる。例えば、不等間隔サンプリングを用いる方法や、統合画像の位置ずれ量と離散フーリエ変換等により求めた周波数成分を用いて、高解像度画像の周波数成分を推定した後に逆離散フーリエ変換する方法、Ｌａｎｄｗｅｂｅｒ法等のように目的関数を最小化するように反復的に画素値を求める方法、等があり、これらのいずれか方法を採用することができる。これらの手法を用いて、統合画像処理部６０は、不等間隔に配置された統合画像の画素から等間隔に配置された高解像度画像の画素を生成し、高解像度画像ＨＲを出力する。
【００６４】
この場合、高解像度画像の画素には、低解像度画像よりも周波数が高い高周波成分が含まれるので、解像度が高い画像が生成されることになる。
【００６５】
以上のように、本実施の形態に係る画像処理方法は、複数の低解像度画像から高解像度画像を生成すると同時に入力画像中に含まれる手振れを補正する方法である。より具体的には、この画像処理方法においては、まず低解像度画像列に含まれる処理対象画像と、処理対象画像の時間的に近傍に位置する参照画像との間の動きベクトル（動き量、位置ずれ量）を求める。そして、求めた動きベクトルを用いて、手振れ補正のための補正グローバル動きパラメータを求める。処理対象画像と参照画像とを統合して統合画像を生成する際には、処理対象画像については、補正グローバル動きパラメータに基づいて画素位置を小数精度でずらして統合画像空間上にマッピングし、参照画像については、動きベクトルを補正グローバル動きパラメータにより補正した後、補正した動きベクトルを用いることにより、画素位置を小数精度でずらして統合画像空間上にマッピングする。最後に、非等間隔の画素で構成された統合画像から、等間隔の画素配置で画素数が所望の拡大率を有する高解像度画像を生成する。
【００６６】
このような方法を用いることにより、
（１）これらの手振れ補正と高解像度化の両者の処理を同じ動きベクトルを用いて統一的に処理を行うことができ、それにより低処理化を実現できる、
（２）処理対象画像を補正グローバル動きパラメータに基づいて、画素位置をずらして統合画像空間上にマッピングすることにより、手振れ補正を実現することができる、
（３）低解像度画像を画像間の位置ずれ量に基づいて小数精度でずらして合成することにより、低解像度画像の折り返し周波数成分が復元された高解像度画像を生成することができる、
というように、本発明の動画処理方法を用いることによって、従来にはない効果を実現することができる。
【００６７】
（変形例１）
なお、上記実施の形態１では、統合画像処理部６０における水平方向の拡大率がｒｈ（ｒｈ＞１）、垂直方向の拡大率がｒｖ（ｒｖ＞１）であるとして説明したが、拡大率ｒｈ＝ｒｖ＝１として実施してもよい。
【００６８】
この場合、統合画像処理部６０は、入力画像である低解像度画像と同じ画素数の画像を出力する。よって図１０において、白丸で表される出力画像の画素数、画素配置は、入力画像ＬＨと同じ画素数で、同じ画素配置となる。
【００６９】
しかしながら、画像統合部５０ａから出力された統合画像ＣＩ中の各画素は不均一に分布している。
【００７０】
このため、統合画像の画素には、低解像度画像よりも周波数が高い高周波成分が含まれるので、統合画像は解像度が高い画像、すなわち高解像度画像が生成されることになる。
【００７１】
したがって、この変形例１においても、実施の形態１の場合と同様に、簡単に、手振れ補正を実現しつつ、ボケの生じない出力画像を生成することができる。
【００７２】
（実施の形態２）
次いで、本発明の実施の形態２における画像処理装置について説明する。
【００７３】
ここで上記実施の形態１では手振れ補正を行ってから統合画像を生成したが、この実施の形態２では統合画像を生成した後に手振れ補正処理を行う点が、実施の形態１と大きく異なっている。
【００７４】
図１１は、実施の形態２における画像処理装置２の機能構成を示すブロック図である。なお、実施の形態１の画像処理装置１を構成する部分と対応する部分に同じ番号を付し、その詳細な説明を省略する。
【００７５】
図１１に示されるように、画像処理装置２は、画像処理装置１と同様にメモリ部１０と、動き検出部２０と、手振れ補正パラメータ計算部３０ａと、統合画像処理部６０とを備える他、さらに画像統合部５０ｂと、グローバル動き補正部７０とを備える。
【００７６】
画像統合部５０ｂは、動きベクトルＭＶ（ｔ−２），ＭＶ（ｔ−１），ＭＶ（ｔ＋１），ＭＶ（ｔ＋２）を用いて、低解像度画像Ｐ（ｔ−２），Ｐ（ｔ−１），Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２）を統合し、統合画像ＣＩを生成する。
【００７７】
グローバル動き補正部７０は、補正グローバル動きパラメータＰＭを用いて、統合画像の各画素の位置を補正する。
【００７８】
次いで、画像処理装置２の各部の処理を説明する。
図１２は、画像処理装置２の各部が実行する処理手順を示すフローチャートである。なお、画像処理装置１の処理と対応する部分に同じステップ番号を付し、その説明を割愛する。
【００７９】
画像統合部５０ｂでは、動きベクトルＭＶ（Τ）（ｔ−２≦Ｔ≦ｔ＋２，Ｔ≠ｔ）を用いて、処理対象画像と参照画像群とを小数画素精度で合成する（ステップＳ７０１）。この場合、処理対象画像の各画素は動き量が０として統合画像空間にマッピングされる。統合画像ＣＩはグローバル動き補正部７０に対して出力される。
【００８０】
グローバル動き補正部７０は、手振れ補正パラメータ計算部３０ａから出力された補正グローバル動きパラメータＰＭを用いて、統合画像の各画素の位置を補正する（ステップＳ７０２）。
【００８１】
補正グローバル動きパラメータＰＭを（ａ０’，ａ１’，ａ２’，ｂ０’，ｂ１’，ｂ２’）とすると、統合画像中の位置（ｘ，ｙ）にある画素は、下記に示される式（４）を用いて位置（ｘ’，ｙ’）に移動される。
【００８２】
【数４】
2007267378.tif 000006
…（４）
【００８３】
補正された統合画像は、統合画像処理部６０に対して出力される。
統合画像処理部６０は、実施の形態１と同様に、小数画素精度で合成されている統合画像ＣＩから高解像度画像を生成する（ステップＳ２０７）。
【００８４】
以上のように、本発明の画像処理方法は、複数の低解像度画像から高解像度画像を生成すると同時に入力画像中に含まれる手振れを補正する方法である。より具体的には、本発明の画像処理方法においては、まず低解像度画像列に含まれる処理対象画像と、処理対象画像の時間的に近傍に位置する参照画像との間の動きベクトル（動き量、位置ずれ量）を求める。そして、求めた動きベクトルを用いて、手振れ補正のための補正グローバル動きパラメータを求める。続いて、動きベクトルを用いて処理対象画像と参照画像とを統合して統合画像を生成し、さらに統合画像を補正グローバル動きパラメータに基づいて画素位置を変更する。
【００８５】
そして、非等間隔の画素で構成された統合画像から、等間隔の画素配置で画素数が所望の拡大率を有する高解像度画像を生成する。
【００８６】
このような方法を用いることにより、実施の形態１と同様の効果をもたらすことができる。
【００８７】
（変形例２）
なお、上記実施の形態２では、統合画像処理部６０における水平方向の拡大率がｒｈ（ｒｈ＞１）、垂直方向の拡大率がｒｖ（ｒｖ＞１）であるとして説明したが、変形例１と同様に、拡大率ｒｈ＝ｒｖ＝１として実施してもよい。
【００８８】
この場合、上記の実施の形態２で説明したように、動き検出部２０で求めた動きベクトルを用いて処理対象画像と参照画像とを統合して統合画像を生成し、統合画像を手振れ補正パラメータ計算部３０ａで求めたグローバル動きパラメータに基づいて画素位置を変更した後、非等間隔の画素で構成された統合画像から等間隔の画素配置で画素数が入力画像と同じである出力画像を生成することになる。
【００８９】
したがって、この変形例１においても、実施の形態１の場合と同様に、簡単に、手振れ補正を実現しつつ、ボケの生じない出力画像を生成することができる。
【００９０】
（実施の形態３）
次いで、本発明に係る画像処理装置について説明する。
【００９１】
図１３は、本発明の実施の形態３における画像処理装置の機能構成を示すブロック図である。なお、実施の形態１，２の画像処理装置１，２の構成と同じ部分に同じ番号を付し、その説明を省略する。
【００９２】
ここで、実施の形態１，２では、統合画像処理部６０が外部から指示された拡大率ｒｈ、ｒｖに基づいて統合画像を処理していたが、この実施の形態３においては、手振れ補正パラメータ計算部３０ａでの補正の最大値が制御部８０からの指定で制限されており、かつその最大値に基づいて拡大率ｒｈ、ｒｖを決定し、その拡大率ｒｈ、ｒｖに基づいて統合画像処理部６０の処理を行う点が、実施の形態１と異なる。
【００９３】
図１３に示されるように、画像処理装置３は、メモリ部１０と、動き検出部２０と、動きベクトル補正部４０と、画像統合部５０ａと、統合画像処理部６０との他、さらに手振れ補正パラメータ計算部３０ｂと、制御部８０とを備える。
【００９４】
次いで、画像処理装置３の画像処理装置１，２と異なる構成の部分の処理について説明する。
【００９５】
手振れ補正パラメータ計算部３０ｂでは、実施の形態１で説明した方法と同様に、まず、動き検出部２０から入力された動きベクトルＭＶ（ｔ−１）を用いて、グローバル動きパラメータを求める。続いて、実施の形態１で説明した方法と同様に、グローバル動きパラメータの履歴に基づいてグローバル動きパラメータを補正し、補正グローバル動きパラメータを求める。補正グローバル動きパラメータを求める際には、移動量が指定された最大値を超えないようにする。ここで移動量に対する最大値は、制御部８０から指定されるものとする。
【００９６】
次いで、移動量に対する最大値について、図１４を用いて説明する。
図１４（ａ）は補正グローバル動きパラメータによる手振れ補正前の画像を示す。本実施の形態３においては、図１４（ａ）の画像中の各画素を補正グローバル動きパラメータにより移動する際に、図１４（ｂ）の領域９０１の外部に画素が出ないようにする。
【００９７】
この場合の移動量の最大値は水平方向にｍｈ、垂直方向にｍｖとなる。これは言い換えると、領域９０２の内部には必ず画像があることを補償するためのものである。得られた補正グローバル動きパラメータＰＭ＝（ａ０’，ａ１’，ａ２’，ｂ０’，ｂ１’，ｂ２’）は、動きベクトル補正部４０に対して出力される。
【００９８】
動きベクトル補正部４０、画像統合部５０ａの処理方法は、実施の形態１と同様であるので、説明は割愛する。
【００９９】
統合画像処理部６０では、画像統合部５０ａにおいて小数画素精度で合成された統合画像から、高解像度画像を生成する。この場合の処理方法は、実施の形態１と同様であるが、拡大率ｒｈ、ｒｖは制御部８０から指定される。
【０１００】
制御部８０は、手振れ補正パラメータ計算部３０ｂに対して指定した移動量の最大値に基づいて、拡大率ｒｈ、ｒｖを計算する。例えば、入力画像と同じ画素数、画素配置の画像を出力する場合には、図１４の領域９０２を入力画像と同じ大きさ（領域９０３の大きさ）に拡大することになる。この場合の拡大率ｒｈ’、ｒｖ’は、下記の式（５）で計算することができる。
【０１０１】
【数５】
2007267378.tif 000007
…（５）
【０１０２】
また、入力画像に対して水平ｒｈ倍、垂直ｒｖ倍の出力画像を生成する場合には、式（５）で計算した拡大率ｒｈ’、ｒｖ’をさらにそれぞれｒｈ倍、ｒｖ倍することになる。統合画像処理部６０は、この拡大率に基づいて、非等間隔の画素で構成された統合画像から、等間隔の画素配置である画像を生成し出力する。
【０１０３】
以上のように、本発明の画像処理方法は、複数の低解像度画像から高解像度画像を生成すると同時に入力画像中に含まれる手振れを補正する方法である。より具体的には、本発明の画像処理方法においては、まず低解像度画像列に含まれる処理対象画像と、処理対象画像の時間的に近傍に位置する参照画像との間の動きベクトル（動き量、位置ずれ量）を求める。そして、求めた動きベクトルを用いて、手振れ補正のための補正グローバル動きパラメータを求める。この際には、移動量の最大値制限を満足するように補正グローバル動きパラメータを求める。処理対象画像と参照画像とを統合して統合画像を生成する際には、処理対象画像については、補正グローバル動きパラメータに基づいて画素位置を小数精度でずらして統合画像空間上にマッピングし、参照画像については、動きベクトルを補正グローバル動きパラメータにより補正した後、補正した動きベクトルを用いることにより、画素位置を小数精度でずらして統合画像空間上にマッピングする。最後に、非等間隔の画素で構成された統合画像から、等間隔の画素配置で画素数が所望の拡大率を有する高解像度画像を生成する。この際の拡大率は、補正グローバル動きパラメータを求める際の移動量の最大値制限を用いて決定する。
【０１０４】
このような方法を用いることにより、実施の形態１と同様の効果をもたらすことができる。さらに、従来の手振れ補正では、出力画像の画面端部に画素のない領域が生じるため、画面端部を取り除いた画像を出力するが、本変形例では所望の大きさの出力画像を生成することができ、かつその際にも画像のボケが生じない出力画像を生成することができる。
【０１０５】
（変形例３）
なお、本実施の形態３においては、統合画像を生成する際に、処理対象画像については、補正グローバル動きパラメータに基づいて画素位置を小数精度でずらして統合画像上にマッピングし、参照画像については、動きベクトルをグローバル動きパラメータにより補正した後、補正した動きベクトルを用いることにより、画素位置を小数精度でずらして統合画像上にマッピングする方法について説明したが、実施の形態２の手振れ補正パラメータ計算部において、画素の移動量が所定の最大値を超えないように手振れ変動成分を計算し、統合画像処理部６０において、拡大率を入力画像の画素数と最大値により決定するようにしてもよい。すなわち、上記実施の形態２で説明したように、動き検出部２０で求めた動きベクトルを用いて処理対象画像と参照画像とを統合して統合画像を生成し、統合画像を手振れ補正パラメータ計算部３０ａで求めた補正グローバル動きパラメータに基づいて画素位置を変更した後、非等間隔の画素で構成された統合画像を等間隔の画素配置で画素数が低解像度画像と同じである出力画像を生成しても良い。
【０１０６】
なお、本実施の形態および変形例においては、処理対象画像を基準として動きを検出する場合について説明したが、これは各参照画像を基準として動きを検出しても良く、この場合には実施の形態で説明した処理とほぼ同じ処理を行うことができる。ここで、各参照画像を基準として動きを検出する、とは、参照画像を領域に分割し、参照画像の各領域に対して処理対象画像中の最も類似度が高い領域を抽出することを意味する。
【０１０７】
また、本実施の形態および変形例においては、処理対象画像Ｐ（ｔ）と参照画像Ｐ（ｔ−１）とを用いて求めた動きベクトルを用いてグローバル動きパラメータを求める場合について説明したが、これは処理対象画像と他の参照画像との動きベクトルを用いて求めても良い。
【０１０８】
また、本実施の形態および変形例においては、参照画像を４枚用いる場合について説明したが、これは他の枚数であっても良い。
【０１０９】
また、本実施の形態および変形例においては、動きベクトルに基づいて処理対象画像と参照画像とを統合する場合について説明したが、例えばある領域の動きベクトルの信頼度が低い場合には、その領域の画素は統合しなくても良い。
【０１１０】
また、上記した画像処理装置１〜３が備える手段（部）を一体化した集積回路として構成するようにしてもよく、画像処理装置１〜３を備えるカメラとして実施してもよい。  
【０１１１】
（実施の形態４）
さらに、上記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１１２】
図１５は、上記各実施の形態の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１１３】
図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。したがって、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【０１１４】
また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像処理方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像処理方法を実現する上記画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１１５】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１１６】
（実施の形態５）
さらにここで、上記実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。
【０１１７】
図１６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。
【０１１８】
通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１１９】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１２０】
しかし、コンテンツ供給システムｅｘ１００は図１６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１２１】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１２２】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１２３】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１２４】
このシステムを構成する各機器の画像処理には上記各実施の形態で示した画像処理方法を用いるようにすればよい。
【０１２５】
その一例として携帯電話について説明する。
図１７は、上記実施の形態で説明した画像処理方法を用いた携帯電話ｅｘ１１５を示す図である。
【０１２６】
携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１２７】
さらに、携帯電話ｅｘ１１５について図１８を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５、画像処理部ｅｘ３１４が同期バスｅｘ３１３を介して互いに接続されている。
【０１２８】
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１２９】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１３０】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１３１】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１３２】
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してデジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１３３】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１３４】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１３５】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１３６】
次に、画像復号化部ｅｘ３０９は、符号化された画像データのビットストリームをこの符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１３７】
画像処理部ｅｘ３１４は、上述した画像処理装置１や、画像処理装置２、画像処理装置３の機能を有する処理部であり、画像データを符号化する前の段階、符号化された画像データを復号化した後の段階等のいずれかの段階で、高解像度化と手振れ補正を実行する。
【０１３８】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１３９】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１４０】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１８に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１４１】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。そして、３通りの実装形式のいずれにも、上述した画像処理装置１や、画像処理装置２、画像処理装置３を実装するようにしてもよい。
【０１４２】
また、図１、図１１、図１３に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１４４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１４５】
また、図１、図１１、図１３に示したブロック図の各機能ブロックおよび図３、図１２に示したフローチャートは、その中心的部分をプロセッサおよびプログラムによって実現される。
【０１４６】
なお、本発明は係る上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【０１４７】
本発明に係る画像処理方法は、（１）処理対象画像を補正グローバル動きパラメータに基づいて、画素位置をずらして統合画像空間上にマッピングすることにより、手振れ補正を実現することができる、（２）低解像度画像を画像間の位置ずれ量に基づいて小数精度でずらして合成することにより、低解像度画像の折り返し周波数成分が復元された高解像度画像を生成することができる、（３）これらの手振れ補正と高解像度化の両者の処理を同じ動きベクトルを用いて統一的に処理を行うことができ、それにより低処理化を実現できる、という効果を有し、カメラ撮影、蓄積、伝送、通信等における画像処理方法として有用である。
【図面の簡単な説明】
【０１４８】
【図１】本実施の形態１における画像処理装置全体の機能構成を示すブロック図である。
【図２】図１に示されるメモリ部１０に保持される画像列の例を示す図である
【図３】画像処理装置１の各部による処理手順を示すフローチャートである。
【図４】画像間の動き量の検出を説明するための図である。
【図５】グローバル動きパラメータを説明するための図である。
【図６】グローバル動きパラメータの補正を説明するための図である。
【図７】動きベクトルＭＶ’（ｔ，ｘ，ｙ）を説明するための図である。
【図８】動きベクトルＭＶ’（ｔ）を詳細に説明するための図である。
【図９】画像処理装置１による画像処理方法を説明するための模式図である。
【図１０】画像処理装置１による画像処理方法を説明するための模式図である。
【図１１】本発明の実施の形態２に係る画像処理装置２の機能構成を示すブロック図である。
【図１２】画像処理装置２の各部による処理手順を示すフローチャートである。
【図１３】本発明の実施の形態３における画像処理装置の機能構成を示すブロック図である。
【図１４】移動量の最大値について説明するための図である。
【図１５】上記各実施の形態の画像処理方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。
【図１６】コンテンツ供給システムの全体構成を示すブロック図である。
【図１７】画像処理方法を用いた携帯電話の例を示す図である。
【図１８】携帯電話のブロック図である。
【図１９】デジタル放送用システムの例を示す図である。
【符号の説明】
【０１４９】
１  画像処理装置
１０  メモリ部
２０  動き検出部
３０ａ  手振れ補正パラメータ計算部
３１  グローバル動きパラメータ計算部
３２  補正グローバル動きパラメータ計算部
４０  動きベクトル補正部
４１  第１補正部
４２  第２補正部
５０ａ  画像統合部
５１ａ  第２統合部
５２  第１統合部
６０  統合画像処理部
【図１】
2007267378.tif 000008
【図２】
2007267378.tif 000009
【図３】
2007267378.tif 000010
【図４】
2007267378.tif 000011
【図５】
2007267378.tif 000012
【図６】
2007267378.tif 000013
【図７】
2007267378.tif 000014
【図８】
2007267378.tif 000015
【図９】
2007267378.tif 000016
【図１０】
2007267378.tif 000017
【図１１】
2007267378.tif 000018
【図１２】
2007267378.tif 000019
【図１３】
2007267378.tif 000020
【図１４】
2007267378.tif 000021
【図１５】
2007267378.tif 000022
【図１６】
2007267378.tif 000023
【図１７】
2007267378.tif 000024
【図１８】
2007267378.tif 000025
【図１９】
2007267378.tif 000026