(57)【要約】【課題】  この発明は、手ぶれ補正が失敗するフレームを避けて、補正を行うフレームをユーザが指定でき、なおかつ、拡大を伴う手ぶれ補正を行ったフレームとそれ以外のフレームとの間での不自然さを無くすことができる、手ぶれ補正装置を提供することを目的とする。【解決手段】  カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正装置において、手ぶれ補正を行うフレームの範囲（以下、補正フレーム範囲という）を指定させるための手段、補正フレーム範囲内で共通に存在する共通領域を算出する手段、補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正手段、および補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理手段を備えている。【選択図】  図６
2005094615.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正装置において、
手ぶれ補正を行うフレームの範囲（以下、補正フレーム範囲という）を指定させるための手段、
補正フレーム範囲内で共通に存在する共通領域を算出する手段、
補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正手段、および
補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理手段、
を備えていることを特徴とする手ぶれ補正装置。
【請求項２】
拡大処理手段は、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする請求項１に記載の手ぶれ補正装置。
【請求項３】
カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正方法において、
手ぶれ補正を行うフレームの範囲（以下、補正フレーム範囲という）を指定させるためのステップ、
補正フレーム範囲内で共通に存在する共通領域を算出するステップ、
補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正ステップ、および
補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理ステップ、
を備えていることを特徴とする手ぶれ補正方法。
【請求項４】
拡大処理ステップは、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする請求項１に記載の手ぶれ補正方法。
【請求項５】
カメラで撮影した動画に対して手ぶれ補正を行うための手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体において、
手ぶれ補正を行うフレームの範囲（以下、補正フレーム範囲という）を指定させるためのステップ、
補正フレーム範囲内で共通に存在する共通領域を算出するステップ、
補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正ステップ、および
補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理ステップ、
をコンピュータに実行させるための手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項６】
拡大処理ステップは、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする請求項５に記載の手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラにより動画を撮影し、その撮影された画像から手ぶれを補正する方法に関するものである。
【背景技術】
【０００２】
従来から、カメラで動画像を撮影し、撮影された画像から手ぶれを補正する装置が提案されている。例えば、特開昭６３−１６６３７０号に記載されているものは、１つ前のフレームの画素データを記録し、現在のフレームとの相関により動きベクトルを算出し、手ぶれを補正するものである。
【０００３】
しかしながら、このような方法では、画像によっては手ぶれ補正に失敗することがある。例えば、模様の少ない画像や急にカメラの前を横切るような通過物体がある場合である。
【０００４】
そこで、本出願人は、ファイルなどに保存された画像データのうちから、ユーザに、手ぶれ補正に失敗する可能性の高いフレームを避けて、手ぶれ補正を行おうとするフレーム範囲を指定させ、指定されたフレーム範囲のみに対して手ぶれ補正を行うようにした手ぶれ補正方法を開発した。
【０００５】
以下、本出願人が開発した手ぶれ補正方法について説明する。なお、この手ぶれ補正方法は未だ公知となっていない。
【０００６】
図１は、本出願人が開発した手ぶれ補正方法の全体的に処理手順を示している。
【０００７】
ステップＳ１０１では、画像のフレームから手ぶれ補正を行うフレームの範囲（補正フレーム範囲）をユーザに指定させるための処理を行う。ステップＳ１０２では、補正フレーム範囲内の各フレーム毎に、手ぶれ補正を行うための手ぶれ補正係数を算出する。ステップＳ１０３では、ステップＳ１０２で算出された補正フレーム範囲内の各フレーム毎の手ぶれ補正係数から、補正フレーム範囲内の全フレームにおいて共通して存在する画像領域（共通領域）を抽出する。
【０００８】
ステップＳ１０４では、動画ファイルからフレームを１つずつメモリに読み込む。ステップＳ１０５では、メモリに読み込まれたフレーム（注目フレーム）が手ぶれ補正を行うフレームかどうかを判定する。
【０００９】
メモリに読み込まれた注目フレームが手ぶれ補正を行うフレームである場合には、そのフレームに対してステップＳ１０６の手ぶれ補正処理を行った後に、ステップＳ１０７に移行し、手ぶれ補正後の画像を出力ファイルに出力する。
【００１０】
一方、メモリに読み込まれた注目フレームが手ぶれ補正を行うフレームでない場合には、そのフレームに対して手ぶれ補正処理を行うことなく、ステップＳ１０７に移行し、そのフレームをそのまま出力ファイルに出力する。
【００１１】
なお、上記ステップＳ１０６では、ステップＳ１０３で抽出された共通領域と元画像のサイズから算出される拡大率と、ステップＳ１０２で算出された注目フレームに対応する手ぶれ補正係数とに基づいて、注目フレームを拡大しながら手ぶれ補正を行う。
【００１２】
ステップＳ１０８では、注目フレームが入力ファイルの最終フレームかどうかを判定する。注目フレームが最終フレームの場合は終了し、そうでない場合はステップＳ１０９に移行する。ステップＳ１０９では、注目フレームのフレーム番号を１だけ更新する。この後、ステップＳ１０４に戻り、次のフレームが読み込まれ、ステップＳ１０５以降の処理が再度実行される。
【００１３】
図２は、図１のステップＳ１０２の処理（手ぶれ補正の補正係数を算出する処理）の詳細な手順を示している。
【００１４】
ステップＳ２０１では、補正フレーム範囲内における最初のフレームを処理するためにフレーム番号ｉを１に初期化して、補正フレーム範囲内における最初のフレームをメモリに読み込む。ステップＳ２０２では、フレーム番号ｉを１増加させて、次のフレームをメモリに読み込む。
【００１５】
ステップＳ２０３では、ステップＳ２０２で読み込まれたフレーム（注目フレーム）と、それより１つ前のフレームとの間で幾何変換係数を算出する。幾何変換係数については後述する。ステップＳ２０４では、補正フレーム範囲内の最初のフレームから注目フレームまでの隣接フレーム間の幾何変換係数を積算して、補正フレーム範囲内の最初のフレームと注目フレームとの間の幾何変換係数を算出する。ステップＳ２０４で得られた幾何変換係数が注目フレームに対して手ぶれ補正を行うための手ぶれ補正係数となる。
【００１６】
ステップＳ２０５では、注目フレームが補正フレーム範囲内における最終のフレームであるか否かを判定する。注目フレームが補正フレーム範囲内における最終のフレームである場合は、処理を終了する。そうでない場合はステップＳ２０２に戻る。
【００１７】
図３は、幾何変換により手ぶれを補正する原理を説明するための図である。
【００１８】
図３（ａ）に示す２つの時間的に連続するフレームは、同じシーンを撮影したが、手ぶれにより位置がずれた場合を示している。手ぶれを補正して被写体が動かないようにするには、フレーム番号ｉ−１とフレームｉとの間の幾何変換を行うことで実現できる。最も単純な場合の幾何変換は２次元平行移動であり、図の矢印で示すような２次元の平行移動で表される。より複雑な幾何変換では、アフィン変換や平面射影変換などが用いられる。      
【００１９】
これらの幾何変換は画像間の動きベクトルの抽出により算出できる。隣接フレーム間で算出された幾何変換係数は、補正フレーム範囲内の最初のフレームを基準となるように座標軸を選択すると、補正フレーム範囲内の最初のフレームから順次、幾何変換係数の掛け算の累積により、補正フレーム範囲内の各フレームと補正フレーム範囲内の最初のフレームとの間の幾何変換係数が計算できる。
【００２０】
図４は、図１のステップＳ１０３の処理、すなわち、補正フレーム範囲内の各フレーム毎の手ぶれ補正係数から、補正フレーム範囲内の全フレームにおいて共通して存在する画像領域（共通領域）を抽出する処理を説明するための図である。
【００２１】
図４では、３フレームの場合を示している。手ぶれを幾何変換により補正し、画像の周辺部分に無効領域が無いように表示するためには、図４のハッチング部分で示される、補正フレーム範囲内の全フレームで共通して存在する画像領域を抽出する必要がある。また、この領域は入力フレームのサイズより小さくなるために画像を拡大処理することで、入力フレームと同じサイズとする。
【００２２】
しかしながら、手ぶれ補正を行うフレームに対しては共通領域を拡大処理するにもかかわらず、手ぶれを補正しないフレームでは拡大処理を行わないため、補正フレーム範囲として指定されたフレームと補正フレーム範囲として指定されなかったフレームとの間で拡大率が異なり、全体の画像系列として見たときに手ぶれ補正を行ったフレームとそれ以外のフレームとの間で不自然なつなぎ目が発生する。
【特許文献１】特開昭６３−１６６３７０号公報
【特許文献２】特開２００１−２２２７０７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
この発明は、手ぶれ補正が失敗するフレームを避けて、補正を行うフレームをユーザが指定でき、なおかつ、拡大を伴う手ぶれ補正を行ったフレームとそれ以外のフレームとの間での不自然さを無くすことができる、手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００２４】
請求項１に記載の発明は、カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正装置において、手ぶれ補正を行うフレームの範囲（以下、補正フレーム範囲という）を指定させるための手段、補正フレーム範囲内で共通に存在する共通領域を算出する手段、補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正手段、および補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理手段を備えていることを特徴とする。
【００２５】
請求項２に記載の発明は、請求項１に記載の発明において、拡大処理手段は、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする。
【００２６】
請求項３に記載の発明は、カメラで撮影した動画に対して手ぶれ補正を行う手ぶれ補正方法において、手ぶれ補正を行うフレームの範囲（以下、補正フレーム範囲という）を指定させるためのステップ、補正フレーム範囲内で共通に存在する共通領域を算出するステップ、補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正ステップ、および補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理ステップを備えていることを特徴とする。
【００２７】
請求項４に記載の発明は、請求項３に記載の発明において、拡大処理ステップは、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする。
【００２８】
請求項５に記載の発明は、カメラで撮影した動画に対して手ぶれ補正を行うための手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体において、手ぶれ補正を行うフレームの範囲（以下、補正フレーム範囲という）を指定させるためのステップ、補正フレーム範囲内で共通に存在する共通領域を算出するステップ、補正フレーム範囲内の各補正フレームに対して、共通領域の拡大を伴う手ぶれ補正処理を行う手ぶれ補正ステップ、および補正フレーム範囲の前後の近傍フレームに対して拡大処理を行う拡大処理ステップをコンピュータに実行させるための手ぶれ補正プログラムを記録していることを特徴とする。
【００２９】
請求項６に記載の発明は、請求項５に記載の発明において、拡大処理ステップは、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させるものであることを特徴とする。
【発明の効果】
【００３０】
この発明によれば、手ぶれ補正が失敗するフレームを避けて、補正を行うフレームをユーザが指定でき、なおかつ、拡大を伴う手ぶれ補正を行ったフレームとそれ以外のフレームとの間での不自然さを無くすことができるようになる。
【発明を実施するための最良の形態】
【００３１】
以下、図５〜図１０を参照して、この発明の実施例について説明する。
【実施例】
【００３２】
〔１〕手ぶれ補正装置の説明
図１は、手ぶれ補正装置の構成を示している。
【００３３】
手ぶれ補正装置は、パーソナルコンピュータ１０によって実現される。パーソナルコンピュータ１０には、ディスプレイ２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスク２０のドライブ１４を備えている。
【００３４】
ハードディスク１３には、ＯＳ（オペレーションシステム）等の他、手ぶれ補正処理プログラムが格納されている。手ぶれ補正処理プログラムは、それが格納されたＣＤ−ＲＯＭ等のリムーバブルディスク２０を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３にはビデオカメラなどによって撮像された動画像ファイルが予め格納されているものとする。
〔２〕手ぶれ補正プログラムが起動せしめられた場合にＣＰＵによって行われる手ぶれ補正処理の説明
図６は、ＣＰＵによって行われる手ぶれ補正の全体的な処理手順を示している。
【００３５】
ステップＳ６０１では、画像のフレームから手ぶれ補正を行うフレームの範囲（補正フレーム範囲）をユーザに指定させるための処理を行う。
【００３６】
ステップＳ６０２では、補正フレーム範囲内の各フレーム毎に、手ぶれ補正を行うための手ぶれ補正係数を算出する。この処理は、図２に記載されている手順に従って、行われる。
【００３７】
ステップＳ６０３では、ステップＳ６０２で算出された補正フレーム範囲内の各フレーム毎の手ぶれ補正係数から、補正フレーム範囲内の全フレームにおいて共通して存在する画像領域（共通領域）を抽出する。
【００３８】
ステップＳ６０４では、ステップＳ６０３で抽出された共通領域と元画像のサイズから算出される拡大係数と、ステップＳ６０２で算出された補正フレーム範囲内の各フレーム毎の手ぶれ補正係数とから、各フレームを拡大しながら手ぶれ補正を行うための幾何変換係数を算出する。
【００３９】
より具体的に説明すると、上記拡大係数は、共通領域と元画像のサイズから算出される拡大率および切り抜き座標（フレーム内の共通領域の座標）を係数とする幾何変換行列で表される。そして、上記各フレーム毎の手ぶれ補正係数は、２次元剛体運動やアフィン変換などの幾何変換行列で表される。フレームを拡大しながら手ぶれ補正を行うための幾何変換係数は、当該フレームに対応する上記拡大係数を表す幾何変換行列と、当該フレームに対応する手ぶれ補正係数を表す幾何変換行列との積によって表される。
【００４０】
ステップＳ６０５では、補正フレーム範囲の近傍フレームを拡大するための幾何変換係数を算出する。この実施例では、後述するように、補正フレーム範囲の開始フレームより時間的に前にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある近傍フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させる。ステップＳ６０５では、このように近傍フレームを拡大するための幾何変換係数を、各近傍フレーム毎に算出する。
【００４１】
ステップＳ６０６では、出力フレームを作成して保存する。補正フレーム範囲内の各フレームに対しては、上記ステップＳ６０４で算出された幾何変換係数を用いて、拡大を考慮した手ぶれ補正を行うことにより出力フレームを作成する。補正フレーム範囲の近傍フレームに対しては、上記ステップＳ６０５で算出された幾何変換係数を用いて、拡大処理を行うことにより出力フレームを作成する。その他のフレームに対しては、何ら処理を行うことなく、そのまま出力フレームとする。
【００４２】
図７は、手ぶれ補正を行う補正フレーム範囲をユーザに指定させるためのユーザーインターフェイスを示している。
【００４３】
図７において、７０１は指定されたフレームの画像を表示する画面であり、７０２は指定するフレームの大まかな位置を示すバーである。７０３はより詳細なフレームの位置を示すウインドウである。
【００４４】
７０４は画面７０１に表示するフレームの位置を指定するポインタであり、マウスのドラッグ操作により移動できる。７０５は手ぶれ補正の開始フレーム（補正フレーム範囲の開始フレーム）を指定するポインタであり、マウスのドラッグ操作により移動できる。７０６は手ぶれ補正の終了フレーム（補正フレーム範囲の終了フレーム）を指定するポインタであり、マウスのドラッグ操作により移動できる。
【００４５】
７０７は、より詳細にフレームを指定するために各フレームを縮小して表示するサムネイル画像である。７０８は手ぶれ補正の開始フレーム（補正フレーム範囲の開始フレーム）を指定するポインタであり、マウスのドラッグ操作により移動できる。７０９は手ぶれ補正の終了フレーム（補正フレーム範囲の終了フレーム）を指定するポインタであり、マウスのドラッグ操作により移動できる。
【００４６】
なお、ポインタ７０５とポインタ７０８は連動しており、どちらかを指定すると、もう一方が適当な位置へ自動的に移動する。同様に、ポインタ７０６とポインタ７０９も連動しており、どちらかを指定すると、もう一方が適当な位置へ自動的に移動する。ユーザはウインドウ７０１に表示されるフレームで確認を行いながら、ポインタ（７０５，７０６，７０８，７０９）の移動により、補正フレーム範囲を指定する。
【００４７】
図８を参照して、補正フレーム範囲の近傍フレームを拡大する処理について説明する。      
【００４８】
上述したように、補正フレーム範囲内のフレーム（補正フレーム）に関しては、補正フレーム範囲内の全フレームにおいて共通して存在する画像領域（共通領域）が抽出される。共通領域は元の画像よりもサイズが小さいために、補正フレーム範囲内のフレームについては、手ぶれ補正時に拡大する必要がある。この部分だけ拡大を行うと補正フレーム範囲の前後にある補正無しのフレームとの間で急激に拡大率が異なるため、不自然な映像となる。そこで、図８に示す補正をしないフレーム（補正なし）のうち、補正フレーム範囲の近傍のフレーム（例えば１０フレーム）を調整フレームとする。
【００４９】
補正フレーム範囲の開始フレームより時間的に前にある調整フレームに対しては、それらのフレームを補正フレーム範囲の開始フレームに近いものほど拡大率が大きくなるように拡大させ、補正フレーム範囲の終了フレームより時間的に先にある調整フレームに対しては、それらのフレームを補正フレーム範囲の終了フレームに近いものほど拡大率が大きくなるように拡大させる。
【００５０】
図９を参照して、補正フレーム範囲の開始フレームより時間的に前にある調整フレームを徐々に拡大する処理について説明する。
【００５１】
図９のフレームｉが補正フレーム範囲の開始フレームであるとする。フレームｉの内部の四角形は、補正フレーム範囲の共通領域を示しているものとする。手ぶれ補正時には、この共通領域が元のフレームのサイズと同じになるように拡大される。
【００５２】
図９のフレームｉ−４〜フレームｉ−１は、補正フレーム範囲の開始フレームｉより時間的に前にある調整フレーム（近傍フレーム）を示している。これらの調整フレームｉ−１−４からｉ−１では、内部の四角形で示すように徐々に拡大する領域を狭くする、つまり、徐々に拡大率を大きくする。これにより、手ぶれ補正を行ったフレームとそれ以外のフレームとの間で拡大縮小率の不自然さを無くすことができるようになる。
【００５３】
以下、図１０を参照して、調整フレームを拡大するための幾何変換係数の算出方法について説明する。調整フレームを拡大するための幾何変換係数は、特開２００１−２２２７０７号に開示されている２画像間の中間画像を合成する手法を適用することによって算出できる。
【００５４】
図１０において、第６フレームおよび第７フレームを手ぶれ補正を行うフレームとする。第３フレーム〜第５フレームを補正フレーム範囲の開始フレームより時間的に前にある調整フレームとする。第２フレームを調整フレームより前の補正なしフレームとする。
【００５５】
第６フレームは補正フレーム範囲の開始フレームであり、手ぶれ補正の基準となる画像であるため、この画像の座標軸が補正フレーム範囲内の他のフレームの手ぶれ補正の幾何変換の座標軸となる。このため、共通領域の拡大処理が無いものとすると、第６フレームを手ぶれ補正するための幾何変換係数は、単位行列となる。しかしながら、第６フレームおよび第７フレームで共通する領域を元の画像サイズになるように拡大するので、第６フレームを拡大を考慮して手ぶれ補正するための幾何変換係数は、単位行列以外の幾何変換行列となる。
【００５６】
一方、第２フレームは手ぶれ補正も拡大もしないので、その幾何変換行列は単位行列で表される。ここで、第２フレームと第６フレームの２つの画像を考えると、それらの２画像間の中間的な画像は、特開２００１−２２２７０７号の方法を用いて、線形補間的に作成できる。例えば、第４フレームは５：５の比で、第２フレームと第６フレーム（補正フレーム範囲の開始フレーム）との２つのフレームを分配した中間画像と考えて、これらの２つの画像間の幾何変換行列から、各画像を中間画像に変換するための幾何変換行列を算出できる。
【００５７】
特開２００１−２２２７０７号では、得られた幾何変換行列を用いて２つの画像を中間的な画像へ変換して、色合わせを行っているが、本実施例では、各画像を中間画像に変換するための幾何変換行列のうちのいずれか一方（いずれでもよい）を用いて、第４フレームを変換する。
【００５８】
なお、第３フレームの場合は、３：１の比で、第２フレームと第６フレームとの２つのフレームを分配した中間画像と考えて、これらの２つの画像間の幾何変換行列から、各画像を中間画像に変換するための幾何変換行列（または一方の画像を中間画像に変換するための幾何変換行列）を算出する。そして、得られた変換行列を用いて、第３フレームを変換する。第５フレームの場合は、１：３の比で、第２フレームと第６フレームとの２つのフレームを分配した中間画像と考えて、これらの２つの画像間の幾何変換行列から、各画像を中間画像に変換するための幾何変換行列（または一方の画像を中間画像に変換するための幾何変換行列）を算出する。そして、得られた変換行列を用いて、第３フレームを変換する。
【００５９】
なお、補正フレーム範囲の開始フレームより時間的に後にある調整フレームについては、調整フレームより時間的に後の未調整フレームと補正フレーム範囲の終了フレームとの２つのフレームを分配した中間画像と考えればよい。
【図面の簡単な説明】
【００６０】
【図１】本出願人が開発した手ぶれ補正処理手順であって、ファイルに保存された画像データから手ぶれ補正を行うフレームを指定し、手ぶれ補正を行う処理の手順を示すフローチャートである。
【図２】図１のステップＳ１０２の処理、すなわち、手ぶれ補正係数を算出する処理の手順を示すフローチャートである。
【図３】幾何変換に基づいて手ぶれ補正を行う処理を説明するための図である。
【図４】幾何変換に基づいて手ぶれ補正を行う際に抽出が必要となる共通領域を説明するための図である。
【図５】手ぶれ補正装置の構成を示すブロック図である。
【図６】本発明を実現するための、手ぶれ補正処理手順を示すフローチャートである。
【図７】手ぶれ補正を行うフレーム範囲をユーザに指定させるためのユーザーインターフェイスを表す模式図である。
【図８】手ぶれ補正を行うフレーム範囲とその近傍のフレームを調整フレームとして処理することを説明するための模式図である。
【図９】手ぶれ補正を行うフレーム範囲の近傍の調整フレームの拡大方法を説明するための模式図である。
【図１０】調整フレームを拡大するための幾何変換係数の算出方法を説明するための模式図である。
【符号の説明】
【００６１】
１０  パーソナルコンピュータ
１１  ＣＰＵ
１２  メモリ
１３  ハードディスク
１４  ディスクドライブ
２０  リムーバブルディスク
【図１】
2005094615.tif 000003
【図２】
2005094615.tif 000004
【図３】
2005094615.tif 000005
【図４】
2005094615.tif 000006
【図５】
2005094615.tif 000007
【図６】
2005094615.tif 000008
【図７】
2005094615.tif 000009
【図８】
2005094615.tif 000010
【図９】
2005094615.tif 000011
【図１０】
2005094615.tif 000012