(57)【要約】【課題】  撮影時における動画像の像ブレ成分を正確に検出することができる画像再生装置及び像ブレ補正プログラムを提供する。【解決手段】  ブレ補正処理部２８は、主要被写体を検出して、この主要被写体のフレーム３０上における位置（例えば、重心の位置）を算出する。次に、ブレ補正処理部２８は、各フレームにおける主要被写体の位置に基づいて最小自乗法によって主要被写体の軌跡を算出して、この主要被写体の軌跡と位置のずれ（差）から像ブレ成分を算出する。そして、ブレ補正処理部２８は、上記のようにして算出された像ブレ成分に基づいて動画像データの像ブレ補正を行う。【選択図】      図１
2006295707.tif 000002
【特許請求の範囲】
【請求項１】
動画データを記録する動画記録手段と、
前記動画データに映っている被写体を検出し、前記被写体の中から主要被写体を検出する被写体検出手段と、
前記主要被写体の位置を算出する位置算出手段と、
前記動画データの各フレームにおける前記主要被写体の位置に基づいて前記主要被写体の軌跡を算出する軌跡算出手段と、
前記各フレームにおける前記主要被写体の位置と前記主要被写体の軌跡に基づいて、前記動画データの撮影時における像ブレ成分を算出する像ブレ成分算出手段と、
前記算出された像ブレ成分に基づいて前記動画データの像ブレ補正を行う像ブレ補正手段と、
を備えることを特徴とする画像再生装置。
【請求項２】
前記被写体検出手段は、前記被写体のうち映っている時間が最も長い被写体、又は映っているフレーム数が最も多い被写体を主要被写体とすることを特徴とする請求項１記載の画像再生装置。
【請求項３】
前記被写体検出手段は、前記被写体のうち各フレームにおけるフレーム内の特定位置からの距離の平均値又は和が最小の被写体を主要被写体とすることを特徴とする請求項１記載の画像再生装置。
【請求項４】
前記被写体検出手段は、前記被写体のうち移動距離の平均値又は和が最小の被写体を主要被写体とすることを特徴とする請求項１記載の画像再生装置。
【請求項５】
前記被写体検出手段は、前記動画像データの所定の区間のフレームを解析して、前記所定の区間ごとに前記主要被写体を検出することを特徴とする請求項１から４のいずれか１項記載の画像再生装置。
【請求項６】
動画データを記録する機能と、
前記動画データに映っている被写体を検出し、前記被写体の中から主要被写体を検出する機能と、
前記主要被写体の位置を算出する機能と、
前記動画データの各フレームにおける前記主要被写体の位置に基づいて前記主要被写体の軌跡を算出する機能と、
前記各フレームにおける前記主要被写体の位置と前記主要被写体の軌跡に基づいて、前記動画データの撮影時における像ブレ成分を算出する機能と、
前記算出された像ブレ成分に基づいて前記動画データの像ブレ補正を行う機能と、
をコンピュータに実現させることを特徴とする像ブレ補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像再生装置及び像ブレ補正プログラムに係り、特に動画像を再生する画像再生装置、及び動画像の撮影時における像ブレを補正する像ブレ補正プログラムに関する。
【背景技術】
【０００２】
従来、動画像の像ブレを補正する技術が提案されている。例えば、特許文献１には、被写体像を電気信号に変換する撮像手段と、カメラの撮影動作中に於けるブレ軌跡データを記憶するブレ軌跡データ記憶手段と、上記電気信号と上記ブレ軌跡データとによりブレのない画像を復元する復元手段とを具備するブレ画像復元装置について開示されている。また、特許文献２には、複数に分割した各エリアの動きベクトルから信頼性の高低を考慮して、全体の動きベクトルを適確に求めて、像ブレを補正する像ブレ補正装置について開示されている。
【特許文献１】特開平５−３２３４４４号公報
【特許文献２】特開２００４−１５３７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の特許文献１に開示されたブレ画像復元装置は、カメラの撮影動作中にブレ軌跡データの算出及び記録を行うため、撮影処理の負荷が大きくなるという問題があった。
【０００４】
また、上記の特許文献２に開示された像ブレ補正装置は、全体の動きベクトルを算出する際に、コントラストの大きい（すなわち、フォーカスがあっている）エリアの動きベクトルに重みをおいている。しかし、コントラストの大きいエリアが複数ある場合に、複数のエリアの動きベクトルを平均化して全体の動きベクトルとすると、各エリアの動きベクトルが相殺しあって、像ブレを正確に検出するのが困難であるという問題があった。
【０００５】
本発明はこのような事情に鑑みてなされたもので、撮影時における動画像の像ブレ成分を正確に検出することができる画像再生装置及び像ブレ補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために請求項１に係る画像再生装置は、動画データを記録する動画記録手段と、前記動画データに映っている被写体を検出し、前記被写体の中から主要被写体を検出する被写体検出手段と、前記主要被写体の位置を算出する位置算出手段と、前記動画データの各フレームにおける前記主要被写体の位置に基づいて前記主要被写体の軌跡を算出する軌跡算出手段と、前記各フレームにおける前記主要被写体の位置と前記主要被写体の軌跡に基づいて、前記動画データの撮影時における像ブレ成分を算出する像ブレ成分算出手段と、前記算出された像ブレ成分に基づいて前記動画データの像ブレ補正を行う像ブレ補正手段とを備えることを特徴とする。
【０００７】
請求項１に係る画像再生装置によれば、主要被写体の位置情報に基づいて像ブレ補正を行うことにより、像ブレ補正後の動画像データにおける主要被写体のブレを確実に低減できる。
【０００８】
請求項２に係る画像再生装置は、請求項１において、前記被写体検出手段は、前記被写体のうち映っている時間が最も長い被写体、又は映っているフレーム数が最も多い被写体を主要被写体とすることを特徴とする。
【０００９】
請求項２に係る画像再生装置によれば、映っている時間が最も長い被写体、又は映っているフレーム数が最も多い被写体の位置情報に基づいて軌跡を算出するため、軌跡を算出する際の点（重心位置）を多くとることができ、像ブレ成分を精度良く算出できる。
【００１０】
請求項３に係る画像再生装置は、請求項１において、前記被写体検出手段は、前記被写体のうち各フレームにおけるフレーム内の特定位置からの距離の平均値又は和が最小の被写体を主要被写体とすることを特徴とする。
【００１１】
請求項３に係る画像再生装置によれば、フレーム中心からの平均距離又は和が最小である（すなわち、フレーム中心付近に映っている）主要被写体の位置情報を用いるため、像ブレ補正後の動画像データにおける主要被写体のブレを確実に低減できる。
【００１２】
請求項４に係る画像再生装置は、請求項１において、前記被写体検出手段は、前記被写体のうち移動距離の平均値又は和が最小の被写体を主要被写体とすることを特徴とする。
【００１３】
請求項４に係る画像再生装置によれば、各フレーム間における移動距離の平均値又は和が最小である主要被写体（すなわち、撮影時に動きに合わせてパン・チルトが行われており、撮影者が注目している被写体）の位置情報を用いるため、像ブレ補正後の動画像データにおける主要被写体のブレを確実に低減できる。
【００１４】
請求項５に係る画像再生装置は、請求項１から４において、前記被写体検出手段は、前記動画像データの所定の区間のフレームを解析して、前記所定の区間ごとに前記主要被写体を検出することを特徴とする。
【００１５】
請求項５に係る画像再生装置によれば、撮影時に主要な被写体が変更された場合等にも、区間ごとの主要被写体を検出できる。
【００１６】
請求項６に係る像ブレ補正プログラムは、動画データを記録する機能と、前記動画データに映っている被写体を検出し、前記被写体の中から主要被写体を検出する機能と、前記主要被写体の位置を算出する機能と、前記動画データの各フレームにおける前記主要被写体の位置に基づいて前記主要被写体の軌跡を算出する機能と、前記各フレームにおける前記主要被写体の位置と前記主要被写体の軌跡に基づいて、前記動画データの撮影時における像ブレ成分を算出する機能と、前記算出された像ブレ成分に基づいて前記動画データの像ブレ補正を行う機能とをコンピュータに実現させることを特徴とする。
【００１７】
請求項６に係る像ブレ補正プログラムをパーソナルコンピュータやビデオデッキ等の画像を再生する装置や、デジタルカメラ等に適用することにより、上記本発明の画像再生装置を実現できる。
【発明の効果】
【００１８】
本発明によれば、映っている時間や、位置、又は移動距離に基づいて検出された主要被写体の位置情報に基づいて像ブレ補正を行うことにより、像ブレ補正後の動画像データにおける主要被写体のブレを確実に低減できる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面に従って本発明に係る画像再生装置及び像ブレ補正プログラムの好ましい実施の形態について説明する。なお、以下の説明では、本発明の画像処理装置をデジタルカメラに適用した例について説明するが、本発明に係る画像処理装置は、パーソナルコンピュータやビデオデッキ、テレビ等の画像を再生する機能を有する装置に適用することができる。
【００２０】
図１は、本発明の一実施形態に係る画像再生装置の主要構成を示すブロック図である。同図に示す画像再生装置１０は、撮像素子１２、アナログ・フロント・エンド（ＡＦＥ）１４、デジタル・シグナル・プロセッサ（ＤＳＰ）１６等を含んでいる。ＤＳＰ１６は、バスインターフェース部（バスＩ／Ｆ）１８を介して外部バス２０に接続されており、メモリ２２及び記録媒体２４を制御する。メモリ２２は、ＤＳＰ１６が処理するプログラム及び制御に必要な各種データ等が格納されるＲＯＭや、ＤＳＰ１６が各種の演算処理等を行う作業用領域及び画像処理領域となるＳＤＲＡＭ等を有している。
【００２１】
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Devices）である。動画像の撮影時には、撮像素子１２は、図示せぬ撮影レンズを介して入射した光を受け止めて電気信号に変換する。この電気信号は、アナログ・フロント・エンド（ＡＦＥ）１４に出力される。ＡＦＥ１４は、図示せぬ増幅器（プリアンプ）、及びＡ／Ｄ変換器を備えている。ＡＦＥ１４に入力された電気信号は、このプリアンプによって増幅され、Ａ／Ｄ変換器によってデジタル信号に変換されて、デジタル・シグナル・プロセッサ（ＤＳＰ）１６内の信号処理部２６に出力される。そして、ＡＦＥ１４から出力された電気信号は、信号処理部２６によって処理されて画角確認用の画像データ（スルー画）が作成され、図示せぬモニタに表示される。そして、レリーズスイッチが操作されて画像が撮影されると、信号処理部２６によってＡＦＥ１４から出力された電気信号が処理されて保存用の画像データを作成する。この保存用の動画像データは、圧縮部２７によって圧縮処理されて、記録媒体２４に所定のファイル形式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ、ＡＶＩ）で保存される。
【００２２】
そして、動画像の再生時には、記録媒体２４に記録された動画像データがＤＳＰ１６によって読み出される。こうして読み出された動画像データは、ＤＳＰ１６内のブレ補正処理部２８によって像ブレの補正処理が施されて、図示せぬモニタや、画像再生装置１０に接続された外部モニタ、パーソナルコンピュータ（ＰＣ）等に表示される。
【００２３】
以下、本発明の像ブレ補正処理方法について説明する。図２は、動画像のフレームの例を示す図である。同図に示す動画像は、犬（被写体１）がうさぎ（被写体２）を追う様子を映したものであり、図２（ａ）から図２（ｃ）の順番に時間が進んでいる。図２においては、フレーム３０が縦８×横８で８４分割されている。以下の説明では、このエリアを左下からＸ方向（図の横方向）にＡ（１，１）、Ａ（２，１）、…、Ａ（８、１）、左下からＹ方向（図の縦方向）にＡ（１，１）、Ａ（１，２）、…、Ａ（１，８）等と記載する。したがって、右上のエリアはＡ（８，８）である。
【００２４】
なお、フレームの分割の仕方は縦８×横８の６４分割に限定されるものではない。また、図２（ｂ）及び図２（ｃ）では、フレーム３０を分割する線が省略されている。
【００２５】
図３は、本発明の第１の実施形態に係る像ブレ補正処理の流れを示すフローチャートである。まず、図２に示すように、動画像データの各フレームのフレームが複数のエリアに分割されて（ステップＳ１０）、各エリアのコントラストが評価され（ステップＳ１２）、コントラストが高いエリアの集まり（高コントラストエリア群）が検出される（ステップＳ１４）。例えば、図２（ａ）のフレームにおいては、エリアＡ（２，４）〜Ａ（５，４）や、Ａ（２，５）〜Ａ（５，５）等（犬（被写体１）が映っている）が高コントラストエリア群として検出される。また、図２（ｂ）や図２（ｃ）等のほかのフレームも同様に処理される。
【００２６】
次に、複数のフレームにおける高コントラストエリア群の位置に基づいて動きベクトルが算出される。そして、この動きベクトルの向き及び大きさが近いエリア群が検出され（ステップＳ１６）、この動きベクトルの近いエリア群が同一の被写体として検出される（ステップＳ１８）。これにより、犬（被写体１）及びうさぎ（被写体２）が被写体として検出される。
【００２７】
次に、各被写体（犬（被写体１）及びうさぎ（被写体２））が映っているフレームの数がカウントされ（ステップＳ２０）、映っているフレーム数が最大の被写体（主要被写体）が検出される（ステップＳ２２）。図２の例では、主要被写体は犬（被写体１）となる。
【００２８】
次に、この主要被写体が映っているフレーム３０上における重心が算出される（ステップＳ２４）。また、この主要被写体が映っているエリアの動きベクトルの平均値が算出される（ステップＳ２６）。なお、この動きベクトルの平均値は、動画像データのフレームごとに算出され（ステップＳ２８）、以下において主要被写体の重心の動きベクトルとして用いられる。
【００２９】
次に、各フレームにおける主要被写体の重心の位置に基づいて、最小自乗法によって主要被写体の軌跡が算出される（ステップＳ３０）。そして、この主要被写体の軌跡と重心の位置のずれから像ブレ成分が算出される（ステップＳ３２）。図４は、主要被写体の重心の軌跡及び重心の位置を模式的に示すグラフである。図４（ａ）の横軸は時間（動画像データのフレーム番号）であり、縦軸はＸ座標である。なお、主要被写体の重心の軌跡及び位置のＹ座標についても同様にして表される。本実施形態においては、主要被写体の重心の軌跡を撮影時におけるパン・チルトによる動き成分として、図４（ｂ）の矢印に示す主要被写体の重心の軌跡（実線）と重心の位置（黒丸）の座標との差が像ブレ成分として算出される。ブレ補正処理部２８は、上記のようにして算出された像ブレ成分に基づいて動画像データの像ブレ補正を行う。これにより、画像再生装置において像ブレが補正された動画像が再生される。
【００３０】
本実施形態では、映っているフレーム数が最大である主要被写体の位置情報を用いる。このため、パン・チルトによる動き成分を算出する際の点（重心位置）を多くとることができ、像ブレ成分を精度良く算出できる。また、主要被写体の位置情報に基づいて像ブレ補正を行うことにより、像ブレ補正後の動画像データにおける主要被写体のブレを確実に低減できる。
【００３１】
なお、本実施形態では、主要被写体の位置をその重心の位置で表して像ブレ成分を算出するようにしたが、主要被写体の位置を表す指標はこれに限定されるものではない。例えば、主要被写体の頭部やその重心等で主要被写体の位置を表すようにしてもよい。
【００３２】
次に、本発明の第２の実施形態に係る像ブレ補正処理方法について、図５及び図６を参照して説明する。図５は、動画像のフレームの例を示す図である。同図に示す動画像は、図２と同様に犬（被写体１）がうさぎ（被写体２）を追う様子を映したものであり、図５（ａ）から図５（ｃ）の順番に時間が進んでいる。なお、図５では、フレーム３０を分割する線は省略されている。以下の説明では、フレーム３０の中心をＯ、被写体１、２の重心の位置をそれぞれＣ１及びＣ２と記載する。
【００３３】
図６は、本発明の第２の実施形態に係る像ブレ補正処理の流れを示すフローチャートである。なお、ステップＳ４０〜Ｓ４８については、上記図３のステップＳ１０〜Ｓ１８と同様であるため説明を省略する。
【００３４】
図６のステップＳ４８において被写体が検出されると、全フレームにおいて各被写体の重心位置（Ｃ１、Ｃ２）が算出され、フレーム中心Ｏからの各被写体の重心の距離の全フレームにおける平均値が算出される（ステップＳ５０）。そして、この平均値が最小の被写体（主要被写体）が検出される（ステップＳ５２）。図５の例では、主要被写体は犬（被写体１）となる。
【００３５】
なお、次のステップＳ５４〜Ｓ６２については、上記図３のステップＳ２４〜Ｓ３２と同様であるため説明を省略する。
【００３６】
本実施形態では、フレーム中心Ｏからの平均距離が最小である（すなわち、フレーム３０の中心付近に映っている）主要被写体の位置情報を用いるため、像ブレ補正後の動画像データにおける主要被写体のブレを確実に低減できる。また、主要被写体の位置情報を用いることにより、パン・チルトによる動き成分を算出する際の点（重心位置）を多くとることができ、像ブレ成分を精度良く算出できる。
【００３７】
なお、本実施形態においては、フレーム中心からの平均距離が最小の被写体を主要被写体としたが、例えば、フレーム中心からの距離の和が最小の被写体を主要被写体としてもよい。なお、フレーム中心からの距離の和を算出する際には、途中からフレームに入ってきた被写体については、映っていないフレーム数分、フレーム中心Ｏからフレーム３０の頂点までの距離Ｐ１（図５（ａ）参照）を加算するようにする。又は、複数の被写体が映っているフレームのみを用いて距離の和を算出する。これにより、途中からフレームに入ってきた被写体についても主要被写体かどうかの判定を正確にできる。
【００３８】
また、本実施形態では、フレーム中心Ｏからの平均距離や距離の和に基づいて主要被写体を決定するようにしたが、フレーム内の特定の点（例えば、４隅の点）からの平均距離等に基づいて主要被写体を決定するようにしてもよい。
【００３９】
次に、本発明の第３の実施形態に係る像ブレ補正処理方法について、図７及び図８を参照して説明する。図７は、被写体の移動距離を模式的に示す図である。図７（ａ）及び図７（ｂ）においては、犬（被写体１）及びうさぎ（被写体２）の重心（それぞれＤ１〜Ｄ３、及びＲ２〜Ｒ３）の隣接フレーム間における移動距離が示されている。
【００４０】
図８は、本発明の第３の実施形態に係る像ブレ補正処理の流れを示すフローチャートである。なお、ステップＳ７０〜Ｓ７８については、上記図３のステップＳ１０〜Ｓ１８等と同様であるため説明を省略する。
【００４１】
図８のステップＳ７８において被写体が検出されると、全フレームにおいて各被写体の重心位置（Ｄ１〜Ｄ３、及びＲ２〜Ｒ３）が算出され、フレーム中心Ｏからの各被写体の重心の隣接するフレームにおける移動距離が算出される（ステップＳ８０）。そして、この移動距離の全フレーム間における平均値が最小の被写体（主要被写体）が検出される（ステップＳ８２）。図７の例では、主要被写体は移動距離の和が最短である犬（被写体１）となる。
【００４２】
なお、次のステップＳ８４〜Ｓ９２については、上記図３のステップＳ２４〜Ｓ３２等と同様であるため説明を省略する。
【００４３】
本実施形態では、各フレーム間における移動距離の平均値が最小である主要被写体（すなわち、撮影時に動きに合わせてパン・チルトが行われており、撮影者が注目している被写体）の位置情報を用いるため、像ブレ補正後の動画像データにおける主要被写体のブレを確実に低減できる。また、主要被写体の位置情報を用いることにより、パン・チルトによる動き成分を算出する際の点（重心位置）を多くとることができ、像ブレ成分を精度良く算出できる。
【００４４】
なお、本実施形態では、上記第１の実施形態と同様に、主要被写体の位置をその重心の位置で表して像ブレ成分を算出するようにしたが、主要被写体の位置を表す指標はこれに限定されるものではなく、例えば、主要被写体の頭部やその重心等であってもよい。
【００４５】
なお、上記の実施形態においては、主要被写体を検出する際に、隣接フレーム間における被写体の移動距離を用いたが、例えば、所定のフレーム数ごと（例えば、５フレームごと）のフレーム間における被写体の移動距離を用いてもよい。
【００４６】
また、上記の実施形態においては、動画像データの全フレーム間における主要被写体を検出するようにしたが、動画像データの所定の区間ごとに（例えば、数分又は数十分おき、又はフレーム内の被写体の数が異なる区間ごと）主要被写体を検出するようにしてもよい。これにより、例えば、撮影時に主要な被写体が犬（被写体１）からうさぎ（被写体２）に変更された場合等にも、主要被写体の検出を正確に行うことができる。なお、動画像の各フレームを解析することにより、例えば、主要被写体がフレームの外に出たことを検出して、主要被写体の変更を検出するようにしてもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態に係る画像再生装置の主要構成を示すブロック図
【図２】動画像のフレームの例を示す図
【図３】本発明の第１の実施形態に係る像ブレ補正処理の流れを示すフローチャート
【図４】主要被写体の重心の軌跡及び重心の位置を模式的に示すグラフ
【図５】動画像のフレームの例を示す図
【図６】本発明の第２の実施形態に係る像ブレ補正処理の流れを示すフローチャート
【図７】被写体の移動距離を模式的に示す図
【図８】本発明の第３の実施形態に係る像ブレ補正処理の流れを示すフローチャート
【符号の説明】
【００４８】
１０…画像再生装置、１２…撮像素子、１４…アナログ・フロント・エンド（ＡＦＥ）、１６…デジタル・シグナル・プロセッサ（ＤＳＰ）、１８…バスインターフェース部（バスＩ／Ｆ）、２０…外部バス、２２…メモリ、２４…記録媒体、２６…信号処理部、２７…圧縮部、２８…ブレ補正処理部
【図１】
2006295707.tif 000003
【図２】
2006295707.tif 000004
【図３】
2006295707.tif 000005
【図４】
2006295707.tif 000006
【図５】
2006295707.tif 000007
【図６】
2006295707.tif 000008
【図７】
2006295707.tif 000009
【図８】
2006295707.tif 000010