(57)【要約】【課題】動き補正の性能を向上できるようにする。【解決手段】増幅検出部３２は、撮像装置の動きを示す動き情報と撮像装置で生成される画像のフレームレートに応じて、撮像装置の動きに起因して生ずる画像の動きに対する動き補正での画像の動きの増幅を検出する。乗算器３８は、増幅検出部３２の検出結果に応じて、補正部５０での動き補正において動きを増幅しないように動き検出部２０で検出された動き情報の動きを抑制して補正動き情報を生成する。補正部５０は乗算器３８から供給された補正動き情報を用いることで、動き補正を行う画像と動き検出の時間差を生じても、動きを増幅させてしまうことなく動き補正を行うことができる。【選択図】        図７
2014143530.tif 000002
【特許請求の範囲】
【請求項１】
動きの検出結果を示す動き情報と画像のフレームレートに応じて、前記動きに起因して生ずる前記画像の動きに対する動き補正での前記画像の動きの増幅を検出する増幅検出部と、
前記増幅検出部の検出結果に基づき、前記動き補正において前記画像の動きを増幅しないように前記動き情報が示す動きを抑制して、前記動き補正で用いる補正動き情報を生成する情報抑制部と
を備える情報処理装置。
【請求項２】
前記動き情報から前記動き補正において前記画像の動きを増幅させる成分の除去を行うフィルタを有し、
前記情報抑制部は、前記フィルタ処理後の動き情報に対して動きの抑制を行い補正動き情報を生成する
請求項１記載の情報処理装置。
【請求項３】
前記増幅検出部は、前記動き補正で前記画像の動きを増幅させることのない成分の割合を示す安定率を算出して、該安定率を前記動き情報の補正率に変換して、
前記情報抑制部は、前記補正率に基づいて前記動き情報が示す動きの抑制を行う
請求項１記載の情報処理装置。
【請求項４】
前記増幅検出部は、所定フレーム数分の動き情報と、前記動き情報から抽出した前記画像の動きを増幅させる成分または前記画像の動きを増幅させることのない成分に基づいて、前記安定率を算出する
請求項３記載の情報処理装置。
【請求項５】
前記増幅検出部は、前記安定率を前記補正率に変換する変換特性を切り替えることで、前記動き補正の補正特性を切り替える
請求項３記載の情報処理装置。
【請求項６】
前記増幅検出部は、前記動き補正における前記画像の動きの増幅の抑制を重視する場合、動き補正精度を重視する場合に比べて、前記変換特性を前記安定率が低い区間において振れ補正が行われない状態となる補正率の区間を長くした特性とする
請求項５記載の情報処理装置。
【請求項７】
前記動き情報を用いて動き予測を行い動き予測情報を生成する動き予測部と、
前記動き予測情報の予測誤差が予め設定された閾値未満である場合に前記動き予測情報を前記補正動き情報として用い、前記予測誤差が予め設定された閾値以上である場合に前記動きの抑制された動き情報を前記補正動き情報として用いる選択処理部と
をさらに備える請求項１記載の情報処理装置。
【請求項８】
前記動き予測部は、複数の異なる予測モデル毎に前記動き予測を行い動き予測情報を生成して、
前記選択処理部は、前記複数の異なる予測モデルにおける最小の予測誤差が予め設定された閾値未満である場合に、前記予測誤差が最小となる予測モデルを用いて得られた動き予測情報を前記補正動き情報として用いる
請求項７記載の情報処理装置。
【請求項９】
前記動き情報を生成する動き検出部をさらに備え、
前記動き検出部は、前記画像の一部を用いて前記動き情報を生成することで、前記動き補正を行う画像と動き検出の時間差を少なくする
請求項１記載の情報処理装置。
【請求項１０】
動きの検出結果を示す動き情報と画像のフレームレートに応じて、前記動きに起因して生ずる前記画像の動きに対する動き補正での前記画像の動きの増幅を検出する工程と、
前記検出結果に基づき、前記動き補正において前記画像の動きを増幅しないように前記動き情報が示す動きを抑制して、前記動き補正で用いる補正動き情報を生成する工程と
含む情報処理方法。
【請求項１１】
撮像画像の画像信号を生成する撮像部と、
当該装置の動きを検出して動き情報を生成する動き検出部と、
前記動き情報と前記撮像画像のフレームレートに応じて、前記装置の動きに起因して生ずる前記画像の動きに対する動き補正での前記画像の動きの増幅を検出する増幅検出部と、
前記増幅検出部の検出結果に基づき、前記動き補正において前記画像の動きを増幅しないように前記動き情報が示す動きを抑制して、前記動き補正で用いる補正動き情報を生成する情報抑制部と、
前記情報抑制部で生成された補正動き情報に基づいて前記撮像画像の動き補正を行う補正部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、情報処理装置と情報処理方法および撮像装置に関し、動き補正の性能を向上できるようにする。
【背景技術】
【０００２】
従来、撮像装置では、角速度センサ等の動き検出手段によって撮像時の手ぶれを検出して、検出結果に基づき、検出された手ぶれを打ち消すように光学系や撮像素子を移動させて、撮像素子の撮像面上に結像する光学像の振れを補正することが行われている。
【０００３】
また、特許文献１では、動き検出結果に基づき、シャッターボタンが押されて撮像画像が取り込まれる時点における撮像装置の動きに応じた像ぶれを算出して、算出された像ぶれを補正することが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０７４３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、動き検出結果に基づき、撮像画像の像ぶれを補正する場合、動き検出と撮像画像の取り込みの時間差が十分に小さければ、動き検出結果は撮像画像が取り込まれる時点の動きをより正しく示すようになり、像ぶれを精度よく補正できる。しかし、動きの検出と撮像画像の取り込みの時間差が大きくなると、動き検出結果と撮像画像の取り込み時の動きが相違して、動き補正すなわち像ぶれ補正の性能低下を招く虞がある。
【０００６】
そこで、この技術では、動き補正の性能を向上できる情報処理装置と情報処理方法および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この技術の第１の側面は、
動きの検出結果を示す動き情報と画像のフレームレートに応じて、前記動きに起因して生ずる前記画像の動きに対する動き補正での前記画像の動きの増幅を検出する増幅検出部と、
前記増幅検出部の検出結果に基づき、前記動き補正において前記画像の動きを増幅しないように前記動き情報が示す動きを抑制して、前記動き補正で用いる補正動き情報を生成する情報抑制部と
を備える情報処理装置にある。
【０００８】
この技術においては、動きの検出結果を示す動き情報と画像のフレームレートに応じて、動きに起因して生ずる画像の動きに対する動き補正での画像の動きの増幅を検出する。例えば、撮像装置の振れを示す動き情報と撮像装置で生成される画像のフレームレートに応じて、撮像装置の振れに起因する画像の動きを補正する場合、動き補正で画像の動きを増幅させる成分の割合を示す安定率を算出して、この安定率を動き情報の補正率に変換して検出結果として用いる。安定率は、例えば所定フレーム数分の動き情報と、この動き情報から抽出した画像の動きを増幅させる成分または画像の動きを増幅させることのない成分に基づいて算出する。また、安定率を補正率に変換する変換特性を切り替えて動き補正の補正特性を切り替える。例えば、動き補正において、画像の動きの増幅の抑制を重視する場合、動き補正精度を重視する場合に比べて、変換特性を安定率が低い区間において振れ補正が行われない状態となる補正率の区間を長くした特性とする。このようにして得た補正率に基づいて動き情報の抑制を行い、抑制後の動き情報を用いて動き補正が行われるようにする。
【０００９】
また、動き情報を用いて動き予測を行い動き予測情報を生成する。動き予測は１又は複数の複数の異なる予測モデルを用いる。動き予測情報の予測誤差が予め設定された閾値未満である場合は、動き予測情報を補正動き情報として、予測誤差が予め設定された閾値以上である場合に抑制された動き情報を補正動き情報として、補正動き情報を用いて動き補正が行われるようにする。さらに、複数の異なる予測モデルを用いる場合、最小の予測誤差が予め設定された閾値未満である場合に、予測誤差が最小となる予測モデルを用いて得られた動き予測情報を補正動き情報として用いる。また、動き情報を生成する動き検出部では画像の一部を用いて動き情報を生成することで、動き補正を行う画像と動き検出の時間差を少なくする。
【００１０】
この技術の第２の側面は、
動き検出結果を示す動き情報と画像のフレームレートに応じて、前記動きに起因して生ずる前記画像の動きに対する動き補正での前記画像の動きの増幅を検出する工程と、
前記検出結果に基づき、前記動き補正において前記画像の動きを増幅しないように前記動き情報が示す動きを抑制して、前記動き補正で用いる補正動き情報を生成する工程と
含む情報処理方法にある。
【００１１】
この技術の第３の側面は、
撮像画像の画像信号を生成する撮像部と、
当該装置の動きを検出して動き情報を生成する動き検出部と、
前記動き情報と前記撮像画像のフレームレートに応じて、前記装置の動きに起因して生ずる前記画像の動きに対する動き補正での前記画像の動きの増幅を検出する増幅検出部と、
前記増幅検出部の検出結果に基づき、前記動き補正において前記画像の動きを増幅しないように前記動き情報が示す動きを抑制して、前記動き補正で用いる補正動き情報を生成する情報抑制部と、
前記情報抑制部で生成された補正動き情報に基づいて前記撮像画像の動き補正を行う補正部と
を備える撮像装置にある。
【発明の効果】
【００１２】
この技術によれば、動きの検出結果を示す動き情報と画像のフレームレートに応じて、動きに起因して生ずる画像の動きに対する動き補正での画像の動きの増幅が検出される。また、この検出結果に基づき、動き補正において画像の動きを増幅しないように動き情報が示す動きを抑制して、動き補正で用いる補正動き情報が生成される。したがって、補正動き情報に基づいて動き補正を行うことにより、例えば振れ補正で像ぶれが増加させてしまうことを防止することが可能となり、動き補正性能を向上できる。
【図面の簡単な説明】
【００１３】
【図１】振れ周波数と振れ補正後の振幅増幅率の関係を例示した図である。
【図２】補正前と補正後の振れの振幅を例示した図（振れ周波数が低い場合）である。
【図３】補正前と補正後の振れの振幅を例示した図（振れ周波数が高い場合）である。
【図４】本技術の情報処理装置を用いた撮像装置の構成を例示した図である。
【図５】振れ補正制御部の第１の実施の形態の構成を示す図である。
【図６】振れ補正動作を例示したフローチャートである。
【図７】抑制処理部の第１の構成を例示した図である。
【図８】安定率を補正率に変換する場合の変換特性を例示した図である。
【図９】増幅検出部の構成を例示した図である。
【図１０】増幅検出部の変形例を示した図である。
【図１１】増幅検出部の変形例を示した図である。
【図１２】増幅検出部の変形例を示した図である。
【図１３】抑制処理部を設けた場合の振れ周波数と振れ補正後の振幅増幅率の関係を例示した図である。
【図１４】抑制処理部の第２の構成を例示した図である。
【図１５】抑制処理部の第３の構成を例示した図である。
【図１６】振れ補正制御部の第２の実施の形態の構成を示した図である。
【図１７】第２の実施の形態の振れ補正動作を例示したフローチャートである。
【図１８】多項式近似モデルを説明するための図である。
【図１９】自己回帰モデルを説明するための図である。
【図２０】予測判定部の第１の構成を例示した図である。
【図２１】動き検出結果と動き予測結果および振れ補正のタイミングを例示した図（１フレーム期間遅延の場合）である。
【図２２】動き検出結果と動き予測結果および振れ補正のタイミングを例示した図（０．５フレーム期間遅延の場合）である。
【図２３】動き予測結果を用いて振れ補正を行ったときの振れ周波数と振れ補正後の振幅増幅率の関係を例示した図である。
【図２４】予測判定部の第２の構成を例示した図である。
【図２５】複数の動き予測を用いる場合の動作を例示したフローチャートである。
【図２６】動き予測結果と抑制処理を用いて振れ補正を行ったときの振れ周波数と振れ補正後の振幅増幅率の関係を例示した図である。
【図２７】動き検出センサを用いた撮像装置の構成を例示した図である。
【図２８】遅延期間を短くすることで逆補正を抑制する場合を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．動き補正性能の低下について
２．撮像装置の構成
３．第１の実施の形態
３−１．第１の実施の形態の構成
３−２．第１の実施の形態の動作
３−３．抑制処理部の第１の構成と動作
３−３−１．増幅検出部の構成と動作
３−３−２．増幅検出部の変形例
３−４．抑制処理部の第２の構成
３−５．抑制処理部の第３の構成
４．第２の実施の形態
４−１．第２の実施の形態の構成
４−２．第２の実施の形態の動作
４−３．動き予測について
４−４．予測判定部の第１の構成と動作
４−５．予測判定部の第２の構成と動作
５．他の実施の形態
【００１５】
＜１．動き補正性能の低下について＞
動き検出と撮像画像の取り込みの時間差が大きくなると、動き検出結果と撮像画像の取り込み時の動きとの誤差が大きくなって、動き補正の性能の低下を招く虞がある。
【００１６】
動き検出によって検出される時刻ｘの動きベクトルＭＶh(x)を、式（１）に示すように正弦波でモデル化する。なお、式（１）において、「Ｆｉ」は動き検出のサンプリング周波数、「Ｆｈ」は、検出された動きの周波数とする。このようなモデル化を行った場合、動き補正の効果を式（２）として示すことができる。なお、式（２）は、動き検出をフレーム毎に行い、フレーム「Ｐo」からフレーム「Ｐt」までの動きベクトルの積算量「ＶＡ」を、フレーム「Ｐo」からフレーム「Ｐ(t-1)」までの動きベクトルの積算量「ＶＢ」と、１フレーム遅れの動きベクトルＶＣ（＝ＭＶh(t-1)）を用いて、「ＶＡ−（ＶＢ＋ＶＣ）」の補正を行う場合である。また、式（２）から算出される値を、動き補正後の振幅増幅率とする。
【００１７】
【数１】
2014143530.tif 000003
【００１８】
したがって、例えば手ぶれ等の補正を行う場合、振れ補正後の振幅増幅率が「１」よりも小さくなる条件では、振れ補正を行うことで像ぶれを少なくすることができる。しかし、振れ補正後の振幅増幅率が「１」よりも大きくなる条件では、振れ補正を行うことで像ぶれを増加させてしまう。また、式（３）は、振れ補正を行うことで像ぶれが少なくなるか増加するかの境界となる条件である。
【００１９】
【数２】
2014143530.tif 000004
【００２０】
図１は、撮像画像のフレームレートを３０フレーム／秒、動きの検出と撮像画像の取り込みの時間差を１フレーム期間とした場合の振れ周波数と振れ補正後の振幅増幅率の関係を例示している。この場合、振れ周波数が５Ｈｚよりも低い周波数であると、振れ補正後の振幅増幅率は「１」より小さいことから、動き検出結果を示す動き情報、例えば動き検出ベクトルに基づき振れ補正を行うことで像ぶれを少なくできる。振れ補正の効果は、振れ周波数が５Ｈｚに近付くに伴い減少して、振れ補正後の振幅増幅率が５Ｈｚで「１」となると、振れ補正の効果がなくなる。また、振れ周波数が５Ｈｚを超えて高くなると、振れ補正後の振幅増幅率は「１」より大きくなり、振れ補正によって像ぶれを増加させてしまいうことから、副作用が大きくなる。なお、以下の説明では、振れ補正によって像ぶれを増加させてしまう場合を逆補正という。
【００２１】
図２，３は、補正前と補正後の振れの振幅を例示している。図２に示すように、振れ周波数が低い場合、図２の（Ａ）に示す振れに対して動き検出結果に基づき振れ補正を行うことで、図２の（Ｂ）に示すように振幅を小さくできる。しかし、図３に示すように、振れ周波数が高い場合、図３の（Ａ）に示す振れに対して動き検出結果に基づき振れ補正を行うと、図３の（Ｂ）に示すように振幅は補正前よりも大きくなり逆補正となってしまう。
【００２２】
そこで、この技術の情報処理装置および情報処理方法では、動きの検出結果を示す動き情報と画像のフレームレートに応じて、この動きに起因して生ずる画像の動きに対する動き補正での画像の動きの増幅を検出する。また、検出結果に応じて、動き補正において動きを増幅しないように動き情報の動きを抑制して補正動き情報を生成することで、この補正動き情報を用いて動き補正を行うことで、逆補正が行われてしまうことを防止する。
【００２３】
＜２．撮像装置の構成＞
図４は、本技術の情報処理装置を用いた撮像装置の構成を例示している。撮像装置１０は、撮像光学系１１、撮像部１２、動き検出部２０、補正制御部３０、補正部５０を備えている。さらに、撮像装置１０は、画像処理部６１、表示部６２、記録部６３、ユーザインタフェース（Ｉ／Ｆ）部６４、制御部６５を有している。
【００２４】
撮像光学系１１は、フォーカスレンズやズームレンズ等で構成されている。撮像光学系１１では、例えばフォーカスレンズを光軸方向に移動してフォーカス調整を行う。また、ズームレンズを光軸方向に移動して焦点距離を可変する。
【００２５】
撮像部１２は、撮像素子、前処理部、撮像駆動部等で構成されている。撮像素子は、光電変換処理を行い、撮像光学系１１によって撮像面に結像された光学像を電気信号に変換する。撮像素子は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。前処理部は、撮像素子で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理を行う。また、前処理部は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して、動き検出部２０と補正部５０へ出力する。撮像駆動部は、後述する制御部６５からの制御信号に基づき、撮像素子を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。
【００２６】
動き検出部２０は、撮像部１２から供給された画像信号を用いて動き検出を行い、撮像装置１０の振れを示す動き検出ベクトルを動き情報として生成する。動き検出部２０は、グローバル動きベクトルを算出して、算出したグローバル動きベクトルを動き検出ベクトルとして補正制御部３０へ出力する。
【００２７】
補正制御部３０は、動き検出ベクトルと生成される撮像画像のフレームレートに応じて、撮像装置の振れに起因して生ずる画像の動きの振れ補正における像ぶれの増幅を検出する。また、補正制御部３０は、検出結果に基づき、振れ補正において像ぶれを増幅しないように動き検出ベクトルを抑制して、動き補正で用いる補正動きベクトルを生成する。
【００２８】
補正部５０は、補正制御部３０から供給された補正動きベクトルで示された動きを補正するように撮像画像の振れ補正を行うことで、逆補正が行われないように像ぶれが補正された撮像画像の画像信号を生成して画像処理部６１へ出力する。
【００２９】
画像処理部６１は、補正部５０から出力された画像信号に対して、例えばガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。画像処理部６１は処理後の画像信号を表示部６２や記録部６３へ出力する。
【００３０】
表示部６２は、表示パネルや電子ビューファインダを構成しており、画像処理部６１から出力された画像信号に基づきカメラスルー画像の表示等を行う。また、表示部６２は、撮像装置１０の動作設定を行うためのメニュー表示や動作状態表示等も行う。なお、表示部６２は、表示画素数が撮像画像よりも少ない場合、撮像画像を表示画像数の表示画像に変換する処理を行う。
【００３１】
記録部６３は、画像処理部６１から出力された画像信号を記録媒体に記録する。記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤ（Hard Disk Drive）や半導体メモリモジュール等であってもよい。また、記録部６３に、エンコーダやデコーダを設けて画像信号の圧縮符号化や伸張復号化を行い、記録媒体には符号化信号を記録するようにしてもよい。なお、記録部６３では、記録媒体に記録されている画像信号や符号化信号を読み出して、記録されている画像を表示部６２に表示するようにしてもよい。
【００３２】
ユーザインタフェース（ユーザＩ／Ｆ）部６４は、ズームレバーや撮影ボタン等で構成されている。ユーザＩ／Ｆ部６４は、ユーザ操作に応じた操作信号を生成して制御部６５に出力する。
【００３３】
制御部６５は、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の制御情報や補正データ等を記憶する。制御部６５は、ユーザＩ／Ｆ部６４からの操作信号等に応じて各部の制御を行い、ユーザ操作に応じた動作を撮像装置１０で行わせる。
【００３４】
＜３．第１の実施の形態＞
［３−１．第１の実施の形態の構成］
図５は、振れ補正制御部の第１の実施の形態の構成を示している。振れ補正制御部３０は、抑制処理部３１を用いて構成されている。抑制処理部３１は、動き検出ベクトルと撮像画像のフレームレートに応じて、振れ補正における像ぶれの増幅を検出する。抑制処理部３１は、例えば、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまうことのない成分、または像ぶれを増幅させてしまう成分のいずれかを抽出する。抑制処理部３１は、抽出結果に基づき動き検出ベクトルにおいて振れ補正で像ぶれを増幅させない成分の割合を示す安定率を算出して、安定率を動き検出ベクトルの抑制における補正率に変換する。抑制処理部３１は、補正率に基づいて動き検出ベクトルの抑制を行い、補正動き情報である補正動きベクトルを生成する。抑制処理部３１は、生成した補正動きベクトルを補正部５０へ出力する。
【００３５】
［３−２．第１の実施の形態の動作］
図６は、第１の実施の形態の振れ補正動作を例示したフローチャートである。ステップＳＴ１で動き検出部２０は、画像信号を取得する。動き検出部２０は、撮像部１２で生成された画像信号を取得してステップＳＴ２に進む。
【００３６】
ステップＳＴ２で動き検出部２０は、動き検出を行う。動き検出部２０は、取得した画像信号を用いて動き検出を行い、撮像装置の振れを示す動き検出ベクトルを生成する。動き検出部２０は、生成した動き検出ベクトルを補正制御部３０へ出力してステップＳＴ３に進む。
【００３７】
ステップＳＴ３で補正制御部３０は、補正動きベクトルを生成する。補正制御部３０の抑制処理部３１は、撮像画像のフレームレートとステップＳＴ２で生成された動き検出ベクトルに応じて、振れ補正における像ぶれの増幅を検出する。また、抑制処理部３１は、検出結果に応じて振れ補正で像ぶれを増幅しないように動き検出ベクトルを抑制して補正動きベクトルを生成してステップＳＴ４へ進む。
【００３８】
ステップＳＴ４で補正部５０は、振れ補正を行う。補正部５０は、補正動きベクトルに基づいて振れ補正を行い、撮像装置の振れの影響が除去された撮像画像の画像信号を生成する。なお、振れ補正では、例えば撮像部１２から所望のサイズの領域よりも大きいサイズである読み出し領域から各画素信号の読み出しを行い、読み出し領域の画像から補正動きベクトルに応じて所望のサイズの領域の画像を切り出すことで、撮像装置の振れの影響が除去された撮像画像の画像信号を生成する。また、撮像部１２からの画像の読み出し位置を補正動きベクトルに応じて変更して、振れ補正が行われた画像信号を生成するようにしてもよい。
【００３９】
［３−３．抑制処理部の第１の構成と動作］
図７は抑制処理部の第１の構成を例示している。補正制御部３０の抑制処理部３１は、増幅検出部３２と情報抑制部である乗算器３８を有している。
【００４０】
増幅検出部３２は、画像のフレームレートと動き検出ベクトルに応じて、振れ補正における像ぶれを検出する。例えば、増幅検出部３２は、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまうことのない成分を抽出して、この抽出した成分が動き検出ベクトルにおいて占める割合を安定率として算出する。さらに、増幅検出部３２は、安定率を動き検出ベクトルの補正率に変換して乗算器３８へ出力する。増幅検出部３２は、例えば変換テーブルを用いてまたは演算を行い、安定率を補正率に変換する。乗算器３８は、動き検出ベクトルに対して補正率を乗算して動き検出ベクトルの抑制を行い、補正動きベクトルを生成して補正部５０へ出力する。
【００４１】
安定率を補正率に変換する場合の変換特性は、予め決められた特性であってもよく、特性を切り替えることができるようにしてもよい。例えば、増幅検出部３２は、振れ補正における像ぶれの増幅の抑制である逆補正対策を重視した変換（逆補正対策重視タイプ）、補正精度を重視した変換（補正精度重視タイプ）、補正精度と逆補正対策の両方を重視した変換（バランスタイプ）のいずれかを、予め決められた特性として用いる。また、増幅検出部３２は、いずれかの特性を選択できるようにしてもよい。
【００４２】
表１は、変換特性の特徴を示している。逆補正対策重視タイプでは、安定率が低い状態で動き検出ベクトルに基づいた振れ補正をより行われ難くする。具体的には、安定率が低い区間において補正率が「０」（振れ補正が行われない状態）となる補正率の区間を、補正精度重視タイプやバランスタイプよりも長くする。補正精度重視タイプでは、安定率が高い状態で動き検出ベクトルに基づいた振れ補正をより行われ易くする。具体的には、安定率が高い区間において補正率が「１」（動き検出ベクトルが抑制されていない状態）となる補正率の区間を、逆補正対策重視タイプやバランスタイプに比べて長くする。バランスタイプでは、逆補正対策重視タイプに比べて、安定率が高い状態で動き検出ベクトルに基づいた振れ補正を行われ易くする。また、バランスタイプでは、補正精度重視タイプに比べて、安定率が低い状態で動き検出ベクトルに基づいた振れ補正を行われ難くする。具体的には、補正率が「１」となる安定率の区間は、補正精度重視タイプよりも狭い例えば「０．２５（２５％）」程度として、補正率が「０」となる安定率の区間は、逆補正対策重視タイプよりも狭い例えば「０．２５（２５％）」程度とする。
【００４３】
【表１】
2014143530.tif 000005
【００４４】
また、補正率が「０」よりも大きく「１」未満である過渡区間については、表２に示すように、安定率に応じて急激に補正率を変化させる第１の特性とする場合、過渡区間を短く設定する。また、安定率に応じて補正率を緩やかに変化させる第３の特性の場合、過渡区間を、第１の特性の場合に比べて長く設定する。また、第１の特性より補正率の変化が緩やかで第３の特性よりも補正率を緩やかに変化させる第２の特性の場合、過渡区間を、第１の特性の場合よりも長く、第２の特性よりも狭い区間である例えば「０．５（５０％）」程度の区間とする。
【００４５】
【表２】
2014143530.tif 000006
【００４６】
図８は、安定率を補正率に変換する場合の変換特性を例示している。図８の（Ａ）は、逆補正対策を重視した変換特性を例示している。例えば安定率が「０．５」以下である場合には、補正率を「０」とする。また、安定率が「０．５」よりも高い場合には、安定率が高くなるに伴い補正率を高くして、安定率が「１」の場合に補正率を「１」とする。
【００４７】
図８の（Ｂ）は、は補正精度を重視した変換特性を例示している。例えば安定率が「０．５」以上である場合には、補正率を「１」とする。また、安定率が「０．５」よりも低下する場合には、安定率が低くなるに伴い補正率を低下させて、安定率が「０」の場合に補正率を「０」とする。
【００４８】
図８の（Ｃ）は、逆補正対策と補正精度の両方を重視した変換特性を例示している。例えば安定率が「０．２５」以下である場合には、補正率を「０」とする。安定率が「０．７５」以上である場合には、補正率を「１」とする。さらに、安定率が「０．２５」よりも高く「０．７５」よりも低い場合には、安定率が高くなるに伴い補正率を高くして、「０」〜「１」の範囲の値とする。
【００４９】
なお、図８では、補正率が「０」よりも大きく「１」未満である範囲では安定率に対する補正率の変化が一定である場合を例示しているが、安定率に対する補正率の変化は一定でなくともよい。例えば補正率が「０」および「１」に近傍する位置では、補正率の変化量を小さくして滑らかに補正率が変化するようにしてもよい。
【００５０】
［３−３−１．増幅検出部の構成と動作］
図９は増幅検出部の構成を例示している。増幅検出部３２は、低域通過フィルタ（ＬＰＦ）３２１、絶対値平均算出部３２３，３２４、除算部３３１、補正率決定部３３６を有している。
【００５１】
ＬＰＦ３２１は、動き検出ベクトルのフィルタ処理を行い、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまうことのない成分を抽出する。ＬＰＦ３２１は、抽出した低域成分信号を絶対値平均算出部３２３へ出力する。なお、フィルタ処理では、端部側の画素を処理する場合、過去の画素を折り返して用いる。
【００５２】
絶対値平均算出部３２３は、複数フレーム前までの所定フレーム数分の低域成分信号、例えば現在から過去方向の１０フレーム分の低域成分信号を用いて絶対値の平均値を算出する。絶対値平均算出部３２３は、算出した平均値を除算部３３１へ出力する。
【００５３】
絶対値平均算出部３２４は、複数フレーム前までの所定フレーム数分の動き検出ベクトル、例えば現在から過去方向の１０フレーム分の動き検出ベクトルを用いて絶対値の平均値を算出する。絶対値平均算出部３２４は、算出した平均値を除算部３３１へ出力する。
【００５４】
絶対値平均算出部３２３，３２４は、このように所定フレーム数分の低域成分信号と動き検出ベクトルを用いることで、安定した平均値を得ることができる。
【００５５】
除算部３３１は、絶対値平均算出部３２３で算出された平均値を絶対値平均算出部３２４で算出された平均値で除算することで、動き検出ベクトルにおいて像ぶれを増幅させてしまうことのない成分の占める割合である安定率を算出する。除算部３３１は算出した安定率を補正率決定部３３６へ出力する。
【００５６】
このように、増幅検出部３２は、低域通過フィルタ（ＬＰＦ）３２１、絶対値平均算出部３２３，３２４、除算部３３１によって、式（４）の演算を行い安定率を算出して補正率決定部３３６へ出力する。
【００５７】
【数３】
2014143530.tif 000007
【００５８】
補正率決定部３３６は、除算部３３１で算出された安定率に基づいた補正率を決定する。補正率決定部３３６は、上述のように変換テーブルを用いてまたは演算を行い、安定率を補正率に変換する処理を行うことで、安定率に基づいた補正率を決定する。
【００５９】
［３−３−２．増幅検出部の変形例］
図１０乃至図１２は、増幅検出部の変形例を示している。図１０に示す増幅検出部は、絶対値和を用いて安定率を算出する場合を示している。増幅検出部３２は、低域通過フィルタ（ＬＰＦ）３２１、絶対値和算出部３２５，３２６、除算部３３２、補正率決定部３３６を有している。
【００６０】
ＬＰＦ３２１は、動き検出ベクトルのフィルタ処理を行い、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまうことのない成分を抽出する。ＬＰＦ３２１は、抽出した低域成分信号を絶対値和算出部３２５へ出力する。
【００６１】
絶対値和算出部３２５は、複数フレーム前までの所定フレーム数分の低域成分信号、例えば現在から過去方向の１０フレーム分の低域成分信号を用いて絶対値和を算出する。絶対値和算出部３２５は、算出した絶対値和を除算部３３２へ出力する。
【００６２】
絶対値和算出部３２６は、複数フレーム前までの所定フレーム数分の動き検出ベクトル、例えば現在から過去方向の１０フレーム分の動き検出ベクトルを用いて絶対値和を算出する。絶対値和算出部３２６は、算出した絶対値和を除算部３３２へ出力する。
【００６３】
除算部３３２は、絶対値和算出部３２５で算出された絶対値和を絶対値和算出部３２６で算出された絶対値和で除算することで、動き検出ベクトルにおいて像ぶれを増幅させてしまうことのない成分の占める割合である安定率を算出する。除算部３３２は算出した安定率を補正率決定部３３６へ出力する。
【００６４】
補正率決定部３３６は、除算部３３２で算出された安定率に基づいた補正率を決定する。補正率決定部３３６は、上述のように変換テーブルを用いてまたは演算を行い、安定率を補正率に変換する処理を行うことで、安定率に基づいた補正率を決定する。
【００６５】
図１１に示す増幅検出部は、振れ補正を行った場合に像ぶれを増幅させてしまう成分を抽出する場合を示している。増幅検出部３２は、高域通過フィルタ（ＨＰＦ）３２２、絶対値平均算出部３２３，３２４、除算部３３３、安定率算出部３３４、補正率決定部３３６を有している。
【００６６】
ＨＰＦ３２２は、動き検出ベクトルのフィルタ処理を行い、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまう成分を抽出する。ＨＰＦ３２２は、抽出した高域成分信号を絶対値平均算出部３２３へ出力する。
【００６７】
絶対値平均算出部３２３は、複数フレーム前までの高域成分信号、例えば現在から過去方向の１０フレーム分の高域成分信号を用いて絶対値の平均値を算出する。絶対値平均算出部３２３は、算出した平均値を除算部３３３へ出力する。
【００６８】
絶対値平均算出部３２４は、複数フレーム前までの動き検出ベクトル、例えば現在から過去方向の１０フレーム分の動き検出ベクトルを用いて絶対値の平均値を算出する。絶対値平均算出部３２４は、算出した平均値を除算部３３３へ出力する。
【００６９】
除算部３３３は、絶対値平均算出部３２３で算出された平均値を絶対値平均算出部３２４で算出された平均値で除算することで、動き検出ベクトルにおいて像ぶれを増幅させてしまう成分の占める割合を算出する。除算部３３３は算出した割合を安定率算出部３３４へ出力する。
【００７０】
安定率算出部３３４は、除算部３３３で算出した割合を用いて安定率の算出を行う。除算部３３３で算出した割合は、動き検出ベクトルにおいて像ぶれを増幅させてしまう成分の占める割合である。したがって、安定率算出部３３４は、「１−（除算部３３３で算出した割合）」の演算を行うことで、安定率を算出する。安定率算出部３３４は、算出した安定率を補正率決定部３３６へ出力する。
【００７１】
補正率決定部３３６は、安定率算出部３３４で算出された安定率に基づいた補正率を決定する。補正率決定部３３６は、上述のように変換テーブルを用いてまたは演算を行い、安定率を補正率に変換する処理を行うことで、安定率に基づいた補正率を決定する。
【００７２】
図１２に示す増幅検出部は、ピーク値を用いて安定率を算出する場合を示している。増幅検出部３２は、低域通過フィルタ（ＬＰＦ）３２１、ピーク値検出部３２７，３２８、除算部３３５、補正率決定部３３６を有している。
【００７３】
ＬＰＦ３２１は、動き検出ベクトルのフィルタ処理を行い、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまうことのない成分を抽出する。ＬＰＦ３２１は、抽出した低域成分信号をピーク値検出部３２７へ出力する。
【００７４】
ピーク値検出部３２７は、複数フレーム前までの所定フレーム数分の低域成分信号、例えば現在から過去方向の１０フレーム分の低域成分信号からピーク値を検出する。ピーク値検出部３２７は、検出したピーク値を除算部３３５へ出力する。
【００７５】
ピーク値検出部３２８は、複数フレーム前までの所定フレーム数分の動き検出ベクトル、例えば現在から過去方向の１０フレーム分の動き検出ベクトルを用いてピーク値を検出する。ピーク値検出部３２８は、検出したピーク値を除算部３３５へ出力する。
【００７６】
除算部３３５は、ピーク値検出部３２７で検出されたピーク値をピーク値検出部３２８で検出されたピーク値で除算することで、動き検出ベクトルのピーク値に対して像ぶれを増幅させてしまうことのない成分のピーク値の割合を安定率として算出する。除算部３３５は算出した安定率を補正率決定部３３６へ出力する。
【００７７】
補正率決定部３３６は、除算部３３５で算出された安定率に基づいた補正率を決定する。補正率決定部３３６は、上述のように変換テーブルを用いてまたは演算を行い、安定率を補正率に変換する処理を行うことで、安定率に基づいた補正率を決定する。
【００７８】
このように、抑制処理部の第１の構成によれば、例えば、撮像画像のフレームレートを３０フレーム／秒、動きの検出と撮像画像の取り込みの時間差を１フレーム期間とした場合、抑制処理部３１では、振れ周波数が５Ｈｚを超えると、動き検出ベクトルの振幅を抑制して補正動きベクトルが生成される。したがって、上述の式（２）に示す振れ補正後の振幅増幅率を「１」に抑制することが可能となり、図１３に示すように振れ周波数が５Ｈｚを超えて高くなっても、振れ補正後の振幅増幅率は「１」に制限されて逆補正を抑制できるようになる。
【００７９】
［３−４．抑制処理部の第２の構成］
ところで、上述の抑制処理部の第１の構成では、振れ補正を行ったときに逆補正が行われて像ぶれが大きくなってしまうことがないように、動き検出ベクトルの振幅を制御して補正動きベクトルを生成する場合について説明した。しかし、抑制処理部は、動き検出ベクトルに対してフィルタ処理を行って、逆補正が行われることのないように振れ補正を制御する補正動きベクトルを生成してもよい。次に、抑制処理部の第２の構成として、動き検出ベクトルに対してフィルタ処理を行って補正動きベクトルを生成する場合について説明する。
【００８０】
図１４は、抑制処理部の第２の構成を例示している。抑制処理部３１は、低域通過フィルタ（ＬＰＦ）３５を有している。第２の構成において、ＬＰＦ３５は、第１の構成における増幅検出部３２と乗算器３８に相当する。ＬＰＦ３５は、動き検出ベクトルのフィルタ処理を行い、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまう成分を動き検出ベクトルから除去する。ＬＰＦ３５は、フィルタ処理後の動き検出ベクトルを補正動きベクトルとして補正部５０へ出力する。
【００８１】
この第２の構成によれば、低域通過フィルタを用いて動き検出ベクトルの抑制が行われるので、第１の構成に比べて抑制効果が低下する虞があるが低遅延で動き検出ベクトルの抑制処理を行うことができる。
【００８２】
［３−５．抑制処理部の第３の構成］
さらに、抑制処理部は、第１の構成と第２の構成を組み合わせた構成としてもよい。次に、抑制処理部３１の第３の構成として、第１の構成と第２の構成を組み合わせて補正動きベクトルを生成する場合について説明する。
【００８３】
図１５は、抑制処理部の第３の構成を例示している。抑制処理部３１は、増幅検出部３２と低域通過フィルタ（ＬＰＦ）３５と乗算器３８を有している。
【００８４】
増幅検出部３２は、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまうことのない成分の占める割合を安定率として算出する。さらに、増幅検出部３２は、安定率に基づき振れ補正の補正率を決定して、決定した補正率を乗算器３８へ出力する。増幅検出部３２は、例えば変換テーブルを用いてまたは演算を行い、安定率を補正率に変換する。
【００８５】
ＬＰＦ３５は、動き検出ベクトルのフィルタ処理を行い、動き検出ベクトルに基づいて振れ補正を行った場合に像ぶれを増幅させてしまう成分を除去する。ＬＰＦ３５は、フィルタ処理後の動き検出ベクトルを乗算器３８へ出力する。
【００８６】
乗算器３８は、フィルタ処理後の動き検出ベクトルに対して補正率を乗算することで、補正動きベクトルを生成して補正部５０へ出力する。
【００８７】
この第３の構成によれば、第１の構成および第２の構成に比べてコストが高くなるが、第１の構成に比べて低遅延で動き検出ベクトルの抑制処理を行うことができると共に、第２の構成に比べて高い抑制効果を得ることができるようになる。
【００８８】
＜４．第２の実施の形態＞
ところで、第１の実施の形態の補正制御部では、振れ補正によって像ぶれが増幅されてしまう逆補正を防止することを目的としている。しかし、補正制御部では、逆補正を防止するだけでなく、精度のよい振れ補正を行うことができるようにしてもよい。次に、第２の実施の形態では、逆補正を防止できるだけでなく、精度のよい振れ補正を行うことができる構成および動作について説明する。
【００８９】
［４−１．第２の実施の形態の構成］
図１６は、振れ補正制御部の第２の実施の形態の構成を示している。振れ補正制御部３０は、抑制処理部３１、動き予測部４１、選択処理部４２を用いて構成されている。
【００９０】
抑制処理部３１は、第１の実施の形態と同様に、動き検出ベクトルと撮像画像のフレームレートに応じて、振れ補正における像ぶれの増幅を検出して検出結果に基づき動き検出ベクトルの抑制を行い抑制後の動きベクトルを選択処理部４２へ出力する。
【００９１】
動き予測部４１は、動き検出ベクトルに基づき、撮像画像の取り込み時の動きを予測する。動き予測部４１は、動き予測結果を示す動き予測情報すなわち動き予測ベクトルを生成して選択処理部４２へ出力する。また、動き予測部４１は、動き予測ベクトルを選択処理部４２へ出力する。
【００９２】
選択処理部４２は予測判定部４３とセレクタ４５を有しており、予測判定部４３は、動き予測ベクトルと動き検出ベクトルに基づき予測誤差を算出して、予測誤差が予め設定した閾値未満であるか判定する。予測判定部４３は、予測誤差が閾値未満である場合に予測成功、予測誤差が閾値以上である場合に予測失敗と判定して、判定結果をセレクタ４５へ出力する。
【００９３】
セレクタ４５は、予測判定部４３の判定結果に基づき、抑制処理部３１から供給された抑制後の動きベクトルまたは動き予測部４１から供給された動き予測ベクトルのいずれかを、補正動きベクトルとして選択する。セレクタ４５は、判定結果が予測成功であることを示している場合に、動き予測部４１から供給された動き予測ベクトルを選択して、補正動きベクトルとして補正部５０へ出力する。また、セレクタ４５は、判定結果が予測失敗であることを示している場合に、抑制処理部３１から供給された抑制後の動きベクトルを選択して、補正動きベクトルとして補正部５０へ出力する。
【００９４】
補正部５０は、選択処理部４２から供給された補正動きベクトルを用いて振れ補正を行い、像ぶれが補正された撮像画像の画像信号を生成して画像処理部６１へ出力する。
【００９５】
［４−２．第２の実施の形態と動作］
図１７は、第２の実施の形態の振れ補正動作を例示したフローチャートである。ステップＳＴ１１で動き検出部２０は、画像信号を取得する。動き検出部２０は、撮像部１２で生成された画像信号を取得してステップＳＴ１２に進む。
【００９６】
ステップＳＴ１２で動き検出部２０は、動き検出を行う。動き検出部２０は、取得した画像信号を用いて動き検出を行い、撮像装置の振れを示す動き検出ベクトルを生成する。動き検出部２０は、生成した動き検出ベクトルを補正制御部３０へ出力してステップＳＴ１３，１４に進む。
【００９７】
ステップＳＴ１３で補正制御部３０は、抑制処理を行う。補正制御部３０の抑制処理部３１は、撮像画像のフレームレートとステップＳＴ１２で生成された動き検出ベクトルに応じて、振れ補正における像ぶれの増幅を検出する。また、抑制処理部３１は、検出結果に応じて振れ補正で像ぶれを増幅しないように動き検出ベクトルを抑制してステップＳＴ１５へ進む。
【００９８】
ステップＳＴ１４で補正制御部３０は、動き予測を行う。補正制御部３０は、ステップＳＴ１２で生成された動き検出ベクトルを用いて、撮像画像の取り込み時の動きを予測して、予測結果を示す動き予測ベクトルを生成してステップＳＴ１５に進む。なお、図１７ではステップＳＴ１３，１４の処理を並列に行う場合を示しているが、ステップＳＴ１３，１４のいずれか一方を行ってから他方の処理を行うようにしてもよい。
【００９９】
ステップＳＴ１５で補正制御部３０は、予測判定処理を行う。補正制御部３０は、動き予測ベクトルと動き検出ベクトルに基づき予測誤差を算出して、算出した予測誤差と予め設定した閾値を比較する。補正制御部３０は、予測誤差が閾値未満である場合に予測成功、予測誤差が閾値以上である場合に予測失敗と判定してステップＳＴ１６に進む。
【０１００】
ステップＳＴ１６で補正制御部３０は、選択処理を行う。補正制御部３０は、ステップＳＴ１５の判定結果が予測成功である場合に、ステップＳＴ１４で生成した動き予測ベクトルを選択して補正動きベクトルとする。また、補正制御部３０は、ステップＳＴ１５の判定結果が予測失敗である場合に、ステップＳＴ１３で生成した抑制後の動き検出ベクトルを選択して補正動きベクトルとしてステップＳＴ１７に進む。
【０１０１】
ステップＳＴ１７で補正部５０は、振れ補正を行う。補正部５０は、ステップＳＴ１６の選択処理で得られた補正動きベクトルを用いて振れ補正を行い、撮像装置の振れの影響が除去された撮像画像の画像信号を生成する。なお、振れ補正では、例えば撮像部１２から所望のサイズの領域よりも大きいサイズである読み出し領域から各画素信号を読み出して、読み出し領域の画像から補正動きベクトルに応じて所望のサイズの画像を切り出すことで、撮像装置の振れの影響が除去された撮像画像の画像信号を生成する。また、撮像部１２からの画像の読み出し位置を補正動きベクトルに応じて変更して、振れ補正が行われた画像信号を生成するようにしてもよい。
【０１０２】
［４−３．動き予測について］
動き予測で用いる予測手法としては、運動モデル、多項式近似モデル、自己回帰モデル等の予測モデルを用いることができる。
【０１０３】
運動モデルでは、撮像装置の動きに応じた運動モデルを用いて動き予測を行う。運動モデルとしては、等速運動、等加速度運動、振動運動等がある。等速運動とは式（５）の関係が成立する運動である。また、等加速運動とは式（６）の関係が成立する運動である。振動運動とは式（７）の関係が成立する運動である。なお、式（７）において、パラメータ「Ａj，Ｂj，Ｃi」の値は最急降下法等を用いて算出すればよい。
【０１０４】
【数４】
2014143530.tif 000008
【０１０５】
多項式近似モデルでは、例えば２次〜４次の近似関数を用いたフィッティングによって動きに近似した関数を求めて、この関数を用いて動き予測を行う。例えば図１８に示すように（ｔ−１）時刻までのデータ（黒丸印）を用いてｋ次の関数で近似して、この近似関数を用いることで式（８）に示すように時刻ｔの動きベクトルＭＶ（ｔ）を算出する。なお、近似関数Ｄｉは、最小二乗法等を用いて算出すればよい。
【０１０６】
【数５】
2014143530.tif 000009
【０１０７】
自己回帰モデルでは、例えば図１９に示すように、時刻（ｔ−１）までのｐ個の参照データ（黒丸印）を用いて時刻（ｔ）の動きベクトルＭＶ（ｔ）を算出する。なお、式（９）に示す自己回帰モデルの式において、自己回帰係数Ｇiは、ｙｕｌｅ−ｗａｌｋｅｒ法，ｂｕｒｇ法等を用いて算出すればよい。
【０１０８】
【数６】
2014143530.tif 000010
【０１０９】
［４−４．予測判定部の第１の構成と動作］
図２０は、予測判定部の第１の構成を例示している。動き予測部４１は、上述のいずれか１つの予測モデルを用いて動き予測を行い、動き予測ベクトルを選択処理部４２へ出力する。
【０１１０】
選択処理部４２は、予測判定部４３とセレクタ４５を有しており、予測判定部４３は、遅延部４３１、補間部４３２、差分算出部４３３、閾値比較部４３５を備えている。
【０１１１】
遅延部４３１は、動き予測部４１で得られた動き予測ベクトルを遅延させて動き検出部２０で生成された動き検出ベクトルと同期させる。遅延部４３１は、遅延された動き予測ベクトルを差分算出部４３３へ出力する。
【０１１２】
補間部４３２は、遅延部４３１の遅延量が整数サンプル分の期間でない場合、例えば１フレーム毎に動き検出ベクトルの生成を行い、動き予測ベクトルに対して動き検出ベクトルの遅延が整数フレーム期間でない場合、動き検出ベクトルを用いて補間処理を行う。補間部４３２は、動き検出ベクトルを用いて補間処理を行うことで、動き予測ベクトルに同期した動き検出ベクトルを生成する。補間部４３２は生成した動き検出ベクトルを差分算出部４３３へ出力する。
【０１１３】
差分算出部４３３は、遅延部４３１から供給された動き予測ベクトルと補間部４３２から供給された動き検出ベクトルの差分を算出する。差分算出部４３３に供給された動き予測ベクトルと動き検出ベクトルは、同じタイミングの動きベクトルである。したがって、差分算出部４３３で算出された差分は予測誤差を示している。差分算出部４３３は、算出した差分すなわち予測誤差を閾値比較部４３５へ出力する。
【０１１４】
閾値比較部４３５は、差分算出部４３３で算出された予測誤差と予め設定されている閾値を比較する。閾値比較部４３５は、予測誤差が閾値未満である場合に予測成功、予測誤差が閾値以上である場合に予測失敗と判定する。閾値比較部４３５は、判定結果を示す判定信号をセレクタ４５へ出力する。
【０１１５】
セレクタ４５は、予測判定部４３の判定結果に基づき、抑制処理部３１から供給された抑制後の動き検出ベクトルまたは動き予測部４１から供給された動き予測ベクトルのいずれかを選択する。セレクタ４５は、判定結果が予測成功であることを示している場合に、動き予測部４１から供給された動き予測ベクトルを選択して、補正動きベクトルとして補正部５０へ出力する。また、セレクタ４５は、判定結果が予測失敗であることを示している場合に、抑制処理部３１から供給された抑制後の動き検出ベクトルを選択して、補正動きベクトルとして補正部５０へ出力する。
【０１１６】
補正部５０は、選択処理部４２から供給された補正動きベクトルを用いて振れ補正を行い、像ぶれが補正された撮像画像の画像信号を生成して画像処理部６１へ出力する。
【０１１７】
図２１は、動き検出結果と動き予測結果および振れ補正のタイミングを例示しており、動き検出から１フレーム期間遅延したタイミングで振れ補正が行われる場合を示している。
【０１１８】
例えば、時点（ｔ＋１）では、１フレーム前の時点ｔまでの動き検出結果を用いて動き予測を行い、時点（ｔ＋１）の画像に対する動き予測結果が生成される。時点（ｔ＋１）における動き検出を行うと、１フレーム後の時点（ｔ＋２）で時点（ｔ＋１）の画像に対する動き検出結果が得られる。したがって、時点（ｔ＋１）の動き予測結果を１フレーム遅延させることで、時点（ｔ＋１）の画像における動き検出結果に対する動き予測結果の予測誤差を算出できる。予測誤差が閾値未満である場合は、予測成功と判別して動き予測結果を用いて振れ補正を行う。なお、振れ補正に用いる動き予測結果としては、時点（ｔ＋２）で算出した動き予測結果、すなわち時点（ｔ＋１）までの動き検出ベクトルから動き予測を行って生成した動き予測ベクトルを用いて振れ補正を行う。また、その後のフレームに対しても同様な処理を行うことで、撮像画像の振れ補正を順次行うことができる。
【０１１９】
図２２は、動き検出結果と動き予測結果および振れ補正のタイミングを例示しており、動き検出から０．５フレーム期間遅延したタイミングで振れ補正が行われる場合を示している。
【０１２０】
例えば、時点（ｔ＋０．５）では、１フレーム前の時点ｔまでの動き検出結果を用いて、時点（ｔ＋０．５）の画像に対する動き予測結果が生成される。また、時点（ｔ＋０．５）から０．５フレーム後の時点（ｔ＋１）で動き検出結果が得られる。したがって、時点ｔの動き検出結果と時点（ｔ＋１）の動き検出結果を用いて補間を行うことで、時点（ｔ＋０．５）の画像に対する動き検出結果を生成できる。さらに、時点（ｔ＋０．５）の動き予測結果を１フレーム遅延させることで、補間にって算出した時点（ｔ＋０．５）の画像における動き検出結果に対する動き予測結果の予測誤差を算出できる。予測誤差が閾値未満である場合は、予測成功と判別して動き予測結果を用いて振れ補正を行う。なお、振れ補正に用いる動き予測結果としては、時点（ｔ＋１．５）で算出した動き予測結果、すなわち時点（ｔ＋１）までの動き検出ベクトルから動き予測を行って生成した動き予測ベクトルを用いて振れ補正を行う。また、その後のフレームに対しても同様な処理を行うことで、撮像画像の振れ補正を順次行うことができる。
【０１２１】
このように、補正制御部は動き予測を行い、予測成功である場合には動き予測によって生成された補正動きベクトルを用いて補正を行うことで、精度よく補正を行うことができる。さらに、予測失敗である場合は、抑制処理部３１で生成された抑制処理後の動き検出ベクトルを用いて補正部５０で補正が行われる。したがって、振れ補正において逆補正が生じてしまうことも防止できる。したがって、振れ補正の性能をさらに向上できるようになる。
【０１２２】
図２３は、動き予測結果を用いて振れ補正を行ったときの振れ補正後の振幅増幅率を例示している。この図２３に示すように、動き予測を用いることで精度よく振れ補正を行うことができるようになり、振れ補正が可能な振れ周波数の範囲を広くすることが可能となる。
【０１２３】
［４−５．予測判定部の第２の構成と動作］
ところで、上述の予測判定部の第１の構成は、１つの予測モデルを用いて生成された動き予測ベクトルを用いる場合を示しているが、動き予測は複数の予測モデルを用いるようにしてもよい。次に、予測判定部の第２の構成と動作では、複数の予測モデルを用いて動き予測が行われる場合について説明する。
【０１２４】
図２４は、予測判定部の第２の構成を例示している。動き予測部４１は、複数例えばｎ種類の予測モデルを用いて動き予測を行い、予測モデル毎に動き予測ベクトルを生成して選択処理部４２へ出力する。
【０１２５】
抑制処理部３１は、第１の実施の形態と同様に、撮像画像のフレームレートと動き検出ベクトルに応じて、振れ補正における像ぶれの増幅を検出して検出結果に基づき動き検出ベクトルの抑制を行い抑制後の動きベクトルを選択処理部４２へ出力する。
【０１２６】
動き予測部４１は、動き検出ベクトルに基づき、撮像画像の取り込み時の動きを予測する。動き予測部４１は、ｎ種類の予測モデルを用いて動き予測を行い、予測モデル毎に動き予測結果を示す動き予測情報すなわち動き予測ベクトルを生成してセレクタ４５へ出力する。また、動き予測部４１は、動き予測ベクトルを選択処理部４２へ出力する。
【０１２７】
選択処理部４２は予測判定部４３とセレクタ４５を有しており、予測判定部４３は、遅延部４３１-1〜４３１-n、補間部４３２-1〜４３２-n、差分算出部４３３-1〜４３３-n、最小値選択部４３４、閾値比較部４３５を備えている。
【０１２８】
遅延部４３１-1は、動き予測部４１で得られた第１予測モデルを用いた場合の動き予測ベクトルを遅延させて動き検出部２０で生成された動き検出ベクトルと同期させる。遅延部４３１-1は、遅延された動き予測ベクトルを差分算出部４３３-1へ出力する。また、他の遅延部も遅延部４３１-1と同様な処理を行い、例えば遅延部４３１-nは、動き予測部４１で得られた第ｎ予測モデルを用いた場合の動き予測ベクトルを遅延させて動き検出部２０で生成された動き検出ベクトルと同期させる。遅延部４３１-nは、遅延された動き予測ベクトルを差分算出部４３３-nへ出力する。
【０１２９】
補間部４３２-1は、遅延部４３１-1の遅延量が上述のように整数サンプル分でない場合、動き検出ベクトルを用いて補間処理を行うことで、動き予測ベクトルに同期した動き検出ベクトルを生成する。補間部４３２-1は生成した動き検出ベクトルを差分算出部４３３-1へ出力する。他の補間部も補間部４３２-1と同様な処理を行い、例えば補間部４３２-nは、遅延部４３１-nの遅延量が整数サンプル分でない場合、動き検出ベクトルを用いて補間処理を行うことで、動き予測ベクトルに同期した動き検出ベクトルを生成する。補間部４３２-nは生成した動き検出ベクトルを差分算出部４３３-nへ出力する。
【０１３０】
差分算出部４３３-1は、遅延部４３１-1から供給された動き予測ベクトルと補間部４３２-1から供給された動き検出ベクトルの差分を算出する。ここで、差分算出部４３３-1に供給された動き予測ベクトルと動き検出ベクトルは、同じタイミングの動きベクトルである。したがって、差分算出部４３３-1で算出された差分は、第１予測モデルを用いた場合の予測誤差を示している。差分算出部４３３-1は、算出した予測誤差を最小値選択部４３４へ出力する。他の差分算出部も差分算出部４３３-1と同様な処理を行い、例えば差分算出部４３３-nは、遅延部４３１-nから供給された動き予測ベクトルと補間部４３２-nから供給された動き検出ベクトルの予測誤差を算出して最小値選択部４３４へ出力する。
【０１３１】
最小値選択部４３４は、差分算出部４３３-1乃至差分算出部４３３-nから供給された予測誤差を比較して、最小の予測誤差を選択する。最小値選択部４３４は、最小の予測誤差を、最小の予測誤差となる予測モデルを示す最適予測モデル情報とともに閾値比較部４３５へ出力する。
【０１３２】
閾値比較部４３５は、最小値選択部４３４で選択された最小の予測誤差と予め設定されている閾値を比較する。閾値比較部４３５は、予測誤差が閾値未満である場合に予測成功、予測誤差が閾値以上である場合に予測失敗と判定する。閾値比較部４３５は、判定結果を最適予測モデル情報と共にセレクタ４５へ出力する。
【０１３３】
セレクタ４５は、予測判定部４３の判定結果に基づき、抑制処理部３１から供給された抑制後の動き検出ベクトルまたは動き予測部４１から供給された動き予測ベクトルのいずれかを選択する。セレクタ４５は、判定結果が予測成功であることを示している場合に、最適予測モデル情報で示された予測モデルを用いて生成された動き予測ベクトルを選択して、補正動きベクトルとして補正部５０へ出力する。また、セレクタ４５は、判定結果が予測失敗であることを示している場合に、抑制処理部３１から供給された抑制後の動き検出ベクトルを選択して、補正動きベクトルとして補正部５０へ出力する。
【０１３４】
補正部５０は、選択処理部４２から供給された補正動きベクトルを用いて振れ補正を行い、像ぶれが補正された撮像画像の画像信号を生成して画像処理部６１へ出力する。
【０１３５】
また、複数の予測モデルを用いて動き予測を行う場合、図１７に示すステップＳＴ１４の処理に代えて、図２５に示すフローチャートの処理を行う。ステップＳＴ１４１-1で補正制御部３０は、第１動き予測を行う。補正制御部３０は、動き検出ベクトルを用いて、動きの検出から撮像画像の取り込み時の動きを第１の予測モデルで予測して、予測結果を示す第１動き予測ベクトルを生成してステップＳＴ１４２に進む。
【０１３６】
ステップＳＴ１４１-2で補正制御部３０は、第２動き予測を行う。補正制御部３０は、第１の予測モデルとは異なる第２の予測モデルを用いて、ステップＳＴ１４１-1と同様に動き予測を行い、予測結果を示す第２動き予測ベクトルを生成してステップＳＴ１４２に進む。ステップＳＴ１４１-ｎで補正制御部３０は、第ｎ動き予測を行う。補正制御部３０は、第１〜第（ｎ−１）の予測モデルとは異なる第ｎの予測モデルを用いて、ステップＳＴ１４１-1と同様に動き予測を行い、予測結果を示す第ｎ動き予測ベクトルを生成してステップＳＴ１４２に進む。なお、ステップＳＴ１４１-1からステップＳＴ１４１-nの処理は、並列に行ってもよく、順に行うようにしてもよい。
【０１３７】
ステップＳＴ１４２で補正制御部３０は、最小予測誤差選択処理を行う。補正制御部３０は、第１〜第ｎ動き予測ベクトルと動き検出ベクトルを用いて、各動き予測ベクトルの予測誤差を算出する。また、補正制御部３０は、最小予測誤差と最小予測誤差の動き予測ベクトルを選択してステップＳＴ１５に進み、最小予測誤差と予め設定した閾値を比較する。
【０１３８】
このように、複数の予測モデルを用いて動き予測を行い、予測誤差の最も少ない予測モデルを用いて生成された動き予測ベクトルに基づいて振れ補正が行われる。したがって、１つの予測モデルを用いて動き予測を行う場合に比べて、さらに精度よく振れ補正を行うことができるようになり、振れ補正の性能を向上できる。
【０１３９】
また、第２の実施の形態では、予測モデル毎に、振れ補正後の振幅増幅率が「１」を超える振れ周波数を予め実験等によって求めておき、動き予測結果と抑制処理を用いて振れ補正を行ってもよい。例えば、図２６に示すように振れ周波数が予め求めた周波数を超える場合には、抑制処理部からの抑制後の動き検出ベクトルをセレクタで選択すれば、予測モデルを用いる場合でも、逆補正を防止できるようになる。
【０１４０】
＜５．他の実施の形態＞
また、撮像装置は、図２に示すように、画像信号から撮像装置の振れを検出する場合に限られない。例えば動き検出センサを用いて撮像装置の振れの検出する場合にも適用できる。図２７は、動き検出センサを用いた撮像装置の構成を例示している。
【０１４１】
撮像装置１０ａは、撮像光学系１１、撮像部１２、動き検出部２５、補正制御部３０、補正部５０を備えている。さらに、撮像装置１０は、画像処理部６１、表示部６２、記録部６３、ユーザインタフェース（Ｉ／Ｆ）部６４、制御部６５を有している。
【０１４２】
撮像光学系１１は、フォーカスレンズやズームレンズ等で構成されている。撮像光学系１１では、例えばフォーカスレンズを光軸方向に移動してフォーカス調整を行う。また、ズームレンズを光軸方向に移動して焦点距離を可変する。
【０１４３】
撮像部１２は、撮像素子、前処理部、撮像駆動部等で構成されている。撮像素子は、光電変換処理を行い、撮像光学系１１によって撮像面に結像された光学像を電気信号に変換する。撮像素子は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。前処理部は、撮像素子で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理を行う。また、前処理部は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して、動き検出部２０と補正部５０へ出力する。撮像駆動部は、後述する制御部６５からの制御信号に基づき、撮像素子を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。
【０１４４】
動き検出部２５は、ジャイロセンサ等を用いて構成されており、撮像装置１０ａの振れを検出する。動き検出部２５はジャイロセンサ等のセンサ出力に基づき振れ量を算出して、算出結果を示す動き検出ベクトルを補正制御部３０へ出力する。
【０１４５】
補正制御部３０は、撮像画像のフレームレートと撮像画像の生成時に加わった動きを示す動き情報である動き検出ベクトルに応じて、振れ補正における像ぶれの増幅を検出する。また、補正制御部３０は、検出結果に応じて、振れ補正において像ぶれが増加しないように動き検出ベクトルを抑制して補正動き情報である補正動きベクトルを生成する。
【０１４６】
補正部５０は、補正制御部３０から供給された補正動きベクトルで示された動きを補正するように撮像画像の振れ補正を行うことで、逆補正が行われないように像ぶれが補正された撮像画像の画像信号を生成して画像処理部６１へ出力する。
【０１４７】
画像処理部６１は、補正部５０から出力されたディジタルの画像信号に対して、例えばガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。画像処理部６１は処理後の画像信号を表示部６２や記録部６３へ出力する。
【０１４８】
表示部６２は、表示パネルや電子ビューファインダを構成しており、画像処理部６１から出力された画像信号に基づきカメラスルー画像の表示等を行う。また、表示部６２は、撮像装置１０の動作設定を行うためのメニュー表示や動作状態表示等も行う。なお、表示部６２は、表示画素数が撮像画像よりも少ない場合、撮像画像を表示画像数の表示画像に変換する処理を行う。
【０１４９】
記録部６３は、画像処理部６１から出力された画像信号を記録媒体に記録する。記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤ（Hard Disk Drive）や半導体メモリモジュール等であってもよい。また、記録部６３に、エンコーダやデコーダを設けて画像信号の圧縮符号化や伸張復号化を行い、記録媒体には符号化信号を記録するようにしてもよい。なお、記録部６３では、記録媒体に記録されている画像信号や符号化信号を読み出して、記録されている画像を表示部６２に表示するようにしてもよい。
【０１５０】
ユーザインタフェース（ユーザＩ／Ｆ）部６４は、ズームレバーや撮影ボタン等で構成されている。ユーザＩ／Ｆ部６４は、ユーザ操作に応じた操作信号を生成して制御部６５に出力する。
【０１５１】
制御部６５は、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の制御情報や補正データ等を記憶する。制御部６５は、ユーザＩ／Ｆ部６４からの操作信号等に応じて各部の制御を行い、ユーザ操作に応じた動作を撮像装置１０で行わせる。
【０１５２】
このように構成された撮像装置１０ａでは、動き検出部２５で振れ量の算出等に時間を要して動き情報の遅延が生じても、補正制御部３０では、上述のように遅延を考慮した振れ補正が行われる。したがって、動き検出センサを用いた撮像装置でも振れ補正性能を向上させることができる。
【０１５３】
さらに、第１の実施の形態や第２の実施の形態では、動きの検出と撮像画像の取り込みの時間差が１フレームである場合を例示しているが、時間差を短くすることで逆補正を抑制することができる。
【０１５４】
例えば１フレーム内のスライス毎に動きベクトル（黒丸印）を求めて、スライス毎の動きベクトルから１フレーム画像のグローバル動きベクトル（白丸印）を求める場合、図２８に示すように重心位置は１フレーム期間の中央位置となる。また、１フレーム内のスライス毎の動きベクトルから１フレーム画像のグローバル動きベクトルを求めるため、１フレーム期間の遅延を生じる。しかし、フレーム期間の終わりに位置するスライスの動きベクトルを動き検出ベクトルとして用いれば、動き補正を行う画像と動き検出の時間差を少なくすることが可能となり、逆補正を抑制することができる。
【０１５５】
さらに、撮像装置は、電子式振れ補正を行う場合、撮像素子の一部の領域の画像を撮像画像として用いる。したがって、撮像画像の領域よりも読み出し順序が先となる領域の画像から動きベクトルを算出して動き検出ベクトルとして用いれば、時間差をさらに少なくすることが可能となる。
【０１５６】
また、逆補正の抑制では、サンプリング周波数を高くしてもよい。例えば、上述の「１．振れ補正性能の低下について」において説明したように、撮像画像のフレームレートを３０フレーム／秒、動きの検出と撮像画像の取り込みの時間差を１フレーム期間とすると、振れ周波数が５Ｈｚを超えて高くなる場合に逆補正を生じてしまう。しかし、撮像画像のフレームレート（サンプリング周波数に相当）を高くすれば、式（２）に示す振れ補正後の振幅増幅率は小さくなるので、振れ周波数が５Ｈｚより高くても逆補正を生じないようにできる。したがって、撮像装置において、撮像画像のフレームレート（サンプリング周波数に相当）の切り替えが可能である場合、フレームレートを高くすることで、逆補正を生じ難くできる。
【０１５７】
また、上述の実施の形態では、動き補正として撮像画像の振れ補正を行う場合について説明したが、本技術の情報処理装置を適用した撮像装置でフォーカルプレーン歪み補正を行うようにしてもよい。
【０１５８】
撮像素子として、フォーカルプレーンシャッター方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いた場合、このイメージセンサでは、ライン毎にデータの転送が行われる。したがって、フレーム内において撮像タイミングの時間的なずれを生じることから、フレーム内で撮像装置の手ぶれ等を生じると、被写体にいわゆるフォーカルプレーン歪みを生じてしまう。したがって、撮像装置は、上述のフレーム毎の振れ補正を例えばライン毎に行うことで、逆補正を防止して精度よくフォーカルプレーン歪みを補正できるようになる。
【０１５９】
また、本技術は、所望の顔や物体を認識して、所望の顔や物体の動き検出結果に基づき表示領域を移動させることで、画面上の所定の位置に所望の顔や物体が表示されるように表示位置の動き補正する場合にも適用できる。例えば、図４の動き検出部に代えて物体検出部を用いて、所望の顔や物体の認識および所望の顔や物体の動きの検出等を行う。この物体検出部で処理に時間を要して、処理結果と動き補正を行う画像との時間差が大きくなってしまう場合、上述のように、抑制処理や動き予測を行い補正動き情報を生成する。さらに、補正動き情報に基づき動き補正を行うことで、画面上の所定の位置に所望の顔や物体が表示されるように表示位置の動き補正を、逆補正を防止して精度よく行うことができる。さらに、処理結果と動き補正を行う画像が同期するように、顔や物体の認識および動き検出に要する処理時間分の画像を記憶しなくとも、逆補正を防止して精度よく表示位置の補正を行うことができるので低メモリ化が可能となる。
【０１６０】
また、ヘッドマウントディスプレイ等に表示する画像を人の移動や顔の向きに応じて移動させる場合、移動や向きの検出等に時間を要して、検出結果と動き補正を行う画像との時間差が大きくなる虞がある。このような場合、上述のように、抑制処理や動き予測を行い補正動き情報を生成して、補正動き情報に基づき動き補正を行う。このようにすれば、人の移動や顔の向きに応じた画像表示となるように表示位置の動き補正を、逆補正を防止して精度よく行うことができるようになる。また、上述のように低メモリ化が可能となる。
【０１６１】
さらに、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１６２】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１６３】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１６４】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１６５】
また、本技術の情報処理装置は以下のような構成も取ることができる。
（１）  動きの検出結果を示す動き情報と画像のフレームレートに応じて、前記動きに起因して生ずる前記画像の動きに対する動き補正での前記画像の動きの増幅を検出する増幅検出部と、
前記増幅検出部の検出結果に基づき、前記動き補正において前記画像の動きを増幅しないように前記動き情報が示す動きを抑制して、前記動き補正で用いる補正動き情報を生成する情報抑制部とを備える情報処理装置。
（２）  前記動き情報から前記動き補正において前記画像の動きを増幅させる成分の除去を行うフィルタを有し、
前記情報抑制部は、前記フィルタ処理後の動き情報に対して動きの抑制を行い補正動き情報を生成する（１）に記載の情報処理装置。
（３）  前記増幅検出部は、前記動き補正で前記画像の動きを増幅させることのない成分の割合を示す安定率を算出して、該安定率を前記動き情報の補正率に変換して、
前記情報抑制部は、前記補正率に基づいて前記動き情報が示す動きの抑制を行う（１）または（２）に記載の情報処理装置。
（４）  前記増幅検出部は、所定フレーム数分の動き情報と、前記動き情報から抽出した前記画像の動きを増幅させる成分または前記画像の動きを増幅させることのない成分に基づいて、前記安定率を算出する（３）に記載の情報処理装置。
（５）  前記増幅検出部は、前記安定率を前記補正率に変換する変換特性を切り替えることで、前記動き補正の補正特性を切り替える（３）または（４）のいずれかに記載の情報処理装置。
（６）  前記増幅検出部は、前記動き補正における前記画像の動きの増幅の抑制を重視する場合、動き補正精度を重視する場合に比べて、前記変換特性を前記安定率が低い区間において振れ補正が行われない状態となる補正率の区間を長くした特性とする（５）に記載の情報処理装置。
（７）  前記動き情報を用いて動き予測を行い動き予測情報を生成する動き予測部と、
前記動き予測情報の予測誤差が予め設定された閾値未満である場合に前記動き予測情報を前記補正動き情報として用い、前記予測誤差が予め設定された閾値以上である場合に前記動きの抑制された動き情報を前記補正動き情報として用いる選択処理部とをさらに備える（１）乃至（６）のいずれかに記載の情報処理装置。
（８）  前記動き予測部は、複数の異なる予測モデル毎に前記動き予測を行い動き予測情報を生成して、
前記選択処理部は、前記複数の異なる予測モデルにおける最小の予測誤差が予め設定された閾値未満である場合に、前記予測誤差が最小となる予測モデルを用いて得られた動き予測情報を前記補正動き情報として用いる（７）に記載の情報処理装置。
（９）  前記動き情報を生成する動き検出部をさらに備え、
前記動き検出部は、前記画像の一部を用いて前記動き情報を生成することで、前記動き補正を行う画像と動き検出の時間差を少なくする（１）乃至（８）のいずれかに記載の情報処理装置。
【産業上の利用可能性】
【０１６６】
この技術の情報処理装置と情報処理方法および撮像装置では、動きの検出結果を示す動き情報と画像のフレームレートに応じて、この動きに起因して生ずる画像の動きに対する動き補正での画像の動きの増幅が検出される。また、この検出結果に基づき、動き補正において画像の動きを増幅しないように動き情報が示す動きを抑制して、動き補正で用いる補正動き情報が生成される。このため、補正動き情報に基づいて動き補正を行うことにより、例えば振れ補正で像ぶれが増加させてしまうことを防止することが可能となり、動き補正性能を向上できる。したがって、ビデオカメラやデジタルカメラ、撮像機能を有した携帯端末装置等に適している。
【符号の説明】
【０１６７】
１０，１０ａ・・・撮像装置
１１・・・撮像光学系
１２・・・撮像部
２０，２５・・・動き検出部
３０・・・補正制御部
３１・・・抑制処理部
３２・・・増幅検出部
３８・・・乗算器
４１・・・動き予測部
４２・・・選択処理部
４３・・・予測判定部
４５・・・セレクタ
５０・・・補正部
６１・・・画像処理部
６２・・・表示部
６３・・・記録部
６４・・・ユーザインタフェース部
６５・・・制御部
３２３，３２４・・・絶対値平均算出部
３２５，３２６・・・絶対値和算出部
３２７，３２８・・・ピーク値検出部
３３１，３３２，３３３，３３５・・・除算部
３３４・・・安定率算出部
３３６・・・補正率決定部
４３１，４３１-1〜４３１-n・・・遅延部
４３２，４３２-1〜４３２-n・・・補間部
４３３，４３３-1〜４３３-n・・・差分算出部
４３４・・・最小値選択部
４３５・・・閾値比較部
【図１】
2014143530.tif 000011
【図２】
2014143530.tif 000012
【図３】
2014143530.tif 000013
【図４】
2014143530.tif 000014
【図５】
2014143530.tif 000015
【図６】
2014143530.tif 000016
【図７】
2014143530.tif 000017
【図８】
2014143530.tif 000018
【図９】
2014143530.tif 000019
【図１０】
2014143530.tif 000020
【図１１】
2014143530.tif 000021
【図１２】
2014143530.tif 000022
【図１３】
2014143530.tif 000023
【図１４】
2014143530.tif 000024
【図１５】
2014143530.tif 000025
【図１６】
2014143530.tif 000026
【図１７】
2014143530.tif 000027
【図１８】
2014143530.tif 000028
【図１９】
2014143530.tif 000029
【図２０】
2014143530.tif 000030
【図２１】
2014143530.tif 000031
【図２２】
2014143530.tif 000032
【図２３】
2014143530.tif 000033
【図２４】
2014143530.tif 000034
【図２５】
2014143530.tif 000035
【図２６】
2014143530.tif 000036
【図２７】
2014143530.tif 000037
【図２８】
2014143530.tif 000038