(57)【要約】【課題】手ブレなどによる不快な画像の揺れを良好に低減する。【解決手段】入力画像の各時刻の画像変動量を取得する。各時刻の画像変動量を積算して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、この安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する。各時刻の補正量を用いて入力画像の各時刻の画像変動を補正して補正画像を出力する。入力画像を得るカメラの状態情報および/または取得された各時刻の画像変動量の信頼度に応じて、各時刻の安定化フィルタのフィルタパラメータを設定する。【選択図】図１
2015126436.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を積算して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部を有し、
上記補正量取得部は、
上記入力画像を得るカメラの撮影情報に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
画像処理装置。
【請求項２】
上記補正量取得部は、
上記入力画像を得るカメラの状態情報および/または上記取得された各時刻の画像変動量の信頼度に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
請求項１に記載の画像処理装置。
【請求項３】
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備える
請求項１に記載の画像処理装置。
【請求項４】
上記カメラの撮影情報は、上記入力画像を得るカメラの状態情報、あるいは上記取得された各時刻の画像変動量の信頼度であり、
上記補正量取得部は、
上記入力画像を得るカメラの状態情報から変調値を求め、所定のフィルタパラメータを該変調値で調整し、あるいは所定のフィルタパラメータを上記信頼度で調整して、上記安定化フィルタのフィルタパラメータを設定する
請求項１に記載の画像処理装置。
【請求項５】
上記カメラの状態情報には、上記カメラが持つジャイロセンサの出力信号が含まれ、
上記フィルタパラメータはタップ数であり、
上記補正量取得部は、
上記ジャイロセンサの出力信号に基づき、上記カメラの動きが小さい程上記変調値を小さく求める
請求項４に記載の画像処理装置。
【請求項６】
上記カメラの撮影情報は、上記入力画像を得るカメラの状態情報、あるいは上記取得された各時刻の画像変動量の信頼度であり、
上記補正量取得部は、
上記入力画像を得るカメラの状態情報から変調値を求め、所定の補正マージンを該変調値で調整し、あるいは所定の補正マージンを上記信頼度で調整し、上記補正量が該調整された補正マージンを超えない範囲で最もカットオフが低周波となるように上記安定化フィルタのフィルタパラメータを設定する
請求項１に記載の画像処理装置。
【請求項７】
上記カメラの状態情報には、上記カメラのシャッタースピード情報が含まれ、
上記フィルタパラメータはタップ数であり、
上記補正量取得部は、
上記シャッタースピードが遅くなる程上記変調値を小さく求める
請求項６に記載の画像処理装置。
【請求項８】
上記カメラの撮影情報は、上記入力画像を得るカメラの状態情報であり、
上記フィルタパラメータはタップ数であり、
上記補正量取得部は、
上記入力画像を得るカメラの状態情報から、上記安定化フィルタのタップ数を変調する第１の変調値を求めると共に、補正マージンを変調する第２の変調値を求め、
所定のタップ数を上記第１の変調値で変調して第１のタップ数を求め、所定のマージンを上記第２の変調値で変調し、上記補正量が該変調された補正マージンを超えない最大のタップ数を第２のタップ数として求め、
上記第１のタップ数と上記第２のタップ数のうち小さい方を上記安定化フィルタのタップ数に設定する
請求項１に記載の画像処理装置。
【請求項９】
上記補正量取得部は、
上記設定される各時刻の安定化フィルタのフィルタパラメータに平滑化処理を施し、上記各時刻の累積画像変動量に上記平滑化処理が施されたフィルタパラメータによる安定化フィルタ処理を施す
請求項１に記載の画像処理装置。
【請求項１０】
上記フィルタパラメータはタップ数であり、
上記フィルタパラメータへの平滑化処理は、タップ数の小さい側で包絡線をとる処理である
請求項９に記載の画像処理装置。
【請求項１１】
上記補正量取得部は、
上記安定化フィルタ処理が施された後の各時刻の累積画像変動量に平滑化処理を施し、該平滑化が施された後の各時刻の累積画像変動量と上記安定化フィルタ処理が施される前の各時刻の累積画像変動量に基づいて各時刻の補正量を取得する
請求項１に記載の画像処理装置。
【請求項１２】
上記安定化フィルタ処理が施された後の各時刻の累積画像変動量への平滑化処理は、上記安定化フィルタ処理が施される前後の各時刻の累積画像変動量の間に入るように包絡線をとる処理である
請求項１１に記載の画像処理装置。
【請求項１３】
入力画像の各時刻の画像変動量を取得するステップと、
上記取得された各時刻の画像変動量を積算して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得するステップを有し、
上記補正量を取得するステップでは、
上記入力画像を得るカメラの撮影情報に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
画像処理方法。
【請求項１４】
コンピュータを、
入力画像の各時刻の画像変動量を取得する画像変動量取得手段と、
上記取得された各時刻の画像変動量を累積して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得手段として機能させ、
上記補正量取得手段は、
上記入力画像を得るカメラの撮影情報に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
プログラム。
【請求項１５】
入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を累積して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備え、
上記補正量取得部は、
上記補正量が所定の補正マージンを超えない範囲で、最もカットオフが低周波になるように上記安定化フィルタのフィルタパラメータを設定する
画像処理装置。
【請求項１６】
入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を累積して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備え、
上記補正量取得部は、
上記各時刻の累積画像変動量に基づいて求められた各時刻の安定化フィルタのフィルタパラメータに平滑化処理を施し、上記各時刻の累積画像変動量に上記平滑化処理が施されたフィルタパラメータによる安定化フィルタ処理を施す
画像処理装置。
【請求項１７】
上記フィルタパラメータはタップ数であり、
上記フィルタパラメータへの平滑化処理は、タップ数の小さい側で包絡線をとる処理である
請求項１６に記載の画像処理装置。
【請求項１８】
入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を累積して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備え、
上記補正量取得部は、
上記安定化フィルタ処理が施された後の各時刻の累積画像変動量に平滑化処理を施し、該平滑化が施された後の各時刻の累積画像変動量と上記安定化フィルタ処理が施される前の各時刻の累積画像変動量に基づいて各時刻の補正量を取得する
画像処理装置。
【請求項１９】
上記安定化フィルタ処理が施された後の各時刻の累積画像変量への平滑化処理は、上記安定化フィルタ処理が施される前後の各時刻の累積画像変動量の間に入るように包絡線をとる処理である
請求項１８に記載の画像処理装置。
【請求項２０】
入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を積算して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部と、
上記入力画像を得るカメラの状態情報および/または上記取得された各時刻の画像変動量の信頼度に応じて、上記補正量取得部で取得される各時刻の補正量を調整する補正量調整部と、
上記調整された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備える
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法およびプログラムに関し、手ブレなどによる画像変動量を補正する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
手ブレに代表されるようなカメラに与えられた振動やカメラの不自然な移動は、動画に不快な画像の揺れを発生させる。この不快な画像の揺れを低減する技術として、従来、光学防振方式や電子防振方式などが提案、採用されている。例えば、電子防振方式では、撮像・現像された画像の一部を切り出し、変形することで、不快な画像の揺れを低減する。
【０００３】
画像間の変動量には、手ブレ等のユーザの意図しないものに加えて、パンニングやチルティングといったユーザの意図する動きも含まれる。そのため、望ましい補正を行うためには、変動量に処理を行って補正量を算出する必要がある。従来、画像間の変動量に基づいて補正を行う技術が提案されている（例えば、特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１-０２９７３５号公報
【特許文献２】特表２００８-５４１６６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本技術の目的は、手ブレなどによる不快な画像の揺れを良好に低減することにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を積算して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備え、
上記補正量取得部は、
上記入力画像を得るカメラの撮影情報に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
画像処理装置にある。
【０００７】
本技術において、画像変動量取得部により、入力画像の各時刻の画像変動量が取得される。ここで、各時刻の画像変動量は、隣接する画像との間の変動量、つまり画像間の変動量である。画像間の変動量は、例えば絵柄のマッチングにより、求められる。
【０００８】
補正量取得部により、取得された各時刻の画像変動量が累積されて各時刻の累積画像変動量が得られ、この各時刻の累積画像変動量に安定化フィルタの処理が施される。また、この補正量取得部により、この安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量が取得される。そして、画像補正部により、取得された各時刻の補正量が用いられて入力画像の各時刻の画像変動が補正される。
【０００９】
補正量取得部では、カメラの撮影情報に応じて、各時刻の安定化フィルタのフィルタパラメータが設定される。これにより、変動量の推定結果が低信頼で誤りやすいときに、補正を弱めることができ、誤検出による誤補正を防ぐことが可能となる。例えば、カメラの撮影情報は、入力画像を得るカメラの状態情報および/または取得された各時刻の画像変動量の信頼度である。
【００１０】
なお、本技術において、例えば、補正量取得部は、入力画像を得るカメラの状態情報から変調値を求め、所定のフィルタパラメータをこの変調値で調整し、あるいは所定のフィルタパラメータを信頼度で調整して、安定化フィルタのフィルタパラメータを設定する、ようにされてもよい。この場合、例えば、カメラの状態情報には、カメラが持つジャイロセンサの出力信号が含まれ、フィルタパラメータはタップ数であり、補正量取得部は、ジャイロセンサの出力信号に基づき、カメラの動きが小さい程変調値を小さく求める、ようにされてもよい。
【００１１】
また、本技術において、例えば、補正量取得部は、入力画像を得るカメラの状態情報から変調値を求め、所定の補正マージンをこの変調値で調整し、あるいは所定の補正マージンを信頼度で調整し、補正量がこの変調された補正マージンを超えないように安定化フィルタのフィルタパラメータを設定する、ようにされてもよい。これにより、補正量が補正マージンに収まることを保証でき、破綻を防ぐことが可能となる。この場合、例えば、カメラの状態情報には、カメラのシャッタースピード情報が含まれ、フィルタパラメータはタップ数であり、補正量取得部は、シャッタースピードが遅くなる程変調値を小さく求める、ようにされてもよい。
【００１２】
また、本技術において、例えば、フィルタパラメータはタップ数であり、補正量取得部は、入力画像を得るカメラの状態情報から、安定化フィルタのタップ数を変調する第１の変調値を求めると共に、補正マージンを変調する第２の変調値を求め、所定のタップ数を第１の変調値で変調して第１のタップ数を求め、所定のマージンを第２の変調値で変調し、補正量がこの変調された補正マージンを超えない最大のタップ数を第２のタップ数として求め、第１のタップ数と第２のタップ数のうち小さい方を安定化フィルタのタップ数に設定する、ようにされてもよい。
【００１３】
また、本技術において、例えば、補正量取得部は、設定される各時刻の安定化フィルタのフィルタパラメータに平滑化処理を施し、各時刻の累積画像変動量に、この平滑化処理が施されたフィルタパラメータによる安定化フィルタ処理を施す、ようにされてもよい。この場合、例えば、フィルタパラメータはタップ数であり、フィルタパラメータへの平滑化処理は、タップ数の小さい側で包絡線をとる処理である、ようにされてもよい。これにより安定化フィルタ自体の時間変化が小さくなり、違和感のない補正効果の調整が可能となる。
【００１４】
また、本技術において、例えば、補正量取得部は、安定化フィルタ処理が施された後の各時刻の累積画像変動量に平滑化処理を施し、この平滑化が施された後の各時刻の累積画像変動量と安定化フィルタ処理が施される前の各時刻の累積画像変動量に基づいて各時刻の補正量を取得する、ようにされてもよい。この場合、例えば、安定化フィルタ処理が施された後の各時刻の累積画像変動量への平滑化処理は、安定化フィルタ処理が施される前後の各時刻の累積画像変動量の間に入るように包絡線をとる処理である、ようにされてもよい。これにより、フィルタパラメータの変動が与える累積画像変動量の細かな変動を取り除くことができ、各時刻の補正量としてより適切な補正量を得ることが可能となる。
【発明の効果】
【００１５】
本技術によれば、手ブレなどによる不快な画像の揺れを良好に低減できる。なお、ここに記載された効果に必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】第１の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】電子防振方式によるが画像変動の補正原理を示す模式図である。
【図３】画像変動量取得部で取得される画像間の変動量を説明するための図である。
【図４】各時刻における画像変動量、カメラパス（累積画像変動量）、安定化カメラパスの一例を示す図である。
【図５】電子防振方式による画像変動の補正を説明するための図である。
【図６】第２の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図７】第３の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図８】第４の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図９】第５の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図１０】第６の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図１１】カメラ状態解析部の解析処理を概略的に示す図である。
【図１２】変調値の平滑化処理の一例を示す図である。
【図１３】所定時刻におけるフィルタパラメータ（タップ数）の生成処理手順の一例を示すフローチャートである。
【図１４】予め設定される補正マージンと変調値を反映して狭めた補正マージンとの関係を示す図である。
【図１５】予め設定するタップ数と、変調値、解析信頼度を反映して減らしたタップ数と、変調値、解析信頼度を反映して狭めた補正マージンに収まるタップ数との関係を示す図である。
【図１６】所定時刻におけるフィルタパラメータ（タップ数）の生成処理手順の他の一例を示すフローチャートである。
【図１７】所定時刻におけるフィルタパラメータ（タップ数）の生成処理手順の他の一例を示すフローチャートである。
【図１８】タップ数の平滑化処理の一例を示す図である。
【図１９】フィルタ後累積画像変動量の平滑化処理の一例を示す図である。
【図２０】第６の実施の形態としての画像処理装置における処理を概略的に示すフローチャートである。
【図２１】ソフトウェアで処理を行うコンピュータ装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．変形例
【００１８】
＜１．第１の実施の形態＞
［画像処理装置の構成］
図１は、第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、各時刻（各フレーム）における画像変動の補正を電子防振方式で行う。図２は、電子防振方式によるが画像変動の補正原理を示す模式図を示している。この電子防振方式では、周知のように、撮像・現像された画像から、画像変動量に応じて切り出し位置が各時刻で移動されて、一部が切り出され、拡大などの変形が施されることで、画像変動の補正が行われる。
【００１９】
この画像処理装置１００は、画像変動量取得部１０１と、補正量取得部１０２と、画像補正部１０３と、カメラ状態解析部１０８を有している。画像変動量取得部１０１は、入力画像の各時刻（各フレーム）の画像変動量を取得する。入力画像は、カメラで撮像、現像されて得られた画像である。ここで、現像とは、撮像画像に対する種々の処理（ゲイン調整処理、特殊モード処理など）を意味する。
【００２０】
画像変動量取得部１０１は、各時刻の画像変動量として、図３に示すように、隣接する画像との間の変動量、つまり画像間の変動量を取得する。この場合、画像変動量取得部１０１は、例えば絵柄のマッチングとることで、変動量を取得する。例えば、画像変動量取得部１０１は、２画像間の絵柄のフィッティングを行うための射影行列を計算し、この射影行列を解析して画像変動量を取得する。
【００２１】
補正量取得部１０２は、画像変動量取得部１０１で取得された各時刻の画像変動量を積算して各時刻の累積画像変動量を得る。また、補正量取得部１０２は、この各時刻の累積画像変動量に安定化フィルタ処理を施す。そして、補正量取得部１０２は、安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて、各時刻における差分を補正量として取得する。
【００２２】
図４（ａ）は各時刻の画像変動量の一例を示している。なお、この画像変動量は、上述したように、画像間の絵柄の移動量を指す。この画像変動量の要因は、カメラの移動に伴うフレーム枠の動きや、撮影時にカメラに与えた手ブレや歩きに伴う振動、カメラの光学系自体の振動などが挙げられる。各時刻の画像変動量は、画像間の相対的な値として、時系列に並ぶ。
【００２３】
図４（ｂ）は、各時刻の累積画像変動量の一例を示している。この累積画像変動量は「カメラパス」とも称する。この累積画像変動量は累積開始時刻から現在時刻までにどれだけカメラが移動したかあるいはブレたのかを示す量であり、時系列に並ぶ。
【００２４】
図４（ｃ）の実線Ｐは、各時刻の累積画像変動量に安定化フィルタ処理を施して得られた安定化カメラパス（安定化累積画像変動量）を示している。ここで、安定化とは、「不自然な手ブレやカメラの揺れが軽減された滑らかな動画」を得るために、カメラパス（累積画像変動量）の不快な振動（例えば、高周波振動）を除去する処理を意味する。また、この安定化フィルタ処理で使用するフィルタのことを安定化フィルタと称する。そして、カメラパスに安定化フィルタによるフィルタ処理を施した結果を安定化カメラパスと称する。
【００２５】
なお、本明細書では、説明の簡単のために、画像変動量の成分として主に、水平、垂直の並進成分を対象とした補正処理として記載するが、画像変動量の成分は並進に限定されず、ロール回転、ピッチ回転、ヨー回転、せん断変形、拡縮変形など、異なる画像変動量に対して、同様の処理が可能である。
【００２６】
また、説明の簡単のために、主に、安定化フィルタが、フィルタパラメータとして「タップ数」を有する単純な「平均値フィルタ」（与えられたタップ数分の数値の平均値を出力とするフィルタ）であるとする。しかし、安定化フィルタは、この平均値フィルタに限定されるものではなく、適当な特性、パラメータを有するその他のフィルタを採用することも可能である。
【００２７】
画像補正部１０３は、補正量取得部１０２で取得された各時刻の補正量を用いて、入力画像の各時刻の画像変動を補正して補正画像を出力する。この場合、画像補正部１０３は、入力画像の各時刻の画像から、切り出し位置を補正量に基づいて各時刻で移動し、一部を切り出し、拡大などの変形を施して画像変動の補正を行う（図２参照）。
【００２８】
カメラ状態解析部１０８は、カメラの所定数の状態情報を、「タップ数に対する変調値」および「補正マージンに対する変調値」の２種類の変調値に変換して出力する。これらの変調値は、０．０から１．０までの重みの形で表現される。カメラの状態情報には、カメラが自律して設定する設定情報、ユーザが設定する設定情報、さらにはカメラに積んでいる各種センサーの出力情報などが含まれる。具体的には、シャッタースピード、ゲイン、フレームレートの設定情報、ジャイロセンサの出力信号などである。
【００２９】
「タップ数に対する変調値」は、安定化効果の周波数特性をカメラの状態に応じて調整する効果がある。例えば、ジャイロセンサの出力信号から揺れの大きさを解析することで、撮影者の撮り方の状況（走っているのか、立ち止まっているのか）を判断し、変調値が決定される。例えば、動きの小さな立ち止まっているときは、強く安定化した方が望ましい画像になるので１．０に近い値とされ、走っているような状況では、大きな揺れに対する過補正を抑制するために小さな値とされる。
【００３０】
「補正マージンに対する変調値」は、各時刻の補正量を制限する効果がある。例えば、シャッタースピードが遅くなってくると、面内の露光ブレが目立ちやすくなる。そして、この露光ブレは大きな補正量が発生すると目立ちやすくなる。そのため、シャッタースピードが遅いときは変調値が小さな値とされ、補正量に制限がかけられる。
【００３１】
なお、上述したように、電子防振方式による画像変動の補正では、図５（ｂ）に破線枠で示すように、補正前の画像（図５(ａ)参照）の一部を切り出し、拡大、変形して補正した画像（補正後の画像）を生成する。これは、補正前の画像に移っていない領域が参照されないようにするためである。この切り出し領域の許容範囲を「補正マージン」と称する。
【００３２】
補正量取得部１０２は、この変調値に基づいて、安定化フィルタのタップ数を設定する。すなわち、補正量取得部１０２は、所定のタップ数（固定のタップ数）を「タップ数に対する変調値」で変調して第１のタップ数を求める。また、補正量取得部１０２は、所定の補正マージン（固定の補正マージン）を「補正マージンに対する変調値」で変調し、補正量がこの変調された補正マージンを超えない最大のタップ数を第２のタップ数とする。そして、補正量取得部１０２は、第１のタップ数と第２のタップ数のうち小さい方を安定化フィルタのタップ数に設定する。
【００３３】
図１に示す画像処理装置１００の動作を説明する。カメラで撮像・現像されて得られた入力画像は、画像変動量取得部１０１に供給される。この画像変動量取得部１０１では、入力画像の各時刻（各フレーム）の画像変動量が取得される（図４（ａ）参照）。この画像変動量は、補正量取得部１０２に供給される。
【００３４】
補正量取得部１０２には、画像変動量取得部１０１で取得された入力画像の各時刻（各フレーム）の画像変動量が供給される。補正量取得部１０２では、各時刻の画像変動量が積算されて各時刻の累積画像変動量（カメラパス）が得られる（図４（ｂ）参照）。そして、補正量取得部１０２では、この各時刻の累積画像変動量に安定化フィルタ処理が施されて、各時刻の安定化された累積画像変動量（安定化カメラパス）が得られる（図４（ｃ）参照）。
【００３５】
補正量取得部１０２では、安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて、各時刻における差分が補正量として取得される。この場合、補正量取得部１０２には、カメラ状態解析部１０８から、カメラの状態情報に基づいて得られた「タップ数に対する変調値」および「補正マージンに対する変調値」の２つの変調値が供給される。そして、補正量取得部１０２では、これらの変調値に基づいて、安定化フィルタのタップ数が調整されると共に、補正マージンが調整され、その結果に基づいて安定化フィルタのタップ数が設定される。これにより、安定化効果の周波数特性がカメラの状態に応じて調整され、また、各時刻の補正量が制限される。
【００３６】
補正量取得部１０２で取得される各時刻の補正量は、画像補正部１０３に供給される。画像補正部１０３では、各時刻の補正量を用いて、入力画像の各時刻の画像変動が補正されて補正画像が出力される。この場合、画像補正部１０３では、入力画像の各時刻の画像から、切り出し位置が補正量に基づいて各時刻で移動されて、一部が切り出され、拡大などの変形が施されて画像変動の補正が行われる。
【００３７】
以上説明したように、図１に示す画像処理装置１００においては、入力画像を得るカメラの状態に応じて各時刻の安定化フィルタのタップ数（フィルタパラメータ）が設定されるものである。そのため、画像変動量取得部１０１で取得される画像変動量の推定結果が低信頼で誤りやすいときに、補正量を弱めることができ、誤検出による誤補正を防ぐことが可能となる。
【００３８】
また、図１に示す画像処理装置１００においては、所定のタップ数（固定のタップ数）を「タップ数に対する変調値」で変調して得られる第１のタップ数と、所定の補正マージン（固定の補正マージン）を「補正マージンに対する変調値」で変調して得られる補正マージンを超えない最大のタップ数である第２のタップ数のうち小さい方を安定化フィルタのタップ数に設定するものである。そのため、補正量が変調後の補正マージンに収まることを保証でき、破綻の発生を防ぐことが可能となる。また、この場合、カットオフ周波数を最も低周波に寄せることができる。
【００３９】
＜２．第２の実施の形態＞
［画像処理装置の構成］
図６は、第２の実施の形態としての画像処理装置１００Ａの構成例を示している。この画像処理装置１００Ａは、図１に示す画像処理装置１００と同様に、各時刻（各フレーム）における画像変動の補正を電子防振方式で行う。この図６において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【００４０】
この画像処理装置１００Ａは、画像変動量取得部１０１Ａと、補正量取得部１０２Ａと、画像補正部１０３を有している。画像変動量取得部１０１Ａは、入力画像の各時刻（各フレーム）の画像変動量を取得すると共に、この取得された各時刻の累積画像変動量の信頼度（解析信頼度）を得る。
【００４１】
信頼度は、画像変化量を算出する際にその推定精度を０．０〜１．０で表した重みである。例えば、画像変動量取得部１０１Ａは、図１に示す画像処理装置１００における画像変動量取得部１０１と同様に２画像間の絵柄のフィッティングを行うための射影行列を計算し、さらに、この射影行列を解析して画像変動量を取得する。画像変動量取得部１０１Ａは、さらに、このフィッティングの誤差を重みに変換して信頼度とする。
【００４２】
具体的に説明する。画像Ａと画像Ｂから射影行列を計算することを考える。画像Ａ、画像Ｂの絵柄からマッチング情報（例えば、ブロックマッチングを使用）を、まず、生成する。画像の座標のペアになるので、
{(Xa_n,Ya_n)⇔(Xb_n,Yb_n) | n=1,...}
となる。このペア情報から最小２乗法のような広く知られた方法で、射影行列を求めることができる。
【００４３】
次にn=1,…それぞれで、画像Ａ上の座標(Xa_n, Ya_n)を、射影行列をつかって、画像Ｂ上の座標に変換した結果を(X’b_n, Y’b_n)とする。このとき、(Xb_n, Yb_n)と(X’b_n, Y’b_n)の間の距離をすべてのnについて足し合わせた値を誤差とすることができる。重みへの変換は、例えば、上記の誤差の値を予め設定しておいた閾値と比較して０．０〜１．０の重みに変換する。
【００４４】
補正量取得部１０２Ａは、画像変動量取得部１０１Ａで取得された各時刻の画像変動量を積算して各時刻の累積画像変動量を得る。また、補正量取得部１０２Ａは、この各時刻の累積画像変動量に安定化フィルタ処理を施す。そして、安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて、各時刻における差分を補正量として取得する。
【００４５】
また、補正量取得部１０２Ａは、画像変動量取得部１０１Ａで得られる信頼度に基づいて、安定化フィルタのタップ数を設定する。すなわち、補正量取得部１０２Ａは、所定のタップ数（固定のタップ数）を信頼度で調整して第１のタップ数を求める。また、補正量取得部１０２Ａは、所定の補正マージン（固定の補正マージン）を信頼度で調整し、補正量がこの調整された補正マージンを超えない最大のタップ数を第２のタップ数とする。そして、補正量取得部１０２Ａは、例えば、第１のタップ数と第２のタップ数のうち小さい方を安定化フィルタのタップ数に設定する。
【００４６】
画像補正部１０３は、補正量取得部１０２Ａで取得された各時刻の補正量を用いて、入力画像の各時刻の画像変動を補正して補正画像を出力する。この場合、画像補正部１０３は、入力画像の各時刻の画像から、切り出し位置を補正量に基づいて各時刻で移動し、一部を切り出し、拡大などの変形を施して画像変動の補正を行う（図２参照）。
【００４７】
図６に示す画像処理装置１００Ａの動作を説明する。カメラで撮像・現像されて得られた入力画像は、画像変動量取得部１０１Ａに供給される。この画像変動量取得部１０１Ａでは、入力画像の各時刻（各フレーム）の画像変動量が取得される（図４（ａ）参照）と共に、この取得された各時刻の累積画像変動量の信頼度（解析信頼度）が得られる。
【００４８】
補正量取得部１０２Ａには、画像変動量取得部１０１Ａで取得された入力画像の各時刻（各フレーム）の画像変動量が供給される。補正量取得部１０２Ａでは、各時刻の画像変動量が積算されて各時刻の累積画像変動量（カメラパス）が得られる（図４（ｂ）参照）。そして、補正量取得部１０２Ａでは、この各時刻の累積画像変動量に安定化フィルタ処理が施されて、各時刻の安定化された累積画像変動量（安定化カメラパス）が得られる（図４（ｃ）参照）。
【００４９】
補正量取得部１０２Ａでは、安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて、各時刻における差分が補正量として取得される。この場合、補正量取得部１０２Ａには、画像変動量取得部１０１Ａから、上述の信頼度も供給される。そして、補正量取得部１０２Ａでは、この信頼度に基づいて、安定化フィルタのタップ数が調整されると共に、補正マージンが調整され、その結果に基づいて安定化フィルタのタップ数が設定される。これにより、安定化効果の周波数特性が信頼度に応じて調整され、また、各時刻の補正量が制限される。
【００５０】
補正量取得部１０２Ａで取得される各時刻の補正量は、画像補正部１０３に供給される。画像補正部１０３では、各時刻の補正量を用いて、入力画像の各時刻の画像変動が補正されて補正画像が出力される。この場合、画像補正部１０３では、入力画像の各時刻の画像から、切り出し位置が補正量に基づいて各時刻で移動されて、一部が切り出され、拡大などの変形が施されて画像変動の補正が行われる。
【００５１】
以上説明したように、図６に示す画像処理装置１００Ａにおいては、取得された各時刻の画像変動量の信頼度に応じて各時刻の安定化フィルタのタップ数（フィルタパラメータ）が設定されるものである。そのため、画像変動量取得部１０１Ａで取得される画像変動量の推定結果が低信頼で誤りやすいときに、補正量を弱めることができ、誤検出による誤補正を防ぐことが可能となる。
【００５２】
また、図６に示す画像処理装置１００Ａにおいては、所定のタップ数（固定のタップ数）を信頼度で調整して得られる第１のタップ数と、所定の補正マージン（固定の補正マージン）を信頼度で調整して得られる補正マージンを超えない最大のタップ数である第２のタップ数のうち小さい方を安定化フィルタのタップ数に設定するものである。そのため、補正量が調整後の補正マージンに収まることを保証でき、破綻の発生を防ぐことが可能となる。また、この場合、カットオフ周波数を最も低周波に寄せることができる。
【００５３】
＜３．第３の実施の形態＞
［画像処理装置の構成］
図７は、第３の実施の形態としての画像処理装置１００Ｂの構成例を示している。この画像処理装置１００Ｂは、図１に示す画像処理装置１００と同様に、各時刻（各フレーム）における画像変動の補正を電子防振方式で行う。この図７において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は書略する。
【００５４】
この画像処理装置１００Ｂは、画像変動量取得部１０１と、補正量取得部１０２Ｂと、画像補正部１０３を有している。画像変動量取得部１０１は、入力画像の各時刻（各フレーム）の画像変動量を取得する。補正量取得部１０２Ｂは、画像変動量取得部１０１で取得された各時刻の画像変動量を積算して各時刻の累積画像変動量を得る。
【００５５】
また、補正量取得部１０２Ｂは、この各時刻の累積画像変動量に安定化フィルタ処理を施す。そして、安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて、各時刻における差分を補正量として取得する。ここで、補正量取得部１０２Ｂは、安定化フィルタのタップ数（フィルタパラメータ）として、補正量が所定の補正マージン（固定の補正マージン）を超えない最大のタップ数を設定する。
【００５６】
画像補正部１０３は、補正量取得部１０２Ｂで取得された各時刻の補正量を用いて、入力画像の各時刻の画像変動を補正して補正画像を出力する。この場合、画像補正部１０３は、入力画像の各時刻の画像から、切り出し位置を補正量に基づいて各時刻で移動し、一部を切り出し、拡大などの変形を施して画像変動の補正を行う（図２参照）。
【００５７】
図７に示す画像処理装置１００Ｂの動作を説明する。カメラで撮像、現像されて得られた入力画像は、画像変動量取得部１０１に供給される。この画像変動量取得部１０１では、入力画像の各時刻（各フレーム）の画像変動量が取得される（図４（ａ）参照）。
【００５８】
補正量取得部１０２Ｂには、画像変動量取得部１０１で取得された入力画像の各時刻（各フレーム）の画像変動量が供給される。補正量取得部１０２Ｂでは、各時刻の画像変動量が積算されて各時刻の累積画像変動量（カメラパス）が得られる（図４（ｂ）参照）。そして、補正量取得部１０２Ｂでは、この各時刻の累積画像変動量に安定化フィルタ処理が施されて、各時刻の安定化された累積画像変動量（安定化カメラパス）が得られる（図４（ｃ）参照）。
【００５９】
補正量取得部１０２Ｂでは、安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて、各時刻における差分が補正量として取得される。この場合、補正量取得部１０２Ｂでは、安定化フィルタのタップ数（フィルタパラメータ）として、補正量が所定の補正マージン（固定の補正マージン）を超えない最大のタップ数に設定される。
【００６０】
補正量取得部１０２Ｂで取得される各時刻の補正量は、画像補正部１０３に供給される。画像補正部１０３では、各時刻の補正量を用いて、入力画像の各時刻の画像変動が補正されて補正画像が出力される。この場合、画像補正部１０３では、入力画像の各時刻の画像から、切り出し位置が補正量に基づいて各時刻で移動されて、一部が切り出され、拡大などの変形が施されて画像変動の補正が行われる。
【００６１】
以上説明したように、図７に示す画像処理装置１００Ｂにおいては、安定化フィルタのタップ数（フィルタパラメータ）が、補正量が所定の補正マージン（固定の補正マージン）を超えない最大のタップ数に設定されるものである。そのため、補正量が所定の補正マージンに収まることを保証でき、破綻の発生を防ぐことが可能となる。また、この場合、カットオフ周波数を最も低周波に寄せることができる。
【００６２】
＜４．第４の実施の形態＞
［画像処理装置の構成］
図８は、第４の実施の形態としての画像処理装置１００Ｃの構成例を示している。この画像処理装置１００Ｃは、図１に示す画像処理装置１００と同様に、各時刻（各フレーム）における画像変動の補正を電子防振方式で行う。この図８において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は書略する。
【００６３】
この画像処理装置１００Ｃは、画像変動量取得部１０１と、補正量取得部１０２Ｃと、画像補正部１０３と、フィルタ生成部１０４と、フィルタパラメータ平滑化部１０５を有している。画像変動量取得部１０１は、入力画像の各時刻（各フレーム）の画像変動量を取得する。
【００６４】
フィルタ生成部１０４は、画像変動量取得部１０１で取得された各時刻の画像変動量（変動成分）の特徴に応じて各時刻におけるタップ数（フィルタパラメータ）を生成する。フィルタパラメータ平滑化部１０５は、フィルタ生成部１０４で生成された各時刻のタップ数に平滑化処理を施し、平滑化された各時刻のタップ数（フィルタパラメータ）を得る。
【００６５】
補正量取得部１０２Ｃは、画像変動量取得部１０１で取得された各時刻の画像変動量を積算して各時刻の累積画像変動量を得る。そして、補正量取得部１０２Ｃは、この各時刻の累積画像変動量に、フィルタパラメータ平滑化部１０５で得られる平滑化された各時刻のタップ数（フィルタパラメータ）を用いて、安定化フィルタ処理を施す。そして、安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて、各時刻における差分を補正量として取得する。
【００６６】
画像補正部１０３は、補正量取得部１０２Ｃで取得された各時刻の補正量を用いて、入力画像の各時刻の画像変動を補正して補正画像を出力する。この場合、画像補正部１０３は、入力画像の各時刻の画像から、切り出し位置を補正量に基づいて各時刻で移動し、一部を切り出し、拡大などの変形を施して画像変動の補正を行う（図２参照）。
【００６７】
図８に示す画像処理装置１００Ｃの動作を説明する。カメラで撮像・現像されて得られた入力画像は、画像変動量取得部１０１に供給される。この画像変動量取得部１０１では、入力画像の各時刻（各フレーム）の画像変動量が取得される（図４（ａ）参照）。
【００６８】
この各時刻の画像変動量は、フィルタ生成部１０４に供給される。フィルタ生成部１０４では、各時刻の画像変動量（変動成分）の特徴に応じて各時刻のタップ数（フィルタパラメータ）が生成される。そして、この各時刻のタップ数がフィルタパラメータ平滑化部１０５で平滑化されて、平滑化された各時刻のタップ数（フィルタパラメータ）が得られる。例えば、この平滑化処理は、入力されたタップ数以下になるような包絡線処理とされる（図１８参照）。
【００６９】
補正量取得部１０２Ｃには、画像変動量取得部１０１で取得された入力画像の各時刻（各フレーム）の画像変動量が供給される。補正量取得部１０２Ｃでは、各時刻の画像変動量が積算されて各時刻の累積画像変動量（カメラパス）が得られる（図４（ｂ）参照）。そして、補正量取得部１０２Ｃでは、この各時刻の累積画像変動量に、フィルタパラメータ平滑化部１０４から得られる平滑化された各時刻のタップ数（フィルタパラメータ）を用いた安定化フィルタ処理が施されて、各時刻の安定化された累積画像変動量（安定化カメラパス）が得られる（図４（ｃ）参照）。
【００７０】
補正量取得部１０２Ｃでは、安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて、各時刻における差分が補正量として取得される。補正量取得部１０２Ｃで取得される各時刻の補正量は、画像補正部１０３に供給される。画像補正部１０３では、各時刻の補正量を用いて、入力画像の各時刻の画像変動が補正されて補正画像が出力される。この場合、画像補正部１０３では、入力画像の各時刻の画像から、切り出し位置が補正量に基づいて各時刻で移動されて、一部が切り出され、拡大などの変形が施されて画像変動の補正が行われる。
【００７１】
以上説明したように、図８に示す画像処理装置１００Ｃにおいては、各時刻のタップ数（フィルタパラメータ）に平滑化処理が施され、平滑化処理後の各時刻のタップ数を用いて安定化フィルタ処理が施されるものである。そのため、フィルタ自体の時間変化が小さくなり、違和感のない補正が可能となる。
【００７２】
＜５．第５の実施の形態＞
［画像処理装置の構成］
図９は、第５の実施の形態としての画像処理装置１００Ｄの構成例を示している。この画像処理装置１００Ｄは、図１に示す画像処理装置１００と同様に、各時刻（各フレーム）における画像変動の補正を電子防振方式で行う。この図９において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は書略する。
【００７３】
この画像処理装置１００Ｄは、画像変動量取得部１０１と、補正量取得部１０２Ｄと、画像補正部１０３と、フィルタ処理部１０６と、変動量平滑化部１０７を有している。画像変動量取得部１０１は、入力画像の各時刻（各フレーム）の画像変動量を取得する。
【００７４】
フィルタ処理部１０６は、画像変動量取得部１０１で取得された各時刻の画像変動量を積算して各時刻の累積画像変動量を得る。そして、このフィルタ処理部１０６は、この各時刻の累積画像変動量に安定化フィルタ処理を施し、フィルタ処理後の各時刻の累積画像変動量を出力する。変動量平滑化部１０７は、フィルタ処理後の各時刻の累積画像変動量に平滑化処理を施し、平滑化された、フィルタ処理後の各時刻の累積画像変動量を得る。例えば、この平滑化処理は、安定化フィルタ処理が施される前後の各時刻の累積画像変動量の間に入るという制約条件を満たすように包絡線をとる処理とされる（図１９参照）。
【００７５】
補正量取得部１０２Ｄは、この平滑化された、フィルタ処理後の各時刻の累積画像変動量と、画像変動量取得部１０１で取得された各時刻の画像変動量とに基づいて、各時刻における差分を補正量として取得する。画像補正部１０３は、補正量取得部１０２Ｄで取得された各時刻の補正量を用いて、入力画像の各時刻の画像変動を補正して補正画像を出力する。この場合、画像補正部１０３は、入力画像の各時刻の画像から、切り出し位置を補正量に基づいて各時刻で移動し、一部を切り出し、拡大などの変形を施して画像変動の補正を行う（図２参照）。
【００７６】
図９に示す画像処理装置１００Ｃの動作を説明する。カメラで撮像・現像されて得られた入力画像は、画像変動量取得部１０１に供給される。この画像変動量取得部１０１では、入力画像の各時刻（各フレーム）の画像変動量が取得される（図４（ａ）参照）。
【００７７】
この各時刻の画像変動量は、フィルタ処理部１０６に供給される。フィルタ処理部１０６では、各時刻の画像変動量が積算されて各時刻の累積画像変動量（カメラパス）が得られる（図４（ｂ）参照）。そして、フィルタ処理部１０６では、この各時刻の累積画像変動量に安定化フィルタ処理が施されて、各時刻の安定化された累積画像変動量（安定化カメラパス）が得られる（図４（ｃ）参照）。
【００７８】
このフィルタ後の各時刻の累積画像変動量は、変動量平滑化部１０７に供給される。変動量平滑化部１０７では、フィルタ処理後の各時刻の累積画像変動量に平滑化処理が施され、平滑化された、フィルタ処理後の各時刻の累積画像変動量が得られる。この平滑化された、フィルタ処理後の各時刻の累積画像変動量は、補正量取得部１０２Ｄに供給される。補正量取得部１０２Ｄでは、この平滑化された、フィルタ処理後の各時刻の累積画像変動量と、画像変動量取得部１０１で取得された各時刻の画像変動量とに基づいて、各時刻における差分が補正量として取得される。
【００７９】
補正量取得部１０２Ｄで取得される各時刻の補正量は、画像補正部１０３に供給される。画像補正部１０３では、各時刻の補正量を用いて、入力画像の各時刻の画像変動が補正されて補正画像が出力される。この場合、画像補正部１０３では、入力画像の各時刻の画像から、切り出し位置が補正量に基づいて各時刻で移動されて、一部が切り出され、拡大などの変形が施されて画像変動の補正が行われる。
【００８０】
以上説明したように、図９に示す画像処理装置１００Ｄにおいては、安定化フィルタ処理が施された各時刻の累積画像変動量に平滑化処理が施されて、各時刻の補正量算出に用いられるものである。そのため、安定化フィルタのタップ数（フィルタパラメータ）の変動が与える累積画像変動量の細かな変動を取り除くことができ、各時刻の補正量としてより適切な補正量を得ることが可能となる。
【００８１】
＜６．第６の実施の形態＞
［画像処理装置の構成］
図１０は、第６の実施の形態としての画像処理装置２００の構成例を示している。この画像処理装置２００は、図１に示す画像処理装置１００と同様に、各時刻（各フレーム）における画像変動の補正を電子防振方式で行う。なお、「{***}」は値の集合を表すものであり、複数の個数の値をまとめて扱う際の表記である。また、「***_i, ***_n」は、注目する時刻の値を示す。
【００８２】
この画像処理装置２００は、撮像・現像部２０１と、画像記憶部２０２と、画像変化量算出部２０３と、変動解析部２０４と、累積変動量記憶部２０５と、解析信頼度記憶部２０６を有している。また、画像処理装置２００は、カメラ状態取得部２０７と、カメラ状態解析部２０８と、変調値記憶部２０９と、変調値平滑化部２１０と、フィルタ生成部２１１を有している。また、画像処理装置２００は、フィルタパラメータ記憶部２１２と、パラメータ平滑化部２１３と、フィルタ演算部２１４と、フィルタ後累積変動量記憶部２１５と、フィルタ後累積変動量平滑化部２１６と、差分演算部２１７と、補正部２１８を有している。
【００８３】
撮像・現像部２０１は、被写体を撮像して画像を出力する。ここで、現像とは、撮像画像に対する種々の処理（ゲイン調整処理、特殊モード処理など）を意味する。画像記憶部２０２は、画像変化量算出部２０３と、補正部２１８が、必要なタイミングで必要な時刻（フレーム）の画像を参照できるように、撮像・現像部２０１から出力される画像（入力画像）を保持するメモリである。
【００８４】
画像変化量算出部２０３は、画像記憶部２０２から画像を入力し、図６の画像処理装置１００Ａにおける画像変動量取得部１０１Ａと同様に、２画像間の絵柄のフィッティングを行うための射影行列H_iを算出すると共に、このフィッティングの誤差を重みに変換して解析信頼度c_iを得る。なお、解析信頼度は、画面内の動被写体領域の面積を重みに変換した値とすることも考えられる。
【００８５】
変動解析部２０４は、画像変化量算出部２０３で算出される射影行列H_iを入力として、各時刻の画像変動量を計算し、特定の時刻から累積し続けることで、各時刻の累積画像変動量tx_acc_i,ty_acc_iを出力する。例えば、変動解析部２０４は、射影行列の成分を解析して、並進量を算出して、内部で積算し続けて、各時刻の累積画像変動量を出力する。
【００８６】
累積変動量記憶部２０５は、変動解析部２０４が出力する各時刻の累積画像変動量tx_acc_i,Ty_acc_iを、他のブロックが必要とするタイミングで必要な時刻の累積画像変動量を参照できるように保持するメモリである。また、解析信頼度記憶部２０６は、画像変動量算出部２０３が出力する各時刻の解析信頼度c_iを、バッファリングする格納先である。
【００８７】
カメラ状態取得部２０７は、撮像時のカメラから、カメラの状態を示す各種の数値を取得して、数値群をカメラ状態値{p_k}_iとして出力する。カメラの状態情報には、カメラが自律して設定する状態、ユーザが設定する状態、さらにはカメラに積んでいる各種センサーの出力状態などが含まれる。具体的には、シャッタースピード、ゲイン、フレームレートの設定状態、ジャイロセンサの出力状態などである。
【００８８】
カメラ状態解析部２０８は、カメラ状態取得部２０７で取得されたカメラ状態値{p_k}_iを入力して、図１の画像処理装置１００におけるカメラ状態解析部１０８と同様に、「タップ数（フィルタパラメータ）に対する変調値」および「補正マージンに対する変調値」の２種類の変調値{w_k}_iを出力する。これらの変調値は、０．０から１．０までの重みの形で表現される。カメラ状態値{p_k}_iは、複数種類の数値で構成されているので、カメラ状態解析部２０８は、それぞれを解析して、最終的に２種類の変調値{w_k}_iに変換する。
【００８９】
図１１は、カメラ状態解析部２０８の解析処理を概略的に示している。カメラ状態解析部２０８は、カメラ状態値ごとに予め設定した閾値と比較して重みに変換し、最後に掛け算により統合して出力する。図示の例では、カメラ状態値ａ，ｂ，・・・、ｘが入力される。
【００９０】
「タップ数（フィルタパラメータ）に対する変調値」を得る処理では、カメラ状態値ａ，ｂ，・・・、ｘがそれぞれ閾値処理で変調重みｗａ，ｗｂ，・・・，ｗｘに変換され、これらが乗算器で掛け算されて変調値Ｗtotが得られている。一方、「補正マージンに対する変調値」を得る処理では、カメラ状態値ａ，ｂ，・・・、ｘがそれぞれ閾値処理で変調重みｗａ´ ，ｗｂ´ ，・・・，ｗｘ´ に変換され、これらが乗算器で掛け算されて変調値Ｗtot´ が得られている。
【００９１】
図１０に戻って、変調値記憶部２０９は、カメラ状態解析部２０８で求められる各時刻（フレーム）の変調値{w_k}_iをバッファリングする格納先である。変調値平滑化部２１０は、時刻毎に、変調値記憶部２０９から該当時刻とその周辺の複数の時刻の変調値{{w_k}_m}を取得して平滑化し、時間変動が滑らかにされた変調値{w_k}_iを得る。
【００９２】
図１２は、変調値の平滑化処理の一例を示している。図示の例は、平滑化処理の一例として、誤補正によるアーティファクトを回避するために、変調値が小さくなる側に包絡する包絡線処理を示している。
【００９３】
図１０に戻って、フィルタ生成部２１１は、累積画像変動量{tx_acc_n},{ty_acc_n}、解析信頼度{c_n}、平滑化変調値{w_k}_iを入力とし、フィルタパラメータ（タップ数）{a_n}_iを生成する。図１３のフローチャートは、所定時刻におけるフィルタパラメータ（タップ数）の生成処理手順の一例を示している。簡単のため、平均値フィルタのタップ数を生成する場合の説明をする。
【００９４】
フィルタ生成部２１１は、ステップＳＴ１において、処理を開始する。その後、フィルタ生成部２１１は、ステップＳＴ２において、累積画像変動量{tx_acc_n},{Ty_acc_n}の変動成分の特徴に応じたタップ数を算出する。また、フィルタ生成部２１１は、ステップＳＴ３において、最大タップ数を計算する。この際、フィルタ生成部２１１は、所定のタップ数（予め設定するタップ数）に、「タップ数に対する変調値」と解析信頼度の双方を掛けて最大タップ数（変調度、解析信頼度を反映して減らしたタップ数）を求める。これにより、変調値や解析信頼度が反映されてタップ数が調整される。なお、所定のタップ数に、「タップ数に対する変調値」と解析信頼度のいずれかを掛けて最大タップ数を求めることも考えられる。
【００９５】
また、フィルタ生成部２１１は、ステップＳＴ４において、最大補正マージンを計算する。この際、フィルタ生成部２１１は、所定の補正マージン（予め設定する補正マージン）に、「補正マージンに対する変調値」と解析信頼度とを掛けて最大補正マージン（変調値、解析信頼度を反映して狭めた補正マージン）を求める。これにより、変調値や解析信頼度が反映されて補正マージンが調整される。なお、所定の補正マージンに、「補正マージンに対する変調値」と解析信頼度のいずれかを掛けて最大タップ数を求めることも考えられる。なお、図１４は、予め設定される補正マージンと、変調値を反映して狭めた補正マージンとの関係を示している。
【００９６】
次に、ステップＳＴ５において、フィルタ生成部２１１は、補正可能タップ数を計算する。この場合、フィルタ生成部２１１は、タップ数を最小１から順番に大きくしながら、累積画像変動量にフィルタ処理を行い、フィルタ処理前後の差分を計算し、その差分値（補正量に相当する）がステップＳＴ４で計算された最大補正マージンを超過する直前、または、タップ数がステップＳＴ３で計算された最大タップ数に達した段階で、タップ数を出力する。
【００９７】
この場合、ステップＳＴ３で計算された最大タップ数を第１のタップ数とし、ステップＳＴ４で計算された最大補正マージンを超過する直前のタップ数を第２のタップ数とするとき、ステップＳＴ５では、第１のタップ数と第２のタップ数のうち小さい方が選択されることとなる。このステップＳＴ５のタップ数計算の結果、変調を考慮して、かつ、補正マージンに収まる範囲のタップ数を取得できる。
【００９８】
図１５は、予め設定するタップ数と、変調値、解析信頼度を反映して減らしたタップ数と、変調値、解析信頼度を反映して狭めた補正マージンに収まるタップ数との関係を示している。なお、変調値、解析信頼度を反映して減らしたタップ数が、変調値、解析信頼度を反映して狭めた補正マージンに収まるタップ数よりも小さくなる場合もある。
【００９９】
次に、フィルタ生成部２１１は、ステップＳＴ６において、ステップＳＴ２で算出されたタップ数と、ステップＳＴ５で計算されたタップ数のうち、小さい方を選択する。そして、フィルタ生成部２１１は、ステップＳＴ７において、処理を終了する。
【０１００】
このフィルタ生成部２１１で生成されるタップ数（フィルタパラメータ）は、
（１）カメラの状態から得られる変調を考慮（苦手なら弱める）
（２）画像間の変動量の推定結果の信頼度を考慮（低信頼なら弱める）
（３）補正マージンに収まることを保証（「このタップ数以下ならば、破綻しない」）
を反映した結果となる。
【０１０１】
なお、図１６のフローチャートに示すように、図１３のフローチャートにおいて、ステップＳＴ２およびステップＳＴ６を削除した構成も考えられる。また、図１３、図１６のフローチャートで、ステップＳＴ３やステップＳＴ４に係る処理を省略した構成も考えられる。例えば、図１７（ａ）のフローチャートは、図１６のフローチャートで、ステップＳＴ３に係る処理を省略した構成を示している。また、図１７（ｂ）のフローチャートは、図１６のフローチャートで、ステップＳＴ４に係る処理を省略した構成を示している。
【０１０２】
図１０に戻って、フィルタパラメータ記憶部２１２は、フィルタ生成部２１１において生成される各時刻（フレーム）のタップ数（フィルタパラメータ）{a_n}_iをバッファリングする格納先である。パラメータ平滑化部２１３は、フィルタパラメータ記憶部２１２から該当時刻とその周辺の複数の時刻のタップ数{{a_n}_m}を取得して平滑化し、時間変動が滑らかにされたタップ数{a_smth_n}_iを得る。
【０１０３】
上述したように、フィルタ生成部２１１にて補正マージンに収まることが保証された最大タップ数が得られている。そのため、このパラメータ平滑化部２１３は、入力されたタップ数を超過しない制約条件下で適当な平滑化を行う。図１８は、タップ数の平滑化処理の一例を示している。図示の例は、平滑化処理の一例として、入力されたタップ数以下になるような包絡線処理を示している。
【０１０４】
図１０に戻って、フィルタ演算部２１４は、累積画像変動量{tx_acc_n},{ty_acc_n}に、平滑化タップ数{a_smth_n}_iを用いて構成された安定化フィルタ（平均値フィルタ）により、安定化フィルタ処理を施し、各時刻（フレーム）のフィルタ後累積画像変動量tx_acc_filter_i, ty_acc_filter_i を得る。フィルタ後累積変動量記憶部２１５は、フィルタ演算部２１４から出力されるフィルタ後の各時刻（フレーム）の累積画像変動量tx_acc_filter_i, ty_acc_filter_i をバッファリングする格納先である。
【０１０５】
フィルタ後累積変動量平滑化部２１６は、フィルタ後累積変動量記憶部２１５から該当時刻とその周辺の複数の時刻のフィルタ後累積画像変動量{tx_acc_filter_n},{ty_acc_filter_n}を取得して平滑化し、時間変動が滑らかにされた、各時刻（フレーム）のフィルタ後累積画像変動量tx_acc_filter_smth_i,ty_acc_filter_smth_iを得る。
【０１０６】
図１９は、フィルタ後累積画像変動量の平滑化処理の一例を示している。図示の例は、平滑化処理の一例として、安定化フィルタ処理が施される前後の各時刻の累積画像変動量の間に入るという制約条件を満たすように包絡線をとる処理を示している。この制約条件は、差分演算部２１７が出力する補正量が補正マージンに収まるための制約条件となる。
【０１０７】
図１０に戻って、差分演算部２１７は、各時刻（フレーム）において、累積画像変動量tx_acc_i,ty_acc_iと平滑化されたフィルタ後累積画像変動量tx_acc_filter_smth_i,ty_acc_filter_smth_iの差分を取って、各時刻（フレーム）の補正量tx_stb_i,ty_stb_iを得る。
【０１０８】
補正部２１８は、差分演算部２１７で得られた各時刻（フレーム）の補正量tx_stb_i,ty_stb_iを用いて、入力画像の各時刻の画像変動を補正して補正画像を出力する。この場合、補正部２１８は、入力画像の各時刻の画像から、切り出し位置を補正量に基づいて各時刻で移動し、一部を切り出し、拡大などの変形を施して画像変動の補正を行う（図２参照）。
【０１０９】
図１０に示す画像処理装置２００の動作を説明する。画像変化量算出部２０３には、画像記憶部２０２から画像（入力画像）が供給される。画像変化量算出部２０３では、各時刻（フレーム）において、２画像間の絵柄のフィッティングを行うための射影行列H_iが算出されると共に、このフィッティングの誤差が重みに変換されて解析信頼度c_iが得られる。
【０１１０】
画像変化量算出部２０３で得られる各時刻の射影行列H_iは変動解析部２０４に供給される。この変動解析部２０４では、時刻ごとに射影行列H_iから画像変動量が計算され、特定の時刻から累積が開始されて、各時刻の累積画像変動量tx_acc_i,ty_acc_iが得られる（図４（ａ），（ｂ）参照）。この各時刻の累積画像変動量tx_acc_i,ty_acc_iは、他のブロックが必要とするタイミングで必要な時刻の累積画像変動量の参照が可能となるように、累積変動量記憶部２０５に保持される。また、画像変化量算出部２０３で得られる各時刻の解析信頼度c_iは、解析信頼度記憶部２０６に保持される。
【０１１１】
カメラ状態取得部２０７では、撮影時のカメラから、カメラの状態を示す各種の数値が取得される。このカメラ状態取得部２０７から出力される数値群としてのカメラ状態値{p_k}_iは、カメラ状態解析部２０８に供給される。カメラ状態解析部２０８では、カメラ状態値{p_k}_iが解析されて、「タップ数（フィルタパラメータ）に対する変調値」および「補正マージンに対する変調値」の２種類の変調値{w_k}_iが得られる。これらの変調値は、０．０から１．０までの重みの形で表現される。
【０１１２】
カメラ状態解析部２０８で得られる各時刻の変調値{w_k}_iは、変調値記憶部２０９に保持される。変調値平滑化部２１０では、時刻毎に、変調値記憶部２０９から該当時刻とその周辺の複数の時刻の変調値{w_k}_mが取得されて平滑化され、時間変動が滑らかにされた変調値{w_k}_iを得られる。
【０１１３】
フィルタ生成部２１１には、累積画像変動量{tx_acc_n},{ty_acc_n}、解析信頼度{c_n}、平滑化変調値{w_k}_iが入力される。フィルタ生成部２１１では、これらの入力に基づいて、各時刻のフィルタパラメータであるタップ数{a_n}_iが生成される。この各時刻のタップ数{a_n}_iは、フィルタパラメータ記憶部２１２に保持される。
【０１１４】
パラメータ平滑化部２１３では、フィルタパラメータ記憶部２１２から該当時刻とその周辺の複数の時刻のタップ数{{a_n}_m}が取得されて平滑化され、時間変動が滑らかにされた各時刻のタップ数{a_smth_n}_iが得られる。フィルタ生成部２１１にて補正マージンに収まることが保証された最大タップ数が得られていることから、このパラメータ平滑化部２１３では、入力されたタップ数を超過しない制約条件下で適当な平滑化が行われる。
【０１１５】
パラメータ平滑化部２１３で得られる各時刻のタップ数{a_smth_n}_iは、フィルタ演算部２１４に供給される。フィルタ演算部２１４では、累積画像変動量{tx_acc_n},{ty_acc_n}に、平滑化タップ数{a_smth_n}_iを用いて構成された安定化フィルタ（平均値フィルタ）により、安定化フィルタ処理が施される。フィルタ演算部２１４からは、各時刻のフィルタ後累積画像変動量{tx_acc_filter},{ty_acc_filter}が得られ（図４（ｃ）参照）、フィルタ後累積変動量記憶部２１５に保持される。
【０１１６】
フィルタ後累積変動量平滑化部２１６では、フィルタ後累積変動量記憶部２１５から該当時刻とその周辺の複数の時刻のフィルタ後累積画像変動量{tx_acc_filter_n},{ty_acc_filter_n}が取得されて平滑化され、時間変動が滑らかにされた、各時刻のフィルタ後累積画像変動量tx_acc_filter_smth_i,ty_acc_filter_smth_iが得られる。
【０１１７】
差分演算部２１７では、各時刻において、累積画像変動量tx_acc_i,ty_acc_iと平滑化されたフィルタ後累積画像変動量tx_acc_filter_smth_i,ty_acc_filter_smth_iの差分がとられて、各時刻の補正量tx_stb_i,ty_stb_iが得られる。この補正量tx_stb_i,ty_stb_iは、補正部２１８に供給される。
【０１１８】
補正部２１８では、各時刻の補正量tx_stb_i,ty_stb_iが用いられて、入力画像の各時刻の画像変動が補正されて補正画像が得られる。この場合、補正部２１８では、入力画像の各時刻の画像から、切り出し位置が補正量に基づいて各時刻で移動され、一部が切り出され、拡大などの変形が施されて画像変動の補正が行われる（図２参照）。
【０１１９】
図２０のフローチャートは、図１０に示す画像処理装置２００における処理を概略的に示している。画像処理装置２００は、ステップＳＴ１１において、処理を開始する。その後、画像処理装置２００は、ステップＳＴ１２において、画像を画像変化量算出部２０３に入力する。次に、画像処理装置２００は、ステップＳＴ１３において、画像変化量算出部２０３で、各時刻の射影行列H_iを算出する。次に、画像処理装置２００は、ステップＳＴ１４において、変動解析部２０４で、各時刻の射影行列H_iを解析して、各時刻の画像変動量を得、そして、特定の時刻から累積を開始して各時刻の累積画像変動量tx_acc_i,ty_acc_iを求める。
【０１２０】
画像処理装置２００は、ステップＳＴ１２からステップＳＴ１４の処理と並行して、ステップＳＴ１５からステップＳＴ１７の処理を行う。すなわち、画像処理装置２００は、ステップＳＴ１５において、カメラ状態取得部２０７で、撮影時のカメラから、カメラの状態を示す各種の数値を取得し、数値群としてのカメラ状態値{p_k}_iを取得する。
【０１２１】
画像処理装置２００は、ステップＳＴ１６において、カメラ状態解析部２０８で、カメラ状態値{p_k}_iを解析して、「タップ数（フィルタパラメータ）に対する変調値」および「補正マージンに対する変調値」の２種類の変調値{w_k}_iを得る。そして、画像処理装置２００は、ステップＳＴ１７において、変調値平滑化部２１０で、変調値{w_k}_iに平滑化を施す。画像処理装置２００は、このステップＳＴ１７の処理の後、あるいはステップＳＴ１４の処理の後、ステップＳＴ１８の処理に移る。
【０１２２】
このステップＳＴ１８において、画像処理装置２００は、フィルタ生成部２１１で、累積画像変動量{tx_acc_n},{ty_acc_n}、解析信頼度{c_n}、平滑化変調値{w_k}_iの入力に基づいて、各時刻のフィルタパラメータであるタップ数{a_n}_iを生成する（図１３参照）。そして、画像処理装置２００は、ステップＳＴ１９において、パラメータ平滑化部２１３で、各時刻のタップ数{a_n}_iを平滑化する。
【０１２３】
次に、画像処理装置２００は、ステップＳＴ２０において、フィルタ演算部２１４で、各時刻の平滑化タップ数{a_smth_n}_iを用いて構成された安定化フィルタ（平均値フィルタ）により、累積画像変動量{tx_acc_n},{ty_acc_n}に安定化フィルタ処理を施す。そして、画像処理装置２００は、ステップＳＴ２１において、フィルタ後累積変動量平滑化部２１６で、各時刻のフィルタ後の累積画像変動量tx_acc_n_i, ty_acc_n_iに平滑化処理を施す。
【０１２４】
次に、画像処理装置２００は、ステップＳＴ２２において、差分演算部２１７で、差分演算を行う。この場合、差分演算部２１７により、各時刻で、累積画像変動量tx_acc_i,ty_acc_iと平滑化されたフィルタ後累積画像変動量tx_acc_filter_smth_i,ty_acc_filter_smth_iの差分がとられて、各時刻の補正量tx_stb_i,ty_stb_iが得られる。
【０１２５】
次に、画像処理装置２００は、ステップＳＴ２３において、補正部２１８で、各時刻の補正量tx_stb_i,ty_stb_iを用いて、入力画像の各時刻の画像変動を補正して、補正画像を得る。そして、画像処理装置２００は、ステップＳＴ２４において、補正画像を出力する。画像処理装置２００は、ステップＳＴ２４の後、ステップＳＴ２５で、処理を終了する。
【０１２６】
以上説明したように、図１０に示す画像処理装置２００においては、入力画像を得るカメラの状態に応じて各時刻の安定化フィルタのタップ数（フィルタパラメータ）が設定されるものである。そのため、画像変化量算出部２０３で算出される各時刻の射影行列H_i、従って変動解析部２０４で得られる各時刻の累積画像変動量tx_acc_i,ty_acc_iが低信頼で誤りやすいときに、補正量を弱めることができ、誤検出による誤補正を防ぐことが可能となる。
【０１２７】
また、図１０に示す画像処理装置２００においては、画像変化量算出部２０３で得られる各時刻の射影行列の信頼度に応じて各時刻の安定化フィルタのタップ数（フィルタパラメータ）が設定されるものである。そのため、画像変化量算出部２０３で算出される各時刻の射影行列H_i、従って変動解析部２０４で得られる各時刻の累積画像変動量tx_acc_i,ty_acc_iが低信頼で誤りやすいときに、補正量を弱めることができ、誤検出による誤補正を防ぐことが可能となる。
【０１２８】
また、図１０に示す画像処理装置２００においては、「タップ数に対する変調値」で変調して得られる第１のタップ数と、「補正マージンに対する変調値」で変調して得られる補正マージンを超えない最大のタップ数である第２のタップ数のうち小さい方を安定化フィルタのタップ数に設定するものである。そのため、補正量が変調後の補正マージンに収まることを保証でき、破綻の発生を防ぐことが可能となる。また、この場合、カットオフ周波数を最も低周波に寄せることができる。
【０１２９】
また、図１０に示す画像処理装置２００においては、各時刻のタップ数（フィルタパラメー）に平滑化処理が施され、平滑化処理後の各時刻のタップ数を用いて安定化フィルタ処理が施されるものである。そのため、フィルタ自体の時間変化が小さくなり、違和感のない補正が可能となる。
【０１３０】
また、図１０に示す画像処理装置２００においては、安定化フィルタ処理が施された各時刻の累積画像変動量に平滑化処理が施されて、各時刻の補正量算出に用いられるものである。そのため、安定化フィルタのタップ数（フィルタパラメータ）の変動が与える累積画像変動量の細かな変動を取り除くことができ、各時刻の補正量としてより適切な補正量を得ることが可能となる。
【０１３１】
＜７．変形例＞
なお、上述実施の形態においては、カメラの撮影情報として、入力画像を得るカメラの状態情報や各時刻の画像変動量の信頼度を挙げている。しかし、必ずしもこれらに限定されるものではなく、これらに類した他の情報を単独で、あるいは組み合わせて用いてもよい。
【０１３２】
また、上述実施の形態においては、カメラ状態から得られる変調値や画像変動量推定の信頼度を安定化フィルタのフィルタパラメータに反映させる例を示した。つまり、安定化効果の調整処理をフィルタパラメータに反映させたものである。しかし、この変調値や信頼度を補正量に反映させることも考えられる。この場合、安定化効果を弱めたいとき、その変調量、信頼度を補正量に反映させて、切り出し箇所が中央から大きくずれないようにすることで、安定化の効き具合を調整することが可能である。変動量の推定結果が低信頼で誤りやすいときに、補正を弱めることができ、誤検出による誤補正を防ぐことが可能となる。
【０１３３】
また、上述の各実施の形態における画像処理装置はハードウェアでも、ソフトフェアでも実現できる。図２１は、ソフトウェアで処理を行うコンピュータ装置３００の構成例を示している。このコンピュータ装置３００は、ＣＰＵ(Central Processing Unit)３０１、ＲＯＭ(Read Only Memory)３０２、ＲＡＭ(Random Access Memory)３０３、データ入出力部（データＩ／Ｏ）３０４および画像メモリ３０５により構成されている。
【０１３４】
ＲＯＭ３０２には、ＣＰＵ３０１の処理プログラムなどが格納されている。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして機能する。ＣＰＵ３０１は、ＲＯＭ３０２に格納されている処理プログラムを必要に応じて読み出し、読み出した処理プログラムをＲＡＭ３０３に転送して展開し、当該展開された処理プログラムを読み出して、画像処理を実行する。
【０１３５】
このコンピュータ装置３００においては、入力画像（画像データ）は、データＩ／Ｏ３０４を介して入力され、画像メモリ３０５に蓄積される。この画像メモリ３０５に蓄積された入力画像に対して、ＣＰＵ３０１により、画像変動を補正する画像処理が行われる。そして、処理後の補正画像（画像データ）は、画像メモリ３０５からデータＩ／Ｏ３０４を介して外部に出力される。
【０１３６】
また、本技術は、以下のような構成を取ることもできる。
（１）入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を積算して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部を有し、
上記補正量取得部は、
上記入力画像を得るカメラの撮影情報に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
画像処理装置。
（２）上記補正量取得部は、
上記入力画像を得るカメラの状態情報および/または上記取得された各時刻の画像変動量の信頼度に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
前記（１）に記載の画像処理装置。
（３）上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備える
前記（１）に記載の画像処理装置。
（４）上記カメラの撮影情報は、上記入力画像を得るカメラの状態情報、あるいは上記取得された各時刻の画像変動量の信頼度であり、
上記補正量取得部は、
上記入力画像を得るカメラの状態情報から変調値を求め、所定のフィルタパラメータを該変調値で調整し、あるいは所定のフィルタパラメータを上記信頼度で調整して、上記安定化フィルタのフィルタパラメータを設定する
前記（１）に記載の画像処理装置。
（５）上記カメラの状態情報には、上記カメラが持つジャイロセンサの出力信号が含まれ、
上記フィルタパラメータはタップ数であり、
上記補正量取得部は、
上記ジャイロセンサの出力信号に基づき、上記カメラの動きが小さい程上記変調値を小さく求める
前記（４）に記載の画像処理装置。
（６）
上記カメラの撮影情報は、上記入力画像を得るカメラの状態情報、あるいは上記取得された各時刻の画像変動量の信頼度であり、
上記補正量取得部は、
上記入力画像を得るカメラの状態情報から変調値を求め、所定の補正マージンを該変調値で調整し、あるいは所定の補正マージンを上記信頼度で調整し、上記補正量が該調整された補正マージンを超えない範囲で最もカットオフが低周波となるように上記安定化フィルタのフィルタパラメータを設定する
前記（１）に記載の画像処理装置。
（７）上記カメラの状態情報には、上記カメラのシャッタースピード情報が含まれ、
上記フィルタパラメータはタップ数であり、
上記補正量取得部は、
上記シャッタースピードが遅くなる程上記変調値を小さく求める
前記（６）に記載の画像処理装置。
（８）上記カメラの撮影情報は、上記入力画像を得るカメラの状態情報であり、
上記フィルタパラメータはタップ数であり、
上記補正量取得部は、
上記入力画像を得るカメラの状態情報から、上記安定化フィルタのタップ数を変調する第１の変調値を求めると共に、補正マージンを変調する第２の変調値を求め、
所定のタップ数を上記第１の変調値で変調して第１のタップ数を求め、所定のマージンを上記第２の変調値で変調し、上記補正量が該変調された補正マージンを超えない最大のタップ数を第２のタップ数として求め、
上記第１のタップ数と上記第２のタップ数のうち小さい方を上記安定化フィルタのタップ数に設定する
前記（１）に記載の画像処理装置。
（９）上記補正量取得部は、
上記設定される各時刻の安定化フィルタのフィルタパラメータに平滑化処理を施し、上記各時刻の累積画像変動量に上記平滑化処理が施されたフィルタパラメータによる安定化フィルタ処理を施す
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）上記フィルタパラメータはタップ数であり、
上記フィルタパラメータへの平滑化処理は、タップ数の小さい側で包絡線をとる処理である
前記（９）に記載の画像処理装置。
（１１）上記補正量取得部は、
上記安定化フィルタ処理が施された後の各時刻の累積画像変動量に平滑化処理を施し、該平滑化が施された後の各時刻の累積画像変動量と上記安定化フィルタ処理が施される前の各時刻の累積画像変動量に基づいて各時刻の補正量を取得する
前記（１）から（１０）に記載の画像処理装置。
（１２）上記安定化フィルタ処理が施された後の各時刻の累積画像変動量への平滑化処理は、上記安定化フィルタ処理が施される前後の各時刻の累積画像変動量の間に入るように包絡線をとる処理である
前記（１１）に記載の画像処理装置。
（１３）
入力画像の各時刻の画像変動量を取得するステップと、
上記取得された各時刻の画像変動量を積算して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得するステップを有し、
上記補正量を取得するステップでは、
上記入力画像を得るカメラの撮影情報に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
画像処理方法。
（１４）コンピュータを、
入力画像の各時刻の画像変動量を取得する画像変動量取得手段と、
上記取得された各時刻の画像変動量を累積して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得手段として機能させ、
上記補正量取得手段は、
上記入力画像を得るカメラの撮影情報に応じて、上記各時刻の安定化フィルタのフィルタパラメータを設定する
プログラム。
（１５）入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を累積して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備え、
上記補正量取得部は、
上記補正量が所定の補正マージンを超えない範囲で、最もカットオフが低周波になるように上記安定化フィルタのフィルタパラメータを設定する
画像処理装置。
（１６）入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を累積して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備え、
上記補正量取得部は、
上記各時刻の累積画像変動量に基づいて求められた各時刻の安定化フィルタのフィルタパラメータに平滑化処理を施し、上記各時刻の累積画像変動量に上記平滑化処理が施されたフィルタパラメータによる安定化フィルタ処理を施す
画像処理装置。
（１７）上記フィルタパラメータはタップ数であり、
上記フィルタパラメータへの平滑化処理は、タップ数の小さい側で包絡線をとる処理である
前記（１６）に記載の画像処理装置。
（１８）入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を累積して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備え、
上記補正量取得部は、
上記安定化フィルタ処理が施された後の各時刻の累積画像変動量に平滑化処理を施し、該平滑化が施された後の各時刻の累積画像変動量と上記安定化フィルタ処理が施される前の各時刻の累積画像変動量に基づいて各時刻の補正量を取得する
画像処理装置。
（１９）上記安定化フィルタ処理が施された後の各時刻の累積画像変量への平滑化処理は、上記安定化フィルタ処理が施される前後の各時刻の累積画像変動量の間に入るように包絡線をとる処理である
前記（１８）に記載の画像処理装置。
（２０）入力画像の各時刻の画像変動量を取得する画像変動量取得部と、
上記取得された各時刻の画像変動量を積算して得られる各時刻の累積画像変動量に安定化フィルタ処理を施し、該安定化フィルタ処理の前後における各時刻の累積画像変動量に基づいて各時刻の補正量を取得する補正量取得部と、
上記取得された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部と、
上記入力画像を得るカメラの状態情報および/または上記取得された各時刻の画像変動量の信頼度に応じて、上記補正量取得部で取得される各時刻の補正量を調整する補正量調整部と、
上記調整された各時刻の補正量を用いて上記入力画像の各時刻の画像変動を補正して補正画像を出力する画像補正部を備える
画像処理装置。
【符号の説明】
【０１３７】
１００，１００Ａ〜１００Ｄ・・・画像処理装置
１０１，１０１Ａ・・・画像変動量取得部
１０２，１０２Ａ〜１０２Ｄ・・・補正量取得部
１０３・・・画像補正部
１０４・・・フィルタ生成部
１０５・・・フィルタパラメータ平滑化部
１０６・・・フィルタ処理部
１０７・・・変動量平滑化部
１０８・・・カメラ状態解析部
２００・・・画像処理装置
２０１・・・撮像・画像部
２０２・・・画像記憶部
２０３・・・画像変化量算出部
２０４・・・変動解析部
２０５・・・累積変動量記憶部
２０６・・・解析信頼度記憶部
２０７・・・カメラ状態取得部
２０８・・・カメラ状態解析部
２０９・・・変調値記憶部
２１０・・・変調値平滑化部
２１１・・・フィルタ生成部
２１２・・・フィルタパラメータ記憶部
２１３・・・パラメータ平滑化部
２１４・・・フィルタ演算部
２１５・・・フィルタ後累積変動量記憶部
２１６・・・フィルタ後累積変動量平滑化部
２１７・・・差分演算部
２１８・・・補正部
３００・・・コンピュータ装置
【図１】
2015126436.tif 000003
【図２】
2015126436.tif 000004
【図３】
2015126436.tif 000005
【図４】
2015126436.tif 000006
【図５】
2015126436.tif 000007
【図６】
2015126436.tif 000008
【図７】
2015126436.tif 000009
【図８】
2015126436.tif 000010
【図９】
2015126436.tif 000011
【図１０】
2015126436.tif 000012
【図１１】
2015126436.tif 000013
【図１２】
2015126436.tif 000014
【図１３】
2015126436.tif 000015
【図１５】
2015126436.tif 000016
【図１６】
2015126436.tif 000017
【図１７】
2015126436.tif 000018
【図１８】
2015126436.tif 000019
【図１９】
2015126436.tif 000020
【図２０】
2015126436.tif 000021
【図２１】
2015126436.tif 000022
【図１４】
2015126436.tif 000023