(57)【要約】【課題】  一定領域のブラーに対して非均一モーションブラーの除去に所要される時間を短縮させる。【解決手段】  非均一モーションブラーを推定する方法は、非均一モーションブラーを含む入力映像を受信するステップと、前記受信した入力映像に含まれた一定領域で前記非均一モーションブラーに含まれたブラーに対して非均一モーションブラー情報を推定するステップと、前記推定された非均一モーションブラー情報に基づいて前記受信した入力映像から前記非均一モーションブラーを除去してレイタント映像を取得するステップとを含む。【選択図】      図２
2013187910.tif 000002
【特許請求の範囲】
【請求項１】
非均一モーションブラーを含む入力映像を受信するステップと、
前記受信した入力映像に含まれた一定領域で前記非均一モーションブラーに含まれたブラーに対して非均一モーションブラー情報を推定するステップと、
前記推定された非均一モーションブラー情報に基づいて前記受信した入力映像から前記非均一モーションブラーを除去してレイタント映像を取得するステップと、
を含むことを特徴とする非均一モーションブラーを推定する方法。
【請求項２】
前記非均一モーションブラー情報を推定するステップは、
前記受信した入力映像に対するホモグラフィを推定するステップと、
前記推定したホモグラフィを前記受信した入力映像に含まれた前記一定領域のブラーに対応させて前記非均一モーションブラー情報を推定するステップと、
を含むことを特徴とする請求項１に記載の非均一モーションブラーを推定する方法。
【請求項３】
前記非均一モーションブラー情報を推定するステップは、前記受信した入力映像に対する少なくとも２つのホモグラフィ及び前記少なくとも２つのホモグラフィ間のホモグラフィを反復的に推定するステップを含むことを特徴とする請求項２に記載の非均一モーションブラーを推定する方法。
【請求項４】
前記非均一モーションブラー情報を推定するステップは、前記推定したホモグラフィを含むホモグラフィ集合に対するエラー値の減少が予め設定されたリファレンス値と同一であるか大きければ、前記推定したホモグラフィの個数を次第に増加させるステップをさらに含むことを特徴とする請求項２に記載の非均一モーションブラーを推定する方法。
【請求項５】
前記推定した少なくとも２つのホモグラフィ及び前記少なくとも２つのホモグラフィ間のホモグラフィを用いて前記推定したホモグラフィに対する加重値を正規化するステップをさらに含むことを特徴とする請求項３に記載の非均一モーションブラーを推定する方法。
【請求項６】
前記非均一モーションブラー情報を推定するステップ及び前記レイタント映像を取得するステップを反復的に行うステップをさらに含むことを特徴とする請求項２に記載の非均一モーションブラーを推定する方法。
【請求項７】
前記反復的に行うステップは、前記推定されたホモグラフィを含まれたホモグラフィ集合に対するエラー値の変化量に基づいて、前記非均一モーションブラー情報を推定するステップ及び前記レイタント映像を取得するステップに対する反復実行を終了するステップを含むことを特徴とする請求項６に記載の非均一モーションブラーを推定する方法。
【請求項８】
前記非均一モーションブラー情報を推定するステップ及び前記レイタント映像を取得するステップを反復的に行うステップは、前記推定されたホモグラフィを含むホモグラフィ集合に対するエラー値の減少が予め設定されたリファレンス値よりも小さければ完了されることを特徴とする請求項６に記載の非均一モーションブラーを推定する方法。
【請求項９】
前記反復実行を完了することによって取得された最終非均一モーションブラー情報を用いて前記受信した入力映像から最終映像を復元するステップをさらに含むことを特徴とする請求項６に記載の非均一モーションブラーを推定する方法。
【請求項１０】
前記受信した入力映像は、前記非均一モーションブラーを含む単一フレーム、前記非均一モーションブラーを含むマルチフレーム、前記非均一モーションブラーを含む単一ブラー映像、及び前記ブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有することを特徴とする請求項１乃至９のいずれか一項に記載の非均一モーションブラーを推定する方法。
【請求項１１】
前記取得したレイタント映像が予め設定された品質を満足するか否かを決定するステップと、
前記決定に基づいて前記非均一モーションブラー情報を再推定するステップと、
をさらに含むことを特徴とする請求項１乃至１０のいずれか一項に記載の非均一モーションブラーを推定する方法。
【請求項１２】
請求項１〜請求項１１のいずれか一項の方法を行うためのプログラム。
【請求項１３】
非均一モーションブラーを含む入力映像を受信する受信部と、
前記受信した入力映像に含まれた一定領域で前記非均一モーションブラーに含まれたブラーに対して非均一モーションブラー情報を推定する推定部と、
前記推定された非均一モーションブラー情報に基づいて前記受信した入力映像から前記非均一モーションブラーを除去してレイタント映像を取得する取得部と、
を備えることを特徴とする非均一モーションブラーを推定する装置。
【請求項１４】
前記推定部は、
前記受信した入力映像に対するホモグラフィを推定する第１推定手段と、
前記推定したホモグラフィを前記受信した入力映像に含まれた前記一定領域のブラーに対応させて前記非均一モーションブラー情報を推定する第２推定手段と、
を含むことを特徴とする請求項１３に記載の均一モーションブラーを推定する装置。
【請求項１５】
前記推定部は、前記受信した入力映像に対する少なくとも２つのホモグラフィ及び前記少なくとも２つのホモグラフィ間のホモグラフィを反復的に推定することを特徴とする請求項１４に記載の非均一モーションブラーを推定する装置。
【請求項１６】
前記推定した少なくとも２つのホモグラフィ及び前記少なくとも２つのホモグラフィ間のホモグラフィを用いて前記推定したホモグラフィに対する加重値を正規化する加重値正規化部をさらに備えることを特徴とする請求項１５に記載の非均一モーションブラーを推定する装置。
【請求項１７】
前記非均一モーションブラー情報の推定及び前記レイタント映像の取得を反復的に行う反復実行部をさらに備えることを特徴とする請求項１４に記載の非均一モーションブラーを推定する装置。
【請求項１８】
前記反復実行部は、前記推定されたホモグラフィを含まれたホモグラフィ集合に対するエラー値の変化量に基づいて、前記非均一モーションブラー情報の推定及び前記レイタント映像の取得に対する反復実行を完了することを特徴とする請求項１７に記載の非均一モーションブラーを推定する装置。
【請求項１９】
前記反復実行を完了することによって取得された最終非均一モーションブラー情報を用いて前記受信した入力映像から最終映像を復元する復元部をさらに備えることを特徴とする請求項１４乃至１８のいずれか一項に記載の非均一モーションブラーを推定する装置。
【請求項２０】
前記入力映像は、前記非均一モーションブラーを含む単一フレーム、前記非均一モーションブラーを含むマルチフレーム、前記非均一モーションブラーを含む単一ブラー映像、及び前記ブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有することを特徴とする請求項１３乃至１９のいずれか一項に記載の非均一モーションブラーを推定する装置。
【請求項２１】
プロセッサによって入力映像のホモグラフィを推定するステップ（前記推定されたホモグラフィはホモグラフィ集合を含む）と、
前記ホモグラフィ集合で反復的に推定されたホモグラフィの個数を増加させるステップと、
前記ホモグラフィ集合でエラー値の変化に基づいて、前記推定されたホモグラフィを用いて前記入力映像の最終映像を取得するステップと、
を含むことを特徴とする非均一モーションブラーを推定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
下記の実施形態はロバストに非均一モーションブラーを推定する方法及び装置に関する。
【背景技術】
【０００２】
ブラー（ｂｌｕｒ）現象は、映像取得装置を用いて映像を取得する過程で頻繁に発生する現象であり、映像の品質を低下させる主な原因の１つである。
【０００３】
暗い室内や夕方頃の屋外のように光量が足りない環境でカメラなどの装置を用いて映像を取得する場合、鮮明な映像を得るためには十分な光量が必要であり、そのためには映像センサを光に長く露出させなければならない。しかし、露出時間が長くなれば、映像センサの揺れによって取得した映像にブラーが発生することがある。
【０００４】
映像からブラーを除去することは与えられた情報量に比べて把握しなければならない多い量の情報を必要とするため依然として解決が困難であるという問題がある。特に、映像の各ピクセルはカメラの並進運動（ｔｒａｎｓｌａｔｉｏｎａｌ  ｍｏｔｉｏｎ）だけではなく、回転運動（ｒｏｔａｔｉｏｎａｌ  ｍｏｔｉｏｎ）によって互いに異なる方向と大きさの非均一モーションブラーを含む。したがって、非均一モーションブラーに対してロバストな装置及び方法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、一定領域のブラーに対して非均一モーションブラーの除去に所要される時間を短縮させることにある。
【０００６】
また、本発明の目的は、非均一モーションブラー情報の正確性及び安定性を向上させることにある。
【課題を解決するための手段】
【０００７】
一実施形態に係る非均一モーションブラーを推定する方法は、非均一モーションブラーを含む入力映像を受信するステップと、前記受信した入力映像に含まれた一定領域で前記非均一モーションブラーに含まれたブラーに対して非均一モーションブラー情報を推定するステップと、前記推定された非均一モーションブラー情報に基づいて前記受信した入力映像から前記非均一モーションブラーを除去してレイタント映像を取得するステップとを含む。
【０００８】
前記非均一モーションブラー情報を推定するステップは、前記受信した入力映像に対するホモグラフィを推定するステップと、前記推定したホモグラフィを前記受信した入力映像に含まれた前記一定領域のブラーに対応させて前記非均一モーションブラー情報を推定するステップとを含んでもよい。
【０００９】
前記非均一モーションブラー情報を推定するステップは、前記受信した入力映像に対する少なくとも２つのホモグラフィ及び前記少なくとも２つのホモグラフィ間のホモグラフィを反復的に推定するステップを含んでもよい。
【００１０】
前記非均一モーションブラー情報を推定するステップは、前記推定したホモグラフィを含むホモグラフィ集合に対するエラー値の減少が予め設定されたリファレンス値と同一であるか大きければ、前記推定したホモグラフィの個数を次第に増加させるステップをさらに含んでもよい。
【００１１】
前記推定した少なくとも２つのホモグラフィ及び前記少なくとも２つのホモグラフィ間のホモグラフィを用いて前記推定したホモグラフィに対する加重値を正規化するステップをさらに含んでもよい。
【００１２】
前記非均一モーションブラー情報を推定するステップ及び前記レイタント映像を取得するステップを反復的に行うステップをさらに含んでもよい。
【００１３】
前記反復的に行うステップは、前記推定されたホモグラフィを含まれたホモグラフィ集合に対するエラー値の変化量に基づいて、前記非均一モーションブラー情報を推定するステップ及び前記レイタント映像を取得するステップに対する反復実行を終了するステップを含んでもよい。
【００１４】
前記非均一モーションブラー情報を推定するステップ及び前記レイタント映像を取得するステップを反復的に行うステップは、前記推定されたホモグラフィを含むホモグラフィ集合に対するエラー値の減少が予め設定されたリファレンス値よりも小さければ完了されてもよい。
【００１５】
前記反復実行を完了することによって取得された最終非均一モーションブラー情報を用いて前記受信した入力映像から最終映像を復元するステップをさらに含んでもよい。
【００１６】
前記受信した入力映像は、前記非均一モーションブラーを含む単一フレーム、前記非均一モーションブラーを含むマルチフレーム、前記非均一モーションブラーを含む単一ブラー映像、及び前記ブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有してもよい。
【００１７】
前記取得したレイタント映像が予め設定された品質を満足するか否かを決定するステップと、前記決定に基づいて前記非均一モーションブラー情報を再推定するステップとをさらに含んでもよい。
【００１８】
一実施形態に係る非均一モーションブラーを推定する装置は、非均一モーションブラーを含む入力映像を受信する受信部と、前記受信した入力映像に含まれた一定領域で前記非均一モーションブラーに含まれたブラーに対して非均一モーションブラー情報を推定する推定部と、前記推定された非均一モーションブラー情報に基づいて前記受信した入力映像から前記非均一モーションブラーを除去してレイタント映像を取得する取得部とを備える。
【００１９】
前記推定部は、前記受信した入力映像に対するホモグラフィを推定する第１推定手段と、前記推定したホモグラフィを前記受信した入力映像に含まれた前記一定領域のブラーに対応させて前記非均一モーションブラー情報を推定する第２推定手段とを含んでもよい。
【００２０】
前記推定部は、前記受信した入力映像に対する少なくとも２つのホモグラフィ及び前記少なくとも２つのホモグラフィ間のホモグラフィを反復的に推定してもよい。
【００２１】
前記推定した少なくとも２つのホモグラフィ及び前記少なくとも２つのホモグラフィ間のホモグラフィを用いて前記推定したホモグラフィに対する加重値を正規化する加重値正規化部をさらに備えてもよい。
【００２２】
前記非均一モーションブラー情報の推定及び前記レイタント映像の取得を反復的に行う反復実行部をさらに備えてもよい。
【００２３】
前記反復実行部は、前記推定されたホモグラフィを含まれたホモグラフィ集合に対するエラー値の変化量に基づいて、前記非均一モーションブラー情報の推定及び前記レイタント映像の取得に対する反復実行を完了してもよい。
【００２４】
前記反復実行を完了することによって取得された最終非均一モーションブラー情報を用いて前記受信した入力映像から最終映像を復元する復元部をさらに備えてもよい。
【００２５】
前記入力映像は、前記非均一モーションブラーを含む単一フレーム、前記非均一モーションブラーを含むマルチフレーム、前記非均一モーションブラーを含む単一ブラー映像、及び前記ブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有してもよい。
【００２６】
一実施形態に係る非均一モーションブラーを推定する方法は、プロセッサによって入力映像のホモグラフィを推定するステップ（前記推定されたホモグラフィはホモグラフィ集合を含む）と、前記ホモグラフィ集合で反復的に推定されたホモグラフィの個数を増加させるステップと、前記ホモグラフィ集合でエラー値の変化に基づいて、前記推定されたホモグラフィを用いて前記入力映像の最終映像を取得するステップとを含む。
【発明の効果】
【００２７】
一実施形態によれば、一定領域のブラーに対して非均一モーションブラー情報を推定することによって非均一モーションブラー情報、すなわち、ホモグラフィの個数を減少させて非均一モーションブラーの除去に所要される時間を短縮させることができる。
【００２８】
また、一実施形態によれば、入力映像に対して推定されるホモグラフィの推定個数を次第に増加させながら推定することによって、非均一モーションブラー情報の正確性及び安定性を向上させることができる。
【図面の簡単な説明】
【００２９】
【図１】一般的なモーションブラーモデルと一実施形態に係るモーションブラーモデルを比較して示す図である。
【図２】一実施形態に係る非均一モーションブラーを推定する方法を示したフローチャートである。
【図３】一実施形態に係る非均一モーションブラー情報の推定時にホモグラフィを推定する過程を示したフローチャートである。
【図４】一実施形態に係る非均一モーションブラーを推定する方法により推定するホモグラフィの個数を次第に増やす方法を説明するための図である。
【図５】一実施形態に係る非均一モーションブラーを推定する方法を用いてマルチフレーム基盤の非均一モーションブラーを除去する方法を示したフローチャートである。
【図６】一実施形態に係る非均一モーションブラーを推定する方法を用いてノイズ映像とブラー映像基盤の非均一モーションブラーを除去する方法を示したフローチャートである。
【図７】一実施形態に係る非均一モーションブラーを推定する装置のブロック図である。
【発明を実施するための形態】
【００３０】
以下、実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が一実施形態によって制限されたり限定されることはない。また、各図面に提示された同一の参照符号は同一の部材を示す。
【００３１】
図１は、一般的なモーションブラーモデルと一実施形態に係るモーションブラーモデルを比較した図である。図１を参照すると、一般的なモーションブラーモデルと一実施形態に係るモーションブラーモデルの相違点を確認することができる。
【００３２】
イメージセンサが光に露出するとき、モーションブラーあるいはカメラの揺れた軌跡が１１０である場合、１２０は後述する数式（３）のブラーモデルを用いて近似のモーションブラーを示し、１３０は後述する数式（７）のブラーモデルを用いて近似のモーションブラーを示す。
【００３３】
一般的にモーションブラーは数式（１）のように表現されてもよい。
【００３４】
【数１】
2013187910.tif 000003
数式（１）において、Ｂはブラーが含まれた映像（Ｂｌｕｒｒｅｄ  ｉｍａｇｅ）を意味し、Ｋは映像のブラー情報を示すモーションブラーカーネル（ｂｌｕｒ  ｋｅｒｎｅｌ）または点拡散関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を意味する。Ｌはレイタント映像（Ｌａｔｅｎｔ  ｉｍａｇｅ）すなわち、ブラーのない鮮明な映像を意味し、Ｎは映像取得の過程で導入された把握されない雑音（Ｎｏｉｓｅ）を意味する。＊はコンボリューション演算子（ｃｏｎｖｏｌｕｔｉｏｎ  ｏｐｅｒａｔｏｒ）を意味する。
【００３５】
数式（１）は下記の数式（２）のようなベクトル形式に表現されてもよい。
【００３６】
【数２】
2013187910.tif 000004
数式（２）において、ｂ、ｌ、ｎはそれぞれ数式（１）でＢ、Ｌ、Ｎのベクトル表現を意味する。ここでＴｉは時点ｔｉでカメラの並進運動（ｔｒａｎｓｌａｔｉｏｎａｌ  ｍｏｔｉｏｎ）を代表する行列式である。ｗｉはｔｉでカメラが止まっている時間の相対的な長さ
【００３７】
【数３】
2013187910.tif 000005
すなわち、時点ｔｉでカメラの露出時間を意味する。
【００３８】
数式（２）が意味することは次の通りである。
【００３９】
ブラー映像ｂは、カメラが動いた経路上の各座標Ｔｉにおける鮮明な映像Ｌの和で表現されたものである。ここで、数式（１）及び数式（２）は同一のモデルを他の表現方法で表したものである。
【００４０】
数式（１）または数式（２）のモーションブラーモデルに基づいてレイタント映像Ｌが算出される。ここで、レイタント映像推定のためのブラーモデルそのものが映像の全てのピクセルが均一に動いた場合を仮定するため、カメラの並進運動の他に回転運動によって発生する非均一モーションブラーを除去することが難しい。
【００４１】
したがって、数式（２）におけるＴｉをホモグラフィＰｉに置き換えることによって数式（３）のようにカメラの非均一モーションブラー効果を記述する非均一モーションブラーモデルを導き出すことができる。
【００４２】
【数４】
2013187910.tif 000006
ここで、ｂ、ｌ、ｎはブラーが含まれた映像ｂ（ｂｌｕｒｒｅｄ  ｉｍａｇｅ）、レイタント映像ｌ（ｌａｔｅｎｔ  ｉｍａｇｅ）、映像取得の過程で導入された確認されない雑音ｎ（ｎｏｉｓｅ）に対するベクトル形態の表現を意味する。また、Ｐｉは時点ｔｉでカメラの射影変換運動（ｐｒｏｊｅｃｔｉｖｅ  ｔｒａｎｓｆｏｒｍ  ｍｏｔｉｏｎ）を表す行列式であり、ｗｉはｔｉでカメラが止まっている時間の相対的な長さ
【００４３】
【数５】
2013187910.tif 000007
すなわち、時点ｔｉでカメラの露出時間を意味する。
【００４４】
数式（３）は、ブラー映像Ｂがカメラが動いた経路上の各座標（ｃｏｏｒｄｉｎａｔｅ）及び視点（ｖｉｅｗ  ｐｏｉｎｔ）におけるレイタント映像Ｌの和で表現されたことを意味する。
【００４５】
非均一モーションブラーを処理するための方法として、ブラー映像Ｂと現在の推定されたレイタント映像Ｌが与えられている場合、この２つを比較してブラー映像Ｂに存在する非均一モーションブラーを推定する過程が極めて重要である。したがって、以下ではこのような非均一モーションブラーを推定する方法について説明する。
【００４６】
非均一モーションブラーを推定する方法は、ホモグラフィ推定と加重値推定の２つのステップを含んでもよい。ブラー映像Ｂとレイタント映像Ｌが与えられているとき、この２ステップ（ホモグラフィ推定と加重値推定）を反復的に行うことによって非均一モーションブラーを推定することができる。
【００４７】
ホモグラフィ推定ステップでは、各ホモグラフィ推定は数式（３）を変形した数式（４）によって行われる。
【００４８】
【数６】
2013187910.tif 000008
数式（４）で１つのホモグラフィＰｉを算出するために、左辺の
【００４９】
【数７】
2013187910.tif 000009
と右辺の
【００５０】
【数８】
2013187910.tif 000010
間の差を最小化する映像整合方法を適用してもよい。また、全体ホモグラフィ集合Ｐは数式（４）で各ホモグラフィＰｉのインデックスｉを変更しながら全てのＰｉを算出することによって取得される。全体ホモグラフィ集合Ｐを算出した後には、算出されたＰを用いてホモグラフィの加重値ｗを算出してもよい。
【００５１】
加重値ｗを算出するために、まず、数式（３）を下記の数式（５）のように表現されてもよい。
【００５２】
【数９】
2013187910.tif 000011
ここで、
【００５３】
【数１０】
2013187910.tif 000012
であり、Ｌは大きさがｍ×ｎである行列である。ここで、ｍは映像のピクセルの個数であり、ｎはホモグラフィＰの個数である。
【００５４】
一般的にｍ＞＞ｎであるため、数式（５）で加重値ｗは「０」以上の値を有しなければならないため、非負最小二乗法（ｎｏｎ−ｎｅｇａｔｉｖｅ  ｌｅａｓｔ  ｓｑｕａｒｅ  ｍｅｔｈｏｄ）を用いてもよい。
【００５５】
非負最小二乗法を用いるために数式（５）を下記の数式（６）のような正規方程式（ｎｏｒｍａｌ  ｅｑｕａｔｉｏｎ）の形態で表現して加重値ｗを算出する。
【００５６】
【数１１】
2013187910.tif 000013
数式（６）で、βは括弧内の行列式の逆行列を求めるとき逆行列が存在しないという問題を解決するための正規化パラメータであり、Ｉは単位行列（ｉｄｅｎｔｉｔｙ  ｍａｔｒｉｘ）である。
【００５７】
非均一モーションブラーを含むマルチフレームまたはブラー映像及びノイズ映像で構成されたマルチフレームの形態を有する入力映像で仮定するブラーモデルの場合、上述したホモグラフィ及び加重値推定方法が共通して用いられてもよい。
【００５８】
しかし、まず、数式（３）の場合、カメラの全ての動きを各ホモグラフィに定義して用いるため、カメラの動きが大きい場合、カメラの動きを記述するために複数のホモグラフィを必要とする。これによって、非均一モーションブラーの除去及び推定過程が相当遅くなる場合がある。
【００５９】
一般的に非均一モーションブラーを推定するときＭ個のホモグラフィを仮定し、これを順序通りに１つずつ推定する。一実施形態ではホモグラフィを順次１つずつ推定するが、これに限定されることはない。
【００６０】
ところが、この過程でホモグラフィＰｉを推定するとき、他のホモグラフィＰｊが誤った値を有する場合ＰＩも誤った値に推定されやすく、非均一モーションブラーの推定が不明確になり得る。また、非均一モーションブラー推定過程でホモグラフィを推定した後に各ホモグラフィの加重値ｗｉを推定するが、ここで、類似の値のホモグラフィが多ければ加重値の推定は不安定になる。結局、これによって非均一モーションブラーの推定過程が不安定になる。
【００６１】
したがって、一実施形態では数式（３）とは異なる（非均一モーション）ブラーモデルを使用することによって少ない数のホモグラフィで非均一モーションブラーを除去する。また、非均一モーションブラーの推定過程における安全性を高めるために非均一モーションブラーの推定過程において、例えば、少なくとも２つのホモグラフィのように少ない数のホモグラフィから始めてホモグラフィの数を次第に増やしながら推定する。
【００６２】
数式（３）で各ホモグラフィは数式（１）の点拡散関数のそれぞれの一点に対応する。これを数式（７）のように変更すれば、新しいブラーモデルを導き出すことができる。
【００６３】
【数１２】
2013187910.tif 000014
数式（７）において、Ｇは小さい領域のブラー成分を示す演算子として、ガウスブラー（Ｇａｕｓｓｉａｎ  ｂｌｕｒ）演算子を用いてもよい。
【００６４】
数式（７）のＰｉＧは数式（１）の点拡散関数のそれぞれの一点ではない小さい領域のブラーに該当する領域大きさのブラー成分に対応する。したがって、数式（７）が数式（３）より少ない数のホモグラフィでも同一にブラーを表現することができる。また、ガウスブラーＧによってレイタント映像ｌをダウンサンプリング（ｄｏｗｎ  ｓａｍｐｌｉｎｇ）する効果があるため、ブラーがさらに早く推定され得る。
【００６５】
非均一モーションブラー推定ステップの安全性を高めるために、モーションブラー推定ステップで少ない数のホモグラフィからホモグラフィの数を次第に増やす過程は次の通りである。レイタント映像Ｌとブラー映像Ｂが入力に与えられるとき、例えば、まず、２つだけのホモグラフィのみを推定する。一実施形態では、最初に２つのホモグラフィのみを推定するが、これに限定されることはない。
【００６６】
各ホモグラフィの推定は次のように数式（７）を変形した数式（８）により行われてもよい。
【００６７】
【数１３】
2013187910.tif 000015
数式（８）において、左辺の
【００６８】
【数１４】
2013187910.tif 000016
と右辺の
【００６９】
【数１５】
2013187910.tif 000017
間の差を最小化するホモグラフィＰｉを映像整合方法を用いて算出してもよい。
【００７０】
数式（８）において、各のホモグラフィＰｉのインデックスｉを変更しながら全てのＰｉを算出することによって、全体のホモグラフィ集合Ｐが取得される。また、インデックスｉを変更しながら、全てのＰｉを算出する過程を繰り返すことで全体ホモグラフィ集合Ｐを段階的に改善することができる。このとき、反復は、指定された反復回数内でホモグラフィ集合のエラー値の減少が予め設定された基準値よりも減少しないときまで繰り返す。
【００７１】
ホモグラフィ集合のエラーは、以下の数式（９）のように定義することができる。
【００７２】
【数１６】
2013187910.tif 000018
数式（９）において
【００７３】
【数１７】
2013187910.tif 000019
は映像ピクセルの個数である。
【００７４】
数式（８）を用いて２つのホモグラフィを推定した後、２つのホモグラフィをつなぐホモグラフィを１つ追加する。ここで、追加されたホモグラフィと追加されたホモグラフィの加重値は下記の数式（１０）及び数式（１１）によって算出される。
【００７５】
【数１８】
2013187910.tif 000020
ここで、追加されたホモグラフィと加重値Ｐ’、ｗ’はＰ１とＰ２との間に整列される。すなわち、新しいホモグラフィ集合は
【００７６】
【数１９】
2013187910.tif 000021
のように定義され、新しい加重値集合は
【００７７】
【数２０】
2013187910.tif 000022
のように定義される。
【００７８】
数式（１０）と数式（１１）によってホモグラフィを追加した後には、全てのホモグラフィの加重値の和が「１」を越えるようになる。したがって、全ての加重値の和を「１」にするために数式（１２）を用いて加重値を正規化してもよい。
【００７９】
【数２１】
2013187910.tif 000023
３つのホモグラフィ、すなわち、
【００８０】
【数２２】
2013187910.tif 000024
に対して前述した数式（８）に基づいて再びホモグラフィを改善することができる。３つのホモグラフィに対して推定が完了した後、Ｐ１及びＰ２、そしてＰ２及びＰ３間をつなぐホモグラフィを再び追加して前述の過程を繰り返してもよい。３つのホモグラフィに対して推定が完了すれば、再び前述のような方式でホモグラフィを追加して前述の過程を繰り返す。このような過程を数式（９）で定義されたエラー値の減少が予め設定されたリファレンス値よりも小さくなるまで繰り返してもよい。
【００８１】
一実施形態のように少ない数のホモグラフィで推定を開始する場合、ホモグラフィＰｉの推定において複数のホモグラフィを最初から仮定して推定するよりも他のホモグラフィの影響が相対的に少ないことからより安定的に推定することができる。また、順次１つずつ少ない数のホモグラフィからエラー値の減少が予め設定されたリファレンス値よりも小さくなるまでホモグラフィの個数を増やすため、いくつかのホモグラフィが必要であるかを予め指定する必要がなく、自動でホモグラフィ数を求めることができる。
【００８２】
図２は、一実施形態に係る非均一モーションブラーを推定する方法を示したフローチャートである。
【００８３】
一実施形態に係る非均一モーションブラーを推定する装置（以下、「推定装置」）は、非均一モーションブラー（ｎｏｎ−ｕｎｉｆｏｒｍ  ｍｏｔｉｏｎ  ｂｌｕｒ）を含む入力映像を受信する（Ｓ２０１）。
【００８４】
推定装置は、入力映像に含まれた一定領域で非均一モーションブラーに含まれたブラーに対して非均一モーションブラー情報を推定する（Ｓ２０３）。より具体的には、推定装置は入力映像に対するホモグラフィを推定し、ホモグラフィを一定領域のブラーに対応させて非均一モーションブラー情報を推定してもよい。ここで、推定装置は、入力映像に対する少なくとも２つのホモグラフィ及び少なくとも２つのホモグラフィ間のホモグラフィを反復的に推定することによって、次第に推定されたホモグラフィの個数を増加させてもよい。
【００８５】
ここで、次第に推定されたホモグラフィの個数を増加させる方法は、後述する図４を参照すればよい。
【００８６】
また、推定装置は以後に少なくとも２つのホモグラフィ及び少なくとも２つのホモグラフィ間のホモグラフィを用いてホモグラフィに対する加重値を正規化する。
【００８７】
推定装置は、推定された非均一モーションブラー情報に基づいて入力映像から非均一モーションブラーを除去してレイタント映像を取得する（Ｓ２０５）。
【００８８】
推定装置は、非均一モーションブラー情報の推定（Ｓ２０３）及びレイタント映像の取得（Ｓ２０５）を反復的に実行する（Ｓ２０７）。
【００８９】
反復実行のうち、推定装置は、推定されたホモグラフィを含まれたホモグラフィ集合に対するエラー値の変化量が予め設定された一定の基準値よりも小さいか否かを判断する（Ｓ２０９）。
【００９０】
ステップＳ２０９において、エラー値の変化量が予め設定された一定の基準値よりも小さければ、推定装置はこれ以上の改善が微小であると見なして反復実行を終了する（Ｓ２１１）。
【００９１】
一方、ステップＳ２０９において、エラー値の変化量が予め設定された一定の基準値と同一であるか大きければ、推定装置は反復実行による映像改善の余地が大きいものと見なしてステップＳ２０３及びその後の過程を実行してもよい。
【００９２】
推定装置は、反復実行を完了することによって最終的に取得された最終非均一モーションブラー情報を用いて入力映像から最終映像を復元する（Ｓ２１３）。
【００９３】
一実施形態で入力映像は、非均一モーションブラーを含む単一フレーム、非均一モーションブラーを含むマルチフレーム、非均一モーションブラーを含む単一ブラー映像、及びブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有してもよい。
【００９４】
そのうち入力映像が非均一モーションブラーを含むマルチフレームの形態を有する場合、非均一モーションブラーを推定する方法を用いて非均一モーションブラーを除去する方法については図５を参照して説明する。また、入力映像が単一ブラー映像及び単一ノイズ映像で構成されたマルチフレームの形態を有する場合、非均一モーションブラーを推定する方法を用いて非均一モーションブラーを除去する方法については図６を参照して説明する。
【００９５】
図３は、一実施形態に係る非均一モーションブラー情報の推定時にホモグラフィを推定する過程を示したフローチャートである。
【００９６】
図３を参照すると、図２のステップＳ２０３では各ホモグラフィを映像整合を用いて推定する。より具体的に、推定装置は、まず、ホモグラフィ集合Ｐ＝｛Ｉｄ、Ｉｄ｝及び加重値集合ｗ＝｛０．５、０．５｝をセッティングする（Ｓ３０１）。
【００９７】
推定装置は、入力映像に対するホモグラフィを推定し、推定されたホモグラフィに対するエラー値を算出する（Ｓ３０３）。ここで、推定装置は、ホモグラフィを入力映像の一定領域のブラーに対応して非均一モーションブラー情報を推定してもよい。
【００９８】
まず、推定装置は、入力映像に対する少なくとも２つのホモグラフィ及び少なくとも２つのホモグラフィとの間のホモグラフィを反復的に推定してもよい。
【００９９】
推定装置は、算出されたエラー値の減少量が予め設定された基準値（例えば、エラー値の減少がほとんどないと判断される特定値）よりも小さいか否かを判断する（Ｓ３０５）。ここで、もし、推定されたホモグラフィに対するエラー値の減少量が予め設定された基準値と同一であるか大きければ、推定装置は少なくとも２つのホモグラフィ及び少なくとも２つのホモグラフィ間の追加的なホモグラフィを求めることができる。そして、少なくとも２つのホモグラフィ及び追加的なホモグラフィを用いてホモグラフィ（すなわち、ホモグラフィ集合）に対する加重値を正規化する（Ｓ３０７）。その後、推定装置はステップＳ３０３に戻ってホモグラフィの推定過程を実行する。
【０１００】
一方、ステップＳ３０５において、推定されたホモグラフィに対するエラー値の減少量が予め設定された基準値よりも小さければ、推定装置は動作を完了する。すなわち、推定装置は推定されたホモグラフィに対するエラー値が減少してエラー値の減少が予め設定されたリファレンス値よりも小さくなるまで反復的な動作を終了する。
【０１０１】
図４は、一実施形態に係る非均一モーションブラーを推定する方法により推定するホモグラフィの個数を次第に増やす方法を説明するための図である。図４は、図３のステップＳ３０７におけるホモグラフィの追加を次第に行う方法を示す。
【０１０２】
一実施形態では、最初に２つのホモグラフィ４０１及び４０３のみを推定する（Ｓ４１０）。そして、その２つのホモグラフィ間をつなぐ新しいホモグラフィ４０５を追加して推定する（Ｓ４２０）。
【０１０３】
その後、３つのホモグラフィ４０１、４０３、及び４０５を用いて非均一モーションブラーを推定した後、各ホモグラフィ間をつなぐ新しいホモグラフィ４０７及び４０９を再び追加して非均一モーションブラーを推定する（Ｓ４３０）。このような方式で順次１つずつホモグラフィを次第に増やしてホモグラフィの集合に対するエラー値の減少が予め設定されたリファレンス値よりも小さくなるまで非均一モーションブラーを推定する（Ｓ４４０）。
【０１０４】
図５は、一実施形態に係る非均一モーションブラーを推定する方法を用いてマルチフレーム基盤の非均一モーションブラーを除去する方法を示したフローチャートである。
【０１０５】
図５を参照すると、マルチフレーム基盤の非均一モーションブラーを除去する方法は、非均一モーションブラーを含む何枚かの映像（すなわち、マルチフレーム）を受信する（Ｓ５１０）。その後、非均一モーションブラーを除去する方法は、それぞれの非均一モーションブラーを含むブラー映像に対する非均一モーションブラー情報を一実施形態に係る非均一モーションブラーを推定する方法を用いて推定する（Ｓ５２０）。
【０１０６】
非均一モーションブラー除去方法は、推定された非均一モーションブラー情報に基づいてマルチフレームから非均一モーションブラーを除去してレイタント映像Ｌを取得する（Ｓ５３０）。非均一モーションブラー除去方法は、取得されたレイタント映像Ｌが予め決定された品質を達成したか否かを判断する（Ｓ５４０）。もし、取得されたレイタント映像Ｌが予め決定された品質を達成できない場合、取得されたレイタント映像Ｌに基づいて非均一モーションブラー情報を再び推定（更新）し、更新された非均一モーションブラー情報に基づいてレイタント映像Ｌを更新する。
【０１０７】
一方、ステップＳ５４０で取得されたレイタント映像Ｌが予め決定された品質を達成すれば、非均一モーションブラー除去方法は、非均一モーションブラー情報または更新された最終非均一モーションブラー情報に基づいてマルチフレームから最終映像を復元する（Ｓ５５０）。
【０１０８】
図６は、一実施形態に係る非均一モーションブラーを推定する方法を用いてノイズ映像とブラー映像基盤の非均一モーションブラーを除去する方法を示したフローチャートである。
【０１０９】
図６を参照すると、ノイズ映像とブラー映像基盤の非均一モーションブラー除去方法は、非均一モーションブラーを含むブラー映像とブラーを含まないノイズ映像を受信する（Ｓ６１０）。
【０１１０】
ノイズ映像とブラー映像基盤の非均一モーションブラー除去方法はノイズ映像でノイズを除去し（Ｓ６２０）、ノイズの除去されたノイズ映像とブラー映像を用いてブラー映像の非均一モーションブラー情報を推定する（Ｓ６３０）。
【０１１１】
その後、最終取得された非均一モーションブラー情報を用いて最終復元映像を取得する（Ｓ６４０）。
【０１１２】
図７は、一実施形態に係る非均一モーションブラーを推定する装置のブロック図である。
【０１１３】
図７を参照すると、一実施形態に係る非均一モーションブラーを推定する装置７００は、受信部７１０、推定部７２０、取得部７３０を備える。他の実施形態に係る非均一モーションブラーを推定する装置７００は、復元部７４０、反復実行部７５０及び加重値正規化部７６０をさらに備えてもよい。
【０１１４】
受信部７１０は、非均一モーションブラーを含む入力映像を受信する。入力映像は、非均一モーションブラーを含む単一フレーム、非均一モーションブラーを含むマルチフレーム、非均一モーションブラーを含む単一ブラー映像、及びブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有してもよい。
【０１１５】
推定部７２０は、入力映像に含まれた一定領域のブラーに対して非均一モーションブラー情報を推定する。推定部７２０は、第１推定手段７２３及び第２推定手段７２６を含んでもよい。
【０１１６】
第１推定手段７２３は、入力映像に対するホモグラフィを推定する。第２推定手段７２６は、ホモグラフィを一定領域のブラーに対応させて非均一モーションブラー情報を推定する。
【０１１７】
また、推定部７２０は、入力映像に対する少なくとも２つのホモグラフィ及び少なくとも２つのホモグラフィ間のホモグラフィを反復的に推定してもよい。
【０１１８】
取得部７３０は、推定された非均一モーションブラー情報に基づいて入力映像から非均一モーションブラーを除去してレイタント映像を取得する。
【０１１９】
復元部７４０は、反復実行の完了によって取得された最終非均一モーションブラー情報を用いて入力映像から最終映像を復元する。
【０１２０】
反復実行部７５０は、非均一モーションブラー情報の推定及びレイタント映像の取得を反復的に実行する。また、反復実行部７５０は、推定されたホモグラフィを含まれたホモグラフィ集合に対するエラー値の変化量に基づいて、非均一モーションブラー情報の推定及びレイタント映像の取得に対する反復実行を完了する。
【０１２１】
すなわち、反復実行部７５０は、ホモグラフィ集合に対するエラー値の変化量が予め設定された一定基準よりも小さければ、入力映像が改善されるものと見なして反復実行を完了する。
【０１２２】
加重値正規化部７６０は、少なくとも２つのホモグラフィ及び少なくとも２つのホモグラフィ間のホモグラフィを用いてホモグラフィに対する加重値を正規化する。
【０１２３】
本発明の一実施形態に係る方法は、多様なコンピュータ手段によって行うことができるプログラム命令の形態で実現されても良く、かかるプログラム命令は、コンピュータ読み出し可能媒体に記録されてもよい。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み出し可能記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ  ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ  ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【０１２４】
以上のように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。
【０１２５】
したがって、本発明の範囲は、説明された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１２６】
７１０  受信部
７２０  推定部
７３０  取得部
７４０  復元部
７５０  反復実行部
７６０  加重値正規化部
【図１】
2013187910.tif 000025
【図２】
2013187910.tif 000026
【図３】
2013187910.tif 000027
【図４】
2013187910.tif 000028
【図５】
2013187910.tif 000029
【図６】
2013187910.tif 000030
【図７】
2013187910.tif 000031