(57)【要約】【課題】奥行き方向に変化がある画像に対しても画像において生じたブレを補正する。【解決手段】ブレ補正装置は、画像を取得する画像取得部と、画像を撮影した際の露出時間中のカメラの姿勢パラメータ及び画像において奥行きが一定である仮定したときの奥行き値を画像に基づいて推定し、推定結果に基づいて画像のブレを補正する画像補正部と、画像をタイル形状の小画像に分割する画像分割部と、画像補正部が推定した奥行き値及びブレを補正した画像を初期値として前記小画像ごとに奥行き値を推定する奥行推定部と、小画像ごとに推定した奥行き値に基づいてブレ補正カーネルを算出する第１のブレ補正カーネル算出部と、小画像ごとに算出されたブレ補正カーネルを用いて小画像それぞれに対してブレ補正を行う第１のブレ補正部と、ブレ補正が施された小画像を統合して画像と同じサイズの出力画像を生成する第１の画像統合部とを備える。【選択図】図１
2015109548.tif 000002
【特許請求の範囲】
【請求項１】
ブレ補正装置が行うブレ補正方法であって、
画像を取得する画像取得ステップと、
前記画像を撮影した際の露出時間中のカメラの姿勢パラメータ及び前記画像において奥行きが一定である仮定したときの奥行き値を前記画像に基づいて推定し、推定結果に基づいて前記画像のブレを補正する画像補正ステップと、
前記画像をタイル形状の小画像に分割する画像分割ステップと、
前記画像補正ステップにおいて推定した奥行き値及びブレを補正した画像を初期値として前記小画像ごとに奥行き値を推定する奥行推定ステップと、
前記小画像ごとに推定した奥行き値に基づいてブレ補正カーネルを算出する第１のブレ補正カーネル算出ステップと、
前記小画像ごとに算出されたブレ補正カーネルを用いて前記小画像それぞれに対してブレ補正を行う第１のブレ補正ステップと、
ブレ補正が施された小画像を統合して前記画像と同じサイズの出力画像を生成する第１の画像統合ステップと
を有することを特徴とするブレ補正方法。
【請求項２】
請求項１に記載のブレ補正方法において、
前記奥行推定ステップは、
複数の前記小画像からいずれか一つを選択する小画像選択ステップと、
選択された前記小画像の奥行き値を変化させて前記小画像それぞれの奥行き値を含む仮説候補を設定する仮説候補設定ステップと、
前記仮説候補に基づいて前記小画像それぞれに対するブレ補正カーネルを算出する第２のブレ補正カーネル算出ステップと、
前記第２のブレ補正カーネル算出ステップにおいて算出されたブレ補正カーネルを用いて前記小画像のブレを補正する第２のブレ補正ステップと、
前記第２のブレ補正ステップにおいてブレ補正が施された小画像を統合して前記画像と同じサイズの統合画像を生成する第２の画像統合ステップと、
前記統合画像の精鋭度を評価する画像評価ステップと、
評価結果に基づいて前記仮説候補を採用するか否かを判定する仮説判定ステップと、
採用した仮説候補の数が所定の数に達すると、採用した仮説候補に基づいて前記小画像ごとの奥行き値を算出する奥行決定ステップと、
を有することを特徴とするブレ補正方法。
【請求項３】
画像を取得する画像取得部と、
前記画像を撮影した際の露出時間中のカメラの姿勢パラメータ及び前記画像において奥行きが一定である仮定したときの奥行き値を前記画像に基づいて推定し、推定結果に基づいて前記画像のブレを補正する画像補正部と、
前記画像をタイル形状の小画像に分割する画像分割部と、
前記画像補正部が推定した奥行き値及びブレを補正した画像を初期値として前記小画像ごとに奥行き値を推定する奥行推定部と、
前記小画像ごとに推定した奥行き値に基づいてブレ補正カーネルを算出する第１のブレ補正カーネル算出部と、
前記小画像ごとに算出されたブレ補正カーネルを用いて前記小画像それぞれに対してブレ補正を行う第１のブレ補正部と、
ブレ補正が施された小画像を統合して前記画像と同じサイズの出力画像を生成する第１の画像統合部と
を備えることを特徴とするブレ補正装置。
【請求項４】
請求項１又は請求項２に記載のブレ補正方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像におけるブレを補正するブレ補正方法、ブレ補正装置及びプログラムに関する。
【背景技術】
【０００２】
コンピュータビジョン分野では、撮影の際における露出不足などにより画像にブレが生じてしまった場合にこのブレを補正し、鮮明な画像を復元する研究が多く行われている。例えば、非特許文献１には、ブレが生じている画像を、露出時間中において異なるカメラの姿勢から撮影された鮮明な画像を足し合わせた画像と定義し、カメラの姿勢と鮮明な画像と同時に復元する方法が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Oliver Whyte, Josef Sivic, Andrew Zisserman, and Jean Ponce, "Non-uniform Deblurring for Shaken Images", International Journal of Computer Vision, Volume 98, Issue 2, June 2012, p.168-186
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述のように、カメラの姿勢と鮮明な画像とを同時に復元する方法では、露出時間中にカメラは大きく動かないという前提を考慮することで高速な演算を可能としている。また、非特許文献１に記載の方法では、撮影しているシーンの奥行きが画像上の場所によらず単一であるとの仮定の下に画像の復元を行っている。
【０００５】
風景写真などの撮影においては前述の仮定が成立するが、一般的な状況下では奥行き方向（被写体までの距離）にバリエーションが多くあるため、前述の仮定が成り立たない状況が生じる。このような状況では、非特許文献１に記載の方法では、ブレを補正することができないという問題がある。
【０００６】
本発明は、上記のような問題を解決するためになされたものであって、奥行き方向に変化がある画像に対しても、画像において生じたブレを補正することができるブレ補正方法、ブレ補正装置及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、ブレ補正装置が行うブレ補正方法であって、画像を取得する画像取得ステップと、前記画像を撮影した際の露出時間中のカメラの姿勢パラメータ及び前記画像において奥行きが一定である仮定したときの奥行き値を前記画像に基づいて推定し、推定結果に基づいて前記画像のブレを補正する画像補正ステップと、前記画像をタイル形状の小画像に分割する画像分割ステップと、前記画像補正ステップにおいて推定した奥行き値及びブレを補正した画像を初期値として前記小画像ごとに奥行き値を推定する奥行推定ステップと、前記小画像ごとに推定した奥行き値に基づいてブレ補正カーネルを算出する第１のブレ補正カーネル算出ステップと、前記小画像ごとに算出されたブレ補正カーネルを用いて前記小画像それぞれに対してブレ補正を行う第１のブレ補正ステップと、ブレ補正が施された小画像を統合して前記画像と同じサイズの出力画像を生成する第１の画像統合ステップと、を有することを特徴とするブレ補正方法である。
【０００８】
また、本発明の一態様は、上記のブレ補正方法において、前記奥行推定ステップは、複数の前記小画像からいずれか一つを選択する小画像選択ステップと、選択された前記小画像の奥行き値を変化させて前記小画像それぞれの奥行き値を含む仮説候補を設定する仮説候補設定ステップと、前記仮説候補に基づいて前記小画像それぞれに対するブレ補正カーネルを算出する第２のブレ補正カーネル算出ステップと、前記第２のブレ補正カーネル算出ステップにおいて算出されたブレ補正カーネルを用いて前記小画像のブレを補正する第２のブレ補正ステップと、前記第２のブレ補正ステップにおいてブレ補正が施された小画像を統合して前記画像と同じサイズの統合画像を生成する第２の画像統合ステップと、前記統合画像の精鋭度を評価する画像評価ステップと、評価結果に基づいて前記仮説候補を採用するか否かを判定する仮説判定ステップと、採用した仮説候補の数が所定の数に達すると、採用した仮説候補に基づいて前記小画像ごとの奥行き値を算出する奥行決定ステップと、を有することを特徴とする。
【０００９】
また、本発明の一態様は、画像を取得する画像取得部と、前記画像を撮影した際の露出時間中のカメラの姿勢パラメータ及び前記画像において奥行きが一定である仮定したときの奥行き値を前記画像に基づいて推定し、推定結果に基づいて前記画像のブレを補正する画像補正部と、前記画像をタイル形状の小画像に分割する画像分割部と、前記画像補正部が推定した奥行き値及びブレを補正した画像を初期値として前記小画像ごとに奥行き値を推定する奥行推定部と、前記小画像ごとに推定した奥行き値に基づいてブレ補正カーネルを算出する第１のブレ補正カーネル算出部と、前記小画像ごとに算出されたブレ補正カーネルを用いて前記小画像それぞれに対してブレ補正を行う第１のブレ補正部と、ブレ補正が施された小画像を統合して前記画像と同じサイズの出力画像を生成する第１の画像統合部と、を備えることを特徴とするブレ補正装置である。
【００１０】
また、本発明の一態様は、上記のブレ補正方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、画像から推定されたカメラの姿勢に基づいて補正された画像と奥行きが一定であるとの仮定の下で推定された奥行き値とを初期値として、画像を分割した小画像ごとに奥行き値を推定することにより、奥行きに変化がある画像に対しても画像において生じたブレを補正することができる。また、画像上の小画像ごとに奥行き値を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る実施形態におけるブレ補正装置１の構成例を示すブロック図である。
【図２】同実施形態における画像分割部１３による画像分割の一例を示す図である。
【図３】同実施形態におけるブレ補正装置１が行うブレ補正処理を示すフローチャートである。
【図４】奥行推定部１４が奥行き値を推定するステップＳ３０４の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明に係る実施形態におけるレ補正方法、ブレ補正装置及びプログラムを説明する。図１は、本発明に係る実施形態におけるブレ補正装置１の構成例を示すブロック図である。図１に示すように、ブレ補正装置１は、画像取得部１１、画像補正部１２、画像分割部１３、奥行推定部１４、ブレ補正カーネル算出部１５、ブレ補正部１６、画像統合部１７、及び、仮説記憶部２１を備えている。
【００１４】
画像取得部１１は、撮影などにより得られた画像データを取得する。画像取得部１１は、例えば、デジタルカメラやビデオカメラ等における画像センサー（撮像素子）であってもよいし、デジタルカメラなどの外部の装置により得られた画像を入力するインタフェースであってもよい。
【００１５】
画像補正部１２は、画像取得部１１が取得した画像から、当該画像を撮影する際の露出時間中のカメラの姿勢パラメータを推定する。画像補正部１２は、推定した姿勢パラメータに基づいて、画像に対してブレ補正を行う。画像補正部１２が推定するカメラの姿勢パラメータには、画像における被写体までの単一の奥行き値が含まれる。
【００１６】
画像分割部１３は、画像取得部１１が取得した画像を、予め定められたサイズのタイル形状の小画像に分割する。このとき、画像分割部１３は、隣り合うタイル形状の小画像がオーバーラップするように画像を分割する。図２は、本実施形態における画像分割部１３による画像分割の一例を示す図である。図２に示すように、画像を一定サイズのタイル形状の領域に分割し、複数のタイル形状の領域を含む小画像に分ける。このとき、隣り合う小画像は、タイル形状の領域を重複して含むように定められる。例えば、図２に示す例では、画像における小画像Ａと小画像Ｂとは、領域ａと領域ｂとを重複して含むように定められている。
【００１７】
奥行推定部１４は、画像補正部１２が推定した姿勢パラメータと、画像分割部１３によって得られた複数の小画像とを用いて、小画像それぞれにおける奥行き値を推定する。奥行推定部１４は、推定した各小画像における奥行き値をブレ補正カーネル算出部１５に出力する。奥行推定部１４は、姿勢パラメータに含まれる奥行き値に基づいて、奥行きに関する複数の仮説候補を設定し、設定した各仮説候補に基づいて画像に対するブレ補正を行う。奥行推定部１４は、各仮説候補に対応するブレ補正を施した画像の評価値を算出し、算出した評価値に基づいて仮説候補を採用するか否かを判定する。奥行推定部１４は、採用すると判定した仮説候補を仮説記憶部２１に記憶させる。奥行推定部１４は、採用した仮説候補に基づいて、画像における奥行きを小画像ごとに推定する。奥行推定部１４が処理する仮説候補及び仮説は、小画像それぞれにおける奥行き値を含む情報である。
【００１８】
ブレ補正カーネル算出部１５は、奥行き推定部１４が推定した各小画像における奥行き値から、小画像それぞれに対するブレ補正カーネルを算出する。
ブレ補正部１６は、ブレ補正カーネル算出部１５が算出した各小画像のブレ補正カーネルを用いて、小画像それぞれにおいてブレ補正を行う。
画像統合部１７は、ブレ補正部１６によってブレ補正が施された各小画像を統合して鮮明な画像を生成する。画像統合部１７は、生成した画像を出力画像として外部に出力する。
【００１９】
図３は、本実施形態におけるブレ補正装置１が行うブレ補正処理を示すフローチャートである。ブレ補正装置１においてブレ補正処理が開始されると、画像取得部１１がカメラなどにより撮影された画像データＩｍを取得する（ステップＳ３０１）。
【００２０】
画像補正部１２は、画像取得部１１が取得した画像から、画像における奥行きが一定であるとの仮定（又は条件）の下で、当該画像を撮影したときの露出時間中のカメラの姿勢パラメータを推定する。画像補正部１２は、推定した姿勢パラメータに基づいて、画像に生じているブレを補正した補正画像を生成する（ステップＳ３０２）。なお、画像補正部１２によるカメラの姿勢パラメータの推定と、当該姿勢パラメータに基づいた画像のブレ補正とは、公知の技術を用いて行う。公知の技術としては、例えば非特許文献１に記載の技術を用いることができる。
【００２１】
画像分割部１３は、画像取得部１１が取得した画像データＩｍが示す画像を複数の小画像に分割する（ステップＳ３０３）。このとき、画像分割部１３は、図２に示したように、隣接する小画像同士がオーバーラップされ手は位置されるように分割する。分割数（小画像の数）やオーバーラップの度合いなどは予め定めておく。各小画像に対して周波数領域での演算を行うため、画像分割部１３は小画像に窓関数をかけておく。例えば、オーバーラップの度合いを小画像の面積に対して５０％とし、窓関数にバートレット・ハン（Bartlett-Han）窓関数を利用すると重畳演算で元画像に統合できる。
【００２２】
奥行推定部１４は、画像補正部１２が推定した姿勢パラメータと、画像分割部１３によって得られた複数の小画像とに基づいて、画像における奥行き値を小画像ごとに推定する（ステップＳ３０４）。
【００２３】
図４は、奥行推定部１４が奥行き値を推定するステップＳ３０４の処理を示すフローチャートである。奥行推定部１４は、仮説候補の設定及び仮説候補に基づいたブレ補正画像の評価を少なくとも（Ｂ＋Ｎ）回繰り返すことにより、奥行き値を推定する。繰り返し行う処理における奥行き値の初期値は、画像補正部１２において推定された姿勢パラメータに含まれる奥行き値（デプス；depth）である。姿勢パラメータに含まれる奥行き値は、すべての小画像における奥行き値の初期値として用いる。
【００２４】
奥行推定部１４は、奥行き値の推定を開始すると、すべての小画像からいずれか一つの小画像をランダムに選択する（ステップＳ４０１）。
【００２５】
奥行推定部１４は、選択した小画像における奥行き値ｄを変化させ、選択した小画像における変化させた奥行き値と他の各小画像における奥行き値とを含む奥行き値の集合を仮説候補に設定する（ステップＳ４０２）。
【００２６】
ステップＳ４０２における奥行き値ｄの変化は、以下のようにランダムノイズを加えることにより行われる。
ｄ←ｄ＋αω
なお、αは事前に定める固定値であり、ωは［−１．０：１．０］の値域の白色ノイズである。
【００２７】
奥行推定部１４は、画像を撮影したカメラの内部行列と、設定した仮説候補（小画像それぞれの奥行き値）とに基づいて、小画像ごとにブレ補正カーネルを算出する（ステップＳ４０３）。なお、奥行推定部１４が用いるカメラの内部行列には、画像を撮影する際に利用するカメラで既知のパターンを撮影するなどして、カメラ校正を事前に行い、予め取得された内部パラメータを示す内部行列が用いられる。また、仮説候補に基づいたブレ補正カーネルａの算出は、公知の技術を用いて行われる。公知の技術としては、例えば次の参考文献１に記載の技術を用いることができる。
［参考文献１］Neel Joshi, Sing Bing Kang, C.Lawrence Zitnick, and Richard Szeliski, "Image Deblurring using Inertial Measurement Sensors", ACM Transactions on Graphics, Volume 29, Issue. 4, July 2010, Article No.30
【００２８】
奥行推定部１４は、小画像ごとに算出したブレ補正カーネルａを利用して、各小画像の補正を行う（ステップＳ４０４）。小画像のデータをｇとした場合、次式（１）により周波数空間での演算によってブレ補正後の小画像ｆを算出することができる。
【００２９】
【数１】
2015109548.tif 000003
【００３０】
式（１）において、Ｆ（・）はフーリエ変換による周波数空間への変換を行う関数を示す。Ｆ−１（・）は逆変換、すなわち逆フーリエ変換による時間空間への変換を行う関数を示す。また、○は、対応ベクトル要素同士の積演算を示すオペレーション記号である。また、Ｆ（・）＊はＦ（・）の複素共役を表す。
【００３１】
奥行推定部１４は、式（１）による補正で得られた各小画像ｆを用いて、補正後の一枚の画像を生成する（ステップＳ４０５）。奥行推定部１４が各小画像ｆから生成する画像は、画像取得部１１が取得した画像と同じサイズの画像である。各小画像ｆからの画像の生成は、例えば、画像を小画像に分割する際にオーバーラップの度合いを５０％とし、窓関数にバートレット・ハン窓関数を利用した場合には単純な重畳演算で行うことができる。すなわち、元の画像における小画像ｇの領域に、補正で得られた小画像ｆを足し込む処理となる。
【００３２】
奥行推定部１４は、小画像ｆから生成した画像を評価する（ステップＳ４０６）。小画像から生成した画像、すなわち補正後の画像の評価は、例えば参考文献２に記載されている画像に対する精鋭度（Sharpness metric）の評価指標を利用して画像の評価を行うことができる。参考文献２に記載されている評価指標以外にも、画像におけるブレの度合いに反比例した評価値や、画像における被写体などのエッジの尖鋭度を算出できれば、任意の評価関数を用いることができる。
［参考文献２］Rony Ferzli and Lina J. Karam, "A No-Reference Objective Image Sharpness Metric Based on the Notion of Just Noticeable Blur (JNB)", IEEE Transaction on Image Processing, Vol.18, No.4, April 2009, p.717-727
【００３３】
奥行推定部１４は、仮説候補を仮説として採用するか棄却するかを判定する（ステップＳ４０７）。この判定は、現在処理中の仮説候補に対応する画像の評価結果を示すスコアと、最後に採用された仮説に対応する画像のスコアとを利用して行う。仮説に採用された仮説候補がまだない場合（初回の処理など）には、ステップＳ３０２において画像補正部１２が生成した補正画像のスコアを、最後に採用された仮説に対応する画像のスコア（初期値）として利用する。また、仮説候補を仮説として採用するか棄却するかの判定は、次式（２）で表される確率Ｐで決定する。
【００３４】
【数２】
2015109548.tif 000004
【００３５】
式（２）において、Ｓｌは最後に採用された仮説に対応するスコアであり、Ｓｐは現在処理中の仮説候補に対応するスコアである。式（２）から明らかなように、仮説候補のスコアＳｐがスコアＳｌ以上である場合には、仮説候補は仮説に採用され、スコアＳｐがスコアＳｌ未満である場合にも、Ｓｐ／Ｓｌの確率で仮説候補は仮説に採用される。
【００３６】
奥行推定部１４は、仮説候補を仮説に採用した場合は仮説候補を今回の仮説とし、仮説候補を棄却した場合は最後に採用した仮説候補（仮説）を今回の仮説とする。奥行推定部１４は、今回仮説に採用した仮説候補がＢ個目以降の仮説であるか否かを判定し（ステップＳ４０８）、Ｂ個目以降の仮説である場合（ステップＳ４０８：ＹＥＳ）、当該仮説を仮説記憶部２１に記憶させる（ステップＳ４０９）。
一方、Ｂ個目以降の仮説でない場合（ステップＳ４０８：ＮＯ）、奥行推定部１４は処理をステップＳ４１０に進める。
【００３７】
奥行推定部１４は、仮説記憶部２１に記憶されている仮説の数がＮ個に達したか否かを判定する（ステップＳ４１０）。
仮説の数がＮ個に達していない場合（ステップＳ４１０：ＮＯ）、奥行推定部１４は、処理をステップＳ４０１に戻して新たな仮説候補を設定する。
【００３８】
一方、仮説の数がＮ個に達している場合（ステップＳ４１０：ＹＥＳ）、奥行推定部１４は、仮説記憶部２１に記憶されているＮ個の仮説を用いて奥行き値の推定を行う（ステップＳ４１１）。
以上の各処理により、ステップＳ３０４における奥行き値の推定が実施される。
【００３９】
奥行き値の推定では、採用した（Ｂ＋Ｎ）個の仮説のうち、最初のＢ個の仮説は不安定なものであるとみなし、最後に採用されたＮ個の仮説を同様に確からしいとみなす。小画像それぞれにおける奥行き値を推定する際には、最後に採用されたＮ個の仮説を用いる。具体的には、奥行推定部１４は、仮説記憶部２１に記憶されている仮説であって最後に採用されたＮ個の仮説に含まれる小画像それぞれの奥行き値ｄの平均値を算出する。奥行推定部１４は、小画像ごとに算出した平均値を、当該小画像における奥行き値の推定値とする。奥行推定部１４は、各小画像の奥行き値の推定値を、画像における奥行き値としてブレ補正カーネル算出部１５に出力する。
【００４０】
奥行推定部１４が以上の処理を行うことにより、画像において奥行きを考慮したブレ補正を可能とし、様々な奥行きが含まれる一般的なシーンの画像においても、より精度の高いブレ補正を行うことが可能となる。なお、処理におけるパラメータＢ及びＮの値には、画像を分割する際の小画像の数、小画像の大きさ、ブレ補正装置１における演算能力、要求されるブレ補正の精度などに基づいて予め定められた値が用いられる。
【００４１】
図３に戻りブレ補正処理の説明を続ける。
奥行推定部１４が小画像ごとの奥行き値を推定すると、ブレ補正カーネル算出部１５は、奥行推定部１４が推定した奥行き値を用いて、各小画像に対するブレ補正カーネルを算出する（ステップＳ３０５）。なお、ブレ補正カーネル算出部１５によるブレ補正カーネルの算出は、ステップＳ４０３における奥行推定部１４が行う処理と同様である。
【００４２】
ブレ補正部１６は、ブレ補正カーネル算出部１５により算出されたブレ補正カーネルを用いて、各小画像におけるブレ補正を行う（ステップＳ３０６）。ブレ補正部１６による各小画像におけるブレ補正は、ステップＳ４０４における奥行推定部１４が行う処理と同様である。
【００４３】
画像統合部１７は、ブレ補正部１６によりブレ補正が行われた各小画像を統合して出力画像を生成し、生成した出力画像を外部に出力し（ステップＳ３０７）、ブレ補正処理を終了させる。画像統合部１７による各小画像の統合は、ステップＳ４０５における奥行推定部１４が行う処理と同様である。
【００４４】
本実施形態のブレ補正装置１は、上述したブレ補正処理において、奥行きが一定であるという条件で画像から推定した姿勢パラメータに含まれる奥行き値を各小画像における奥行き値ｄの初期値として、小画像における奥行き値ｄをランダムに変更して得られる仮説候補を複数設定し、仮説候補に基づいてブレ補正した画像に対する評価を用いて仮説に採用するか否かを判定する。ブレ補正装置１は、（Ｂ＋Ｎ）個の仮説を採用し、採用した各仮説の小画像における奥行き値の平均値を当該小画像における奥行き値の推定値とする。このようにして推定された各小画像における奥行き値に基づいて画像のブレ補正を行うことにより、奥行き方向に変化がある画像に対しても、画像において生じたブレを補正することができる。
【００４５】
また、本実施形態のブレ補正装置１によれば、撮影の露出時間中にカメラが動いたためにブレが生じた画像であって奥行き方向に変化がある画像に対しても、画像において生じたブレを補正した鮮明な画像を算出することができる。また、ブレの補正を行うとともに、画像における各領域の奥行きを取得することもできる。
【００４６】
なお、上述のブレ補正処理では、（Ｂ＋Ｎ）個の仮説を採用するまで繰り返し処理を行う構成を説明したが、（Ｂ＋Ｎ）回の繰り返しを行うようにして、最後のＮ回の繰り返しにおいて採用された仮説における各小画像の奥行き値の平均値を推定値として用いるようにしてもよい。
【００４７】
上述した実施形態におけるブレ補正装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００４８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４９】
１…ブレ補正装置
１１…画像取得部
１２…画像補正部
１３…画像分割部
１４…奥行推定部
１５…ブレ補正カーネル算出部
１６…ブレ補正部
１７…画像統合部
２１…仮説記憶部
【図１】
2015109548.tif 000005
【図２】
2015109548.tif 000006
【図３】
2015109548.tif 000007
【図４】
2015109548.tif 000008