(57)【要約】  複数の画像を用いることなく、複数のブレを含む入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する。  入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する画像補正装置（１００）であって、入力画像を構成する画素の画素値に応じて、入力画像を複数の適応的領域に分割する適応的領域分割部（１１０）と、分割された複数の適応的領域ごとに算出される、画像のブレの特徴を示すＰＳＦを用いて、複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素のＰＳＦを補間するＰＳＦ補間部（１２０）と、補間後のＰＳＦを用いて入力画像を補正することにより、目的画像を生成する画像補正部（１３０）とを備える。
2010098054.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える
画像補正装置。
【請求項２】
前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する
請求項１に記載の画像補正装置。
【請求項３】
前記適応的領域分割部は、
前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、
前記初期領域を保持領域として保持する領域保持部と、
前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、
前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、
前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、
前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、
前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出する
請求項２に記載の画像補正装置。
【請求項４】
前記第１点広がり関数算出部は、
前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、
前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
請求項３に記載の画像補正装置。
【請求項５】
前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する
請求項１に記載の画像補正装置。
【請求項６】
前記適応的領域分割部は、
前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、
前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
請求項５に記載の画像補正装置。
【請求項７】
前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数を用いて当該少なくとも２つの点広がり関数を互いに対応付けることにより得られる対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項１に記載の画像補正装置。
【請求項８】
前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項７に記載の画像補正装置。
【請求項９】
前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項１に記載の画像補正装置。
【請求項１０】
前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項９に記載の画像補正装置。
【請求項１１】
入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正方法であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割ステップと、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間ステップと、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正ステップとを含む
画像補正方法。
【請求項１２】
入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する集積回路であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える
集積回路。
【請求項１３】
請求項１１に記載の画像補正方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、セキュリティカメラ等を用いて撮影された画像を補正する画像補正装置に関し、特に画像のブレを補正する画像補正装置に関する。
【背景技術】
【０００２】
ユーザがカメラを用いて被写体を撮影した場合、撮影した画像にブレが生じるときがある。この画像に生じるブレは、大きく分けて、手ブレ（ｈａｎｄ  ｓｈａｋｅ  ｂｌｕｒ）及び被写体ブレ（ｍｏｔｉｏｎ  ｂｌｕｒ）の２種類に分類される。手ブレとは、シャッタを押すときなどにカメラが動いてしまうことに起因して生じる画像のブレである。また、被写体ブレとは、被写体が撮影中に動くことに起因して生じる画像のブレである。【０００３】
このような手ブレ及び被写体ブレの特徴を示す関数として点広がり関数（以下、「ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）」という。）がある。ＰＳＦとは、点像がブレあるいはピンぼけによりぼけたときの強度分布を表す関数である。図１４Ａ及び図１４Ｂは、ＰＳＦを説明するための図である。例えば、図１４Ａに示すように、ぼけのない画像１００１からピンぼけ画像１００２への劣化を表すＰＳＦは、画像１００３により表現される。また、図１４Ｂに示すように、ブレのない画像１００４からｘ方向へブレた画像１００５への劣化を表すＰＳＦは、画像１００６により表現される。【０００４】
ところで、近年、手ブレを補正する技術（例えば、電子式手ブレ補正、光学式手ブレ補正など）が実用化されている。具体的には、光学式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて撮影時の手の動きを推定する。そして、推定した動きに応じてレンズ機構又は受光部センサを制御することにより、手ブレの補正を実現する。また、電子式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて、ＰＳＦを算出する。そして、算出したＰＳＦを用いて画像を補正することにより、手ブレの補正を実現している。手ブレの場合、ＰＳＦは、撮影時の手の動きに対応するため、画像全体でほぼ同一となる。【０００５】
一方、被写体ブレの場合、ＰＳＦは、被写体の動きに対応するため、画像の領域ごとに異なることが多い。したがって、手ブレの補正と同じ方法により被写体ブレを補正することは難しい。【０００６】
そこで、被写体ブレを補正する技術として、高速シャッタを用いて撮影された低解像度の画像列と、低速シャッタを用いて撮影された高解像度の画像とを用いる方法が提案されている（例えば、非特許文献１参照）。非特許文献１に記載の方法では、ブレの少ない低解像度高速シャッタの画像列に含まれる複数の画像間において画素を対応付けることにより、被写体像の動きを推定する。そして、推定した被写体像の動きを用いて、ブレの大きい低速シャッタの画像を補正することにより、被写体ブレが補正された高解像度の画像を得る。【０００７】
また、被写体ブレを補正する別の技術として、連続的に撮影された複数の画像を用いて補正する方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、非特許文献１の方法と同様に、連続的に撮影された複数の画像に基づいて被写体の動き（軌跡）を求めることにより、対象画像のすべての画素位置における劣化特性を示す１つの劣化関数（例えば、ＰＳＦ）を求める。そして、このように算出した劣化関数を用いて、対象画像からブレのない画像を生成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−１９７３５５号公報
【非特許文献】
【０００９】
【非特許文献１】Ｉｍａｇｅ／Ｖｉｄｅｏ  Ｄｅｂｌｕｒｒｉｎｇ  ｕｓｉｎｇ  ａ  Ｈｙｂｒｉｄ  Ｃａｍｅｒａ  （Ｙｕ−Ｗｉｎｇ  Ｔａｉ、Ｈａｏ  Ｄｕ、Ｍ．Ｓ．Ｂｒｏｗｎ、Ｓ．Ｌｉｎ  ＣＶＰＲ２００８）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、非特許文献１に記載の方法は、高速シャッタを利用できない環境の場合、被写体ブレを補正できないという課題がある。例えば、低照度環境において、高速シャッタにより画像が撮影された場合、光量が不足するので暗い画像しか得られない。このような暗い画像を用いる場合、画像間における画素の対応付けの精度が低下する。また、低照度環境における光量不足を解消するために感度を上げた場合、暗電流ノイズ及び熱ノイズなどの撮像デバイスに起因するノイズ信号が増幅されるため、画像間における画素の対応付けの精度が低下する。このように非特許文献１に記載の方法では、被写体ブレが発生する機会の多い低照度環境において、画像間における画素の対応付けの精度が低下するため、被写体ブレを高精度に補正することができない。【００１１】
また、特許文献１に記載の方法では、非特許文献１に記載の方法と同様に、連続的に撮影された複数の画像が必要となるため、低照度環境において、被写体ブレを高精度に補正することができない。また、特許文献１には、対象画像のすべての画素位置における劣化関数を、対象画像の複数の領域に基づいて算出される劣化関数に基づいて算出する旨の記載があるが、具体的方法については記載されていない。【００１２】
そこで、本発明は、上記課題を鑑みてなされたものであり、複数のブレを含む入力画像を、入力画像よりもブレの少ない目的画像へ高精度に補正することができる画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る画像補正装置は、入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える。【００１４】
この構成により、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の領域に適応的に分割することができる。その結果、ブレが共通する領域ごとに点広がり関数を用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、領域ごとに算出される点広がり関数を用いて代表画素間に位置する画素の点広がり関数を補間することができるので、分割された領域の境界において点広がり関数が不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。【００１５】
また、前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。【００１６】
この構成により、ブレの共通性を点広がり関数の類似性に基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。【００１７】
また、前記適応的領域分割部は、前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、前記初期領域を保持領域として保持する領域保持部と、前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出することが好ましい。【００１８】
この構成により、点広がり関数が類似する領域が１つの領域となるような適応的領域に入力画像を適応的に分割することができるので、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した適応的領域に分割することが可能となる。すなわち、被写体像ごとのブレ方向に合致した点広がり関数を用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。【００１９】
また、前記第１点広がり関数算出部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。【００２０】
この構成により、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。【００２１】
前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。【００２２】
この構成により、ブレの共通性を単一のブレ方向であるか否かに基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。【００２３】
また、前記適応的領域分割部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。【００２４】
この構成により、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。【００２５】
また、前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数の対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。【００２６】
この構成により、点広がり関数が直線で表現される場合、容易に点広がり関数を補間することが可能となる。【００２７】
また、前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。【００２８】
この構成により、点広がり関数が直線で表現されない場合であっても、点広がり関数を補間することが可能となる。【００２９】
また、前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。【００３０】
この構成により、点広がり関数が互いに類似しない適応的領域に対しては、点広がり関数が補間されないので、互いに異なる動きをしている被写体像の境界に対して点広がり関数を補間する可能性を低減させることが可能となる。すなわち、実際の被写体の動きとは異なる動きに対応する点広がり関数を補間する可能性を低減させることが可能となる。【００３１】
なお、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部を備える集積回路として実現することもできる。【００３２】
また、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部の動作をステップとする画像補正方法として実現することもできる。さらに、本発明は、画像補正方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体又はインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３３】
以上の説明から明らかなように、本発明に係る画像補正装置は、ブレが共通する領域が１つの適応的領域となるように、複数のブレを含む入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置は、ブレが共通する領域ごとに入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。
【図面の簡単な説明】
【００３４】
【図１】図１は、本発明の実施の形態１及び２に係る画像補正装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係るプログラム格納部の機能構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１及び２に係る画像補正装置の全体的な処理の流れを示すフローチャートである。
【図４】図４は、本発明の実施の形態１に係る適応的領域分割部による処理の流れを示すフローチャートである。
【図５】図５は、本発明の実施の形態１に係る適応的領域分割部による領域分割の処理の流れを説明するための図である。
【図６】図６は、本発明の実施の形態１及び２に係るＰＳＦ補間部による処理の流れを示すフローチャートである。
【図７】図７は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。
【図８】図８は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。
【図９】図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを示すフローチャートである。
【図１０】図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを説明するための図である。
【図１１】図１１は、本発明の実施の形態２に係るプログラム格納部の機能構成を示すブロック図である。
【図１２】図１２は、本発明の実施の形態２に係る適応的領域分割部の処理の流れを示すフローチャートである。
【図１３】図１３は、本発明に係るシステムＬＳＩの機能構成を示すブロック図である。
【図１４Ａ】図１４Ａは、ＰＳＦを説明するための図である。
【図１４Ｂ】図１４Ｂは、ＰＳＦを説明するための図である。
【発明を実施するための形態】
【００３５】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像補正装置１００の機能構成を示すブロック図である。
【００３７】
図１に示すように、画像補正装置１００は、演算制御部１０１、メモリ部１０２、表示部１０３、入力部１０４、通信Ｉ／Ｆ（インタフェース）部１０５、データ記憶部１０６、及びプログラム格納部１０７を備える。これらの各構成部１０１〜１０７は、バス１０８を介して接続されている。
【００３８】
演算制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、数値プロセッサ等であり、ユーザからの指示等に従ってプログラム格納部１０７からメモリ部１０２に必要なプログラムをロードして実行し、その実行結果に従って、各構成部１０２〜１０７を制御する。
【００３９】
メモリ部１０２は、演算制御部１０１による作業領域を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等である。
【００４０】
表示部１０３は、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等である。また、入力部１０４はキーボード、マウス等である。そして、これらの表示部１０３及び入力部１０４は、演算制御部１０１による制御の下で、画像補正装置１００とユーザとが対話する等のために用いられる。
【００４１】
通信Ｉ／Ｆ部１０５は、ＬＡＮアダプタ等であり、画像補正装置１００とカメラ４００等との通信に用いられる。
【００４２】
データ記憶部１０６は、カメラ４００等により取得された入力画像、及び入力画像を補正することにより得られる目的画像などを格納するハードディスク、フラッシュメモリ等である。
【００４３】
プログラム格納部１０７は、画像補正装置１００の機能を実現する各種プログラムを格納しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等である。
【００４４】
図２は、本発明の実施の形態１に係るプログラム格納部１０７の機能構成を示すブロック図である。図２に示すように、プログラム格納部１０７は、機能的に（演算制御部１０１によって実行された場合に機能する処理部として）、適応的領域分割部１１０、ＰＳＦ補間部１２０及び画像補正部１３０を有する。
【００４５】
適応的領域分割部１１０は、入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、入力画像を複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、分割した適応的領域ごとに、ＰＳＦを算出する。具体的には、適応的領域分割部１１０は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
【００４６】
図２に示すように、適応的領域分割部１１０は、第１ＰＳＦ算出部１１１と、領域保持部１１２と、第２ＰＳＦ算出部１１３と、類似度判定部１１４と、適応的領域決定部１１５とを備える。
【００４７】
第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域のＰＳＦを第１ＰＳＦとして算出する。具体的には、第１ＰＳＦ算出部１１１は、候補領域選択部１１１ａと、ブレ方向判定部１１１ｂと、初期領域決定部１１１ｃとを備える。そして、第１ＰＳＦ算出部１１１は、初期領域決定部１１１ｃにより決定された初期領域のＰＳＦを第１ＰＳＦとして算出する。
【００４８】
候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する。また、候補領域選択部１１１ａは、ブレ方向判定部１１１ｂにより単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
【００４９】
ブレ方向判定部１１１ｂは、候補領域選択部１１１ａにより選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
【００５０】
初期領域決定部１１１ｃは、ブレ方向判定部１１１ｂにより単一のブレ方向であると判定された場合、候補領域を初期領域として決定する。
【００５１】
領域保持部１１２は、初期領域を保持領域として保持する。また、領域保持部１１２は、後述する類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を保持領域として保持する。
【００５２】
第２ＰＳＦ算出部１１３は、初期領域を含む領域であって初期領域よりも大きな領域である評価領域のＰＳＦを第２ＰＳＦとして算出する。また、第２ＰＳＦ算出部１１３は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を含む領域であって評価領域より大きな領域である新たな評価領域のＰＳＦを第２ＰＳＦとして算出する。
【００５３】
類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似するか否かを判定する。
【００５４】
適応的領域決定部１１５は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似しないと判定された場合、領域保持部１１２に最後に保持された保持領域を適応的領域として決定する。つまり、適応的領域決定部１１５は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
【００５５】
ＰＳＦ補間部１２０は、算出されたＰＳＦを用いて、代表画素間に位置する画素のＰＳＦを補間する。ここで代表画素とは、複数の領域のそれぞれを代表する画素である。例えば、代表画素は、各領域の中心、重心などの画素である。
【００５６】
具体的には、ＰＳＦ補間部１２０は、例えば、適応的領域ごとに算出されたＰＳＦを動的計画法（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）によるマッチング手法（以下、「ＤＰマッチング」という。）を用いて互いに対応付ける。そして、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該ＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
【００５７】
なお、ＰＳＦ補間部１２０は、例えば、算出されたＰＳＦのうち少なくとも２つのＰＳＦが直線で表現される場合、当該少なくとも２つのＰＳＦを、分割して対応付けてもよい。具体的には、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該少なくとも２つのＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間してもよい。
【００５８】
また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似するか否かを判定し、互いに類似すると判定されたＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
【００５９】
画像補正部１３０は、ＰＳＦ用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する。
【００６０】
次に、以上のように構成された画像補正装置１００における各種動作について説明する。
【００６１】
図３は、本発明の実施の形態１に係る画像補正装置１００の全体的な処理の流れを示すフローチャートである。
【００６２】
まず、適応的領域分割部１１０は、データ記憶部１０６に格納された入力画像を構成する画素の画素値に応じて、入力画像を適応的な大きさの複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、適応的領域ごとにＰＳＦを算出する（Ｓ１０１）。続いて、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、各適応的領域の代表画素間に位置する画素のＰＳＦを補間する（Ｓ１０２）。
【００６３】
最後に、画像補正部１３０は、補間後の画素ごとのＰＳＦを用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する（Ｓ１０３）。例えば、画像補正部１３０は、下式（１）に示すリチャードソン・ルーシー法を用いて、ステップＳ１０１及びステップＳ１０２の処理に基づき得られる画素ごとのＰＳＦを用いて、入力画像を補正する。
【００６４】
【数１】
2010098054.tif 000003
【００６５】
ここで、Ｉは補正後の画像（目的画像）を示す。また、ＫはＰＳＦを示す。また、Ｂは入力画像を示す。
【００６６】
なお、本実施の形態では、画像補正部１３０は、リチャードソン・ルーシー法を用いて入力画像を補正するが、フーリエ・ログ法、マキシマム・エントロピー法などの他の方法を用いて入力画像を補正してもよい。
【００６７】
次に、適応的領域分割部１１０による領域分割の詳細について説明する。
【００６８】
図４は、本発明の実施の形態１に係る適応的領域分割部１１０による処理（Ｓ１０１）の流れを示すフローチャートである。
【００６９】
まず、第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域を決定する（Ｓ２０１）。初期領域を決定する処理の詳細については後述する。
【００７０】
続いて、第１ＰＳＦ算出部１１１は、決定した初期領域のＰＳＦを第１ＰＳＦとして算出する（Ｓ２０２）。具体的には、第１ＰＳＦ算出部１１１は、１枚の画像からＰＳＦを算出する方法（例えば、非特許文献２「Ｒｅｍｏｖｉｎｇ  Ｃａｍｅｒａ  Ｓｈａｋｅ  ｆｒｏｍ  ａ  ｓｉｎｇｌｅ  ｉｍａｇｅ（Ｒｏｂ  Ｆｅｒｇｕｓ  ｅｔ．ａｌ、ＳＩＧＧＲＡＰＨ２００６）」参照）を用いて、ＰＳＦを算出する。
【００７１】
非特許文献２に記載の方法を用いる場合、データ記憶部１０６には、ブレのない一般的な自然画像に表れる画像勾配の分布が予め格納される。そして、第１ＰＳＦ算出部１１１は、所与のＰＳＦを用いて初期領域を補正したときに得られる画像勾配の分布と、データ記憶部１０６に格納された画像勾配の分布との比較を繰り返すことにより、これらの画像勾配の分布が一致又は類似するようなＰＳＦを探索する。そして、第１ＰＳＦ算出部１１１は、このように探索した結果得られるＰＳＦを第１ＰＳＦとして算出する。
【００７２】
次に、領域保持部１１２は、第１ＰＳＦ算出部１１１により決定された初期領域を保持領域として保持する（Ｓ２０３）。
【００７３】
続いて、第２ＰＳＦ算出部１１３は、評価領域を選択する（Ｓ２０４）。この評価領域は、初期領域を含む領域であり、かつ、初期領域よりも大きな領域である。例えば、初期領域が矩形の領域である場合、第２ＰＳＦ算出部１１３は、初期領域よりもｘ方向に１画素、ｙ方向に１画素大きい領域を評価領域として選択する。そして、第２ＰＳＦ算出部１１３は、選択した評価領域のＰＳＦを第２ＰＳＦとして算出する（Ｓ２０５）。
【００７４】
なお、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の両方とも初期領域より大きい領域を評価領域として決定する必要はない。例えば、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の一方のみについて、初期領域より広げた領域を評価領域として決定してもよい。さらに、第２ＰＳＦ算出部１１３は、例えば、初期領域の外縁の一部についてのみ、ｘ方向又はｙ方向に広げた領域を、評価領域として決定してもよい。これらにより、第２ＰＳＦ算出部１１３は、柔軟に評価領域を選択することができるので、同じ動きをする被写体の像を一つの領域として選択する可能性を高めることができる。
【００７５】
次に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似しているか否かを判定する（Ｓ２０６）。具体的には、類似度判定部１１４は、第１ＰＳＦ及び第２ＰＳＦを画像として表現したときの画像間距離を、ＰＳＦの類似度合いを示す類似度として算出する。例えば、類似度判定部１１４は、下式（２）により算出されるＬ１ノルムを類似度として算出する。なお、Ｌ１ノルムは、値が小さいほど類似度合いが高いことを示す。
【００７６】
【数２】
2010098054.tif 000004
【００７７】
ここで、Ｐ１ｉｊは、第１ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。また、Ｐ２ｉｊは、第２ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。
【００７８】
類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値より小さい場合、第１ＰＳＦと第２ＰＳＦとが類似していると判定する。逆に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値以上の場合、第１ＰＳＦと第２ＰＳＦとが類似していないと判定する。
【００７９】
なお、本実施の形態において、類似度判定部１１４は、Ｌ１ノルムを類似度として算出しているが、他の画像間の類似度判定方法を用いて類似度を算出してもよい。例えば、類似度判定部１１４は、Ｌ２ノルムを類似度として算出してもよい。
【００８０】
ここで、第１ＰＳＦと第２ＰＳＦとが類似していると判定された場合（Ｓ２０６のＹｅｓ）、領域保持部１１２は評価領域を保持領域として保持する（Ｓ２０７）。さらに、第２ＰＳＦ算出部１１３は、新たな評価領域を選択する（Ｓ２０４）。この新たな評価領域は、ステップＳ２０７において保持された保持領域を含む領域であって、ステップＳ２０７において保持された保持領域より大きな領域である。そして、新たな評価領域を用いて、ステップＳ２０５及びステップＳ２０６の処理が実行される。このように、ステップＳ２０６において第１ＰＳＦと第２ＰＳＦとが類似していないと判定されるまで、ステップＳ２０４〜Ｓ２０７の処理が繰り返される。
【００８１】
一方、第１ＰＳＦと第２ＰＳＦとが類似していないと判定された場合（Ｓ２０６のＮｏ）、適応的領域決定部１１５は、ステップＳ２０７において最後に保持された保持領域を適応的領域として決定する（Ｓ２０８）。
【００８２】
続いて、第１ＰＳＦ算出部１１１は、入力画像のすべての画素が既に決定された適応的領域に含まれるか否かを判定する（Ｓ２０９）。
【００８３】
ここで、入力画像のすべての画素が既に決定された適応的領域に含まれていない場合（Ｓ２０９のＮｏ）、第１ＰＳＦ算出部１１１は、まだ適応的領域に含まれていない画素のみを含む領域を初期領域として決定する（Ｓ２０１）。例えば、第１ＰＳＦ算出部１１１は、決定された適応的領域の右端又は下端に隣接する画素を含むように初期領域を決定する。なお、第１ＰＳＦ算出部１１１は、隣接する画素ではなく、先見的知識により決められた画素数だけ離れた画素を含むように初期領域を決定してもよい。また、第１ＰＳＦ算出部１１１は、入力部１０４により受け付けられたユーザからの入力値により示された画素数だけ離れた画素を含むように初期領域を決定してもよい。
【００８４】
一方、入力画像のすべての画素が既に決定された適応的領域に含まれている場合（Ｓ２０９のＹｅｓ）、図３のステップＳ１０２の処理が実行される。
【００８５】
適応的領域分割部１１０は、上記のステップＳ２０１からステップＳ２０９までの処理を繰り返すことにより、入力画像を複数の適応的領域に分割する。
【００８６】
このように、ＰＳＦが類似する領域が１つの領域となるように入力画像を分割することにより、異なる動きをする被写体の像の境界と領域の境界とを一致させることが可能となる。
【００８７】
次に、上記の適応的領域分割部１１０による領域分割の処理の流れを、図５を用いて具体的に説明する。
【００８８】
図５は、本発明の実施の形態１に係る適応的領域分割部１１０による領域分割の処理の流れを説明するための図である。
【００８９】
まず、図５（ａ）に示すように、第１ＰＳＦ算出部１１１は、初期領域５０１を決定する。そして、第１ＰＳＦ算出部１１１は、初期領域５０１のＰＳＦである第１ＰＳＦ５０２（Ｐ１）を算出する。なお、ここでは初期領域５０１は矩形であるが、必ずしも初期領域５０１は矩形である必要はない。例えば、初期領域５０１は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
【００９０】
次に、図５（ｂ）に示すように、第２ＰＳＦ算出部１１３は、初期領域５０１を含む領域であり、かつ、初期領域５０１よりも大きな領域を評価領域５０３として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０３のＰＳＦを第２ＰＳＦ５０４（Ｐ２）として算出する。なお、ここでは評価領域５０３は矩形であるが、必ずしも評価領域５０３は矩形である必要はない。例えば、評価領域５０３は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
【００９１】
ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨより小さいので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していると判定する。したがって、領域保持部１１２は、評価領域５０３を保持する。
【００９２】
次に、第２ＰＳＦ算出部１１３は、図５（ｃ）に示すように、評価領域５０３を含む領域であり、かつ、評価領域５０３よりも大きな領域を評価領域５０５として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０５のＰＳＦを第２ＰＳＦ５０６（Ｐ３）として算出する。
【００９３】
ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０６とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨ以上であるので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していないと判定する。したがって、適応的領域決定部１１５は、領域保持部１１２により最後に保持された評価領域５０３を適応的領域として決定する。
【００９４】
次に、図５（ｅ）に示すように、第１ＰＳＦ算出部１１１は、決定された適応的領域に隣接する領域を初期領域５０７として決定する。
【００９５】
このように、初期領域の決定から適応的領域の決定までの処理を繰り返すことにより、適応的領域分割部１１０は、図５（ｆ）に示すように、入力画像を複数の適応的領域に分割する。
【００９６】
次に、ＰＳＦ補間部１２０によるＰＳＦを補間する処理の詳細について説明する。分割した領域間でＰＳＦのずれが生じる場合、ブレの境界ができてしまうため、補正後の目的画像は違和感のある画像となってしまう。そこで、ＰＳＦ補間部１２０は、補正後の目的画像の違和感を低減するために、以下に示すようにＰＳＦを補間する。
【００９７】
図６は、本発明の実施の形態１に係るＰＳＦ補間部１２０による処理（Ｓ１０２）の流れを示すフローチャートである。
【００９８】
まず、ＰＳＦ補間部１２０は、適応的領域分割部１１０により分割された複数の適応的領域ごとに算出される複数のＰＳＦの中から、少なくとも２つのＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。例えば、ＰＳＦ補間部１２０は、互いに隣接する２つの適応的領域のＰＳＦを選択する。
【００９９】
続いて、ＰＳＦ補間部１２０は、選択されたＰＳＦ群に含まれるＰＳＦ間において、対応する点である対応点を探索する（Ｓ３０２）。例えば、図７に示すように、２つのＰＳＦのそれぞれが１つの直線で表現される場合、ＰＳＦ補間部１２０は、２つのＰＳＦのそれぞれをＮ等分（Ｎは正の整数）する。そして、ＰＳＦ補間部１２０は、２つのＰＳＦ間において、Ｎ等分したＰＳＦを互いに対応付けることにより対応点を探索する。また、例えば、図８に示すように、２つのＰＳＦの少なくとも一方が１つの直線で表現されない場合、ＤＰマッチングにより対応点を探索すればよい。なお、ここで探索された対応点の組み合わせを対応関係と呼ぶ。
【０１００】
次に、ＰＳＦ補間部１２０は、探索された対応点間の距離を算出する（Ｓ３０３）。具体的には、ＰＳＦ補間部１２０は、図５のステップＳ２０６と同様に、例えばＬ１ノルム等を距離として算出する。Ｌ１ノルムを距離として算出する場合、Ｌ１ノルムが小さいほど類似度合いが高いことを示す。
【０１０１】
次に、ＰＳＦ補間部１２０は、算出した距離が予め定められた閾値より小さいか否かを判定する（Ｓ３０４）。つまり、ＰＳＦ補間部１２０は、ＰＳＦ群に含まれるＰＳＦが互いに類似するか否かを判定する。
【０１０２】
ここで、距離が予め定められた閾値以上であると判定された場合（Ｓ３０４のＮｏ）、ＰＳＦ補間部１２０は、ステップＳ３０６の処理を実行する。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しないと判定された場合、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間しない。すなわち、適応的領域内の各画素のＰＳＦは、当該適応的領域に対して算出されたＰＳＦで一様となる。
【０１０３】
このように、ＰＳＦが互いに類似しないと判定された場合にＰＳＦ補間部１２０がＰＳＦを補間しないのは、互いに類似しないＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、それぞれ異なる動きをしている被写体の像である可能性が高いからである。すなわち、このように異なる被写体の像を含む複数の適応的領域においてＰＳＦが補間された場合、本来ありえない被写体の動きに対応するＰＳＦを補間することになりかねないからである。
【０１０４】
一方、距離が予め定められた閾値より小さいと判定された場合（Ｓ３０２のＹｅｓ）、ＰＳＦ補間部１２０は、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する（Ｓ３０５）。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合、適応的領域の代表画素間に位置する画素のＰＳＦを補間する。つまり、ＰＳＦ補間部１２０は、各適応的領域内外の画素であって代表画素以外の画素のＰＳＦを、代表画素から距離及びＰＳＦの対応関係に基づいて補間する。具体的には、ＰＳＦ補間部１２０は、補間したい画素の位置と各代表画素との距離に応じて、ＰＳＦの対応関係に基づいた新たなＰＳＦを算出し、算出したＰＳＦを当該画素のＰＳＦとして補間する。
【０１０５】
すなわち、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合にのみ、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する。これは、ＰＳＦが類似する場合、当該ＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、同様の動きをしている１つの被写体の像である可能性が高いからである。このように１つの被写体の像を含む複数の適応的領域間において、ＰＳＦ補間部１２０がＰＳＦを補間することにより、目的画像において、適応的領域の境界に生じる違和感を減少させることが可能となる。なお、ＰＳＦ補間部１２０は、線形補間、多項式補間又はスプライン補間等のいずれの補間方法により、ＰＳＦを補間してもよい。
【０１０６】
続いて、ＰＳＦ補間部１２０は、すべてのＰＳＦがすでに選択されたか否かを判定する（Ｓ３０６）。ここで、ＰＳＦのいずれか１つでも選択されていない場合（Ｓ３０６のＮｏ）、ＰＳＦ補間部１２０は、まだ選択されていないＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。一方、すべてのＰＳＦが選択されている場合（Ｓ３０６のＹｅｓ）、図３のステップＳ１０３の処理が実行される。
【０１０７】
このように、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、適応的領域のそれぞれを代表する画素間に位置する画素のＰＳＦを補間する。その結果、ＰＳＦ補間部１２０は、隣接する適応的領域の境界において、不自然にＰＳＦが大きく変化することを抑制することが可能となる。すなわち、画像補正部１３０は、適応的領域の境界において違和感のない目的画像を生成することが可能となる。
【０１０８】
次に、第１ＰＳＦ算出部１１１による初期領域の決定に関する方法について説明する。初期領域が小さすぎる場合、第１ＰＳＦ算出部１１１は、テクスチャであるのか、又は、ブレであるのかを区別することが難しいため、ＰＳＦを算出することが難しい。一方、初期領域が大きすぎる場合、異なる動きをする被写体の像が初期領域に含まれる可能性が高いため、第１ＰＳＦ算出部１１１は、被写体の動きに応じたＰＳＦを算出することが難しい。そこで以下に、異なる動きをする複数の被写体の像が含まれないように、大きな領域から順に縮小しながら初期領域を決定する方法について説明する。
【０１０９】
図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理（Ｓ２０１）の流れを示すフローチャートである。
【０１１０】
まず、候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ４０１）。続いて、ブレ方向判定部１１１ｂは、選択した候補領域の画素値を離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）等を用いて周波数空間に変換する（Ｓ４０２）。
【０１１１】
そして、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ４０３）。画像空間において矩形波だったものは、周波数空間ではｓｉｎｃ関数（式（３））で表現される。
【０１１２】
【数３】
2010098054.tif 000005
【０１１３】
したがって、画像のブレが単一方向である場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現される。逆に、画像のブレが単一方向でない場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現されずに複数の周波数成分が集合した周波数分布として表現される。そこで、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数を用いて表現できるか否かを判定することにより、候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
【０１１４】
具体的には、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部１１１ｂは、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
【０１１５】
そして、ブレ方向判定部１１１ｂは、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数で表現できないと判定する。
【０１１６】
ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、初期領域決定部１１１ｃは、候補領域を初期領域として決定する（Ｓ４０５）。
【０１１７】
一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、初期領域決定部１１１ｃは、候補領域を初期領域として決定しない。そこで、ブレ方向判定部１１１ｂは、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ４０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値であればよい。
【０１１８】
ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ４０４のＮｏ）、候補領域選択部１１１ａは、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ４０１）。
【０１１９】
一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ４０４のＹｅｓ）、初期領域決定部１１１ｃは、現在選択されている候補領域を初期領域として決定する（Ｓ４０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた被写体の像と考えられるので、初期領域決定部１１１ｃは、候補領域をさらに小さくすることなく、現在選択されている候補領域を初期領域として決定する。
【０１２０】
このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数で表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら初期領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない小さな領域を初期領域として決定することができる。
【０１２１】
次に、上記の第１ＰＳＦ算出部１１１による初期領域を決定する処理の流れを、図１０を用いて具体的に説明する。
【０１２２】
図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理の流れを説明するための図である。
【０１２３】
まず、候補領域選択部１１１ａは、図１０（ａ）に示すように、まだ適応的領域として決定されていない領域であって、比較的大きな領域を候補領域６０１として選択する。なお、候補領域選択部１１１ａは、画像の全部を候補領域と選択してもよい。
【０１２４】
次に、ブレ方向判定部１１１ｂは、候補領域６０１の画素値を離散フーリエ変換等により周波数成分に変換する。図１０（ｂ）は、変換された周波数成分を表す画像６０２を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｃ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換により得られた周波数成分を表す画像６０２との相関値を算出する。
【０１２５】
候補領域６０１は複数のブレ方向を含むので、図１０（ｂ）に示す画像６０２は、周波数成分を示す点が縦横に広がった画像となっている。したがって、画像６０２とｓｉｎｃ関数に対応する画像との相関値は小さい。つまり、画像６０２と類似する、ｓｉｎｃ関数に対応する画像は存在しない。
【０１２６】
したがって、ブレ方向判定部１１１ｂは、候補領域６０１のブレ方向は単一のブレ方向でないと判定する。そして、候補領域選択部１１１ａは、図１０（ｄ）に示すように、候補領域６０１より小さい領域を新たな候補領域６０３として選択する。そして、ブレ方向判定部１１１ｂは、候補領域６０３の画素値を離散フーリエ変換等を用いて周波数成分に変換する。図１０（ｅ）は、変換された周波数成分を表す画像６０４を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｆ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換を用いて得られた周波数成分を表す画像６０４との相関値を算出する。
【０１２７】
候補領域６０３のブレ方向は単一のブレ方向であるので、図１０（ｅ）に示す画像６０４は、周波数成分を示す点が１つの直線に並んだ画像となっている。したがって、画像６０４とｓｉｎｃ関数に対応する画像との相関値は大きい。つまり、画像６０４と類似するｓｉｎｃ関数に対応する画像が存在する。したがって、ブレ方向判定部１１１ｂは、候補領域６０３のブレ方向が単一のブレ方向であると判定する。そして、初期領域決定部１１１ｃは、候補領域６０３を初期領域として決定する。
【０１２８】
このように、第１ＰＳＦ算出部１１１は、ｓｉｎｃ関数で表現できるか否かを判断基準として初期領域を決定することにより、テクスチャによるグラデーションであるのか、又はブレによるグラデーションであるのかを判定することが可能となる。
【０１２９】
以上のように、本実施の形態に係る画像補正装置１００は、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置１００は、ブレが共通する領域ごとにＰＳＦを用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、画像補正装置１００は、領域ごとに算出されるＰＳＦを用いて代表画素間に位置する画素のＰＳＦを補間することができるので、分割された領域の境界においてＰＳＦが不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。また、画像補正装置１００は、入力画像以外の画像を用いなくても、入力画像を補正することが可能となる。
【０１３０】
また、画像補正装置１００は、ＰＳＦが類似する領域が１つの適応的領域となるように入力画像を適応的領域に分割することができる。したがって、画像補正装置１００は、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した領域に分割することが可能となる。すなわち、画像補正部１３０が被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、画像補正装置１００は、よりブレの少ない目的画像を生成することが可能となる。
【０１３１】
また、画像補正装置１００は、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、画像補正装置１００は、被写体像のブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
【０１３２】
また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しない適応的領域に対してＰＳＦを補間しない。したがって、ＰＳＦ補間部１２０は、互いに異なる動きをしている被写体像の境界に対してＰＳＦを補間する可能性を低減させることが可能となる。すなわち、ＰＳＦ補間部１２０は、実際の被写体の動きとは異なる動きに対応するＰＳＦを補間する可能性を低減させることが可能となる。
【０１３３】
なお、本実施の形態において、適応的領域分割部１１０は、ＰＳＦが類似する領域が１つの領域となるように適応的領域を決定していたが、本発明が適用される画像補正装置１００は、このような画像補正装置に限定されるものではない。例えば、適応的領域分割部１１０は、類似するテクスチャは同じ動きをする可能性が高いという先見的知識を利用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。また、適応的領域分割部１１０は、例えば、コンピュータビジョン分野において利用される領域分割手法（例えばグラフカットなど）も併用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。これにより、適応的領域分割部１１０は、柔軟なテクスチャ分割が可能になる。
【０１３４】
また、複数枚の画像において動きが小さいなどの入力画像の特性がわかっている場合（集合写真のように動きが少ない場合）、画像補正装置１００は、露光時間を長くして撮影された複数枚の画像から動きのある領域のみを画像間差分などを用いて抽出し、抽出した領域についてのみ上述したＰＳＦ補間及び画像補正を行ってもよい。これにより、画像補正装置１００は、トータルの計算コスト、メモリコスト等を削減できる。
【０１３５】
また、本実施の形態において、第１ＰＳＦ算出部１１１は、候補領域を縮小しながら初期領域を決定していたが、例えば、入力画像の露光時間に対応する、予め定められた大きさの領域を、初期領域として決定してもよい。この場合、データ記憶部１０６には、露光時間と領域の大きさとを対応付けたテーブルが格納されていることが好ましい。そして、第１ＰＳＦ算出部１１１は、データ記憶部１０６に格納されたテーブルを参照することにより、入力画像の露光時間に対応した領域の大きさを取得し、取得した大きさの領域を初期領域として決定することが好ましい。
【０１３６】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照しながら説明する。
【０１３７】
実施の形態２に係る画像補正装置２００と実施の形態１に係る画像補正装置１００とは、プログラム格納部１０７が備える適応的領域分割部の構成が異なるが、他の構成要素については同じである。したがって、以下において、実施の形態１と同一の構成となるブロック図及び同一の処理の流れのとなるフローチャートについては、図示及び説明を省略する。また、実施の形態１の構成要素と同一の機能を有する構成要素には同一の符号を付し、説明を省略する。
【０１３８】
図１１は、本発明の実施の形態２に係るプログラム格納部１０７の機能構成を示すブロック図である。
【０１３９】
本実施の形態に係る適応的領域分割部２１０は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。図１１に示すように、適応的領域分割部２１０は、候補領域選択部２１１と、ブレ方向判定部２１２と、適応的領域決定部２１３と、ＰＳＦ算出部２１４とを備える。
【０１４０】
候補領域選択部２１１は、入力画像の全部又は一部の領域である候補領域を決定する。また、候補領域選択部２１１は、ブレ方向判定部２１２により単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
【０１４１】
ブレ方向判定部２１２は、候補領域選択部２１１により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
【０１４２】
適応的領域決定部２１３は、ブレ方向判定部２１２により単一のブレ方向であると判定された場合、候補領域を適応的領域として決定する。つまり、適応的領域決定部２１３は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。
【０１４３】
ＰＳＦ算出部２１４は、適応的領域決定部２１３により決定された適応的領域のＰＳＦを算出する。
【０１４４】
次に、以上のように構成された適応的領域分割部２１０の動作について説明する。
【０１４５】
図１２は、本発明の実施の形態２に係る適応的領域分割部２１０の処理（Ｓ１０１）の流れを示すフローチャートである。
【０１４６】
まず、候補領域選択部２１１は、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ５０１）。続いて、ブレ方向判定部２１２は、選択した候補領域の画素値を離散フーリエ変換等により周波数空間に変換する（Ｓ５０２）。
【０１４７】
そして、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ５０３）。つまり、ブレ方向判定部２１２は、候補領域においてブレ方向が単一であるか否かを判定する。
【０１４８】
具体的には、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部２１２は、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
【０１４９】
そして、ブレ方向判定部２１２は、複数のｓｉｎｃ関数のうち、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できないと判定する。
【０１５０】
ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、適応的領域決定部２１３は、候補領域を適応的領域として決定する（Ｓ５０５）。
【０１５１】
一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、適応的領域決定部２１３は、候補領域を適応的領域として決定しない。そこで、ブレ方向判定部２１２は、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ５０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値を利用すればよい。
【０１５２】
ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ５０４のＮｏ）、候補領域選択部２１１は、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ５０１）。
【０１５３】
一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ５０４のＹｅｓ）、適応的領域決定部２１３は、現在選択されている候補領域を適応的領域として決定する（Ｓ５０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた単一の被写体の像と考えられるので、適応的領域決定部２１３は、候補領域をさらに小さくすることなく、現在選択されている候補領域を適応的領域として決定する。
【０１５４】
このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数を用いて表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら適応的領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない領域を適応的領域として決定することができる。
【０１５５】
なお、上記のように領域を縮小しながら適応的領域を決定する際に、単一のブレ方向であるか否かを判断基準に用いるのは、初めに比較的大きな領域を候補領域として選択するため、動く方向が異なる複数の被写体の像が領域内に含まれている可能性が高いからである。すなわち、領域を縮小しながら適応的領域を決定する際にＰＳＦの類似度を判断基準に適応的領域を決定した場合、異なるブレ方向のＰＳＦを含む領域を適応的領域として決定してしまう可能性が高いからである。
【０１５６】
以上のように、本実施の形態に係る画像補正装置２００は、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、画像補正装置２００は、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
【０１５７】
以上、本発明に係る画像補正装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１５８】
例えば、上記実施の形態に係る画像補正装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩである。具体的には、システムＬＳＩは、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。さらに具体的には、例えば、図１３に示すように、適応的領域分割部１１０、ＰＳＦ補間部１２０、画像補正部１３０は、１個のシステムＬＳＩ３００から構成されてもよい。
【０１５９】
また、本発明は、上記実施の形態に係る画像補正装置と、光学系及び撮像素子等からなる撮影部とを備える画像撮影装置として実現されてもよい。
【産業上の利用可能性】
【０１６０】
本発明に係る画像補正装置等は、高精度の被写体ブレ補正機能を有し、デジタルスチルカメラ又はセキュリティカメラの高感度化を実現できるため、夜間での撮影、暗環境におけるカメラによる警備等として有用である。
【符号の説明】
【０１６１】
１００、２００    画像補正装置
１０１    演算制御部
１０２    メモリ部
１０３    表示部
１０４    入力部
１０５    通信Ｉ／Ｆ部
１０６    データ記憶部
１０７    プログラム格納部
１０８    バス
１１０、２１０    適応的領域分割部
１１１    第１ＰＳＦ算出部
１１１ａ、２１１  候補領域選択部
１１１ｂ、２１２  ブレ方向判定部
１１１ｃ  初期領域決定部
１１２    領域保持部
１１３    第２ＰＳＦ算出部
１１４    類似度判定部
１１５、２１３    適応的領域決定部
１２０    ＰＳＦ補間部
１３０    画像補正部
２１４    ＰＳＦ算出部
３００    システムＬＳＩ
４００    カメラ
【図１】
2010098054.tif 000006
【図２】
2010098054.tif 000007
【図３】
2010098054.tif 000008
【図４】
2010098054.tif 000009
【図５】
2010098054.tif 000010
【図６】
2010098054.tif 000011
【図７】
2010098054.tif 000012
【図８】
2010098054.tif 000013
【図９】
2010098054.tif 000014
【図１０】
2010098054.tif 000015
【図１１】
2010098054.tif 000016
【図１２】
2010098054.tif 000017
【図１３】
2010098054.tif 000018
【図１４Ａ】
2010098054.tif 000019
【図１４Ｂ】
2010098054.tif 000020
【手続補正書】
【提出日】平成22年8月23日(2010.8.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、セキュリティカメラ等を用いて撮影された画像を補正する画像補正装置に関し、特に画像のブレを補正する画像補正装置に関する。
【背景技術】
【０００２】
ユーザがカメラを用いて被写体を撮影した場合、撮影した画像にブレが生じるときがある。この画像に生じるブレは、大きく分けて、手ブレ（ｈａｎｄ  ｓｈａｋｅ  ｂｌｕｒ）及び被写体ブレ（ｍｏｔｉｏｎ  ｂｌｕｒ）の２種類に分類される。手ブレとは、シャッタを押すときなどにカメラが動いてしまうことに起因して生じる画像のブレである。また、被写体ブレとは、被写体が撮影中に動くことに起因して生じる画像のブレである。
【０００３】
このような手ブレ及び被写体ブレの特徴を示す関数として点広がり関数（以下、「ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）」という。）がある。ＰＳＦとは、点像がブレあるいはピンぼけによりぼけたときの強度分布を表す関数である。図１４Ａ及び図１４Ｂは、ＰＳＦを説明するための図である。例えば、図１４Ａに示すように、ぼけのない画像１００１からピンぼけ画像１００２への劣化を表すＰＳＦは、画像１００３により表現される。また、図１４Ｂに示すように、ブレのない画像１００４からｘ方向へブレた画像１００５への劣化を表すＰＳＦは、画像１００６により表現される。
【０００４】
ところで、近年、手ブレを補正する技術（例えば、電子式手ブレ補正、光学式手ブレ補正など）が実用化されている。具体的には、光学式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて撮影時の手の動きを推定する。そして、推定した動きに応じてレンズ機構又は受光部センサを制御することにより、手ブレの補正を実現する。また、電子式手ブレ補正の場合、例えばジャイロなどのセンサ情報に基づいて、ＰＳＦを算出する。そして、算出したＰＳＦを用いて画像を補正することにより、手ブレの補正を実現している。手ブレの場合、ＰＳＦは、撮影時の手の動きに対応するため、画像全体でほぼ同一となる。
【０００５】
一方、被写体ブレの場合、ＰＳＦは、被写体の動きに対応するため、画像の領域ごとに異なることが多い。したがって、手ブレの補正と同じ方法により被写体ブレを補正することは難しい。
【０００６】
そこで、被写体ブレを補正する技術として、高速シャッタを用いて撮影された低解像度の画像列と、低速シャッタを用いて撮影された高解像度の画像とを用いる方法が提案されている（例えば、非特許文献１参照）。非特許文献１に記載の方法では、ブレの少ない低解像度高速シャッタの画像列に含まれる複数の画像間において画素を対応付けることにより、被写体像の動きを推定する。そして、推定した被写体像の動きを用いて、ブレの大きい低速シャッタの画像を補正することにより、被写体ブレが補正された高解像度の画像を得る。
【０００７】
また、被写体ブレを補正する別の技術として、連続的に撮影された複数の画像を用いて補正する方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法では、非特許文献１の方法と同様に、連続的に撮影された複数の画像に基づいて被写体の動き（軌跡）を求めることにより、対象画像のすべての画素位置における劣化特性を示す１つの劣化関数（例えば、ＰＳＦ）を求める。そして、このように算出した劣化関数を用いて、対象画像からブレのない画像を生成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−１９７３５５号公報
【非特許文献】
【０００９】
【非特許文献１】Ｉｍａｇｅ／Ｖｉｄｅｏ  Ｄｅｂｌｕｒｒｉｎｇ  ｕｓｉｎｇ  ａ  Ｈｙｂｒｉｄ  Ｃａｍｅｒａ  （Ｙｕ−Ｗｉｎｇ  Ｔａｉ、Ｈａｏ  Ｄｕ、Ｍ．Ｓ．Ｂｒｏｗｎ、Ｓ．Ｌｉｎ  ＣＶＰＲ２００８）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、非特許文献１に記載の方法は、高速シャッタを利用できない環境の場合、被写体ブレを補正できないという課題がある。例えば、低照度環境において、高速シャッタにより画像が撮影された場合、光量が不足するので暗い画像しか得られない。このような暗い画像を用いる場合、画像間における画素の対応付けの精度が低下する。また、低照度環境における光量不足を解消するために感度を上げた場合、暗電流ノイズ及び熱ノイズなどの撮像デバイスに起因するノイズ信号が増幅されるため、画像間における画素の対応付けの精度が低下する。このように非特許文献１に記載の方法では、被写体ブレが発生する機会の多い低照度環境において、画像間における画素の対応付けの精度が低下するため、被写体ブレを高精度に補正することができない。
【００１１】
また、特許文献１に記載の方法では、非特許文献１に記載の方法と同様に、連続的に撮影された複数の画像が必要となるため、低照度環境において、被写体ブレを高精度に補正することができない。また、特許文献１には、対象画像のすべての画素位置における劣化関数を、対象画像の複数の領域に基づいて算出される劣化関数に基づいて算出する旨の記載があるが、具体的方法については記載されていない。
【００１２】
そこで、本発明は、上記課題を鑑みてなされたものであり、複数のブレを含む入力画像を、入力画像よりもブレの少ない目的画像へ高精度に補正することができる画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る画像補正装置は、入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える。
【００１４】
この構成により、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の領域に適応的に分割することができる。その結果、ブレが共通する領域ごとに点広がり関数を用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、領域ごとに算出される点広がり関数を用いて代表画素間に位置する画素の点広がり関数を補間することができるので、分割された領域の境界において点広がり関数が不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。
【００１５】
また、前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。
【００１６】
この構成により、ブレの共通性を点広がり関数の類似性に基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。
【００１７】
また、前記適応的領域分割部は、前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、前記初期領域を保持領域として保持する領域保持部と、前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出することが好ましい。
【００１８】
この構成により、点広がり関数が類似する領域が１つの領域となるような適応的領域に入力画像を適応的に分割することができるので、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した適応的領域に分割することが可能となる。すなわち、被写体像ごとのブレ方向に合致した点広がり関数を用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
【００１９】
また、前記第１点広がり関数算出部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。
【００２０】
この構成により、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
【００２１】
前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定することが好ましい。
【００２２】
この構成により、ブレの共通性を単一のブレ方向であるか否かに基づいて判断できるので、高精度に、ブレが共通する領域を１つの適応的領域として決定することができる。
【００２３】
また、前記適応的領域分割部は、前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択することが好ましい。
【００２４】
この構成により、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
【００２５】
また、前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数の対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
【００２６】
この構成により、点広がり関数が直線で表現される場合、容易に点広がり関数を補間することが可能となる。
【００２７】
また、前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
【００２８】
この構成により、点広がり関数が直線で表現されない場合であっても、点広がり関数を補間することが可能となる。
【００２９】
また、前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間することが好ましい。
【００３０】
この構成により、点広がり関数が互いに類似しない適応的領域に対しては、点広がり関数が補間されないので、互いに異なる動きをしている被写体像の境界に対して点広がり関数を補間する可能性を低減させることが可能となる。すなわち、実際の被写体の動きとは異なる動きに対応する点広がり関数を補間する可能性を低減させることが可能となる。
【００３１】
なお、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部を備える集積回路として実現することもできる。
【００３２】
また、本発明は、このような画像補正装置として実現することができるだけでなく、このような画像補正装置が備える特徴的な構成部の動作をステップとする画像補正方法として実現することもできる。さらに、本発明は、画像補正方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体又はインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３３】
以上の説明から明らかなように、本発明に係る画像補正装置は、ブレが共通する領域が１つの適応的領域となるように、複数のブレを含む入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置は、ブレが共通する領域ごとに入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。
【図面の簡単な説明】
【００３４】
【図１】図１は、本発明の実施の形態１及び２に係る画像補正装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係るプログラム格納部の機能構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１及び２に係る画像補正装置の全体的な処理の流れを示すフローチャートである。
【図４】図４は、本発明の実施の形態１に係る適応的領域分割部による処理の流れを示すフローチャートである。
【図５】図５は、本発明の実施の形態１に係る適応的領域分割部による領域分割の処理の流れを説明するための図である。
【図６】図６は、本発明の実施の形態１及び２に係るＰＳＦ補間部による処理の流れを示すフローチャートである。
【図７】図７は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。
【図８】図８は、本発明の実施の形態１及び２に係るＰＳＦ補間部によるＰＳＦの補間を説明するための図である。
【図９】図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを示すフローチャートである。
【図１０】図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部による初期領域の決定に関する処理の流れを説明するための図である。
【図１１】図１１は、本発明の実施の形態２に係るプログラム格納部の機能構成を示すブロック図である。
【図１２】図１２は、本発明の実施の形態２に係る適応的領域分割部の処理の流れを示すフローチャートである。
【図１３】図１３は、本発明に係るシステムＬＳＩの機能構成を示すブロック図である。
【図１４Ａ】図１４Ａは、ＰＳＦを説明するための図である。
【図１４Ｂ】図１４Ｂは、ＰＳＦを説明するための図である。
【発明を実施するための形態】
【００３５】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像補正装置１００の機能構成を示すブロック図である。
【００３７】
図１に示すように、画像補正装置１００は、演算制御部１０１、メモリ部１０２、表示部１０３、入力部１０４、通信Ｉ／Ｆ（インタフェース）部１０５、データ記憶部１０６、及びプログラム格納部１０７を備える。これらの各構成部１０１〜１０７は、バス１０８を介して接続されている。
【００３８】
演算制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、数値プロセッサ等であり、ユーザからの指示等に従ってプログラム格納部１０７からメモリ部１０２に必要なプログラムをロードして実行し、その実行結果に従って、各構成部１０２〜１０７を制御する。
【００３９】
メモリ部１０２は、演算制御部１０１による作業領域を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等である。
【００４０】
表示部１０３は、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等である。また、入力部１０４はキーボード、マウス等である。そして、これらの表示部１０３及び入力部１０４は、演算制御部１０１による制御の下で、画像補正装置１００とユーザとが対話する等のために用いられる。
【００４１】
通信Ｉ／Ｆ部１０５は、ＬＡＮアダプタ等であり、画像補正装置１００とカメラ４００等との通信に用いられる。
【００４２】
データ記憶部１０６は、カメラ４００等により取得された入力画像、及び入力画像を補正することにより得られる目的画像などを格納するハードディスク、フラッシュメモリ等である。
【００４３】
プログラム格納部１０７は、画像補正装置１００の機能を実現する各種プログラムを格納しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等である。
【００４４】
図２は、本発明の実施の形態１に係るプログラム格納部１０７の機能構成を示すブロック図である。図２に示すように、プログラム格納部１０７は、機能的に（演算制御部１０１によって実行された場合に機能する処理部として）、適応的領域分割部１１０、ＰＳＦ補間部１２０及び画像補正部１３０を有する。
【００４５】
適応的領域分割部１１０は、入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、入力画像を複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、分割した適応的領域ごとに、ＰＳＦを算出する。具体的には、適応的領域分割部１１０は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
【００４６】
図２に示すように、適応的領域分割部１１０は、第１ＰＳＦ算出部１１１と、領域保持部１１２と、第２ＰＳＦ算出部１１３と、類似度判定部１１４と、適応的領域決定部１１５とを備える。
【００４７】
第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域のＰＳＦを第１ＰＳＦとして算出する。具体的には、第１ＰＳＦ算出部１１１は、候補領域選択部１１１ａと、ブレ方向判定部１１１ｂと、初期領域決定部１１１ｃとを備える。そして、第１ＰＳＦ算出部１１１は、初期領域決定部１１１ｃにより決定された初期領域のＰＳＦを第１ＰＳＦとして算出する。
【００４８】
候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する。また、候補領域選択部１１１ａは、ブレ方向判定部１１１ｂにより単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
【００４９】
ブレ方向判定部１１１ｂは、候補領域選択部１１１ａにより選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
【００５０】
初期領域決定部１１１ｃは、ブレ方向判定部１１１ｂにより単一のブレ方向であると判定された場合、候補領域を初期領域として決定する。
【００５１】
領域保持部１１２は、初期領域を保持領域として保持する。また、領域保持部１１２は、後述する類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を保持領域として保持する。
【００５２】
第２ＰＳＦ算出部１１３は、初期領域を含む領域であって初期領域よりも大きな領域である評価領域のＰＳＦを第２ＰＳＦとして算出する。また、第２ＰＳＦ算出部１１３は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似すると判定された場合、評価領域を含む領域であって評価領域より大きな領域である新たな評価領域のＰＳＦを第２ＰＳＦとして算出する。
【００５３】
類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似するか否かを判定する。
【００５４】
適応的領域決定部１１５は、類似度判定部１１４により第１ＰＳＦと第２ＰＳＦとが類似しないと判定された場合、領域保持部１１２に最後に保持された保持領域を適応的領域として決定する。つまり、適応的領域決定部１１５は、ＰＳＦの類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する。
【００５５】
ＰＳＦ補間部１２０は、算出されたＰＳＦを用いて、代表画素間に位置する画素のＰＳＦを補間する。ここで代表画素とは、複数の領域のそれぞれを代表する画素である。例えば、代表画素は、各領域の中心、重心などの画素である。
【００５６】
具体的には、ＰＳＦ補間部１２０は、例えば、適応的領域ごとに算出されたＰＳＦを動的計画法（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）によるマッチング手法（以下、「ＤＰマッチング」という。）を用いて互いに対応付ける。そして、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該ＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
【００５７】
なお、ＰＳＦ補間部１２０は、例えば、算出されたＰＳＦのうち少なくとも２つのＰＳＦが直線で表現される場合、当該少なくとも２つのＰＳＦを、分割して対応付けてもよい。具体的には、ＰＳＦ補間部１２０は、このようにＰＳＦを対応付けることにより得られる対応関係に基づいて、当該少なくとも２つのＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間してもよい。
【００５８】
また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似するか否かを判定し、互いに類似すると判定されたＰＳＦにそれぞれ対応する適応的領域の代表画素間に位置する画素のＰＳＦを補間する。
【００５９】
画像補正部１３０は、ＰＳＦ用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する。
【００６０】
次に、以上のように構成された画像補正装置１００における各種動作について説明する。
【００６１】
図３は、本発明の実施の形態１に係る画像補正装置１００の全体的な処理の流れを示すフローチャートである。
【００６２】
まず、適応的領域分割部１１０は、データ記憶部１０６に格納された入力画像を構成する画素の画素値に応じて、入力画像を適応的な大きさの複数の適応的領域に分割する。さらに、適応的領域分割部１１０は、適応的領域ごとにＰＳＦを算出する（Ｓ１０１）。続いて、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、各適応的領域の代表画素間に位置する画素のＰＳＦを補間する（Ｓ１０２）。
【００６３】
最後に、画像補正部１３０は、補間後の画素ごとのＰＳＦを用いて入力画像を補正することにより、入力画像よりもブレの少ない目的画像を生成する（Ｓ１０３）。例えば、画像補正部１３０は、下式（１）に示すリチャードソン・ルーシー法を用いて、ステップＳ１０１及びステップＳ１０２の処理に基づき得られる画素ごとのＰＳＦを用いて、入力画像を補正する。
【００６４】
【数１】
2010098054.tif 000021
【００６５】
ここで、Ｉは補正後の画像（目的画像）を示す。また、ＫはＰＳＦを示す。また、Ｂは入力画像を示す。
【００６６】
なお、本実施の形態では、画像補正部１３０は、リチャードソン・ルーシー法を用いて入力画像を補正するが、フーリエ・ログ法、マキシマム・エントロピー法などの他の方法を用いて入力画像を補正してもよい。
【００６７】
次に、適応的領域分割部１１０による領域分割の詳細について説明する。
【００６８】
図４は、本発明の実施の形態１に係る適応的領域分割部１１０による処理（Ｓ１０１）の流れを示すフローチャートである。
【００６９】
まず、第１ＰＳＦ算出部１１１は、入力画像の一部の領域である初期領域を決定する（Ｓ２０１）。初期領域を決定する処理の詳細については後述する。
【００７０】
続いて、第１ＰＳＦ算出部１１１は、決定した初期領域のＰＳＦを第１ＰＳＦとして算出する（Ｓ２０２）。具体的には、第１ＰＳＦ算出部１１１は、１枚の画像からＰＳＦを算出する方法（例えば、非特許文献２「Ｒｅｍｏｖｉｎｇ  Ｃａｍｅｒａ  Ｓｈａｋｅ  ｆｒｏｍ  ａ  ｓｉｎｇｌｅ  ｉｍａｇｅ（Ｒｏｂ  Ｆｅｒｇｕｓ  ｅｔ．ａｌ、ＳＩＧＧＲＡＰＨ２００６）」参照）を用いて、ＰＳＦを算出する。
【００７１】
非特許文献２に記載の方法を用いる場合、データ記憶部１０６には、ブレのない一般的な自然画像に表れる画像勾配の分布が予め格納される。そして、第１ＰＳＦ算出部１１１は、所与のＰＳＦを用いて初期領域を補正したときに得られる画像勾配の分布と、データ記憶部１０６に格納された画像勾配の分布との比較を繰り返すことにより、これらの画像勾配の分布が一致又は類似するようなＰＳＦを探索する。そして、第１ＰＳＦ算出部１１１は、このように探索した結果得られるＰＳＦを第１ＰＳＦとして算出する。
【００７２】
次に、領域保持部１１２は、第１ＰＳＦ算出部１１１により決定された初期領域を保持領域として保持する（Ｓ２０３）。
【００７３】
続いて、第２ＰＳＦ算出部１１３は、評価領域を選択する（Ｓ２０４）。この評価領域は、初期領域を含む領域であり、かつ、初期領域よりも大きな領域である。例えば、初期領域が矩形の領域である場合、第２ＰＳＦ算出部１１３は、初期領域よりもｘ方向に１画素、ｙ方向に１画素大きい領域を評価領域として選択する。そして、第２ＰＳＦ算出部１１３は、選択した評価領域のＰＳＦを第２ＰＳＦとして算出する（Ｓ２０５）。
【００７４】
なお、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の両方とも初期領域より大きい領域を評価領域として決定する必要はない。例えば、第２ＰＳＦ算出部１１３は、ｘ方向及びｙ方向の一方のみについて、初期領域より広げた領域を評価領域として決定してもよい。さらに、第２ＰＳＦ算出部１１３は、例えば、初期領域の外縁の一部についてのみ、ｘ方向又はｙ方向に広げた領域を、評価領域として決定してもよい。これらにより、第２ＰＳＦ算出部１１３は、柔軟に評価領域を選択することができるので、同じ動きをする被写体の像を一つの領域として選択する可能性を高めることができる。
【００７５】
次に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとが類似しているか否かを判定する（Ｓ２０６）。具体的には、類似度判定部１１４は、第１ＰＳＦ及び第２ＰＳＦを画像として表現したときの画像間距離を、ＰＳＦの類似度合いを示す類似度として算出する。例えば、類似度判定部１１４は、下式（２）により算出されるＬ１ノルムを類似度として算出する。なお、Ｌ１ノルムは、値が小さいほど類似度合いが高いことを示す。
【００７６】
【数２】
2010098054.tif 000022
【００７７】
ここで、Ｐ１ｉｊは、第１ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。また、Ｐ２ｉｊは、第２ＰＳＦを画像として表現した場合において、座標（ｉ，ｊ）によって特定される画素のＰＳＦ値を示す。
【００７８】
類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値より小さい場合、第１ＰＳＦと第２ＰＳＦとが類似していると判定する。逆に、類似度判定部１１４は、第１ＰＳＦと第２ＰＳＦとのＬ１ノルムが予め定められた閾値以上の場合、第１ＰＳＦと第２ＰＳＦとが類似していないと判定する。
【００７９】
なお、本実施の形態において、類似度判定部１１４は、Ｌ１ノルムを類似度として算出しているが、他の画像間の類似度判定方法を用いて類似度を算出してもよい。例えば、類似度判定部１１４は、Ｌ２ノルムを類似度として算出してもよい。
【００８０】
ここで、第１ＰＳＦと第２ＰＳＦとが類似していると判定された場合（Ｓ２０６のＹｅｓ）、領域保持部１１２は評価領域を保持領域として保持する（Ｓ２０７）。さらに、第２ＰＳＦ算出部１１３は、新たな評価領域を選択する（Ｓ２０４）。この新たな評価領域は、ステップＳ２０７において保持された保持領域を含む領域であって、ステップＳ２０７において保持された保持領域より大きな領域である。そして、新たな評価領域を用いて、ステップＳ２０５及びステップＳ２０６の処理が実行される。このように、ステップＳ２０６において第１ＰＳＦと第２ＰＳＦとが類似していないと判定されるまで、ステップＳ２０４〜Ｓ２０７の処理が繰り返される。
【００８１】
一方、第１ＰＳＦと第２ＰＳＦとが類似していないと判定された場合（Ｓ２０６のＮｏ）、適応的領域決定部１１５は、ステップＳ２０７において最後に保持された保持領域を適応的領域として決定する（Ｓ２０８）。
【００８２】
続いて、第１ＰＳＦ算出部１１１は、入力画像のすべての画素が既に決定された適応的領域に含まれるか否かを判定する（Ｓ２０９）。
【００８３】
ここで、入力画像のすべての画素が既に決定された適応的領域に含まれていない場合（Ｓ２０９のＮｏ）、第１ＰＳＦ算出部１１１は、まだ適応的領域に含まれていない画素のみを含む領域を初期領域として決定する（Ｓ２０１）。例えば、第１ＰＳＦ算出部１１１は、決定された適応的領域の右端又は下端に隣接する画素を含むように初期領域を決定する。なお、第１ＰＳＦ算出部１１１は、隣接する画素ではなく、先見的知識により決められた画素数だけ離れた画素を含むように初期領域を決定してもよい。また、第１ＰＳＦ算出部１１１は、入力部１０４により受け付けられたユーザからの入力値により示された画素数だけ離れた画素を含むように初期領域を決定してもよい。
【００８４】
一方、入力画像のすべての画素が既に決定された適応的領域に含まれている場合（Ｓ２０９のＹｅｓ）、図３のステップＳ１０２の処理が実行される。
【００８５】
適応的領域分割部１１０は、上記のステップＳ２０１からステップＳ２０９までの処理を繰り返すことにより、入力画像を複数の適応的領域に分割する。
【００８６】
このように、ＰＳＦが類似する領域が１つの領域となるように入力画像を分割することにより、異なる動きをする被写体の像の境界と領域の境界とを一致させることが可能となる。
【００８７】
次に、上記の適応的領域分割部１１０による領域分割の処理の流れを、図５を用いて具体的に説明する。
【００８８】
図５は、本発明の実施の形態１に係る適応的領域分割部１１０による領域分割の処理の流れを説明するための図である。
【００８９】
まず、図５（ａ）に示すように、第１ＰＳＦ算出部１１１は、初期領域５０１を決定する。そして、第１ＰＳＦ算出部１１１は、初期領域５０１のＰＳＦである第１ＰＳＦ５０２（Ｐ１）を算出する。なお、ここでは初期領域５０１は矩形であるが、必ずしも初期領域５０１は矩形である必要はない。例えば、初期領域５０１は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
【００９０】
次に、図５（ｂ）に示すように、第２ＰＳＦ算出部１１３は、初期領域５０１を含む領域であり、かつ、初期領域５０１よりも大きな領域を評価領域５０３として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０３のＰＳＦを第２ＰＳＦ５０４（Ｐ２）として算出する。なお、ここでは評価領域５０３は矩形であるが、必ずしも評価領域５０３は矩形である必要はない。例えば、評価領域５０３は、ひし形、平行四辺形又は円形など任意の形状であってもよい。
【００９１】
ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨより小さいので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していると判定する。したがって、領域保持部１１２は、評価領域５０３を保持する。
【００９２】
次に、第２ＰＳＦ算出部１１３は、図５（ｃ）に示すように、評価領域５０３を含む領域であり、かつ、評価領域５０３よりも大きな領域を評価領域５０５として選択する。そして、第２ＰＳＦ算出部１１３は、評価領域５０５のＰＳＦを第２ＰＳＦ５０６（Ｐ３）として算出する。
【００９３】
ここで、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０６とのＬ１ノルムを算出する。算出したＬ１ノルムが閾値ＴＨ以上であるので、類似度判定部１１４は、第１ＰＳＦ５０２と第２ＰＳＦ５０４とは類似していないと判定する。したがって、適応的領域決定部１１５は、領域保持部１１２により最後に保持された評価領域５０３を適応的領域として決定する。
【００９４】
次に、図５（ｅ）に示すように、第１ＰＳＦ算出部１１１は、決定された適応的領域に隣接する領域を初期領域５０７として決定する。
【００９５】
このように、初期領域の決定から適応的領域の決定までの処理を繰り返すことにより、適応的領域分割部１１０は、図５（ｆ）に示すように、入力画像を複数の適応的領域に分割する。
【００９６】
次に、ＰＳＦ補間部１２０によるＰＳＦを補間する処理の詳細について説明する。分割した領域間でＰＳＦのずれが生じる場合、ブレの境界ができてしまうため、補正後の目的画像は違和感のある画像となってしまう。そこで、ＰＳＦ補間部１２０は、補正後の目的画像の違和感を低減するために、以下に示すようにＰＳＦを補間する。
【００９７】
図６は、本発明の実施の形態１に係るＰＳＦ補間部１２０による処理（Ｓ１０２）の流れを示すフローチャートである。
【００９８】
まず、ＰＳＦ補間部１２０は、適応的領域分割部１１０により分割された複数の適応的領域ごとに算出される複数のＰＳＦの中から、少なくとも２つのＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。例えば、ＰＳＦ補間部１２０は、互いに隣接する２つの適応的領域のＰＳＦを選択する。
【００９９】
続いて、ＰＳＦ補間部１２０は、選択されたＰＳＦ群に含まれるＰＳＦ間において、対応する点である対応点を探索する（Ｓ３０２）。例えば、図７に示すように、２つのＰＳＦのそれぞれが１つの直線で表現される場合、ＰＳＦ補間部１２０は、２つのＰＳＦのそれぞれをＮ等分（Ｎは正の整数）する。そして、ＰＳＦ補間部１２０は、２つのＰＳＦ間において、Ｎ等分したＰＳＦを互いに対応付けることにより対応点を探索する。また、例えば、図８に示すように、２つのＰＳＦの少なくとも一方が１つの直線で表現されない場合、ＤＰマッチングにより対応点を探索すればよい。なお、ここで探索された対応点の組み合わせを対応関係と呼ぶ。
【０１００】
次に、ＰＳＦ補間部１２０は、探索された対応点間の距離を算出する（Ｓ３０３）。具体的には、ＰＳＦ補間部１２０は、図５のステップＳ２０６と同様に、例えばＬ１ノルム等を距離として算出する。Ｌ１ノルムを距離として算出する場合、Ｌ１ノルムが小さいほど類似度合いが高いことを示す。
【０１０１】
次に、ＰＳＦ補間部１２０は、算出した距離が予め定められた閾値より小さいか否かを判定する（Ｓ３０４）。つまり、ＰＳＦ補間部１２０は、ＰＳＦ群に含まれるＰＳＦが互いに類似するか否かを判定する。
【０１０２】
ここで、距離が予め定められた閾値以上であると判定された場合（Ｓ３０４のＮｏ）、ＰＳＦ補間部１２０は、ステップＳ３０６の処理を実行する。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しないと判定された場合、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間しない。すなわち、適応的領域内の各画素のＰＳＦは、当該適応的領域に対して算出されたＰＳＦで一様となる。
【０１０３】
このように、ＰＳＦが互いに類似しないと判定された場合にＰＳＦ補間部１２０がＰＳＦを補間しないのは、互いに類似しないＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、それぞれ異なる動きをしている被写体の像である可能性が高いからである。すなわち、このように異なる被写体の像を含む複数の適応的領域においてＰＳＦが補間された場合、本来ありえない被写体の動きに対応するＰＳＦを補間することになりかねないからである。
【０１０４】
一方、距離が予め定められた閾値より小さいと判定された場合（Ｓ３０２のＹｅｓ）、ＰＳＦ補間部１２０は、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する（Ｓ３０５）。つまり、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合、適応的領域の代表画素間に位置する画素のＰＳＦを補間する。つまり、ＰＳＦ補間部１２０は、各適応的領域内外の画素であって代表画素以外の画素のＰＳＦを、代表画素から距離及びＰＳＦの対応関係に基づいて補間する。具体的には、ＰＳＦ補間部１２０は、補間したい画素の位置と各代表画素との距離に応じて、ＰＳＦの対応関係に基づいた新たなＰＳＦを算出し、算出したＰＳＦを当該画素のＰＳＦとして補間する。
【０１０５】
すなわち、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似すると判定された場合にのみ、当該ＰＳＦに対応する適応的領域においてＰＳＦを補間する。これは、ＰＳＦが類似する場合、当該ＰＳＦに対応する適応的領域のそれぞれに含まれる被写体像は、同様の動きをしている１つの被写体の像である可能性が高いからである。このように１つの被写体の像を含む複数の適応的領域間において、ＰＳＦ補間部１２０がＰＳＦを補間することにより、目的画像において、適応的領域の境界に生じる違和感を減少させることが可能となる。なお、ＰＳＦ補間部１２０は、線形補間、多項式補間又はスプライン補間等のいずれの補間方法により、ＰＳＦを補間してもよい。
【０１０６】
続いて、ＰＳＦ補間部１２０は、すべてのＰＳＦがすでに選択されたか否かを判定する（Ｓ３０６）。ここで、ＰＳＦのいずれか１つでも選択されていない場合（Ｓ３０６のＮｏ）、ＰＳＦ補間部１２０は、まだ選択されていないＰＳＦを含むＰＳＦ群を選択する（Ｓ３０１）。一方、すべてのＰＳＦが選択されている場合（Ｓ３０６のＹｅｓ）、図３のステップＳ１０３の処理が実行される。
【０１０７】
このように、ＰＳＦ補間部１２０は、適応的領域ごとに算出されたＰＳＦを用いて、適応的領域のそれぞれを代表する画素間に位置する画素のＰＳＦを補間する。その結果、ＰＳＦ補間部１２０は、隣接する適応的領域の境界において、不自然にＰＳＦが大きく変化することを抑制することが可能となる。すなわち、画像補正部１３０は、適応的領域の境界において違和感のない目的画像を生成することが可能となる。
【０１０８】
次に、第１ＰＳＦ算出部１１１による初期領域の決定に関する方法について説明する。初期領域が小さすぎる場合、第１ＰＳＦ算出部１１１は、テクスチャであるのか、又は、ブレであるのかを区別することが難しいため、ＰＳＦを算出することが難しい。一方、初期領域が大きすぎる場合、異なる動きをする被写体の像が初期領域に含まれる可能性が高いため、第１ＰＳＦ算出部１１１は、被写体の動きに応じたＰＳＦを算出することが難しい。そこで以下に、異なる動きをする複数の被写体の像が含まれないように、大きな領域から順に縮小しながら初期領域を決定する方法について説明する。
【０１０９】
図９は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理（Ｓ２０１）の流れを示すフローチャートである。
【０１１０】
まず、候補領域選択部１１１ａは、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ４０１）。続いて、ブレ方向判定部１１１ｂは、選択した候補領域の画素値を離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）等を用いて周波数空間に変換する（Ｓ４０２）。
【０１１１】
そして、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ４０３）。画像空間において矩形波だったものは、周波数空間ではｓｉｎｃ関数（式（３））で表現される。
【０１１２】
【数３】
2010098054.tif 000023
【０１１３】
したがって、画像のブレが単一方向である場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現される。逆に、画像のブレが単一方向でない場合、画素値を周波数空間に変換することにより得られた周波数分布は、ｓｉｎｃ関数を用いて表現されずに複数の周波数成分が集合した周波数分布として表現される。そこで、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数を用いて表現できるか否かを判定することにより、候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
【０１１４】
具体的には、ブレ方向判定部１１１ｂは、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部１１１ｂは、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
【０１１５】
そして、ブレ方向判定部１１１ｂは、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部１１１ｂは、周波数分布がｓｉｎｃ関数で表現できないと判定する。
【０１１６】
ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、初期領域決定部１１１ｃは、候補領域を初期領域として決定する（Ｓ４０５）。
【０１１７】
一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ４０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、初期領域決定部１１１ｃは、候補領域を初期領域として決定しない。そこで、ブレ方向判定部１１１ｂは、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ４０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値であればよい。
【０１１８】
ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ４０４のＮｏ）、候補領域選択部１１１ａは、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ４０１）。
【０１１９】
一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ４０４のＹｅｓ）、初期領域決定部１１１ｃは、現在選択されている候補領域を初期領域として決定する（Ｓ４０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた被写体の像と考えられるので、初期領域決定部１１１ｃは、候補領域をさらに小さくすることなく、現在選択されている候補領域を初期領域として決定する。
【０１２０】
このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数で表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら初期領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない小さな領域を初期領域として決定することができる。
【０１２１】
次に、上記の第１ＰＳＦ算出部１１１による初期領域を決定する処理の流れを、図１０を用いて具体的に説明する。
【０１２２】
図１０は、本発明の実施の形態１に係る第１ＰＳＦ算出部１１１による初期領域の決定に関する処理の流れを説明するための図である。
【０１２３】
まず、候補領域選択部１１１ａは、図１０（ａ）に示すように、まだ適応的領域として決定されていない領域であって、比較的大きな領域を候補領域６０１として選択する。なお、候補領域選択部１１１ａは、画像の全部を候補領域と選択してもよい。
【０１２４】
次に、ブレ方向判定部１１１ｂは、候補領域６０１の画素値を離散フーリエ変換等により周波数成分に変換する。図１０（ｂ）は、変換された周波数成分を表す画像６０２を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｃ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換により得られた周波数成分を表す画像６０２との相関値を算出する。
【０１２５】
候補領域６０１は複数のブレ方向を含むので、図１０（ｂ）に示す画像６０２は、周波数成分を示す点が縦横に広がった画像となっている。したがって、画像６０２とｓｉｎｃ関数に対応する画像との相関値は小さい。つまり、画像６０２と類似する、ｓｉｎｃ関数に対応する画像は存在しない。
【０１２６】
したがって、ブレ方向判定部１１１ｂは、候補領域６０１のブレ方向は単一のブレ方向でないと判定する。そして、候補領域選択部１１１ａは、図１０（ｄ）に示すように、候補領域６０１より小さい領域を新たな候補領域６０３として選択する。そして、ブレ方向判定部１１１ｂは、候補領域６０３の画素値を離散フーリエ変換等を用いて周波数成分に変換する。図１０（ｅ）は、変換された周波数成分を表す画像６０４を示す図である。そして、ブレ方向判定部１１１ｂは、図１０（ｆ）に示すように、複数の振幅及び位相のｓｉｎｃ関数のそれぞれに対応する複数の画像と、変換を用いて得られた周波数成分を表す画像６０４との相関値を算出する。
【０１２７】
候補領域６０３のブレ方向は単一のブレ方向であるので、図１０（ｅ）に示す画像６０４は、周波数成分を示す点が１つの直線に並んだ画像となっている。したがって、画像６０４とｓｉｎｃ関数に対応する画像との相関値は大きい。つまり、画像６０４と類似するｓｉｎｃ関数に対応する画像が存在する。したがって、ブレ方向判定部１１１ｂは、候補領域６０３のブレ方向が単一のブレ方向であると判定する。そして、初期領域決定部１１１ｃは、候補領域６０３を初期領域として決定する。
【０１２８】
このように、第１ＰＳＦ算出部１１１は、ｓｉｎｃ関数で表現できるか否かを判断基準として初期領域を決定することにより、テクスチャによるグラデーションであるのか、又はブレによるグラデーションであるのかを判定することが可能となる。
【０１２９】
以上のように、本実施の形態に係る画像補正装置１００は、ブレが共通する領域が１つの適応的領域となるように、入力画像を複数の適応的領域に分割することができる。その結果、画像補正装置１００は、ブレが共通する領域ごとにＰＳＦを用いて入力画像を補正することができるので、複数のブレを含む入力画像を、当該入力画像よりもブレの少ない目的画像へ高精度に補正することが可能となる。さらに、画像補正装置１００は、領域ごとに算出されるＰＳＦを用いて代表画素間に位置する画素のＰＳＦを補間することができるので、分割された領域の境界においてＰＳＦが不連続となることにより目的画像に違和感が生じるのを抑制することが可能となる。また、画像補正装置１００は、入力画像以外の画像を用いなくても、入力画像を補正することが可能となる。
【０１３０】
また、画像補正装置１００は、ＰＳＦが類似する領域が１つの適応的領域となるように入力画像を適応的領域に分割することができる。したがって、画像補正装置１００は、異なる方向に動く複数の被写体を撮影することにより得られた１枚の入力画像において、被写体に対応した領域に分割することが可能となる。すなわち、画像補正部１３０が被写体像ごとのブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、画像補正装置１００は、よりブレの少ない目的画像を生成することが可能となる。
【０１３１】
また、画像補正装置１００は、適応的領域を決定する際の初期領域を単一のブレ方向の領域に決定することができるので、ブレ方向が異なる被写体像が適応的領域に含まれる可能性を低減させることができる。すなわち、画像補正装置１００は、被写体像のブレ方向に合致したＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
【０１３２】
また、ＰＳＦ補間部１２０は、ＰＳＦが互いに類似しない適応的領域に対してＰＳＦを補間しない。したがって、ＰＳＦ補間部１２０は、互いに異なる動きをしている被写体像の境界に対してＰＳＦを補間する可能性を低減させることが可能となる。すなわち、ＰＳＦ補間部１２０は、実際の被写体の動きとは異なる動きに対応するＰＳＦを補間する可能性を低減させることが可能となる。
【０１３３】
なお、本実施の形態において、適応的領域分割部１１０は、ＰＳＦが類似する領域が１つの領域となるように適応的領域を決定していたが、本発明が適用される画像補正装置１００は、このような画像補正装置に限定されるものではない。例えば、適応的領域分割部１１０は、類似するテクスチャは同じ動きをする可能性が高いという先見的知識を利用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。また、適応的領域分割部１１０は、例えば、コンピュータビジョン分野において利用される領域分割手法（例えばグラフカットなど）も併用して、それぞれがブレの共通する領域である複数の適応的領域に入力画像を分割してもよい。これにより、適応的領域分割部１１０は、柔軟なテクスチャ分割が可能になる。
【０１３４】
また、複数枚の画像において動きが小さいなどの入力画像の特性がわかっている場合（集合写真のように動きが少ない場合）、画像補正装置１００は、露光時間を長くして撮影された複数枚の画像から動きのある領域のみを画像間差分などを用いて抽出し、抽出した領域についてのみ上述したＰＳＦ補間及び画像補正を行ってもよい。これにより、画像補正装置１００は、トータルの計算コスト、メモリコスト等を削減できる。
【０１３５】
また、本実施の形態において、第１ＰＳＦ算出部１１１は、候補領域を縮小しながら初期領域を決定していたが、例えば、入力画像の露光時間に対応する、予め定められた大きさの領域を、初期領域として決定してもよい。この場合、データ記憶部１０６には、露光時間と領域の大きさとを対応付けたテーブルが格納されていることが好ましい。そして、第１ＰＳＦ算出部１１１は、データ記憶部１０６に格納されたテーブルを参照することにより、入力画像の露光時間に対応した領域の大きさを取得し、取得した大きさの領域を初期領域として決定することが好ましい。
【０１３６】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照しながら説明する。
【０１３７】
実施の形態２に係る画像補正装置２００と実施の形態１に係る画像補正装置１００とは、プログラム格納部１０７が備える適応的領域分割部の構成が異なるが、他の構成要素については同じである。したがって、以下において、実施の形態１と同一の構成となるブロック図及び同一の処理の流れのとなるフローチャートについては、図示及び説明を省略する。また、実施の形態１の構成要素と同一の機能を有する構成要素には同一の符号を付し、説明を省略する。
【０１３８】
図１１は、本発明の実施の形態２に係るプログラム格納部１０７の機能構成を示すブロック図である。
【０１３９】
本実施の形態に係る適応的領域分割部２１０は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。図１１に示すように、適応的領域分割部２１０は、候補領域選択部２１１と、ブレ方向判定部２１２と、適応的領域決定部２１３と、ＰＳＦ算出部２１４とを備える。
【０１４０】
候補領域選択部２１１は、入力画像の全部又は一部の領域である候補領域を決定する。また、候補領域選択部２１１は、ブレ方向判定部２１２により単一のブレ方向でないと判定された場合、候補領域よりも小さな領域を新たな候補領域として選択する。
【０１４１】
ブレ方向判定部２１２は、候補領域選択部２１１により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定する。
【０１４２】
適応的領域決定部２１３は、ブレ方向判定部２１２により単一のブレ方向であると判定された場合、候補領域を適応的領域として決定する。つまり、適応的領域決定部２１３は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する。
【０１４３】
ＰＳＦ算出部２１４は、適応的領域決定部２１３により決定された適応的領域のＰＳＦを算出する。
【０１４４】
次に、以上のように構成された適応的領域分割部２１０の動作について説明する。
【０１４５】
図１２は、本発明の実施の形態２に係る適応的領域分割部２１０の処理（Ｓ１０１）の流れを示すフローチャートである。
【０１４６】
まず、候補領域選択部２１１は、入力画像の全部又は一部の領域を候補領域として選択する（Ｓ５０１）。続いて、ブレ方向判定部２１２は、選択した候補領域の画素値を離散フーリエ変換等により周波数空間に変換する（Ｓ５０２）。
【０１４７】
そして、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布がｓｉｎｃ関数で表現できるか否かを判定する（Ｓ５０３）。つまり、ブレ方向判定部２１２は、候補領域においてブレ方向が単一であるか否かを判定する。
【０１４８】
具体的には、ブレ方向判定部２１２は、周波数空間に変換することにより得られた周波数分布と複数のｓｉｎｃ関数のそれぞれとの相関値を算出する。ここで複数のｓｉｎｃ関数とは、複数の振幅及び複数の位相を組み合わせた場合のそれぞれに対応するｓｉｎｃ関数である。また、ブレ方向判定部２１２は、Ｌ１ノルム、Ｌ２ノルム又は正規化相関などの画像間の類似度を算出する方法を用いて、相関値を算出する。
【０１４９】
そして、ブレ方向判定部２１２は、複数のｓｉｎｃ関数のうち、相関値が予め定められた閾値を超えるｓｉｎｃ関数があるか否かを判定する。ここで、相関値が予め定められた閾値を超えるｓｉｎｃ関数がある場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できると判定する。逆に、相関値が予め定められて閾値を超えるｓｉｎｃ関数がない場合、ブレ方向判定部２１２は、周波数分布がｓｉｎｃ関数を用いて表現できないと判定する。
【０１５０】
ここで、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＹｅｓ）、候補領域のブレ方向は単一のブレ方向であるので、適応的領域決定部２１３は、候補領域を適応的領域として決定する（Ｓ５０５）。
【０１５１】
一方、周波数分布がｓｉｎｃ関数を用いて表現できると判定された場合（Ｓ５０３のＮｏ）、候補領域のブレ方向は単一のブレ方向ではないので、適応的領域決定部２１３は、候補領域を適応的領域として決定しない。そこで、ブレ方向判定部２１２は、候補領域の大きさが予め定められた閾値より小さいか否かを判定する（Ｓ５０４）。ここで、予め定められた閾値とは、高精度に入力画像のブレを補正することが可能なＰＳＦを算出することができる領域の大きさを示す値である。この領域の大きさは、画像が撮影されたときの露光時間に応じて異なる大きさである。例えば、露光時間が１秒程度である場合、閾値は１００画素（１０×１０画素）程度の値を利用すればよい。
【０１５２】
ここで、候補領域の大きさが予め定められた閾値以上であると判定された場合（Ｓ５０４のＮｏ）、候補領域選択部２１１は、現在の候補領域よりも小さな領域を新たな候補領域として選択する（Ｓ５０１）。
【０１５３】
一方、候補領域の大きさが予め定められた閾値より小さいと判定された場合（Ｓ５０４のＹｅｓ）、適応的領域決定部２１３は、現在選択されている候補領域を適応的領域として決定する（Ｓ５０５）。これは、候補領域が小さいため、候補領域に含まれる被写体像が単一の被写体の像であると考えられるからである。すなわち、候補領域に含まれる被写体像が複数の方向に動いた単一の被写体の像と考えられるので、適応的領域決定部２１３は、候補領域をさらに小さくすることなく、現在選択されている候補領域を適応的領域として決定する。
【０１５４】
このように、第１ＰＳＦ算出部１１１は、周波数分布がｓｉｎｃ関数を用いて表現できると判定されるまで、又は、予め定められた大きさまで、候補領域を縮小しながら適応的領域を決定する。したがって、第１ＰＳＦ算出部１１１は、異なるブレ方向のＰＳＦを含まない領域を適応的領域として決定することができる。
【０１５５】
なお、上記のように領域を縮小しながら適応的領域を決定する際に、単一のブレ方向であるか否かを判断基準に用いるのは、初めに比較的大きな領域を候補領域として選択するため、動く方向が異なる複数の被写体の像が領域内に含まれている可能性が高いからである。すなわち、領域を縮小しながら適応的領域を決定する際にＰＳＦの類似度を判断基準に適応的領域を決定した場合、異なるブレ方向のＰＳＦを含む領域を適応的領域として決定してしまう可能性が高いからである。
【０１５６】
以上のように、本実施の形態に係る画像補正装置２００は、単一のブレ方向の領域を適応的領域として決定することができるので、異なる方向に動く複数の被写体の像を含む領域を１つの適応的領域として入力画像を分割することを抑制することができる。すなわち、画像補正装置２００は、被写体像のブレ方向に応じたＰＳＦを用いて入力画像を補正することができるので、よりブレの少ない目的画像を生成することが可能となる。
【０１５７】
以上、本発明に係る画像補正装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１５８】
例えば、上記実施の形態に係る画像補正装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩである。具体的には、システムＬＳＩは、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。さらに具体的には、例えば、図１３に示すように、適応的領域分割部１１０、ＰＳＦ補間部１２０、画像補正部１３０は、１個のシステムＬＳＩ３００から構成されてもよい。
【０１５９】
また、本発明は、上記実施の形態に係る画像補正装置と、光学系及び撮像素子等からなる撮影部とを備える画像撮影装置として実現されてもよい。
【産業上の利用可能性】
【０１６０】
本発明に係る画像補正装置等は、高精度の被写体ブレ補正機能を有し、デジタルスチルカメラ又はセキュリティカメラの高感度化を実現できるため、夜間での撮影、暗環境におけるカメラによる警備等として有用である。
【符号の説明】
【０１６１】
１００、２００    画像補正装置
１０１    演算制御部
１０２    メモリ部
１０３    表示部
１０４    入力部
１０５    通信Ｉ／Ｆ部
１０６    データ記憶部
１０７    プログラム格納部
１０８    バス
１１０、２１０    適応的領域分割部
１１１    第１ＰＳＦ算出部
１１１ａ、２１１  候補領域選択部
１１１ｂ、２１２  ブレ方向判定部
１１１ｃ  初期領域決定部
１１２    領域保持部
１１３    第２ＰＳＦ算出部
１１４    類似度判定部
１１５、２１３    適応的領域決定部
１２０    ＰＳＦ補間部
１３０    画像補正部
２１４    ＰＳＦ算出部
３００    システムＬＳＩ
４００    カメラ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える
画像補正装置。
【請求項２】
前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を１つの適応的領域として決定する
請求項１に記載の画像補正装置。
【請求項３】
前記適応的領域分割部は、
前記入力画像の一部の領域である初期領域の点広がり関数を第１点広がり関数として算出する第１点広がり関数算出部と、
前記初期領域を保持領域として保持する領域保持部と、
前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第２点広がり関数として算出する第２点広がり関数算出部と、
前記第１点広がり関数と前記第２点広がり関数とが類似するか否かを判定する類似度判定部と、
前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、
前記領域保持部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、
前記第２点広がり関数算出部は、前記類似度判定部により前記第１点広がり関数と前記第２点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第２点広がり関数として算出する
請求項２に記載の画像補正装置。
【請求項４】
前記第１点広がり関数算出部は、
前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、
前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
請求項３に記載の画像補正装置。
【請求項５】
前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を１つの適応的領域として決定する
請求項１に記載の画像補正装置。
【請求項６】
前記適応的領域分割部は、
前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を１つの適応的領域として決定する適応的領域決定部とを備え、
前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
請求項５に記載の画像補正装置。
【請求項７】
前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも２つの点広がり関数が直線で表現される場合、当該少なくとも２つの点広がり関数のそれぞれを２以上に分割し、分割した点広がり関数を用いて当該少なくとも２つの点広がり関数を互いに対応付けることにより得られる対応関係に基づいて、当該少なくとも２つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項１に記載の画像補正装置。
【請求項８】
前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項７に記載の画像補正装置。
【請求項９】
前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項１に記載の画像補正装置。
【請求項１０】
前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項９に記載の画像補正装置。
【請求項１１】
入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正方法であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割ステップと、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間ステップと、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正ステップとを含む
画像補正方法。
【請求項１２】
入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する集積回路であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を１つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備える
集積回路。
【請求項１３】
請求項１１に記載の画像補正方法をコンピュータに実行させるためのプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010098054.tif 000024
【図２】
2010098054.tif 000025
【図３】
2010098054.tif 000026
【図４】
2010098054.tif 000027
【図５】
2010098054.tif 000028
【図６】
2010098054.tif 000029
【図７】
2010098054.tif 000030
【図８】
2010098054.tif 000031
【図９】
2010098054.tif 000032
【図１０】
2010098054.tif 000033
【図１１】
2010098054.tif 000034
【図１２】
2010098054.tif 000035
【図１３】
2010098054.tif 000036
【図１４Ａ】
2010098054.tif 000037
【図１４Ｂ】
2010098054.tif 000038
【国際調査報告】
2010098054.tif 000039
2010098054.tif 000040
2010098054.tif 000041
2010098054.tif 000042