(57)【要約】  動きベクトル算出部１１は、入力される複数の画像に基づいて、画像の動きベクトルを算出する。特性決定部１２は、算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する。補正部１３は、入力される複数の画像の合成画像において、特性決定部１２により決定されたエッジ特性を有する画素の画素値を補正する。
2009150696.tif 000002
【特許請求の範囲】
【請求項１】
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定部と、
前記複数の画像から得られる補正対象画像において、前記特性決定部により決定されたエッジ特性を有する画素の画素値を補正する補正部
を有する画像補正装置。
【請求項２】
請求項１に記載の画像補正装置であって、
前記動きベクトル算出部は、ＫＬＴ変換を利用して特徴点を追跡することによって、動きベクトルを算出する
ことを特徴とする画像補正装置。
【請求項３】
請求項１に記載の画像補正装置であって、
前記特性決定部は、前記エッジ特性として、前記動きベクトルに基づいて、各画素についての画素値勾配の方向を決定する
ことを特徴とする画像補正装置。
【請求項４】
請求項１に記載の画像補正装置であって、
前記補正部は、エッジをシャープにする輪郭補正を行う
ことを特徴とする画像補正装置。
【請求項５】
請求項１に記載の画像補正装置であって、
前記補正部は、輪郭強調を行う
ことを特徴とする画像補正装置。
【請求項６】
請求項１に記載の画像補正装置であって、
前記補正対象画像は、前記複数の画像から選択される１つの画像である
ことを特徴とする画像補正装置。
【請求項７】
請求項１に記載の画像補正装置であって、
前記動きベクトルに基づいて、前記複数の画像間の位置ずれを補正する位置補正部と、
前記位置補正部によって位置ずれが補正された複数の画像を合成して合成画像を生成する画像合成部、をさらに備え、
前記補正部は、前記合成画像において、前記特性決定部により決定されたエッジ特性を有する画素の画素値を補正する
ことを特徴とする画像補正装置。
【請求項８】
請求項７に記載の画像補正装置であって、
前記位置補正部によって位置ずれが補正された複数の画像を利用して、被写体の動きを検出する被写体動き検出部をさらに備え、
前記画像合成部は、被写体の動きが検出されなかった領域の画像を合成する
ことを特徴とする画像補正装置。
【請求項９】
請求項１に記載の画像補正装置であって、
被写体の動きを検出する被写体動き検出部をさらに備え、
前記補正部は、被写体の動きが検出された領域の画素については補正を行わない
ことを特徴とする画像補正装置。
【請求項１０】
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出部と、
前記複数の画像から得られる補正対象画像において、オブジェクトまたはテクスチャのエッジを検出するエッジ検出部と、
前記エッジ検出部により検出されたエッジ上に位置する各画素について、画素値勾配の方向を検出する勾配方向検出部と、
前記エッジ上に位置する画素から、前記画素値勾配の方向が前記動きベクトルの方向に対して所定の角度である画素を抽出する抽出部と、
前記抽出部により抽出された画素の画素値を補正する補正部
を有する画像補正装置。
【請求項１１】
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出し、
前記算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定し、
前記複数の画像から得られる補正対象画像において、前記決定されたエッジ特性を有する画素の画素値を補正する
ことを特徴とする画像補正方法。
【請求項１２】
コンピュータに、
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出手順、
前記動きベクトル算出手順により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定手順、
前記複数の画像から得られる補正対象画像において、前記特性決定手順により決定されたエッジ特性を有する画素の画素値を補正する補正手順
を実行させるための画像補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置および画像補正方法に係わり、例えば、画像のぶれを補正するための画像補正装置および画像補正方法に適用することができる。
【背景技術】
【０００２】
撮影された画像の手ぶれ（ここでは、被写体の移動によるぶれを含まないものとする）を補正する技術として、例えば、画像内のオブジェクトまたはテクスチャのエッジをシャープにする方法が知られている。【０００３】
画像内のオブジェクトまたはテクスチャのエッジにおいては、通常、画素値（輝度、濃度など）が急激に変化する。図１に示すプロファイルは、エッジにおける画素値（ここでは、輝度レベル）の変化を示している。また、このプロファイルの横軸は、画素の位置を表している。なお、エッジにおいては、輝度レベルが傾斜（すなわち、ランプ）しているので、本明細書ではエッジが存在する領域を「ランプ領域」と呼ぶことがある。【０００４】
エッジをシャープにするためには、例えば、図１に示すように、輝度レベルが中心レベルよりも低い領域（Ａ領域）では、各画素の輝度レベルは下げられる。一方、輝度レベルが中心レベルよりも高い領域（Ｂ領域）では、各画素の輝度レベルは上げられる。なお、ランプ領域の外側では、輝度レベルの補正は行われない。このような補正により、ランプ領域の幅が狭められ、エッジがシャープになる。この方法は、例えば、非特許文献１に記載されている。【０００５】
また、関連する技術として、特許文献１には、一部の領域のみがぼけている画像において、ぼけ補正を行う画像処理方法が記載されている。すなわち、エッジ検出手段は、縮小画像において８つの異なる方向毎にエッジを検出する。ブロック分割手段は、縮小画像を１６分割する。解析手段は、各ブロックの画像がぼけ画像であるか否かを判断すると共に、ぼけ画像であるブロック画像のぼけ情報（ぼけ幅Ｌ、ぶれ度、ぼけ方向）を検出する。パラメータ設定手段は、ぼけ情報に基づいて、補正パラメータを設定すると共に、ぼけ幅Ｌに応じて補正強度αを設定する。【０００６】
しかしながら、１枚の画像の中で手ぶれを除去する方法では、不適切な画像補正が行われてしまうことがある。例えば、１つの手ぶれ補正方法として、階調の勾配が緩やかなエッジが検出された場合、その緩やかな勾配は手ぶれによって生じたものと判断し、そのエッジをシャープにする手順が考えられる。ところが、この方法では、本来の画像（ここでは、手ぶれ無しで撮影された画像）において階調の勾配が緩やかなエッジも、同様にシャープなエッジに補正されてしまう。この場合、結果として、画質が劣化することになる。また、不必要な補正処理が行われるので、処理時間および／または消費電力の増大を招く可能性がある。
【特許文献１】特開２００５−３３２３８１号公報
【非特許文献１】J.-G Leu, Edge sharpening through ramp width reduction, Image and Vision Computing 18 (2000) 501-514
【発明の開示】
【０００７】
本発明の課題は、少ない演算量で画像のぶれを適切に補正する画像補正装置および画像補正方法を提供することである。
実施形態の画像補正装置は、撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出部と、前記動きベクトル算出部により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定部と、前記複数の画像から得られる補正対象画像において、前記特性決定部により決定されたエッジ特性を有する画素の画素値を補正する補正部、を有する。
【図面の簡単な説明】
【０００８】
【図１】エッジをシャープにする方法を説明する図である。
【図２】実施形態の画像補正装置の構成を示す図である。
【図３】実施形態の画像補正方法を示すフローチャートである。
【図４】動きベクトルについて説明する図である。
【図５】画像内で定義される方向を示す図である。
【図６】補正すべきエッジを決定する方法の一例を説明する図である。
【図７】補正すべきエッジを決定する方法の実施例を説明する図である。
【図８】実施形態の画像補正装置に係わるハードウェア構成を示す図である。
【図９】ぶれ補正回路の構成を示す図である。
【図１０】平滑化フィルタの実施例である。
【図１１】ぶれ補正装置の動作を示すフローチャートである。
【図１２】Sobelフィルタの構成を示す図である。
【図１３】画素濃度指数ＩHを計算するためのフィルタを示す図である。
【図１４】画素濃度指数ＩMを計算するためのフィルタを示す図である。
【図１５】画素濃度指数ＩLを計算するためのフィルタを示す図である。
【図１６】勾配指数ＧHを計算するためのフィルタを示す図である。
【図１７】勾配指数ＧLを計算するためのフィルタを示す図である。
【発明を実施するための最良の形態】
【０００９】
図２は、実施形態の画像補正装置の構成を示す図である。実施形態の画像補正装置１は、特に限定されるものではないが、例えば、電子カメラにより得られた画像を補正する。また、画像補正装置１は、基本的に、手ぶれを補正するものとする。手ぶれは、例えば、画像の撮影時に撮影装置が動くことによって発生する。また、手ぶれに起因する画像の劣化は、主に、画像内のオブジェクトまたはテクスチャのエッジにおいて発生する。よって、画像補正装置１は、エッジをシャープにすることによって、及び／又は、輪郭を強調することによって、手ぶれを補正する。【００１０】
入力画像は、撮影範囲を共有する複数の画像である。これらの複数の画像は、この実施例では、短時間内に連続して撮影された連写画像であるものとする。
画像補正装置１は、動きベクトル算出部１１、特性決定部１２、補正部１３を備える。動きベクトル算出部１１は、入力される連写画像に基づいて、画像の動きベクトルを算出する。特性決定部１２は、算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する。補正部１３は、連写画像から得られる補正対象画像において、エッジ特性を有する画素の画素値を補正する。補正対象画像は、例えば、連写画像として与えられる複数の画像の中の任意の１枚である。あるいは、補正対象画像は、複数の画像を合成することによって得られる合成画像であってもよい。なお、補正部１３は、例えば、エッジをシャープにする輪郭補正、及び／又は、輪郭強調を行う。【００１１】
このように、実施形態の画像補正装置１においては、すべての画素について補正を行うのではなく、動きベクトルに応じて決まる特定の画素に対してのみ補正が行われる。したがって、画像補正のための演算量が少なくなり、消費電力も少なくなる。【００１２】
画像補正装置１は、さらに、位置補正部２１、被写体動き検出部２２、画像合成部２３を備えるようにしてもよい。位置補正部２１は、算出された動きベクトルに基づいて、複数の画像間の位置ずれを補正する。被写体動き検出部２２は、位置補正部２１によって位置ずれが補正された複数の画像を利用して、被写体の動きを検出する。なお、「被写体の動き」は、例えば、撮影された人が手を振っているとき、或いは撮影された自動車が走行しているとき等に検出される。画像合成部２３は、位置補正部２１によって位置ずれが補正された複数の画像を互いに合成して合成画像を生成する。このとき、画像合成部２３は、被写体の動きが検出されなかった領域の画像を合成し、被写体の動きが検出された領域の画像を合成しないようにしてもよい。【００１３】
このようにして合成画像が生成されたときは、補正部１３は、その合成画像において、上述のエッジ特性を有する画素の画素値を補正する。合成画像を利用する場合は、補正部１３に与えられる画像のノイズが除去され、また、光量不足が回避されるので、画質が向上する。【００１４】
図３は、実施形態の画像補正方法を示すフローチャートである。このフローチャートの処理は、この実施例では、連写が行われたときに実行されるものとする。なお、連写により得られる画像の数は、特に限定されるものではない。【００１５】
ステップＳ１では、連写画像（すなわち、撮影範囲を共有する複数の画像）が入力される。ステップＳ２では、連写画像に基づいて、動きベクトルを算出する。ここで算出される動きベクトルは、手ぶれに起因する画像のぶれを表す。なお、動きベクトルは、特に限定されるものではないが、例えば、ＫＬＴ変換を用いて特徴点を抽出し、その特徴点を追跡することで算出される。ＫＬＴ変換については、例えば、下記の文献Ａ〜Ｃに記載されている。
文献Ａ：Bruce D. Lucas and Takeo Kanade.  An Iterative Image Registration Technique with an Application to Stereo Vision.  International Joint Conference on Artificial Intelligence, pages 674-679, 1981. 
文献Ｂ：Carlo Tomasi and Takeo Kanade.  Detection and Tracking of Point Features.  Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991. 
文献Ｃ：Jianbo Shi and Carlo Tomasi.  Good Features to Track.  IEEE Conference on Computer Vision and Pattern Recognition, pages 593-600, 1994. 【００１６】
図４は、動きベクトルについて説明する図である。ここでは、撮影時に手ぶれによってカメラが所定の方向に動いたときの動きベクトルが示されている。この場合、動きベクトルは、Ｘ方向の移動量およびＹ方向の移動量によって表され、画像内のすべての位置において同じである。また、動きベクトルの向きはぶれ方向を表し、動きベクトルの大きさはぶれ量を表す。なお、撮影時にカメラが回転した場合には、回転を表す３×３マトリックスが算出される。【００１７】
ステップＳ３では、算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性（或いは、画像補正を行うべき画素の条件）を決定する。エッジ特性は、例えば、ぶれ方向（動きベクトルの方向）に基づいて決定される。この場合、エッジ特性は、例えば、各画素における画素値勾配の方向で定義される。画素値は、特に限定されるものではないが、例えば輝度レベルである。なお、エッジ特性は、ぶれ量（動きベクトルの大きさ）に基づいて決定されるようにしてもよい。【００１８】
一例として、算出された動きベクトルの成分が「Ｘ＝−１」「Ｙ＝２」であったものとする。そうすると、ぶれ方向は、下式により算出される。
ぶれ方向＝arctan（Ｙ方向の移動量／Ｘ方向の移動量）
＝arctan（−２）
＝−１．１０７
この場合、ぶれ方向は、図５に示すZone１〜Zone８のなかのZone３に属することになる。なお、各Zoneは、それぞれ「π／４」が割り当てられている。【００１９】
図６は、補正すべきエッジを決定する方法について説明する図である。ここでは、手ぶれによって、連続する２枚の画像間で被写体が位置Ａから位置Ｂに動いたものとする。この場合、被写体のエッジは、主に、領域ｃおよび領域ｄにおいてぼけることとなる。すなわち、領域ｃおよび領域ｄに属するエッジは補正を行うべきであるが、他の領域のエッジは必ずしも補正を行う必要はない。したがって、実施形態の画像補正方法では、領域ｃおよび領域ｄに属するエッジを検出し、それらのエッジのみが補正される。これにより、画像補正のための演算量が削減される。【００２０】
図７は、補正すべきエッジを決定する方法の実施例を説明する図である。ここでは、被写体の輪郭は、エッジ１〜４により形成されているものとする。また、被写体の各エッジは、画素値（例えば、輝度レベル）がその被写体の外側に向かって「３」から「１」に変化する勾配を有している。なお、この実施例では、画素値が低下していく方向を「画素値勾配の方向」を呼ぶことにする。【００２１】
図７に示す例では、手ぶれによる動きベクトルＭＶの方向は、エッジ２、４の画素値勾配の方向と平行である。この場合、一般に、エッジ２、４は、その手ぶれによってぼけることになる。したがって、エッジ２、４は、手ぶれ補正を行う必要がある。一方、エッジ１、３の画素値勾配の方向は、動きベクトルＭＶの方向と直交している。この場合、一般に、エッジ１、３は、その手ぶれによってさほどぼけることはない。すなわち、エッジ１、３は、必ずしも手ぶれ補正を行う必要はない。【００２２】
したがって、実施形態の画像補正方法では、画素値勾配の方向が動きベクトルの方向に対して所定の関係を有している画素について、画素値の補正が行われる。具体的には、画素値勾配の方向が動きベクトルとほぼ同じである画素、および画素値勾配の方向が動きベクトルとほぼ逆方向である画素について、補正処理が行われる。例えば、手ぶれに起因する動きベクトルの方向が図５に示すZone３に属していた場合、画素値勾配の方向がZone３またはZone７に属する画素について、補正処理が行われる。【００２３】
図３に戻る。ステップＳ４では、算出された動きベクトルに基づいて、複数の画像間の位置ずれを補正する。２枚の画像が入力されたときは、例えば、一方の画像を基準として他方の画像の各画素の位置を動きベクトルに従って補正する。また、３枚の画像が入力されたときは、例えば、２番目の画像を基準として、１番目および３番目の画像の各画素の位置を動きベクトルに従って補正する。ステップＳ４により、手ぶれによる位置ずれが補正された複数の画像が得られる。【００２４】
ステップＳ５〜Ｓ６では、位置ずれが補正された複数の画像を利用して、被写体の動きを検出する。被写体の動き（例えば、被写体としての人が手を振っている状態、被写体としての自動車が走行している状態など）は、特に限定されるものではないが、例えば、位置ずれ補正後の複数の画像間の差分を計算することにより検出される。すなわち、この差分がゼロ（または、十分に小さい値）であれば、被写体は動いていないと判定され、この差分が所定値よりも大きければ被写体が動いていると判定される。これにより、動いている被写体の画素を検出することができる。【００２５】
ステップＳ７では、被写体が動いていない領域の画像を合成する。すなわち、被写体が動いていない領域において、複数の画像の互いに同じ位置の画素の画素データが合成される。これにより、被写体が動いていない領域について、合成画像が生成される。【００２６】
ステップＳ８では、合成画像に対して、ぶれ補正が行われる。ぶれ補正は、輪郭補正またはエッジのシャープ化である。ステップＳ９では、合成画像に対して、輪郭強調が行われる。なお、ステップＳ８、Ｓ９の一方のみを行ってもよいし、ステップＳ８、Ｓ９の双方を行うようにしてもよい。ステップＳ８、Ｓ９の双方を行う場合、その順番は特に限定されない。【００２７】
ステップＳ８、Ｓ９の補正は、画素毎に行われる。ただし、この補正は、すべての画素に対して行われる必要はない。すなわち、ステップＳ３に関連して説明したように、動きベクトルに応じて決まる特定の画素に対してのみ補正が行われる。なお、ステップＳ８、Ｓ９の実施例は、後で説明する。【００２８】
ステップＳ１０では、ステップＳ８、Ｓ９により補正された領域の画像、および被写体が動いていない領域の画像を合成する。これにより、補正画像が得られる。
図８は、実施形態の画像補正装置１に係わるハードウェア構成を示す図である。図８において、ＣＰＵ１０１は、メモリ１０３を利用して画像補正プログラムを実行する。記憶装置１０２は、例えばハードディスクであり、画像補正プログラムを格納する。なお、記憶装置１０２は、外部記録装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。【００２９】
読み取り装置１０４は、ＣＰＵ１０１の指示に従って可搬型記録媒体１０５にアクセスする。可搬性記録媒体１０５は、例えば、半導体デバイス（ＰＣカード等）、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１０６は、ＣＰＵ１０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１０７は、この実施例では、カメラ、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。【００３０】
実施形態に係わる画像補正プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで画像補正プログラムを実行することにより、実施形態に係わる画像補正装置が実現される。【００３１】
図９は、図３に示すステップＳ８のぶれ補正処理を実行するぶれ補正回路３０の構成を示す図である。なお、ぶれ補正回路３０の入力画像は、図３を参照しながら説明したように、被写体が動いていない領域の画像である。或いは、ぶれ補正回路３０の入力画像は、連写画像（複数の画像）の中の任意の１つであってもよい。【００３２】
入力画像は、平滑化処理部３１および補正部３５に与えられる。平滑化処理部３１は、例えば、平滑化（または、平均化）フィルタであり、入力画像の各画素の輝度値を平滑化する。この平滑化処理により、入力画像のノイズが除去（または、低減）される。ぶれ範囲検出部３２は、平滑化処理部３１から出力される平滑化画像において、手ぶれが発生していると推定される領域を検出する。すなわち、ぶれ範囲検出部３２は、平滑化画像の各画素について、手ぶれが発生しているか否かを推定する。なお、手ぶれに起因する画像の劣化は、上述したように、主に、画像内のオブジェクトまたはテクスチャのエッジにおいて発生する。また、エッジ領域においては、一般に、輝度値が図１に示すように傾斜している。したがって、ぶれ範囲検出部３２は、例えば、平滑化画像において輝度の傾斜を検出することにより、手ぶれ範囲を検出する。【００３３】
補正対象抽出部３３は、検出された手ぶれ範囲において、さらに補正対象の画素を抽出する。補正対象の画素を抽出するための条件は、図３に示すステップＳ３において、動きベクトルに基づいて決定される。例えば、動きベクトルの方向が図５に示すZone３に属していた場合、画素値勾配の方向（ここでは、輝度の傾斜の方向）がZone３又はZone７に属する画素が抽出される。【００３４】
補正量算出部３４は、補正対象抽出部３３により抽出された画素について補正量を算出する。そして、補正部３５は、補正量算出部３４により算出された補正量を利用して、入力画像を補正する。このとき、補正部３５は、例えば、図１を参照しながら説明したように、エッジ領域において、中心レベルよりも輝度の高い画素の輝度値をより高くし、中心レベルよりも輝度の低い画素の輝度値をより低くする。これにより、エッジがシャープになる。【００３５】
このように、ぶれ補正回路３０は、動きベクトルに基づいて決められた条件に従って補正対象の画素を抽出し、その抽出された画素についての補正量を算出する。このとき、平滑化された画像においては、ノイズが除去（または、低減）されている。このため、検出されるぶれ範囲、および算出される補正量は、ノイズの影響を受けない。したがって、ノイズの影響を受けることなく、画像内のエッジをシャープにすることができる。【００３６】
平均化処理部３１は、入力画像のサイズを検出する。すなわち、例えば、入力画像の画素数が検出される。画像サイズを検出する方法は、特に限定されるものではなく、公知の技術により実現するようにしてもよい。そして、例えば、入力画像のサイズが閾値よりも小さければ３×３フィルタ２２が選択され、入力画像のサイズが閾値よりも大きければ５×５フィルタ２３が選択される。閾値は、特に限定されるものではないが、例えば、１Ｍピクセルである。【００３７】
図１０（ａ）は、３×３平滑化フィルタの実施例である。３×３平滑化フィルタは、入力画像の各画素について、平滑化演算を実行する。すなわち、対象画素およびその周辺の８画素（合計、９画素）の輝度値の平均が算出される。図１０（ｂ）は、５×５平滑化フィルタの実施例である。５×５平滑化フィルタも、３×３平滑化フィルタと同様に、入力画像の各画素について、平滑化演算を実行する。ただし、５×５平滑化フィルタは、対象画素およびその周辺の２４画素（合計、２５画素）の輝度値の平均を算出する。【００３８】
このように、平均化処理部３１は、画像のサイズに応じて決まるフィルタを利用して、入力画像を平滑化する。ここで、一般に、サイズの大きい画像においては、ノイズが大きくなる。したがって、画像サイズが大きいほど、強い平滑化処理が必要になる。【００３９】
なお、上述の実施例では、２種類のフィルタのうちの一方が選択されているが、実施形態の画像補正装置はこの構成に限定されるものではない。すなわち、画像のサイズに応じて３以上のフィルタの中から１つが選択されるようにしてもよい。また、図１０（ａ）および図１０（ｂ）には、複数の画素値の単純平均を算出するフィルタが示されているが、実施形態の画像補正装置はこの構成に限定されるものではない。すなわち、平滑化処理部３１を構成するフィルタとして、例えば、中心または中心領域に大きな重みを持った加重平均フィルタを使用するようにしてもよい。【００４０】
図１１は、ぶれ補正回路３０の動作を示すフローチャートである。図１１において、ステップＳ２１では、画像データが入力される。画像データは、各画素の画素値（輝度情報など）を含んでいる。ステップＳ２２では、平滑化フィルタのサイズが決定される。平滑化フィルタのサイズは、上述したように、入力画像のサイズに応じて決定される。そして、ステップＳ２３において、ステップＳ２２で決められたフィルタを用いて、入力画像が平滑化される。【００４１】
ステップＳ２４では、平滑化された画像の各画素について後述する評価指数ＩH、ＩM、ＩL、ＧH、ＧM、ＧLを算出する。ステップＳ２５では、平滑化画像の各画素について、評価指数ＩH、ＩM、ＩLを利用して、ぶれ範囲に属しているか否かを判定する。ステップＳ２６では、補正対象の画素を抽出する。そして、補正対象の画素について、ステップＳ２７〜Ｓ２９が実行される。一方、抽出されなかった画素については、ステップＳ２７〜Ｓ２９の処理はスキップされる。【００４２】
ステップＳ２７では、対象画素についての評価指数ＧH、ＧM、ＧLを利用して、その対象画素の輝度を補正すべきか否かを判定する。補正が必要な場合には、ステップＳ２８において、評価指数ＩH、ＩM、ＩL、ＧH、ＧM、ＧLを利用して補正量を算出する。そして、ステップＳ２９では、算出された補正量に従って、原画像を補正する。【００４３】
なお、ステップＳ２２〜Ｓ２３の処理は、図９に示す平均化処理部３１により実行される。また、ステップＳ２４〜Ｓ２９は、エッジのランプ領域（輝度レベルが傾斜している領域）の幅を狭くすることで、そのエッジをシャープにする処理に相当する。以下、ステップＳ２４〜Ｓ２９の処理を説明する。【００４４】
＜評価指数の算出（ステップＳ２４）＞
平滑化された画像の各画素に対して、Sobel演算が行われる。Sobel演算は、図１２に示すSobelフィルタが使用される。すなわち、Sobel演算では、対象画素およびその周辺の８画素が利用される。ここで、図１２（ａ）はＸ方向のSobelフィルタの構成を示し、図１２（ｂ）はＹ方向のSobelフィルタの構成を示している。そして、各画素に対して、Ｘ方向Sobel演算およびＹ方向Sobel演算が実行される。以下では、Ｘ方向およびＹ方向のSobel演算の結果を、それぞれ「gradＸ」「gradＹ」と呼ぶことにする。【００４５】
Sobel演算の結果を利用して、各画素について、輝度の勾配の大きさを算出する。勾配の大きさ「gradMag」は、例えば、下記（１）式で算出される。【００４６】
2009150696.tif 000003
あるいは、演算量を少なくするためには、下記（２）式で勾配を算出するようにしてもよい。【００４７】
2009150696.tif 000004
続いて、Sobel演算の結果を利用して、各画素について、勾配の方向を求める。勾配の方向「PixDirection(θ)」は、下記（３）式で求められる。なお、「gradＸ」がゼロに近いとき（例えば、gradＸ＜10-6）は、「PixDirection＝−π／２」とする。【００４８】
2009150696.tif 000005
次に、各画素について、勾配の方向が、図５に示すZone１〜Zone８の何れに属するのかを判定する。なお、Zone１〜Zone８は、以下の通りである。
Zone１：０≦PixDirection＜π／４  且つ  gradＸ＞０
Zone２：π／４≦PixDirection＜π／２  且つ  gradＹ＞０
Zone３：−π／２≦PixDirection＜−π／４  且つ  gradＹ＜０
Zone４：−π／４≦PixDirection＜０  且つ  gradＸ＜０
Zone５：０≦PixDirection＜π／４  且つ  gradＸ＜０
Zone６：π／４≦PixDirection＜π／２  且つ  gradＹ＜０
Zone７：−π／２≦PixDirection＜−π／４  且つ  gradＹ＞０
Zone８：−π／４≦PixDirection＜０  且つ  gradＸ＞０
次に、平滑化された画像の各画素について、画素濃度指数ＩH、ＩM、ＩLを算出する。画素濃度指数ＩH、ＩM、ＩLは、上記（３）式で求められる勾配の方向に依存する。ここで、一実施例として、勾配の方向がZone１（０≦θ＜π／４）に属する場合の画素濃度指数ＩH、ＩM、ＩLを算出する例を示す。以下では、画素(i, j)の勾配方向を「θ(i, j)」と呼ぶことにする。【００４９】
まず、「θ＝０」に対して下式を定義する。なお、「P(i, j)」は、座標(i, j)に位置する画素の輝度値を表す。「P(i, j+1)」は、座標(i, j+1)に位置する画素の輝度値を表す。他の画素についても同様である。
ＩH(0)＝0.25×{P(i+1, j+1)＋2×P(i, j+1)＋P(i−1, j+1)}
ＩM(0)＝0.25×{P(i+1, j)＋2×P(i, j)＋P(i−1, j)}
ＩL(0)＝0.25×{P(i+1, j−1)＋2×P(i, j−1)＋P(i−1, j−1)}
同様に、「θ＝π／４」に対して下式を定義する。
ＩH(π/4)＝0.5×{P(i+1, j)＋P(i, j+1)}
ＩM(π/4)＝0.25×{P(i+1, j−1)＋2×P(i, j)＋P(i−1, j+1)}
ＩL(π/4)＝0.5×{P(i, j−1)＋P(i−1, j)}【００５０】
ここで、Zone１における３つの画素濃度指数は、それぞれ「θ＝０」の画素濃度指数および「θ＝π／４」の画素濃度指数を利用する線形補間により算出される。すなわち、Zone１における３つの画素濃度指数は、下式により算出される。
ＩH,Zone1＝ＩH(0)×ω＋ＩH(π/4)×(1−ω)
ＩM,Zone1＝ＩM(0)×ω＋ＩM(π/4)×(1−ω)
ＩL,Zone1＝ＩL(0)×ω＋ＩL(π/4)×(1−ω)
ω＝１−{4×θ(i, j)}／π
Zone２〜Zone８の画素濃度指数についても、同様の手順で算出することができる。すなわち、「θ＝０、π/4、π/2、3π/4、π、−3π/4、−π/2、−π/4」に対して、それぞれ画素濃度指数が算出される。これらの画素濃度指数は、それぞれ、平滑化された画像の各画素の輝度値に３×３フィルタ演算を行うことにより得られる。図１３、図１４、図１５は、それぞれ画素濃度指数ＩH、ＩM、ＩLを得るためのフィルタの構成を示す図である。【００５１】
これらのフィルタを用いることにより、所定の８方向の画素濃度指数ＩH、ＩM、ＩLを算出することができる。そして、各Zoneの画素濃度指数ＩHは、対応する２方向の画素濃度指数ＩHを利用して、下式により算出される。
ＩH,Zone1＝ＩH(0)×w15＋ＩH(π/4)×(1−w15)
ＩH,Zone2＝ＩH(π/2)×w26＋ＩH(π/4)×(1−w26)
ＩH,Zone3＝ＩH(π/2)×w37＋ＩH(3π/4)×(1−w37)
ＩH,Zone4＝ＩH(π)×w48＋ＩH(3π/4)×(1−w48)
ＩH,Zone5＝ＩH(π)×w15＋ＩH(−3π/4)×(1−w15)
ＩH,Zone6＝ＩH(−π/2)×w26＋ＩH(−3π/4)×(1−w26)
ＩH,Zone7＝ＩH(−π/2)×w37＋ＩH(−π/4)×(1−w37)
ＩH,Zone8＝ＩH(0)×w48＋ＩH(−π/4)×(1−w48)
なお、w15、w26、w37、w48は、それぞれ、下指示により表される。
W15＝１−4θ／π
W26＝4θ／π−１
W37＝−１−4θ／π
W48＝１＋4θ／π【００５２】
また、各Zoneの画素濃度指数ＩMは、対応する２方向の画素濃度指数ＩMを利用して、下式により算出される。
ＩM,Zone1＝ＩM(0)×w15＋ＩM(π/4)×(1−w15)
ＩM,Zone2＝ＩM(π/2)×w26＋ＩM(π/4)×(1−w26)
ＩM,Zone3＝ＩM(π/2)×w37＋ＩM(3π/4)×(1−w37)
ＩM,Zone4＝ＩM(π)×w48＋ＩM(3π/4)×(1−w48)
ＩM,Zone5＝ＩM(π)×w15＋ＩM(−3π/4)×(1−w15)
ＩM,Zone6＝ＩM(−π/2)×w26＋ＩM(−3π/4)×(1−w26)
ＩM,Zone7＝ＩM(−π/2)×w37＋ＩM(−π/4)×(1−w37)
ＩM,Zone8＝ＩM(0)×w48＋ＩM(−π/4)×(1−w48)【００５３】
同様に、各Zoneの画素濃度指数ＩLは、対応する２方向の画素濃度指数ＩLを利用して、下式により算出される。
ＩL,Zone1＝ＩL(0)×w15＋ＩL(π/4)×(1−w15)
ＩL,Zone2＝ＩL(π/2)×w26＋ＩL(π/4)×(1−w26)
ＩL,Zone3＝ＩL(π/2)×w37＋ＩL(3π/4)×(1−w37)
ＩL,Zone4＝ＩL(π)×w48＋ＩL(3π/4)×(1−w48)
ＩL,Zone5＝ＩL(π)×w15＋ＩL(−3π/4)×(1−w15)
ＩL,Zone6＝ＩL(−π/2)×w26＋ＩL(−3π/4)×(1−w26)
ＩL,Zone7＝ＩL(−π/2)×w37＋ＩL(−π/4)×(1−w37)
ＩL,Zone8＝ＩL(0)×w48＋ＩL(−π/4)×(1−w48)【００５４】
このように、各画素について画素濃度指数ＩH、ＩM、ＩLを算出する際には、下記の手順が行われる。
（ａ）勾配の方向θを算出する
（ｂ）θに対応するZoneを検出する
（ｃ）検出されたZoneに対応する１組のフィルタを用いてフィルタ演算を行う。たとえば、θがZone１に属する場合には、図１３に示すフィルタを用いてＩH(0)、ＩH(π/4)が算出される。ＩM、ＩLについても同様である。
（ｄ）上記（ｃ）で得られる１組の演算結果およびθに基づいて、ＩH、ＩM、ＩLを算出する
次に、平滑化された画像の各画素について、勾配指数ＧH、ＧM、ＧLを算出する。勾配指数ＧH、ＧM、ＧLは、画素濃度指数ＩH、ＩM、ＩLと同様に、上記（３）式で求められる勾配の方向に依存する。よって、画素濃度指数と同様に、Zone１（０≦θ＜π／４）における勾配指数ＧH、ＧM、ＧLを算出する例を示す。【００５５】
まず、「θ＝０」に対して下式を定義する。なお、「gradMag(i, j)」は、座標(i, j)に位置する画素の勾配の大きさを表す。また、「gradMag(i+1, j)」は、座標(i+1, j)に位置する画素の勾配の大きさを表す。他の画素についても同様である。
ＧH(0)＝gradMag(i, j+1)
ＧM(0)＝gradMag(i, j)
ＧL(0)＝gradMag(i, j−1)
同様に、「θ＝π／４」に対して下式を定義する。
ＧH(π/4)＝0.5×{gradMag(i+1, j)＋gradMag (i, j+1)}
ＧM(π/4)＝gradMag(i, j)
ＧL(π/4)＝0.5×{gradMag(i, j−1)＋gradMag (i−1, j)}【００５６】
ここで、Zone１における勾配指数は、「θ＝０」の勾配指数および「θ＝π／４」の勾配指数を利用する線形補間により算出される。すなわち、Zone１における勾配指数は、下式により算出される。
ＧH,Zone1＝ＧH(0)×ω＋ＧH(π/4)×(1−ω)
ＧM,Zone1＝ＧM(0)×ω＋ＧM(π/4)×(1−ω)＝gradMag(i, j)
ＧL,Zone1＝ＧL(0)×ω＋ＧL(π/4)×(1−ω)
ω＝１−{4×θ(i, j)}／π
このように、勾配指数ＧMは、勾配の方向θに依存することなく、常に「gradMag(i, j)」である。即ち、各画素の勾配指数ＧMは、勾配の方向θに係わりなく、上述した（１）式または（２）式により算出される。【００５７】
Zone２〜Zone８の勾配指数についても、同様の手順で算出することができる。すなわち、「θ＝０、π/4、π/2、3π/4、π、−3π/4、−π/2、−π/4」に対して、それぞれ勾配指数が算出される。これらの勾配指数は、それぞれ、平滑化された画像の各画素の勾配の大きさgradMagに３×３フィルタ演算を行うことにより得られる。図１６および図１７は、それぞれ勾配指数ＧH、ＧLを得るためのフィルタの構成を示す図である。【００５８】
このようなフィルタ演算により所定の８方向の勾配指数ＧH、ＧLが得られる。そして、各Zoneの勾配指数ＧHは、対応する２方向の勾配指数ＧHを利用して、下式により算出される。
ＧH,Zone1＝ＧH(0)×w15＋ＧH(π/4)×(1−w15)
ＧH,Zone2＝ＧH(π/2)×w26＋ＧH(π/4)×(1−w26)
ＧH,Zone3＝ＧH(π/2)×w37＋ＧH(3π/4)×(1−w37)
ＧH,Zone4＝ＧH(π)×w48＋ＧH(3π/4)×(1−w48)
ＧH,Zone5＝ＧH(π)×w15＋ＧH(−3π/4)×(1−w15)
ＧH,Zone6＝ＧH(−π/2)×w26＋ＧH(−3π/4)×(1−w26)
ＧH,Zone7＝ＧH(−π/2)×w37＋ＧH(−π/4)×(1−w37)
ＧH,Zone8＝ＧH(0)×w48＋ＧH(−π/4)×(1−w48)
なお、w15、w26、w37、w48は、それぞれ、下指示により表される。
W15＝１−4θ／π
W26＝4θ／π−１
W37＝−１−4θ／π
W48＝１＋4θ／π【００５９】
同様に、各Zoneの勾配指数ＧLは、対応する２方向の勾配指数ＧLを利用して、下式により算出される。
ＧL,Zone1＝ＧL(0)×w15＋ＧL(π/4)×(1−w15)
ＧL,Zone2＝ＧL(π/2)×w26＋ＧL(π/4)×(1−w26)
ＧL,Zone3＝ＧL(π/2)×w37＋ＧL(3π/4)×(1−w37)
ＧL,Zone4＝ＧL(π)×w48＋ＧL(3π/4)×(1−w48)
ＧL,Zone5＝ＧL(π)×w15＋ＧL(−3π/4)×(1−w15)
ＧL,Zone6＝ＧL(−π/2)×w26＋ＧL(−3π/4)×(1−w26)
ＧL,Zone7＝ＧL(−π/2)×w37＋ＧL(−π/4)×(1−w37)
ＧL,Zone8＝ＧL(0)×w48＋ＧL(−π/4)×(1−w48)【００６０】
このように、各画素について勾配指数ＧH、ＧM、ＧLを算出する際には、下記の手順が行われる。
（ａ）勾配の大きさgradMagを算出する
（ｂ）gradMagからＧMを算出する
（ｃ）勾配の方向θを算出する
（ｄ）θに対応するZoneを検出する
（ｅ）検出されたZoneに対応する１組のフィルタを用いてフィルタ演算を行う。たとえば、θがZone１に属する場合には、図１６に示すフィルタを用いてＧH(0)、ＧH(π/4)が算出される。ＧLについても同様である。
（ｆ）上記（ｅ）で得られる１組の演算結果およびθに基づいて、ＧH、ＧLを算出する
以上説明したように、ステップＳ２４においては、平滑化された画像の各画素について評価指数（画素濃度指数ＩH、ＩM、ＩLおよび勾配指数ＧH、ＧM、ＧL）が算出される。そして、これらの評価指数は、ぶれ範囲の検出、および補正量の算出のために使用される。【００６１】
＜ぶれ範囲の検出（ステップＳ２５）＞
ぶれ範囲検出部３２は、平滑化された画像の各画素について、それぞれ下記（４）式の条件を満たすか否かをチェックする。なお、（４）式は、対象画素が輝度スロープの途中に位置していることを示している。
ＩH＞ＩM＞ＩL  ・・・（４）
画素濃度指数が（４）式を満たす画素は、ぶれ範囲に属している（或いは、エッジ上に配置されている）と判定される。すなわち、（４）式を満たす画素は、補正が必要であると判定される。一方、画素濃度指数が（４）式を満たしていない画素は、ぶれ範囲に属していないと判定される。すなわち、（４）式を満たしていない画素は、補正が必要でないと判定される。なお、図１に示すランプ領域内の画素は、基本的に、上記（４）式により、ぶれ範囲に属すると判定される。【００６２】
＜補正対象の画素の抽出（ステップＳ２６）＞
補正対象抽出部３３は、ぶれ範囲に属している画素の中で、補正すべき画素を抽出する。例えば、図６に示す例では、エッジ上の画素のうち、領域ｃまたは領域ｄに属する画素が抽出される。また、図７に示す例では、エッジ１〜４上の画素のうち、エッジ２、４上の画素のみが抽出される。実施例では、手ぶれによる動きベクトルの方向がZone３に属している場合、勾配の方向θがZone３またはZone７に属している画素が抽出される。勾配の方向θは、各画素について上記（３）で算出される。【００６３】
抽出された画素についてステップＳ２７〜Ｓ２９の補正が行われる。抽出されなかった画素については、ステップＳ２７〜Ｓ２９の補正は行われない。すなわち、ステップＳ２５においてエッジ上に位置すると判定された画素であっても、手ぶれの影響が小さいと判定された場合には、ステップＳ２７〜Ｓ２９の補正は行われない。【００６４】
＜補正量の算出（ステップＳ２７〜Ｓ２８）＞
補正量算出部３４は、補正対象として抽出された各画素について、下記のケース１〜３を満たすかチェックする。
ケース１：ＧH＞ＧM＞ＧL
ケース２：ＧH＜ＧM＜ＧL
ケース３：ＧH＜ＧM  且つ  ＧL＜ＧM
ケース１は、輝度の勾配が急峻になっていくことを表している。したがって、ケース１に属する画素は、図１に示すエッジのランプ領域において、輝度レベルが中心レベルよりも低い領域（Ａ領域）に属していると考えられる。一方、ケース２は、輝度の勾配が緩やかになっていくことを表している。したがって、ケース２に属する画素は、輝度レベルが中心レベルよりも高い領域（Ｂ領域）に属していると考えられる。なお、ケース３は、対象画素の勾配が、隣接画素の勾配よりも高いことを表している。すなわち、ケース３に属する画素は、輝度レベルが中心レベルまたはその近傍領域（Ｃ領域）に属していると考えられる。【００６５】
そして、補正量算出部３４は、補正対象として抽出された各画素について、それぞれ輝度レベルの補正量を算出する。
画素がケース１に属する場合（すなわち、画素がランプ領域内の低輝度領域に位置する場合）、その画素の輝度の補正量Leveldownは、下式で表される。なお、「Ｓ」は補正因子であり、「θ」は上述の（３）式で得られる。【００６６】
2009150696.tif 000006
画素がケース２に属する場合（すなわち、画素がランプ領域内の高輝度領域に位置する場合）、その画素の輝度の補正量Levelupは、下式で表される。【００６７】
2009150696.tif 000007
画素がケース３に属する場合（すなわち、画素がランプ領域内の中心領域に位置する場合）、補正量はゼロである。なお、画素がケース１〜３のいずれにも属さない場合にも、補正量はゼロである。【００６８】
＜補正（ステップＳ２９）＞
補正部３５は、原画像の各画素の画素値（例えば、輝度レベル）を補正する。ここで、画素（i, j）について補正により得られる画素データImage(i, j)は、下式で得られる。なお、「Originai(i, j)」は、原画像の画素（i, j）の画素データである。
ケース１：Image(i, j)＝Originai(i, j)−Leveldown(i, j)
ケース２：Image(i, j)＝Originai(i, j)＋Levelup(i, j)
他のケース：Image(i, j)＝Originai(i, j)
このように、実施形態の画像補正装置１においては、複数の画像を利用して手ぶれの方向および大きさを表す動きベクトルを算出し、その動きベクトルに基づいて決まる条件を持った画素に対してのみ補正が行われる。すなわち、手ぶれの影響が大きいエッジの画素のみが補正される。したがって、手ぶれを適切に補正しながら、画像補正のための演算量を少なくすることができる。【００６９】
実施形態の画像補正装置１は、上述したぶれ補正の代わりに、或いは上述したぶれ補正と共に、輪郭強調を行うこともできる。輪郭強調は、連写画像に基づいて算出される動きベクトルの方向に対応するフィルタを用いて行われる。すなわち、動きベクトルの方向により表されるぶれ方向においてのみ輪郭強調が行われる。【００７０】
輪郭強調は、特に限定されるものではないが、例えば、アンシャープマスクにより実現される。アンシャープマスクは、原画像とその平滑化画像との間の差分iDiffValue(i, j)を算出する。この差分は、変化の方向も表す。そして、係数iStrengthを用いてこの差分を調整し、その調整された差分を原画像に加える。これにより、輪郭が強調される。【００７１】
アンシャープマスクの計算式は、下記の通りである。なお、「iStrength」は、輪郭強調の強度を表す定数である。
補正値NewValue(i, j)＝Original(i, j)＋iDiffValue(i, j)×iStrength
このように、実施形態の画像補正方法においては、手ぶれ補正のための演算量を少なくすることができる。【００７２】
また、実施形態の画像補正方法においては、算出した動きベクトルを用いて位置ずれ補正をした複数の画像を合成し、その合成画像において手ぶれ補正を行うことができる。この場合、連写画像の中の１枚の画像を利用して補正を行う方法と比べてノイズが除去されるので、画質が向上する。【００７３】
さらに、実施形態の画像補正方法においては、被写体が動いている領域の画像を合成しないようにできる。この場合、被写体の多重化が回避される。
さらに、実施形態の画像補正方法においては、被写体が動いている領域の画像の補正をしないようにすることができる。この場合、不適切な補正が回避される。
【図１】
2009150696.tif 000008
【図２】
2009150696.tif 000009
【図３】
2009150696.tif 000010
【図４】
2009150696.tif 000011
【図５】
2009150696.tif 000012
【図６】
2009150696.tif 000013
【図７】
2009150696.tif 000014
【図８】
2009150696.tif 000015
【図９】
2009150696.tif 000016
【図１０】
2009150696.tif 000017
【図１１】
2009150696.tif 000018
【図１２】
2009150696.tif 000019
【図１３】
2009150696.tif 000020
【図１４】
2009150696.tif 000021
【図１５】
2009150696.tif 000022
【図１６】
2009150696.tif 000023
【図１７】
2009150696.tif 000024
【手続補正書】
【提出日】平成22年8月18日(2010.8.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定部と、
前記複数の画像から得られる補正対象画像において、前記特性決定部により決定されたエッジ特性を有する画素の画素値を補正する補正部
を有する画像補正装置。
【請求項２】
請求項１に記載の画像補正装置であって、
前記特性決定部は、前記エッジ特性として、前記動きベクトルに基づいて、各画素についての画素値勾配の方向を決定する
ことを特徴とする画像補正装置。
【請求項３】
請求項１に記載の画像補正装置であって、
前記補正部は、エッジをシャープにする輪郭補正を行う
ことを特徴とする画像補正装置。
【請求項４】
請求項１に記載の画像補正装置であって、
前記補正対象画像は、前記複数の画像から選択される１つの画像である
ことを特徴とする画像補正装置。
【請求項５】
請求項１に記載の画像補正装置であって、
前記動きベクトルに基づいて、前記複数の画像間の位置ずれを補正する位置補正部と、
前記位置補正部によって位置ずれが補正された複数の画像を合成して合成画像を生成する画像合成部、をさらに備え、
前記補正部は、前記合成画像において、前記特性決定部により決定されたエッジ特性を有する画素の画素値を補正する
ことを特徴とする画像補正装置。
【請求項６】
請求項５に記載の画像補正装置であって、
前記位置補正部によって位置ずれが補正された複数の画像を利用して、被写体の動きを検出する被写体動き検出部をさらに備え、
前記画像合成部は、被写体の動きが検出されなかった領域の画像を合成する
ことを特徴とする画像補正装置。
【請求項７】
請求項１に記載の画像補正装置であって、
被写体の動きを検出する被写体動き検出部をさらに備え、
前記補正部は、被写体の動きが検出された領域の画素については補正を行わない
ことを特徴とする画像補正装置。
【請求項８】
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出部と、
前記複数の画像から得られる補正対象画像において、オブジェクトまたはテクスチャのエッジを検出するエッジ検出部と、
前記エッジ検出部により検出されたエッジ上に位置する各画素について、画素値勾配の方向を検出する勾配方向検出部と、
前記エッジ上に位置する画素から、前記画素値勾配の方向が前記動きベクトルの方向に対して所定の角度である画素を抽出する抽出部と、
前記抽出部により抽出された画素の画素値を補正する補正部
を有する画像補正装置。
【請求項９】
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出し、
前記算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定し、
前記複数の画像から得られる補正対象画像において、前記決定されたエッジ特性を有する画素の画素値を補正する
ことを特徴とする画像補正方法。
【請求項１０】
コンピュータに、
撮影範囲を共有する複数の画像に基づいて、画像の動きベクトルを算出する動きベクトル算出手順、
前記動きベクトル算出手順により算出された動きベクトルに基づいて、画像補正を行うべきエッジ特性を決定する特性決定手順、
前記複数の画像から得られる補正対象画像において、前記特性決定手順により決定されたエッジ特性を有する画素の画素値を補正する補正手順
を実行させるための画像補正プログラム。
【国際調査報告】
2009150696.tif 000025
2009150696.tif 000026
2009150696.tif 000027