(57)【要約】【課題】誤った歪み補正処理による画像の劣化を抑制することを可能とする撮像装置を提供する【解決手段】歪み補正部６１は、撮像の際に撮像装置に生じた動きに基づいて歪みを算出する歪み算出部６２と、入力画像の生成状況に基づいて歪み調整値を算出する歪み調整値算出部６３と、歪みと歪み調整値とに基づいて入力画像の歪みを補正する歪み補正処理を行う歪み補正処理部６４と、を備える。歪み調整値算出部６３は、入力画像の生成状況に応じて歪み調整値を小さくすることで、歪み補正処理部６４による歪み補正処理の補正の程度を小さくする。【選択図】図３
2010166512.tif 000002
【特許請求の範囲】
【請求項１】
撮像を行い、露光タイミングが領域毎に異なる入力画像を生成する画像生成部と、
前記画像生成部による撮像の際に自機に生じた動きを検出する動き検出部と、
前記動き検出部によって検出された前記動きに基づいて、前記入力画像に生じた歪みを算出する歪み算出部と、
前記入力画像に対して、前記歪み算出部によって算出された前記歪みの補正を行い、出力画像を生成する歪み補正処理部と、を備え、
前記歪み補正処理部が、前記入力画像の生成状況に基づいて前記歪みを補正する程度を制御することを特徴とする撮像装置。
【請求項２】
前記画像生成部が、順次撮像を行う際の位置ずれを補正する手ぶれ補正処理を行う手ぶれ補正部を備え、
前記歪み補正処理部が、前記手ぶれ補正処理が施されずに生成された前記入力画像に対する前記歪みの補正の程度を、前記手ぶれ補正処理が施されて生成された前記入力画像に対する前記歪みの補正の程度よりも小さくする、
または、前記手ぶれ補正処理が施されずに生成された前記入力画像に対して、前記歪みの補正を行わないことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記歪み補正処理部が、前記動き検出部が同一方向の継続した前記動きを検出した前記入力画像に対する前記歪みの補正の程度を、同一方向の継続した前記動きが検出されなかった前記入力画像に対する前記歪みの補正の程度よりも小さくする、
または、同一方向の継続した前記動きが検出された前記入力画像に対して、前記歪みの補正を行わないことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記歪み補正処理部が、固定された前記撮像装置によって生成された前記入力画像に対して、前記歪みの補正を行わないことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項５】
前記歪み補正処理部が、前記動き検出部が検出する前記動きの検出結果の信頼度が小さい前記入力画像ほど、前記歪みを補正する程度を小さくすることを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項６】
前記歪み補正処理部が、前記画像生成部による撮像の際のズーム倍率が小さい前記入力画像ほど、前記歪みを補正する程度を小さくすることを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像によって画像を得るとともに当該画像の歪みを補正する撮像装置に関する。
【背景技術】
【０００２】
撮像装置や被写体（人などの撮像対象）の動きなどに起因するぶれを抑制した画像を生成する撮像装置が、広く用いられている。このような撮像装置には、入力される画像からぶれを検出するとともにぶれを抑制した画像を生成して出力する画像処理装置を備えるものがある。
【０００３】
上記のぶれの１つとして、フォーカルプレーン歪み（以下、単に「歪み」と表現する場合もある）と呼ばれるものがある。フォーカルプレーン歪みとは、例えば画素毎に露光及び電荷の読み出しが制御される（いわゆる、Ｘ−Ｙアドレス方式である）ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどで生じ得る歪みである。特に、画素列毎に露光タイミングが異なるために生じる歪みである。
【０００４】
フォーカルプレーン歪みの具体例について図１に示す。図１は、フォーカルプレーン歪みについて説明する模式図である。図１（ａ）は、撮像装置が静止している場合に得られる画像の模式図である。図１（ｂ）は、撮像装置が左から右へと平行移動したりパン方向において左向きから右向きへと回転したりする場合に得られる画像の模式図である。図１（ｃ）は、撮像装置が右から左へと平行移動したりパン方向において右向きから左向きへと回転したりする場合に得られる画像の模式図である。図１（ｄ）は、撮像装置が下から上へと平行移動したりチルト方向において下向きから上向きへと回転したりする場合に得られる画像の模式図である。図１（ｅ）は、撮像装置が上から下へと平行移動したりチルト方向において上向きから下向きへと回転したりする場合に得られる画像の模式図である。なお、撮像装置は上方の画素列から下方の画素列にかけて順に撮像（露光）を行うものとし、被写体Ｓは静止しているものとする。また、図１（ｂ）〜（ｅ）は、撮像の際（画像の全露光期間中）撮像装置に一定の動きが発生した場合について示すものである。
【０００５】
図１（ａ）に示すように撮像装置が静止していれば得られる画像１００の中心に被写体Ｓが存在する状況下で、撮像装置に各種動きが生じた場合に撮像される画像についてそれぞれ説明する。図１（ｂ）〜（ｅ）に示すように、画像中の被写体Ｓは、下方ほど撮像装置の動きの方向に対して反対となる方向へ歪むものとなる。例えば、図１（ｂ）に示すように撮像装置が左から右へと水平移動する場合、得られる画像１０１中の被写体Ｓは、下方ほど左方へ流れて歪む。また、図１（ｃ）に示すように撮像装置が右から左へと水平移動する場合、得られる画像１０２中の被写体Ｓは、下方ほど右方へ流れて歪む。また、図１（ｄ）に示すように撮像装置が下から上へと垂直移動する場合、得られる画像１０３中の被写体Ｓは、下方に伸びて歪むものとなる。また、図１（ｄ）に示すように撮像装置が上から下へと垂直移動する場合、得られる画像中の被写体Ｓは、上方に縮んで歪むものとなる。このような歪みは、上記のように撮像の際の露光タイミングが、上方の画素列ほど早く下方の画素列ほど遅くなるために発生する。
【０００６】
このようなフォーカルプレーン歪みを低減する歪み補正処理の方法として、例えば、撮像装置の動きを検出するとともに、当該動きに応じた歪みを補正する歪み補正処理をイメージセンサから得られる画像に対して行い、歪みが低減された画像を得る方法が提案されている（特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１８６４８１号公報
【特許文献２】特開２００１−３５８９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記のような画像処理による歪み補正処理を行う場合、誤った歪み補正処理が施される場合が生じ得る。誤った歪み補正処理が施されると、例えば、本来的に歪みのない画像に対して補正処理が施され、かえって出力される画像に歪みが導入されて画像が劣化する問題が生じ得る。
【０００９】
そこで、本発明は、誤った歪み補正処理による画像の劣化を抑制することを可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明における撮像装置は、撮像を行い、露光タイミングが領域毎に異なる入力画像を生成する画像生成部と、前記画像生成部による撮像の際に自機に生じた動きを検出する動き検出部と、前記動き検出部によって検出された前記動きに基づいて、前記入力画像に生じた歪みを算出する歪み算出部と、前記入力画像に対して、前記歪み算出部によって算出された前記歪みの補正を行い、出力画像を生成する歪み補正処理部と、を備え、前記歪み補正処理部が、前記入力画像の生成状況に基づいて前記歪みを補正する程度を制御することを特徴とする。
【００１１】
なお、以下に記載する撮像装置の実施形態では、画像生成部を、例えば歪み補正処理部に入力される入力画像を生成する部分の全体を指すものとして説明する。例えば、撮像部や画像処理部の一部などを含み得るものとする。また、入力画像の生成状況とは、画像生成部が入力画像を生成するまでの全体の処理を指すものである。例えば、画像を撮像する際の状況や、撮像された画像に所定の処理を施す状況なども含み得るものである。
【００１２】
また、上記構成の撮像装置において、前記入力画像が、上方の画素列ほど露光タイミングが早く、下方の画素列ほど露光タイミングが遅くなるように撮像されるものであり、前記歪み補正処理部が、前記入力画像の画素列毎に前記歪みを補正することとしても構わない。
【００１３】
また、上記構成の撮像装置において、前記画像生成部が、順次撮像を行う際の位置ずれを補正する手ぶれ補正処理を行う手ぶれ補正部を備え、前記歪み補正処理部が、前記手ぶれ補正処理が施されずに生成された前記入力画像に対する前記歪みの補正の程度を、前記手ぶれ補正処理が施されて生成された前記入力画像に対する前記歪みの補正の程度よりも小さくする、または、前記手ぶれ補正処理が施されずに生成された前記入力画像に対して、前記歪みの補正を行わないこととしても構わない。
【００１４】
このように構成すると、手ぶれ補正処理が施されないことで歪みが視覚的に目立たない入力画像の歪みを補正する場合に、歪みを補正する程度を小さくする、または歪みの補正を行わないこととすることが可能となる。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。なお、位置ずれを、例えば順次撮像して得られる連続した画像間に生じるずれと解釈しても構わない。また、手ぶれ補正部が、例えば撮像時に光学系を駆動させることで得られる画像に位置ずれが含まれることを未然に抑制する光学式であっても構わないし、撮像によって得られた画像を補正することで位置ずれを事後的に抑制する電子式であっても構わない。
【００１５】
また、上記構成の撮像装置において、前記歪み補正処理部が、前記動き検出部が同一方向の継続した前記動きを検出した前記入力画像に対する前記歪みの補正の程度を、同一方向の継続した前記動きが検出されなかった前記入力画像に対する前記歪みの補正の程度よりも小さくする、または、同一方向の継続した前記動きが検出された前記入力画像に対して、前記歪みの補正を行わないこととしても構わない。
【００１６】
このように構成すると、同一方向の継続した動きが発生することで歪みが視覚的に目立たない入力画像の歪みを補正する場合に、歪みを補正する程度を小さくする、または歪みの補正を行わないこととすることが可能となる。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【００１７】
また、上記構成の撮像装置において、前記歪み補正処理部が、固定された前記撮像装置によって生成された前記入力画像に対して、前記歪みの補正を行わないこととしても構わない。
【００１８】
このように構成すると、撮像装置が固定されることで原則的にフォーカルプレーン歪みが発生していない入力画像に対して、誤って歪みが補正されることが抑制される。また、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【００１９】
また、上記構成の撮像装置において、前記歪み補正処理部が、前記動き検出部が検出する前記動きの検出結果の信頼度が小さい前記入力画像ほど、前記歪みを補正する程度を小さくすることとしても構わない。
【００２０】
このように構成すると、動きの検出結果の信頼度が低く算出された歪みが誤ったものである可能性が高い入力画像に対して、歪みを補正する程度を小さくする、または歪みの補正を行わないこととすることが可能となる。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【００２１】
なお、前記入力画像が移動する物体を撮像したものである場合に前記信頼度が低くなるように設定しても構わない。また、前記動き検出部が、前記入力画像内の複数の領域のそれぞれから動きを検出し、当該複数の動きを総合することで前記動きを検出するものであり、前記複数の動きのばらつきに基づいて前記信頼度が設定されることとしても構わない。また、前記入力画像のコントラスト値に基づいて前記信頼度が設定されることとしても構わない。
【００２２】
また、上記構成の撮像装置において、前記歪み補正処理部が、前記画像生成部による撮像の際のズーム倍率が小さい前記入力画像ほど、前記歪みを補正する程度を小さくすることとしても構わない。
【００２３】
このように構成すると、ズーム倍率が小さいために歪みが目立ちにくく、また歪みが小さくなりやすい入力画像に対して、歪みを補正する程度を小さくすることが可能となる。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【００２４】
また、上記構成の撮像装置において、前記歪み補正処理部が、前記入力画像の一部を切り出すことによって前記出力画像を得ることとしても構わない。このように構成すると、入力画像の歪みを補正して得られる出力画像が、欠けたものになることを抑制することが可能となる。
【発明の効果】
【００２５】
本発明の構成とすると、入力画像の生成状況に応じて歪み補正処理の程度を小さくすることが可能となる。そのため、誤って程度の大きい歪み補正処理を施すことで、入力画像がかえって歪んだものになることを抑制することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】は、フォーカルプレーン歪みについて説明する模式図である。
【図２】は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。
【図３】は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本構成について示すブロック図である
【図４】は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本動作について示すフローチャートである。
【図５】は、歪み算出及び歪み補正処理の一例について説明する模式図である。
【図６】は、歪み算出及び歪み補正処理の一例について説明する模式図である。
【図７】は、歪み算出及び歪み補正処理の一例について説明する模式図である。
【図８】は、歪み算出及び歪み補正処理の一例について説明する模式図である。
【図９】は、歪み算出及び歪み補正処理の一例について説明する模式図である。
【図１０】は、歪み算出及び歪み補正処理の一例について説明する模式図である。
【図１１】は、動き検出方法の一例を示す入力画像の模式図である。
【図１２】は、第５実施例の歪み調整値の算出方法を示すグラフである。
【図１３】は、第６実施例の歪み調整値の算出方法を示すグラフである。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態について図面を参照して説明する。最初に、本発明における撮像装置の基本構成及び基本動作について説明する。
【００２８】
＜＜撮像装置＞＞
＜基本構成＞
まず、本発明の実施形態における撮像装置の基本構成について、図２に基づいて説明する。図２は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。
【００２９】
図２に示すように、撮像装置１は、入射される光を電気信号に変換するＣＭＯＳイメージセンサなどの固体撮像素子から成るイメージセンサ３と、被写体の光学像をイメージセンサ３に結像させるとともに光量などの調整を行うレンズ部４と、を備えた撮像部２を備える。
【００３０】
さらに、撮像装置１は、イメージセンサ３から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）５と、ＡＦＥ５から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部６と、入力される音声を電気信号に変換する集音部７と、集音部７から出力されるアナログの音声信号をデジタル信号に変換するとともに音声信号にノイズ除去などの各種音声処理を施す音声処理部８と、画像処理部６から出力される画像信号と音声処理部８から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、伸長処理部１２で復号されて得られる画像信号をディスプレイなどの表示装置（不図示）で表示可能な信号へと変換する画像出力回路部１３と、伸長処理部１２で復号されて得られる音声信号をスピーカなどの再生装置（不図示）で再生可能な信号へと変換する音声出力回路部１４と、撮像装置１全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス回線１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、を備える。
【００３１】
また、画像処理部６は、入力される画像信号に含まれる歪みを補正して出力する歪み補正部６１を備える。なお、歪み補正部６１の構成の詳細については後述する。
【００３２】
なお、動画及び静止画の画像信号を生成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ生成可能であっても構わないし、動画の画像信号のみ生成可能であっても構わない。また、静止画の画像信号のみを生成可能な構成とする場合、集音部７や音声処理部８、音声出力回路部１４などを備えない構成としても構わない。
【００３３】
また、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００３４】
＜基本動作＞
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部４より入射される光をイメージセンサ３において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ３は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ５に画像信号を出力する。
【００３５】
そして、ＡＦＥ５によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。
【００３６】
また、このとき画像処理部６に入力される画像信号に基づき、レンズ部４において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
【００３７】
また、画像処理部６は、歪み補正部６１において画像の歪みを補正する。なお、歪み補正部６１の動作の詳細については後述する。
【００３８】
動画の画像信号を生成する場合、集音部７において集音を行う。集音部７で集音されて電気信号に変換される音声信号は、音声処理部８に入力される。音声処理部８は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの各種音声処理を施す。そして、画像処理部６から出力される画像信号と、音声処理部８から出力される音声信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。
【００３９】
一方、静止画の画像信号を生成する場合、画像処理部６から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。
【００４０】
外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号を画像出力回路部１３、音声信号を音声出力回路部１４にそれぞれ出力する。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。
【００４１】
一方、外部メモリ１０に記録された静止画の圧縮符号化信号は、伸長処理部１２に入力されて画像信号が生成される。そして、この画像信号は画像出力回路部１３に出力され、画像出力回路部１３において表示装置で再生可能な形式に変換されて出力される。
【００４２】
なお、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。
【００４３】
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。
【００４４】
＜＜歪み補正部＞＞
＜基本構成＞
次に、図１に示した画像処理部６に備えられる歪み補正部６１について詳細に説明する。なお、以下においては説明の具体化のため、歪み補正部６１によって処理される各画像の画像信号を、それぞれ画像として表現する。特に、歪み補正部６１に入力される画像を「入力画像」、歪み補正部６１から出力される画像を「出力画像」とする。
【００４５】
また、露光及び電荷の読み出し制御の単位である画素列と平行な方向を、画像の水平方向とする。また、画素列に対して垂直となる方向を、画像の垂直方向とする。また、画素列毎に露光タイミングが異なることを特に問題とし、画素列中の画素毎の露光タイミングの差異はわずかなものであるため考慮しないこととする。また、１つの画像の撮像を行う際に、垂直方向に沿って整列する各画素列のうち、上方の画素列ほど露光タイミングが早く、下方の画素列ほど露光タイミングが遅いこととする。
【００４６】
また、本実施形態の撮像装置１に備えられる画像処理部６は、動画の画像信号も静止画の画像信号も処理可能である。そのため、以下説明する各画像は、動画像及び静止画像のいずれと解釈しても構わないものとする。
【００４７】
最初に、歪み補正部６１の基本構成について図３を用いて説明する。図３は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本構成について示すブロック図である。図３に示すように、歪み補正部６１には、入力画像と、撮像部２による撮像の際に撮像装置１に発生した動きを検出する動き検出部２１から出力される動き情報と、歪み補正部６１に入力される入力画像が生成された状況を通知する入力画像生成状況通知部２２から出力される生成状況情報と、がそれぞれ入力される。
【００４８】
歪み補正部６１は、動き情報に基づいて入力画像に含まれる歪みを算出し歪み情報として出力する歪み算出部６２と、生成状況情報に基づいて歪み調整値を算出して歪み調整値情報を出力する歪み調整値算出部６３と、歪み算出部６２から出力される歪み情報と歪み調整値算出部６３から出力される歪み調整値情報とに基づいて入力画像に歪み補正処理を施し出力画像を生成する歪み補正処理部６４と、を備える。
【００４９】
なお、動き検出部２１を、例えばジャイロセンサなどの撮像装置１に生じた動きを直接的に検出するものとしても構わない。
【００５０】
また、動き検出部２１を、撮像された複数の画像に基づいて間接的に動きを検出するものとしても構わない。例えば、入力画像とその前後のフレームの画像を適宜比較することによって動きを検出するものとしても構わない。具体的に例えば、入力画像とその一つ前のフレームの画像とを比較して得られる動きと、入力画像と一つ後のフレームの画像とを比較して得られる動きと、を用いて入力画像の撮像中に生じた動きを検出しても構わない。また、入力画像の二つ前のフレームの画像と一つ前のフレームの画像とを比較して得られる動きと、入力画像の一つ前のフレームの画像と入力画像とを比較して得られる動きと、を用いて入力画像の撮像中に生じた動きを検出しても構わない。動きを検出するための画像の比較方法として、例えばブロックマッチング法、代表点マッチング法、勾配法などの種々の方法を適用することが可能である。
【００５１】
動き検出部２１から出力される動き情報には、例えば撮像部２による撮像の際に撮像装置１に生じた動きの大きさ及び方向に関する情報が含まれるものとする。また、歪み算出部６２から出力される歪み情報には、例えば入力画像に含まれる歪みの大きさ及び方向に関する情報が含まれるものとする。なお、入力画像生成状況通知部２２や生成状況情報、歪み調整値情報の詳細については、後述する。
【００５２】
＜基本動作＞
次に、歪み補正部６１の基本動作について図４を用いて説明する。図４は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本動作について示すフローチャートである。なお、図４は一つの入力画像に基づいて一つの出力画像が生成されるまでの処理を表したものである。そのため、例えば動画像の出力画像を生成する場合であれば、図４に示す動作が繰り返し行われることとなる。
【００５３】
図４に示すように、まず撮像部２によって撮像が行われる。また、この撮像の際に撮像装置１に生じた動き（特に大きさ及び方向）が動き検出部２１によって検出され、動き情報が生成されて出力される。さらに、歪み補正部６１に入力される入力画像の生成状況を示す生成状況情報が、入力画像生成状況通知部６１により生成されて出力される。歪み補正部６１は、入力画像、動き情報及び生成状況情報をそれぞれ取得する（ＳＴＥＰ１）。
【００５４】
ＳＴＥＰ１によって取得した動き情報に基づいて、歪み算出部６２が歪みを算出し、歪み情報として出力する（ＳＴＥＰ２）。また、ＳＴＥＰ１によって取得した生成状況情報に基づいて、後に行われる歪み補正処理における補正の程度を調整するための歪み調整値を算出し、歪み調整値情報として出力する（ＳＴＥＰ３）。
【００５５】
そして、歪み補正処理部６４が、ＳＴＥＰ２で算出された歪みを補正する歪み補正処理を、入力画像に対して行う（ＳＴＥＰ４）。このとき、ＳＴＥＰ３で算出される歪み調整値に応じて、補正の程度の調整がなされる。例えば、歪み調整値が小さくなり０に近づくほど、補正の程度が小さくなるものとする。
【００５６】
ＳＴＥＰ２の歪みの算出方法及びＳＴＥＰ４の歪み補正処理のそれぞれの例について、図５〜図９を参照して説明する。図５〜図９のそれぞれは、歪み算出及び歪み補正処理の一例について説明する模式図である。また、歪み補正処理について説明するため、歪み調整値による補正の程度の調整については行われないものとする。なお、ＳＴＥＰ３の歪み調整値による調整方法の例については、後述する。
【００５７】
図５は、検出された動きが０（静止）であり、上述した図１（ａ）の場合を示す図である。図６は、検出された動きが右方向であり、上述した図１（ｂ）の場合を示す図である。図７は、検出された動きが左方向であり、上述した図１（ｃ）の場合を示す図である。図８は、検出された動きが上方向であり、上述した図１（ｄ）の場合を示す図である。図９は、検出された動きが下方向であり、上述した図１（ｅ）の場合を示す図である。
【００５８】
図５〜図９の入力画像３０〜３４は、イメージセンサ３から得られる画像の画角と略等しいものである。出力画像５０〜５４は、入力画像３０〜３４の一部の画角（例えば、入力画像３０〜３４の中央の画角）を示す画像である。
【００５９】
図６〜図９のそれぞれは、入力画像３１〜３４の撮像の際（入力画像の全露光期間中）において、一様な動きが検出される場合、または、一つの入力画像に対して一つの動きが検出される場合について示したものである。なお、被写体Ｓは静止しており、検出されるそれぞれの動きは正しいものとする。
【００６０】
図５に示す場合、検出される動きが０であるため、歪みも０となる。一方、図６〜図９に示すそれぞれの場合では検出される動きが０ではないため、当該動きに応じた歪みが算出される。算出される歪みの方向は動きの方向と反対であり、歪みの大きさは動きの大きさに対応したものとなる。特に、検出された動きが大きいほど、算出される歪みも大きくなる。なお、歪みは画素列毎に算出される。
【００６１】
また、露光タイミングが最も早い入力画像３１〜３４の上端の画素列ｔを基準として、水平方向の歪みの大きさの絶対値（以下、歪み値とする）Ｄｈ（ｔ）及び垂直方向の歪み値Ｄｖ（ｔ）をそれぞれ０とする。図６〜図９のように、一様な動きまたは一つの動きが検出される場合に算出される歪み値は、下方の画素列のものほど比例して大きいものとなる。特に、水平方向の動きが検出される図６及び図７では、露光タイミングが最も遅い入力画像３１，３２の下端の画素列ｂの水平方向の歪み値Ｄｈ（ｂ）が最大となる。一方、垂直方向の動きが検出される図８及び図９では、入力画像３３，３４の下端の画素列ｂの垂直方向の歪み値Ｄｖ（ｂ）が最大となる。
【００６２】
図５に示すように歪みが０である場合、入力画像３０の一部の領域である出力画像領域４０内の画像をそのまま切り出して、出力画像５０を得ることができる。なお、出力画像領域４０の左上の画素位置を［０，０］、左下の画素位置を［０，ｎ］、右上の画素位置を［ｍ，０］、右下の画素位置を［ｍ，ｎ］とする（ｍ，ｎは自然数）。また、出力画像５０〜５４の画素位置も同様に表現する。即ち、出力画像領域４０及び出力画像５０〜５４は、水平方向にｍ＋１個、垂直方向にｎ＋１個の画素を備えるものとする。
【００６３】
図６〜図９に示すように入力画像に歪みが生じている場合、出力画像領域４０の画像をそのまま切り出しても、当該切り出して得られる画像は歪んだものとなる。そこで、算出された歪みにしたがって出力画像領域４０を歪ませた歪み出力画像領域４１〜４４内の画素を読み出すことで（即ち、歪み画像領域４１〜４４内の画像を、歪みを打ち消すように逆に歪ませることで）、図５の動きが検出されない場合の出力画像５０と略等しい出力画像５１〜５４を得る。
【００６４】
図６〜図９の各場合の歪み出力画像領域４１〜４４の位置について具体的に説明する。なお、以下の説明において、出力画像領域４０内のある画素列ｊに属する画素に対して算出される水平方向の歪み値をＤｈ（ｊ）、垂直方向の歪み値をＤｖ（ｊ）で表す（ｊは０≦ｊ≦ｎを満たす自然数）。
【００６５】
図６に示すような左方向の歪みが算出される場合、歪み出力画像領域４１も出力画像領域４０を左方向に歪ませたものとなる。このとき、出力画像領域４０のそれぞれの画素位置をＤｈ（ｊ）だけ左方向に移動させたものが、歪み出力画像領域４１となる。この場合、出力画像５１の画素列ｊを得るために、［−Ｄｈ（ｊ），ｊ］〜［ｍ−Ｄｈ（ｊ），ｊ］の画素を読み出すこととなる。
【００６６】
また、図７に示すような右方向の歪みが算出される場合、歪み出力画像領域４２も出力画像領域４０を右方向に歪ませたものとなる。このとき、出力画像領域４０のそれぞれの画素位置をＤｈ（ｊ）だけ右方向に移動させたものが、歪み出力画像領域４２となる。この場合、出力画像５２の画素列ｊを得るために、［Ｄｈ（ｊ），ｊ］〜［ｍ＋Ｄｈ（ｊ），ｊ］の画素を読み出すこととなる。
【００６７】
また、図８に示すような下方向の歪みが算出される場合、歪み出力画像領域４３も出力画像領域４０を下方向に歪ませたものとなる。このとき、出力画像領域４０のそれぞれの画素位置をＤｖ（ｊ）だけ下方向に移動させたものが、歪み出力画像領域４３となる。この場合、出力画像５３の画素列ｊを得るために、［０，ｊ＋Ｄｖ（ｊ）］〜［ｍ，ｊ＋Ｄｖ（ｊ）］の画素を読み出すこととなる。
【００６８】
また、図９に示すような上方向の歪みが算出される場合、歪み出力画像領域４４も出力画像領域４０を上方向に歪ませたものとなる。このとき、出力画像領域４０のそれぞれの画素位置をＤｖ（ｊ）だけ上方向に移動させたものが、歪み出力画像領域４４となる。この場合、出力画像５４の画素列ｊを得るために、［０，ｊ−Ｄｖ（ｊ）］〜［ｍ，ｊ−Ｄｖ（ｊ）］の画素を読み出すこととなる。
【００６９】
動き検出部２１で検出される動き及び歪み算出部６２で算出される歪みが毎回必ず正しいものであれば、歪み補正処理部６４は、入力画像に対して算出される歪みを打ち消すように歪み補正処理を施すだけで済む。しかしながら、検出される動きや算出される歪みが毎回必ず正しいものとはならないため、問題となる。
【００７０】
そのため本発明では、歪み調整値算出部６３が、入力画像が生成された状況に基づいて、歪み算出部６２によって算出される歪みをそのまま適用して補正するべきか程度を抑制して補正するべきかを判断し、歪み調整値を算出する。そして、歪み補正処理部６４が歪み調整値に基づいて歪み補正処理の補正の程度を調整する。
【００７１】
このように構成することによって、誤った歪み補正処理が行われることによって、かえって歪んだ出力画像が生成されることを抑制することが可能となる。
【００７２】
なお、入力画像３１〜３４の全体を歪ませることにより、出力画像を生成しても構わない。ただし、図６〜図９に示すように、入力画像３１〜３４の一部を切り出して出力画像５１〜５４を生成する構成とすることで、出力画像５１〜５４が欠けることを抑制することが可能となる。
【００７３】
また、図５〜図９に示す歪み補正処理の例では、出力画像領域４０または歪み出力画像領域４１〜４４内の画素を読み出して出力画像５１〜５４を形成する例について説明したが、出力画像領域４０または歪み出力画像領域４１〜４４の周囲の画素もあわせて読み出し、出力画像５０〜５４の生成に利用しても構わない。
【００７４】
また、出力画像５０〜５４を生成するために読み出した画素に各種画像処理を施して、出力画像５０〜５４の画素数を、出力画像領域４０または歪み出力画像領域４１〜４４内の画素数と異ならせても構わない。例えば、補間処理などを行って出力画像５０〜５４の画素数を増大させても構わないし、間引処理や画素加算などを行って出力画像５０〜５４の画素数を低減しても構わない。
【００７５】
また、算出される歪みの大きさを画素単位（即ち、Ｄｈ（ｊ）及びＤｖ（ｊ）の大きさが整数）としても構わない。このように構成すると、読み出すべき画素が必ず存在することとなる。一方、算出される歪みの大きさを任意のもの（即ち、Ｄｈ（ｊ）及びＤｖ（ｊ）の大きさが整数以外の値を取り得る）としても構わない。この場合、読み出すべき画素の位置が小数値になるときは、当該位置に最も近い位置の画素を読み出したり、当該位置の周囲の画素を用いて当該位置の画素を算出したりしても構わない。
【００７６】
また、図６〜図９は、説明を簡単にするために、水平方向及び垂直方向のいずれかの方向の動きのみが検出され、いずれかの方向の歪みのみが算出される場合について示したが、斜め方向の動きが検出され、斜め方向の歪みが算出される場合も当然に発生し得る。この場合、両方向の動きが検出され、両方向の歪みが算出されることとしても構わない。
【００７７】
また、入力画像の上端の画素列ｔを基準として歪みを０とする場合について説明したが、例えば出力画像領域４０の上端の画素列０を基準として、この画素列０の歪みを０としても構わない。このように規定しても、歪み補正処理を行うことは可能である。
【００７８】
また、図１０に示すように、入力画像３５を垂直方向に対して複数の領域に分割し、それぞれの領域について動きを検出して、それぞれの領域について歪みを算出しても構わない。このような場合、出力画像領域４０をそれぞれの領域毎に歪ませることで、歪み出力画像領域４５を形成する。
【００７９】
＜歪み調整値＞
図２のＳＴＥＰ３における歪み調整値の算出方法や、この歪み調整値を用いた歪み補正処理の補正の程度の調整方法について説明する。最初に歪み調整値を用いた調整方法について説明し、後に歪み調整値の算出方法の各実施例について説明する。
【００８０】
［調整方法］
上述の図６〜図１０の説明では、ＳＴＥＰ４の歪み補正処理において、水平方向の歪み値Ｄｈ（ｊ）及び垂直方向の歪み値Ｄｖ（ｊ）をそのまま用いて歪み出力画像領域４１〜４５を決定することとした。しかしながら、ＳＴＥＰ３で算出される歪み調整値を用いて歪み補正処理の補正の程度を調整する場合、ＳＴＥＰ４において下記式（１）のように算出される「調整後歪み値」を用いて歪み出力画像領域４１〜４５の位置を決定する。
【００８１】
【数１】
2010166512.tif 000003
【００８２】
上記式（１）に示すように、水平方向の歪み調整値Ｋｈを水平方向の歪み値Ｄｈ（ｊ）に乗算して水平方向の調整後歪みＳｈ（ｊ）を算出する。また、同様に垂直方向の歪み調整値Ｋｖを垂直方向の歪み値Ｄｖ（ｊ）に乗算して垂直方向の調整後歪み値Ｓｖ（ｊ）を算出する。歪み調整値Ｋｈ，Ｋｖは、０≦Ｋｈ，Ｋｖ≦１を満たすものとする。
【００８３】
歪み調整値Ｋｈ，Ｋｖが１の場合、調整後歪み値Ｓｈ（ｊ），Ｓｖ（ｊ）が歪み値Ｄｈ（ｊ），Ｄｖ（ｊ）と等しくなる。即ち、図６〜図１０に示した場合と同様に、歪み調整値Ｋｈ，Ｋｖによる調整が行われない場合と等しくなる。また、歪み調整値Ｋｈ，Ｋｖが０の場合、調整後歪み値Ｓｈ（ｊ），Ｓｖ（ｊ）が０となる。即ち、歪み補正処理が行われない場合と等しくなる。
【００８４】
上述のように、検出される動きは必ず正しいものとなるとは限らない。例えば、ジャイロセンサを用いて動きを検出する場合であれば、ドリフト成分（静止時に出力される信号値）などによる誤検出が生じ得る。また例えば、画像を比較して動きを検出する場合であれば、被写体の動き（例えば草木の揺らぎ）や画像特徴などに起因する誤検出が生じ得る。
【００８５】
そのため、入力画像の生成状況に応じて（例えば入力画像が、歪み補正処理の効果を認識しにくいものである場合や、歪みが発生しにくいものである場合などに）、歪み補正処理の程度を小さくする。これにより、誤って程度の大きい歪み補正処理が施されて入力画像がかえって歪むことを抑制することが可能となる。
【００８６】
また、入力画像の生成状況に応じて歪み補正処理自体を行わないこととしても構わない。この場合、誤って程度の大きい歪み補正処理が施されることを抑制するだけでなく、処理を簡略化することが可能となる。そのため、処理速度の迅速化や低消費電力化などを図ることが可能となる。
【００８７】
なお、歪み調整値Ｋｈ，Ｋｖを、入力画像毎に算出しても構わないし、入力画像の画素列毎に算出しても構わないし、図１０に示したような所定の領域毎に算出しても構わない。
【００８８】
［歪み調整値の算出方法］
以下、上述した歪み調整値の算出方法の各実施例について説明する。
【００８９】
（第１実施例）
歪み調整値の算出方法の第１実施例について説明する。本実施例では、手ぶれ補正処理の有無に基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。
【００９０】
手ぶれ補正処理として、例えば、検出した撮像装置１に生じた動き（ぶれ）を打ち消すように撮像部２を駆動させる光学式の手ぶれ補正処理や、画像処理によってぶれを補正する電子式の手ぶれ補正処理がある。電子式の手ぶれ補正処理として、例えば、撮像部２から入力される画像を順次比較するとともに、これらの画像の共通点に基づいて同様の画角となる領域を切り出すことで、歪み補正部６１に入力される入力画像を生成するものなどがある。これらの手ぶれ補正処理は、例えば図１の撮像部２に備えられる駆動部（不図示）や画像処理部６、ＣＰＵ１５などによって行われる。なお、これらをまとめて「手ぶれ補正部」として解釈する。
【００９１】
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、手ぶれ補正処理が施された入力画像であるか否かを示す手ぶれ補正処理情報となる。この場合、入力画像生成状況通知部２２が、手ぶれ補正部によって構成されることとしても構わない。
【００９２】
歪み調整値算出部６３は、手ぶれ補正処理が行われていないことを示す手ぶれ補正処理情報が入力される場合、手ぶれ補正処理が行われたことを示す手ぶれ補正処理情報が入力される場合よりも、歪み調整値Ｋｈ，Ｋｖを小さくする。または、歪み調整値Ｋｈ，Ｋｖを０にする。
【００９３】
手ぶれ補正処理が行われない場合、特に入力画像が動画像であると、連続する入力画像間における位置ずれが大きいものとなる。この場合、得られる動画像を再生すると、フォーカルプレーン歪みが視覚的に目立たないものとなる。そのため、手ぶれ補正処理が行われない場合には、歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【００９４】
なお、手ぶれ補正処理が行われる場合の歪み調整値Ｋｈ，Ｋｖを１としても構わない。また、手ぶれ補正処理が行われない場合の歪み調整値Ｋｈ，Ｋｖを０以上０．５以下の値としても構わない。また、手ぶれ補正処理の有無は、ユーザによって選択される（例えば、図１の操作部１７を介して選択される）ものであっても構わないし、撮像時のプログラム等によって自動的に選択されるものとしても構わない。
【００９５】
（第２実施例）
歪み調整値の算出方法の第２実施例について説明する。本実施例では、撮像装置１の固定の有無に基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。
【００９６】
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、撮像部２による撮像の際に撮像装置１が固定されていたか否かを示す固定情報となる。この場合、入力画像生成状況通知部２２が、ＣＰＵ１５などによって構成されることとしても構わない。
【００９７】
歪み調整値算出部６３は、撮像部２による撮像の際に撮像装置１が固定されていたことを示す固定情報が入力される場合、歪み調整値Ｋｈ，Ｋｖを０にする。
【００９８】
撮像装置１が三脚等によって固定される場合、原則的にフォーカルプレーン歪みは発生しないこととなる。そのため、この場合に検出される動きや算出される歪みは、誤ったものである可能性が高い。そのため、このような場合に歪み調整値Ｋｈ，Ｋｖを０とする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【００９９】
なお、撮像装置１の固定の有無を、動き検出部２１によって出力される複数の入力画像の動き情報に基づいて判断しても構わない。例えば、ある期間ｔ１以上、検出される動きの大きさが閾値ｔｈ１以下である場合に、撮像装置１が固定されていると判断しても構わない。この場合、動き検出部２１が入力画像生成状況通知部２２をも構成し、固定情報を出力することとしても構わない。
【０１００】
また、ユーザによって固定状態であることが入力される（例えば、図１の操作部１７を介して入力される）ことに基づいて固定状態であることを判断しても構わないし、撮像装置１を三脚等に固定した場合に押下されるスイッチなどを撮像装置１に備え、これに基づいて固定状態であることを判断しても構わない。また、セルフタイマーの使用による撮像か否かに基づいて判断しても構わない。セルフタイマーの使用による撮像の場合、撮像装置１が固定されている可能性が高いため、固定状態であると判断することができる。
【０１０１】
また、固定情報が水平方向及び垂直方向のそれぞれについて出力されることとしても構わない。この場合、固定情報によって固定されていることが示される方向の歪み調整値のみを０とする。
【０１０２】
（第３実施例）
歪み調整値の算出方法の第３実施例について説明する。本実施例では、撮像装置１に同一方向の継続した動きが発生しているか否かに基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。
【０１０３】
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、撮像装置１に同一方向の継続した動きが発生しているか否かを示す継続動き情報となる。この場合、動き検出部２１が、入力画像生成状況通知部２２をも構成することとしても構わない。
【０１０４】
歪み調整値算出部６３は、同一方向の継続した動きが発生していることを示す継続動き情報が入力される場合、同一方向の継続した動きが発生していないことを示す継続動き情報が入力される場合よりも、歪み調整値Ｋｈ，Ｋｖを小さくする。または、歪み調整値Ｋｈ，Ｋｖを０にする。
【０１０５】
撮像装置１に同一方向の継続した動きが発生する場合（例えば、パン撮影やチルト撮影が行われる場合）、特に入力画像が動画像であると、第１実施例と同様に連続する入力画像間における位置ずれが大きいものとなる。そのため、再生時にフォーカルプレーン歪みが視覚的に目立たないものとなる。したがって、同一方向の継続した動きが発生する場合には、歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【０１０６】
なお、例えばある期間ｔ２以上、同じ方向の動きが検出される場合に、同一方向の継続した動きが発生したと判断しても構わない。さらに、所定の閾値ｔｈ２以上の大きさの動きが検出されることを、同一方向の継続した動きが発生したと判断することの要件としても構わない。
【０１０７】
また、同一方向の継続した動きが発生したと判断されない場合の歪み調整値Ｋｈ，Ｋｖを１としても構わない。また、同一方向の継続した動きが発生したと判断される場合の歪み調整値Ｋｈ，Ｋｖを０以上０．５以下の値としても構わない。
【０１０８】
（第４実施例）
歪み調整値の算出方法の第４実施例について説明する。本実施例では、移動物体を撮像して生成された入力画像であるか否か（即ち、入力画像内に移動物体が含まれるか否か）に基づいて、歪み調整値Ｋｈ，Ｋｖの設定を行う。本実施例の算出方法は、動き検出部２１が画像から動きを検出するものである場合に適用され得る。
【０１０９】
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、入力画像に移動物体が存在しているか否かを示す移動物体情報となる。この場合、動き検出部２１が、入力画像生成状況通知部２２をも構成することとしても構わない。
【０１１０】
歪み調整値算出部６３は、入力画像内に移動物体が存在していることを示す移動物体情報が入力される場合、歪み調整値を０にする。
【０１１１】
動き検出部２１が複数の画像を比較することで動きを検出するものである場合、入力画像内に移動物体が含まれると、移動物体の影響で動きの検出精度が劣化する。この一例について図１１を参照して説明する。図１１は、動き検出方法の一例を示す入力画像の模式図である。図１１に示す動き検出方法は、入力画像内の６つの動き検出領域ＭＡ毎に動きベクトルＭＶを求め、これらを総合的に評価して動きを検出する方法である。また、図１１では、右下の動き検出領域ＭＡに、移動物体ＭＯが存在する場合について示している。
【０１１２】
移動物体ＭＯが存在しない場合、概ね全ての動き検出領域ＭＡにおいて、略等しい動きベクトルＭＶが算出されることとなる。しかしながら、図１１に示すように移動物体ＭＯが存在すると、移動物体ＭＯの影響を受けた動き検出領域ＭＡから誤った動きベクトルＭＶが算出される。そのため、動きの検出結果の信頼度が小さいものとなる。即ち、算出される歪みの信頼度が小さいものとなる。この場合、状況によっては異常に大きな歪みが算出され、誤って程度の大きい歪み補正処理が施されて入力画像がかえって歪む場合が生じ得る。
【０１１３】
そこで、本実施例のように移動物体ＭＯが入力画像に含まれる場合に歪み調整値Ｋｈ，Ｋｖを０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【０１１４】
なお、動き検出部２１が移動物体ＭＯの有無を判断するために、算出される動きベクトルＭＶのばらつき（例えば分散値）を求めても構わない。
【０１１５】
例えば図１１に示す場合、下記式（２）に示す方法でばらつきσを算出し、この値に基づいて移動物体ＭＯの有無を判断しても構わない。下記式（２）では、６つのそれぞれの動き検出領域ＭＡから算出される動きベクトルをＭＶiで示し、これらの動きベクトルＭＶiを平均化した動きベクトルをＭＶmで示す。そして、下記式（２）より得られるばらつきσが、閾値ｔｈ３以上となる場合に、移動物体ＭＯが存在すると判断しても構わない。
【０１１６】
【数２】
2010166512.tif 000004
【０１１７】
（第５実施例）
歪み調整値の算出方法の第５実施例について説明する。本実施例では、動き検出部６２によって検出された動きの検出結果の信頼度に基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。なお、歪み算出部６２は、検出された動きに基づいて歪みを算出するものである。そのため、動きの検出結果の信頼度とは、算出された歪みの信頼度と解釈することも可能である。
【０１１８】
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、動き検出部２１によって検出される動きの検出結果の信頼度の大きさを示す信頼度情報となる。この場合、動き検出部２１が、入力画像生成状況通知部２２をも構成することとしても構わない。
【０１１９】
歪み調整値算出部６３は、入力される信頼度情報が示す信頼度が小さいほど、歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。
【０１２０】
信頼度情報が、検出された動きの検出結果の信頼度が小さいことを示すものである場合、算出される歪みが誤ったものとなる可能性が高くなる。そのため、状況によっては異常に大きな歪みが算出され、誤って程度の大きい歪み補正処理が施されて入力画像がかえって歪む場合が生じ得る。
【０１２１】
そこで、本実施例のように検出される動きの検出結果の信頼度が小さい場合に歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。
【０１２２】
なお、信頼度ｅの算出方法を、動き検出部２１による動きの検出方法に応じたものとしても構わない。例えば、動き検出部２１が複数の画像を比較することで動きを検出するものである場合、比較する画像のコントラスト値（例えば、輝度値の分布の広がり）や、第４実施例で説明した動きベクトルＭＶのばらつきσなどに基づいて算出しても構わない。コントラスト値が小さい場合、入力画像全体が一様な画像となり画像特徴が少ないものとなる。この場合、画像を比較して動きを検出することが困難となるため、信頼度ｅを小さくする。また、第４実施例において説明したように、動きベクトルＭＶのばらつきσが大きい場合も、信頼度ｅを小さくする。
【０１２３】
また例えば、ジャイロセンサなどのセンサを用いて動きを検出する場合、好適に動き検出を行うことができる動作環境に近いか否かに基づいて、信頼度ｅを算出しても構わない。
【０１２４】
また、歪み調整値算出部６３が、図１２及び下記式（３）に示すように歪み調整値Ｋｈ，Ｋｖを算出することとしても構わない。図１２は、第５実施例の歪み調整値の算出方法を示すグラフである。図１２及び下記式（３）に示すように、信頼度ｅが０以上であり閾値ｔｈｅ１より小さい場合は、歪み調整値Ｋｈ，Ｋｖを０にする。また、信頼度ｅが閾値ｔｈｅ２以上である場合は、歪み調整値Ｋｈ，Ｋｖを１とする。また、信頼度ｅが閾値ｔｈｅ１以上であり閾値ｔｈｅ２より小さい場合は、信頼度ｅに応じて歪み調整値Ｋｈ，Ｋｖを漸増（例えば線形に増加）させた値とする。
【０１２５】
【数３】
2010166512.tif 000005
【０１２６】
（第６実施例）
歪み調整値の算出方法の第６実施例について説明する。本実施例では、ズーム倍率に基づいて歪み調整値Ｋｈ，Ｋｖの設定を行う。
【０１２７】
本実施例では、図３に示す歪み調整値算出部６３に入力される生成状況情報が、撮像部２による撮像の際のレンズ部４のズーム倍率（光学）を示すズーム倍率情報となる。この場合、入力画像生成状況通知部２２が、ＣＰＵ１５や撮像部２によって構成されることとしても構わない。
【０１２８】
歪み調整値算出部６３は、入力されるズーム倍率情報が示すズーム倍率が小さいほど、歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。
【０１２９】
レンズ部４のズーム倍率が大きい（即ち、望遠撮像する）場合、手ぶれや被写体の移動による歪みが大きくなりやすい。一方、レンズ部のズーム倍率が小さい（即ち、広角撮像する）場合、歪みが小さくなりやすい。そのため、ズーム倍率を小さくしている場合に算出される大きい歪みは、誤って算出されたものである可能性がある。このような場合、誤って程度の大きい歪み補正処理が施されて入力画像がかえって歪む場合が生じ得る。
【０１３０】
そこで、本実施例のようにズーム倍率が小さい場合に歪み調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、誤って程度の大きい歪み補正処理が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。また、ズーム倍率が小さい場合、ズーム倍率が大きい場合と比較して歪みが目立ちにくいものとなる。そのため、歪み補正の程度を小さくしても好適な出力画像を得ることが可能となる。
【０１３１】
なお、歪み調整値算出部６３が、図１３及び下記式（４）に示すように歪み調整値Ｋｈ，Ｋｖを算出することとしても構わない。図１３は、第６実施例の歪み調整値の算出方法を示すグラフである。図１３及び下記式（４）に示すように、ズーム倍率ｚが０以上であり閾値ｔｈｚ１より小さい場合は、歪み調整値Ｋｈ，Ｋｖを０にする。また、ズーム倍率ｚが閾値ｔｈｚ２以上である場合は、歪み調整値Ｋｈ，Ｋｖを１とする。また、ズーム倍率ｚが閾値ｔｈｚ１以上であり閾値ｔｈｚ２より小さい場合は、ズーム倍率ｚに応じて歪み調整値Ｋｈ，Ｋｖを漸増（例えば線形に増加）させた値とする。
【０１３２】
【数４】
2010166512.tif 000006
【０１３３】
（変形例）
上述した第１〜第６実施例は、組み合わせて実施することが可能である。例えば、歪み調整値算出部６３が、複数の上記実施例を用いて算出したそれぞれの歪み調整値Ｋｈ，Ｋｖを加重加算した値（総合歪み調整値）を歪み調整値情報に含ませて、歪み補正処理部６４に出力することとしても構わない。そして、歪み補正処理部６４が、総合歪み調整値に基づいて、入力画像に歪み補正処理を施すこととしても構わない。
【０１３４】
また、本変形例の場合であり、例えば第２実施例のように歪みが発生し得ないことを確認する算出方法を用いる場合、歪みが発生し得ないことが確認されたときに、他の算出方法による歪み調整値Ｋｈ，Ｋｖにかかわらず、総合歪み調整値を強制的に０にすることとしても構わない。
【０１３５】
また、上記の各実施例では、上記式（１）によって調整後歪みを定義したため、歪み調整値が小さいほど（０に近いほど）歪み補正処理の程度が小さくなるものとした。しかしながら、本発明はこの例に限られない。調整後歪みの定義や、歪み補正処理の程度を最も小さくする歪み調整値の所定値は、上述の効果を得ることができるものであれば、どのように設定しても構わない。
【０１３６】
＜＜その他の実施形態＞＞
また、本発明の実施形態における撮像装置１について、画像処理部６や歪み補正部６１などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１３７】
また、上述した場合に限らず、図２の撮像装置１や図３の歪み補正部６１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や歪み補正部６１を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１３８】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１３９】
本発明は、入力される画像を処理する画像処理装置や、この画像処理装置を搭載した撮像装置に関する。
【符号の説明】
【０１４０】
１    撮像装置
２    撮像部
３    イメージセンサ
４    レンズ部
５    ＡＦＥ
６    画像処理部
６１  歪み補正部
６２  歪み算出部
６３  歪み調整値算出部
６４  歪み補正処理部
７    集音部
８    音声処理部
９    圧縮処理部
１０    外部メモリ
１１    ドライバ部
１２    伸長処理部
１３    画像出力回路部
１４    音声出力回路部
１５    ＣＰＵ
１６    メモリ
１７    操作部
１８    ＴＧ部
１９    バス
２０    バス
２１    動き検出部
２２    入力画像生成状況通知部
【図１】
2010166512.tif 000007
【図２】
2010166512.tif 000008
【図３】
2010166512.tif 000009
【図４】
2010166512.tif 000010
【図５】
2010166512.tif 000011
【図６】
2010166512.tif 000012
【図７】
2010166512.tif 000013
【図８】
2010166512.tif 000014
【図９】
2010166512.tif 000015
【図１０】
2010166512.tif 000016
【図１１】
2010166512.tif 000017
【図１２】
2010166512.tif 000018
【図１３】
2010166512.tif 000019