(57)【要約】【課題】１枚の撮影画像から歪みを検出することが可能な撮像装置を提供すること。【解決手段】撮像素子の露光領域を一又は複数のライン単位で制御する露光制御手段と、隣り合う複数の前記露光領域から読み出された複数の画像信号を比較して撮影画像の歪みを検出する歪み検出手段と、を備え、前記露光制御手段は、前記撮像素子の露光面の一部又は全部について、続けて露光される前記露光領域が隣り合わないように前記露光領域の位置を制御する、撮像装置が提供される。【選択図】図６
2013074372.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の露光領域を一又は複数のライン単位で制御する露光制御手段と、
隣り合う複数の前記露光領域から読み出された複数の画像信号を比較して撮影画像の歪みを検出する歪み検出手段と、
を備え、
前記露光制御手段は、前記撮像素子の露光面の一部又は全部について、続けて露光される前記露光領域が隣り合わないように前記露光領域の位置を制御する
ことを特徴とする、撮像装置。
【請求項２】
前記露光制御手段は、前記撮像素子の露光面の上端又は下端から順に、隣接する露光領域間の時間ずれを比較した場合において時間ずれの正負が順次逆転するように、前記撮像素子の露光面の上端に近い露光領域と、当該露光面の下端に近い露光領域とを交互に選択して前記露光領域の位置を制御する
ことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記露光制御手段は、前記撮像素子の露光面のランダムな位置を順次選択して前記露光領域の位置に設定する
ことを特徴とする、請求項１に記載の撮像装置。
【請求項４】
前記歪み検出手段により撮影画像の歪みが検出された場合に、当該撮影画像の歪みを補正する歪み補正手段をさらに備える
ことを特徴とする、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記歪み検出手段は、前記撮像素子の露光面の一部について前記露光領域から読み出された複数の画像信号を比較して撮影画像の歪みを検出し、
前記歪み補正手段は、前記撮像素子の露光面の一部について前記歪み検出手段により撮影画像の歪みが検出されなかった場合に前記撮影画像の歪みを補正しない
ことを特徴とする、請求項４に記載の撮像装置。
【請求項６】
前記歪み検出手段は、前記画像信号に含まれる対応点を検出し、前記複数の画像信号について当該対応点を結んで得られるパターンが局所的に連続した凹凸形状となる場合に、前記撮影画像に歪みがあると判定する
ことを特徴とする、請求項１に記載の撮像装置。
【請求項７】
撮像素子の露光領域を一又は複数のライン単位で制御しながら前記露光領域から画像信号を読み出す読み出し工程と、
隣り合う複数の前記露光領域から読み出された複数の画像信号を比較して撮影画像の歪みを検出する検出工程と、
を含み、
前記読み出し工程では、前記撮像素子の露光面の一部又は全部について、続けて露光される前記露光領域が隣り合わないように前記露光領域の位置が制御される
ことを特徴とする、歪み検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び歪み検出方法に関する。
【背景技術】
【０００２】
近年、ＣＣＤイメージセンサと比較して配線数及び消費電力が小さいＣＭＯＳイメージセンサが普及してきている。しかし、ＣＭＯＳイメージセンサの電子シャッターの場合、全画素を同時に撮像するグローバルシャッターの実現が技術的に困難であるため、ライン毎に少しずつずれたシャッタータイミングで撮像するフォーカルプレーンシャッター方式が採用されている。フォーカルプレーンシャッター方式の場合、ライン毎に撮像時刻が異なるため、動きのある被写体を静止画像として撮像すると、撮像時刻の違いに起因して生じる歪み（所謂、フォーカルプレーンシャッター歪み）が生じてしまう。
【０００３】
一般に、撮影画像の隣接ライン間における撮像タイミングのずれを検出し、検出したずれを小さくするように歪みを補正する方法が知られている。例えば、下記の特許文献１には、動画像において補正対象のフレームと前フレームとの間の動きベクトルを算出し、算出した動きベクトルに基づいて歪みを補正する方法が開示されている。また、下記の特許文献２には、所定数の画素をグルーピングし、一又は二以上のグループを間引きながら短時間で撮像した基準画像と、間引きをせずに全画素を撮像した比較画像とを比較し、その比較結果から比較画像の動きデータを検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３００６５号公報
【特許文献２】特開２００９−１８２５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記の特許文献１及び２に記載の技術を適用しても、そもそも被写体が歪んでいるのか、或いは、フォーカルプレーンシャッター歪みのように電子シャッターの動作に起因して歪みが生じているのかを区別することは困難である。とりわけ、１枚の撮影画像から、こうした歪みの種類を正しく判別することは非常に困難である。従って、歪み補正機能を搭載した撮像装置で実際に歪んでいる被写体を撮像した場合、誤った歪み検出及び歪み補正により、実際の被写体とは異なる画像が生成されてしまうことがある。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、１枚の撮影画像から、より精度良く歪み検出することが可能な、新規かつ改良された撮像装置、及び歪み検出方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、撮像素子の露光領域を一又は複数のライン単位で制御する露光制御手段と、隣り合う複数の前記露光領域から読み出された複数の画像信号を比較して撮影画像の歪みを検出する歪み検出手段と、を備え、前記露光制御手段は、前記撮像素子の露光面の一部又は全部について、続けて露光される前記露光領域が隣り合わないように前記露光領域の位置を制御する、撮像装置が提供される。かかる構成によると、手振れや被写体の動きなどにより歪みが生じた場合には複数の画像信号の対応点を結んで得られるパターンがギザギザになり、元々歪んだ被写体を撮影した場合には滑らかなパターンが得られるため、手振れや被写体の動きなどにより撮影時に生じた歪みを正しく検出することが可能になる。また、１枚の撮影画像から歪みを検出することができる。
【０００８】
また、前記露光制御手段は、前記撮像素子の露光面の上端又は下端から順に、隣接する露光領域間の時間ずれを比較した場合において時間ずれの正負が順次逆転するように、前記撮像素子の露光面の上端に近い露光領域と、当該露光面の下端に近い露光領域とを交互に選択して前記露光領域の位置を制御するように構成されていてもよい。かかる構成により、手振れや被写体の動きなどにより歪みが生じた場合に、上記のパターンにギザギザがはっきりと現れるようになり、歪み検出の精度が向上する。
【０００９】
また、前記露光制御手段は、前記撮像素子の露光面のランダムな位置を順次選択して前記露光領域の位置に設定するように構成されていてもよい。かかる構成により、手振れや被写体の動きなどにより歪みが生じた場合に、上記のパターンにギザギザがはっきりと現れるようになり、歪み検出の精度が向上する。
【００１０】
また、上記の撮像装置は、前記歪み検出手段により撮影画像の歪みが検出された場合に、当該撮影画像の歪みを補正する歪み補正手段をさらに備えていてもよい。かかる構成により、元々歪んだ被写体に対して歪み補正を施してしまうことがなくなる。
【００１１】
また、前記歪み検出手段は、前記撮像素子の露光面の一部について前記露光領域から読み出された複数の画像信号を比較して撮影画像の歪みを検出し、前記歪み補正手段は、前記撮像素子の露光面の一部について前記歪み検出手段により撮影画像の歪みが検出されなかった場合に前記撮影画像の歪みを補正しないように構成されていてもよい。かかる構成により、撮像面の全面を対象に歪み検出を行う場合に比べ、歪み検出に要する処理負荷が低減される。
【００１２】
また、前記歪み検出手段は、前記画像信号に含まれる対応点を検出し、前記複数の画像信号について当該対応点を結んで得られるパターンが局所的に連続した凹凸形状となる場合に、前記撮影画像に歪みがあると判定するように構成されていてもよい。かかる構成により、手振れや被写体の動きなどにより撮影時に生じた歪みを正しく検出することが可能になる。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子の露光領域を一又は複数のライン単位で制御しながら前記露光領域から画像信号を読み出す読み出し工程と、隣り合う複数の前記露光領域から読み出された複数の画像信号を比較して撮影画像の歪みを検出する検出工程と、を含み、前記読み出し工程では、前記撮像素子の露光面の一部又は全部について、続けて露光される前記露光領域が隣り合わないように前記露光領域の位置が制御される、歪み検出方法が提供される。かかる構成によると、手振れや被写体の動きなどにより歪みが生じた場合には複数の画像信号の対応点を結んで得られるパターンがギザギザになり、元々歪んだ被写体を撮影した場合には滑らかなパターンが得られるため、手振れや被写体の動きなどにより撮影時に生じた歪みを正しく検出することが可能になる。また、１枚の撮影画像から歪みを検出することができる。
【発明の効果】
【００１４】
以上説明したように本発明によれば、１枚の撮影画像から、より精度良く歪み検出することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る撮像装置の構成例を示した説明図である。
【図２】同実施形態に係る歪み検出方法を示した説明図である。
【図３】同実施形態に係る歪み検出方法を示した説明図である。
【図４】同実施形態に係る歪み検出方法を示した説明図である。
【図５】同実施形態に係る歪み検出方法を示した説明図である。
【図６】同実施形態に係る歪み検出方法を示した説明図である。
【図７】同実施形態に係る歪み検出方法を示した説明図である。
【図８】同実施形態に係る歪み検出方法を示した説明図である。
【図９】同実施形態に係る歪み検出方法を示した説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１を参照しながら、本実施形態に係る撮像装置１００の構成について説明する。次いで、図２を参照しながら、本実施形態に係る歪み検出処理の全体的な流れについて説明する。また、この中で、図３〜図９を参照しながら、本実施形態に係る露光制御及び歪み判定の処理内容について詳細に説明する。
【００１８】
［概要］
本実施形態は、歪み検出方法に関する。特に、本実施形態は、歪んだ形状を有する被写体を撮像した場合であっても、１枚の撮影画像から、正しくフォーカルプレーンシャッター歪みを検出することが可能な歪み検出方法に関する。
【００１９】
＜１：撮像装置１００の構成＞
以下、本実施形態に係る歪み検出方法を実現することが可能な撮像装置１００の構成について説明する。
【００２０】
［１−１：全体構成］
まず、図１を参照しながら、本実施形態に係る撮像装置１００の全体構成について説明する。図１は、本実施形態に係る撮像装置１００の全体構成を示した説明図である。なお、図１に示した全体構成は一例であり、一部の構成要素を省略したり、追加したり、或いは、変更したりしてもよい。また、撮像装置１００は、例えば、静止画像を撮影可能なデジタルスチルカメラ、動画像を撮影可能なビデオカメラ、或いは、デジタルスチルカメラやビデオカメラと同等の撮像機能を搭載した携帯電話、ゲーム機、情報端末、パーソナルコンピュータなどである。
【００２１】
図１に示すように、撮像装置１００は、主に、レンズ１０１と、撮像素子１０２と、画像信号処理部１０３と、ＣＰＵ１０４と、ＤＲＡＭ１０５と、ＲＯＭ１０６と、制御部１０７と、操作部１０８と、圧縮処理部１０９と、モニタ駆動部１１０と、ＬＣＤモニタ１１１と、メモリインターフェース１１２と、メモリカード１１３とにより構成される。但し、メモリカード１１３は、着脱可能な状態で接続されていてもよい。
【００２２】
レンズ１０１は、外部の光情報を撮像素子１０２に結像させる光学系の一部を成し、被写体からの光を撮像素子１０２まで導光する。また、レンズ１０１を含む光学系は、例えば、ズームレンズ、絞り、フォーカスレンズなどで構成される。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子１０２の撮像面に被写体像を合焦させる。また、フォーカスレンズは、制御部１０７によって駆動制御される。
【００２３】
撮像素子１０２は、レンズ１０１を透過して入射した光を電気信号に変換する複数の光電変換素子で構成される。各光電素子は、受光した光量に応じた電気信号を生成する。なお、利用可能な撮像素子１０２としては、例えば、ＣＭＯＳイメージセンサなどがある。また、撮像素子１０２の露光領域を制御するために、撮像装置１００には、電子シャッター機能が搭載されている。このシャッター機構は、ユーザによる操作部１０８の操作（シャッターボタンの押下など）に応じて動作する。なお、撮像素子１０２における電子シャッターの動作については後述する。
【００２４】
また、撮像素子１０２は、ＣＤＳ／ＡＭＰ回路（非図示）に接続される。さらに、ＣＤＳ／ＡＭＰ回路は、Ａ／Ｄ変換回路（非図示）などに接続される。なお、ＣＤＳはＣｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ（相関二重サンプリング）の略であり、ＡＭＰはＡｍｐｌｉｆｉｅｒ（増幅器）の略である。ＣＤＳ／ＡＭＰ回路は、撮像素子１０２から出力された電気信号に含まれるリセットノイズ及びアンプノイズを除去する。さらに、ＣＤＳ／ＡＭＰ回路は、リセットノイズ及びアンプノイズを除去した電気信号を所定のレベルまで増幅する。一方、Ａ／Ｄ変換回路は、ＣＤＳ／ＡＭＰ回路から出力されたアナログの電気信号をデジタル信号に変換する。そして、Ａ／Ｄ変換回路により生成されたデジタル信号は、画像信号処理部１０３に入力される。
【００２５】
画像信号処理部１０３は、入力されたデジタル信号を利用して歪み検出及び歪み補正を実行する。なお、画像信号処理部１０３の詳細な機能構成及び歪み検出方法については後述する。まず、デジタル信号が入力されると、画像信号処理部１０３は、撮像素子１０２の画素欠陥補正、黒レベル補正、シェーディング補正などの前処理を実行する。また、画像信号処理部１０３は、前処理後のデジタル信号を輝度信号と色信号とに変換する。さらに、画像信号処理部１０３は、ホワイトバランス制御値、γ値、エッジ強調制御値などに基づいてデジタル信号を補正して画像信号を生成する。
【００２６】
この画像信号は、ＤＲＡＭ１０５やメモリカード１１３に記録されるか、或いは、圧縮処理部１０９により圧縮符号化（例えば、ＪＰＥＧ形式やＭＰＥＧ形式など）された後でメモリカード１１３に記録される。なお、メモリカード１１３への記録は、メモリインターフェース１１２を介して実行される。また、この画像信号は、即座にＬＣＤモニタ１１１に表示されたり、操作部１０８を利用したユーザの操作に応じてＬＣＤモニタ１１１に表示されたりする。なお、ＬＣＤモニタ１１１への表示は、モニタ駆動部１１０を介して実行される。また、ここでは表示手段としてＬＣＤモニタ１１１を例示しているが、有機ＥＬディスプレイなどを利用することも可能である。
【００２７】
ところで、画像信号処理部１０３、制御部１０７、圧縮処理部１０９などは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）１０４の制御に応じて動作する。ＣＰＵ１０４は、ＲＯＭ１０６などに格納されたプログラムに従って演算処理を実行する演算処理装置であり、撮像装置１００を構成する各構成要素の動作を制御する制御手段として機能する。例えば、ＣＰＵ１０４は、制御部１０７に制御信号を入力してフォーカスレンズを駆動させる。また、ＣＰＵ１０４は、画像信号処理部１０３が実行する歪み検出や歪み補正の処理に係る演算などを実行するように構成されていてもよい。
【００２８】
ところで、上記の説明においては、記録手段としてメモリカード１１３を例示したが、カード状ではない半導体記憶媒体、磁気記録媒体、光記録媒体、光磁気記録媒体などを画像信号の記録に利用してもよい。また、操作部１０８は、上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどで構成されていてもよい。なお、シャッターボタンは、半押し、全押し、解除などの押下状態を検出可能なものであってもよい。例えば、シャッターボタンが半押しされた場合にフォーカス制御が開始され、半押し解除でフォーカス制御が終了するように構成されていてもよい。さらに、シャッターボタンが全押しされた場合に撮影が開始されるように構成されていてもよい。
【００２９】
（電子シャッターの動作について）
一般に、フォーカルプレーンシャッター方式の電子シャッターは、撮像面の上から順に１ラインずつシャッターをきるように動作する。そのため、図３に示すように、撮像中に手ぶれや被写体の動きによって画像に歪みが生じてしまう。フォーカルプレーンシャッター方式の電子シャッターで撮像する場合、歪みの無い撮影画像を得るには、物理的なシャッターを併用するか、或いは、図４に示すような画像処理によって歪みを補正することが必要になる。また、画像処理によって歪みを補正する場合には、歪みを検出する技術が必要になる。
【００３０】
既存の歪み検出技術としては、複数の画像を連続撮影し、画像間における対応画素の位置ずれを検出して歪みを検出する技術が知られている。例えば、画像全体で均一な位置ずれが生じている場合には、手ぶれなどの影響で撮像装置自体が移動しているものと判定することができる。また、画像の一部に局所的な位置ずれが生じしている場合には、被写体が移動しているものと判定することができる。このようにして歪みを検出したり、その歪み量を推定して歪み補正する技術が知られている。しかし、これらの既存技術を用いても、１枚の撮影画像から、歪んだ被写体を撮像したものか、手ぶれや被写体の移動によって歪みが生じたものかを判別することは困難である。そのため、歪んだ被写体を撮影した場合、図５に示すように、誤った歪み検出及び歪み補正が行われてしまっていた。
【００３１】
そこで、本件発明者は、電子シャッターの動作を工夫することにより、フォーカルプレーンシャッター方式の電子シャッターを利用していても、歪んだ被写体を撮像したものか、手ぶれや被写体の移動によって歪みが生じたものかを判別することが可能な歪み検出方法を考案した。ここでは、本実施形態に係る電子シャッターの動作について説明する。なお、電子シャッターの動作は、制御部１０７により制御される。
【００３２】
先に述べたように、ＣＭＯＳイメージセンサなどを利用する場合、電子シャッターのタイミングを全画素同時にすることはできない。しかし、シャッターをきる順番を制御することは比較的容易である。また、１枚の撮影画像から「動きのせいで歪んだ画像」と「歪んだ被写体を撮影した画像」とを見分けることが困難である理由は、歪みが生じた場合に歪みが滑らかに発生してしまうという特性に起因する。言い換えると、シャッターをきるタイミングがライン順であることが原因である。そこで、シャッターをきる順番（走査順序）を上から順ではなく、ラインの並び順と異なる順序にする方法を提案する。この方法を適用すれば、画像が歪んだ場合には「歪んだ物体を撮影した画像」と明白な違いが出る上、歪みの度合いが容易に推定できるようになる。
【００３３】
図６（Ａ）のように、上から順に、Ｌｉｎｅ１→Ｌｉｎｅ２→…→Ｌｉｎｅ１２とシャッターをきる従来例の場合、Ｌｉｎｅ１とＬｉｎｅ２との間の時間ずれ、Ｌｉｎｅ２とＬｉｎｅ３との間の時間ずれ、…、Ｌｉｎｅ１１とＬｉｎｅ１２との間の時間ずれは全て同じになり、１枚の撮影画像から「動きのせいで歪んだ画像」と「歪んだ被写体を撮影した画像」とを見分けることができない。
【００３４】
一方、図６（Ｂ）のように、上下交互に、Ｌｉｎｅ１→Ｌｉｎｅ１２→Ｌｉｎｅ３→Ｌｉｎｅ１０→…→Ｌｉｎｅ１１→Ｌｉｎｅ２の順でシャッターをきる本実施形態の方式（提案方式１）を適用する場合、Ｌｉｎｅ１とＬｉｎｅ２と間の時間ずれに対し、Ｌｉｎｅ２とＬｉｎｅ３との間の時間ずれは時間的な正負が逆転する。同様に、Ｌｉｎｅ３とＬｉｎｅ４との間の時間ずれに対し、Ｌｉｎｅ２とＬｉｎｅ３との間の時間ずれも正負が逆転する。そのため、手ぶれが発生すると、画像全体に歪む現象に加えて、局所的にギザギザなパターンが現れるようになる。そして、このパターンの有無により、１枚の撮影画像から「動きのせいで歪んだ画像」と「歪んだ被写体を撮影した画像」とを見分けることが可能になる。
【００３５】
提案方式１による効果は、隣り合ったライン（或いは、複数ラインのグループ）の時間ずれが一定にならないようにシャッターをきるタイミングを制御することで実現されている。従って、図７（Ｂ）に示すように、シャッターをきる順序をランダムにした場合（提案方式２）も、手ぶれが発生すると局所的にギザギザなパターンが現れるようになるため、このパターンの有無により、１枚の撮影画像から「動きのせいで歪んだ画像」と「歪んだ被写体を撮影した画像」とを見分けることが可能になる。提案方式１を実際に適用した実験結果を図８に示した。図８の実験結果から、フォーカルプレーンシャッター歪みが局所的なギザギザのパターンとして現れることが確認できる。
【００３６】
以上説明したように、制御部１０７は、隣り合ったライン（或いは、複数ラインのグループ）の時間ずれが一定にならないようにシャッターをきるタイミングを制御する。
【００３７】
以上、撮像装置１００の全体構成について説明した。
【００３８】
［１−２：画像信号処理部１０３の構成］
ここで、画像信号処理部１０３の構成について、より詳細に説明する。図１に示すように、画像信号処理部１０３は、歪み推定部１３１及び歪み補正部１３２を有する。歪み推定部１３１は、１枚の撮影画像からフォーカルプレーンシャッター歪みの有無を推定すると共に、フォーカルプレーンシャッター歪みが有る場合には歪み度合いを検出する。一方、歪み補正部１３２は、歪み推定部１３１によりフォーカルプレーンシャッター歪みが検出された場合に撮影画像の歪みを補正する。
【００３９】
上記の通り、撮影画像には、フォーカルプレーンシャッター歪みが生じると、図６（Ｂ）又は図７（Ｂ）のようなギザギザのパターンが現れる。歪み推定部１３１は、このようなギザギザのパターンを検出することで、フォーカルプレーンシャッター歪みの有無を推定する。例えば、歪み推定部１３１は、図９に示すように、ライン毎に対応点を検出し、各ラインの対応点を結んだ軌跡のギザギザ度合いが大きい場合（軌跡が滑らかでない場合）にフォーカルプレーンシャッター歪み有りと判定する。
【００４０】
なお、軌跡が滑らかであるかどうかの判定は、例えば、隣接するライン間の時間ずれを検出し、時間的な正負の逆転が存在するか否かを検出することで精度良く実現することができる。具体的には、時間的な正負の逆転が存在する場合に軌跡が滑らかでないと判定され、時間的な正負の逆転が存在しない場合（或いは、時間ずれが一定である場合）に軌跡が滑らかであると判定される。
【００４１】
また、歪み推定部１３１は、フォーカルプレーンシャッター歪みを検出すると、上下のラインのずれ量から歪み度合いを推定する。そして、歪み補正部１３２は、歪み推定部１３１により推定された歪み度合いの分だけライン毎に画像の位置を補正することで撮影画像の歪み補正を行う。なお、歪み補正の方法に関しては、現在又は将来において実施可能な任意の歪み補正技術を組み合わせて利用することができる。
【００４２】
以上、画像信号処理部１０３の詳細な構成について説明した。
【００４３】
＜２：歪み検出方法＞
次に、図２を参照しながら、本実施形態に係る歪み検出処理の全体的な流れについて説明する。図２は、本実施形態に係る歪み検出処理の全体的な流れを示した説明図である。なお、図２に示した歪み検出処理は、画像信号処理部１０３の機能により実現される。
【００４４】
図２に示すように、画像信号処理部１０３は、まず、隣接ライン間の対応点を推定する（Ｓ１０１）。例えば、画像信号処理部１０３は、同一被写体の一部など、連続すべき画素の位置を対応点として検出する。なお、対応点は、物体の輪郭に対応するエッジ情報や、色情報の連続性などから検出することができる。次いで、画像信号処理部１０３は、対応点の縦方向への追跡を実行し、対応点の軌跡（図９を参照）を認識する（Ｓ１０２）。次いで、画像信号処理部１０３は、対応点位置の動きに基づいてフォーカルプレーンシャッター歪みの有無を判定する（Ｓ１０３）。
【００４５】
例えば、画像信号処理部１０３は、隣接するライン間の時間ずれを検出し、時間ずれに時間的な正負の逆転が観測されるか否かを確認する。そして、画像信号処理部１０３は、時間的な正負の逆転が観測された場合にフォーカルプレーンシャッター歪み有りと判定し、時間的な正負の逆転が観測されなかった場合にフォーカルプレーンシャッター歪み無しと判定する。フォーカルプレーンシャッター歪み有りと判定した場合、画像信号処理部１０３は、処理をステップＳ１０５に進める（Ｓ１０４）。一方、フォーカルプレーンシャッター歪み無しと判定した場合、画像信号処理部１０３は、歪み補正に係る一連の処理を終了する（Ｓ１０４）。
【００４６】
処理をステップＳ１０５に進めた場合、画像信号処理部１０３は、各ラインにおける対応点の補正位置を決定する（Ｓ１０５）。次いで、画像信号処理部１０３は、ステップＳ１０５で決定した補正位置に基づいて画像を変形する（Ｓ１０６）。画像を変形した後、画像信号処理部１０３は、歪み補正に係る一連の処理を終了する。
【００４７】
以上、本実施形態に係る歪み検出処理の全体的な流れについて説明した。
【００４８】
以上説明したように、本実施形態に係る撮像装置１００は、隣り合ったライン（或いは、複数ラインのグループ）の時間ずれが一定にならないようにシャッターをきるタイミングを制御し、隣接ライン間の時間ずれに基づいて歪み検出を行うことで、１枚の撮影画像から「動きのせいで歪んだ画像」と「歪んだ被写体を撮影した画像」とを見分けることができる。その結果、歪んだ被写体を撮像した場合でも、正しくフォーカルプレーンシャッター歪みを検出することが可能になる。また、１枚の撮影画像から歪み検出ができるため、処理負荷を低く抑え、高速に歪み検出することが可能になる。
【００４９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５０】
例えば、上記の説明においては、全てのラインについて撮像してから歪み検出する構成を示したが、一部のラインについて撮像した結果から歪み検出するような構成も実現可能である。例えば、一部のラインで歪み検出を実行し、歪みが検出されなかった場合に歪み補正を行わないようにすれば、高速な動作が実現される。また、一部のラインで歪み検出を実行し、歪みが検出された場合には、それ以上歪み検出の処理を行わず、歪み補正の動作を開始するように構成されていてもよい。この場合も、歪み検出の処理時間が短縮される分だけ高速な動作が実現される。
【符号の説明】
【００５１】
１００    撮像装置
１０１    レンズ
１０２    撮像素子
１０３    画像信号処理部
１０４    ＣＰＵ
１０５    ＤＲＡＭ
１０６    ＲＯＭ
１０７    制御部
１０８    操作部
１０９    圧縮処理部
１１０    モニタ駆動部
１１１    ＬＣＤモニタ
１１２    メモリインターフェース
１１３    メモリカード
１３１    歪み推定部
１３２    歪み補正部
【図１】
2013074372.tif 000003
【図２】
2013074372.tif 000004
【図３】
2013074372.tif 000005
【図４】
2013074372.tif 000006
【図５】
2013074372.tif 000007
【図６】
2013074372.tif 000008
【図７】
2013074372.tif 000009
【図９】
2013074372.tif 000010
【図８】
2013074372.tif 000011