(57)【特許請求の範囲】
【請求項１】
複数の画素が行列状に配置され、被写体を撮像して画像信号を出力する撮像素子と、
前記撮像素子からローリングシャッタ方式により行単位で前記画像信号を所定の周期ごとに読み出す読出手段と、
前記読み出された前記画像信号に基づいて、画像を生成する生成手段と、
前記画像において、前記被写体に含まれる動体被写体の動きベクトルを検出する第１検出手段と、
前記画像において、前記動体被写体の、前記行方向と垂直な方向の成分のエッジである縦方向成分エッジの角度を示す歪み角度を検出する第２検出手段と、
前記検出された前記動きベクトルと前記検出された前記歪み角度とに基づいて、両者の相関を示す相関値を算出する第１算出手段と、
前記算出された前記相関値が所定値を超えたか否かに基づいて、前記動体被写体に歪みが発生しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記周期を変更する変更手段と、を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記動体被写体の、前記行方向と平行な方向の成分のエッジである横方向成分エッジの歪み角度を検出する第３検出手段と、
前記第２および第３検出手段により検出された歪み角度に基づいて、前記動体被写体の斜め方向の歪み角度を検出する第４検出手段と、
前記斜め方向の歪み角度に基づいて、新たな周期を算出する第２算出手段とをさらに備え、
前記第１算出手段は、前記斜め方向の歪み角度と前記動きベクトルとの相関を示す相関値を算出し、
前記判定手段は、前記相関値が前記所定値を超えたか否かに基づいて、前記歪みの発生の有無を判定し、
前記変更手段は、前記判定手段によって前記歪みの発生有りと判定されると、前記周期を前記第２算出手段により算出された前記新たな周期に変更することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記第２算出手段は、前記判定手段により前記相関値が前記所定値を超えたと判定された場合は前記周期が短くなるように前記新たな周期を算出し、前記判定手段により前記相関値が前記所定値を超えていないと判定された場合は前記周期が長くなるように前記新たな周期を算出することを特徴とする撮像装置。
【請求項４】
請求項２または３に記載の撮像装置において、
前記動体被写体が有する斜め方向成分の角度を基準角度として検出する第５検出手段をさらに備え、
前記判定手段は、前記検出された前記基準角度が所定の閾値未満の場合は、前記動体被写体に歪みが発生していないと判定することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記変更手段は、前記基準角度を検出するための画像を取得する際に、前記周期を最高速に変更することを特徴とする撮像装置。
【請求項６】
請求項２乃至５のいずれか一項に記載の撮像装置において、
前記第１検出手段は、前記画像を複数の領域に分割し、その分割された領域毎に動きベクトルを算出し、
前記第４検出手段は、前記第２および第３検出手段によって前記分割領域毎に検出された歪み角度に基づいて、前記斜め方向の歪み角度を該分割領域毎に検出し、
前記第１算出手段は、前記分割領域毎に前記相関値を算出し、
前記判定手段は、前記分割領域毎に算出された前記相関値のうちの最大値が、前記所定値を超えたか否かに基づいて、前記動体被写体に歪みが発生しているか否かを判定することを特徴とする撮像装置。
【請求項７】
請求項２乃至５のいずれか一項に記載の撮像装置において、
前記第４検出手段は、前記検出された斜め方向の歪み角度の変動が、前回検出された歪み角度に対して所定範囲内であれば、変動なしと見なすことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来から、ＣＭＯＳ型固体撮像素子により取得された動画像に生じる歪みの影響を低減するカメラが知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４０４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、歪みの大きさに関わらず画像を高レートで読み出しているので、画像のＳＮが悪化、画素数の低下による解像度の劣化、消費電力の増加等の問題がある。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明による撮像装置は、複数の画素が行列状に配置され、被写体を撮像して画像信号を出力する撮像素子と、撮像素子からローリングシャッタ方式により行単位で画像信号を所定の周期ごとに読み出す読出手段と、読み出された画像信号に基づいて、画像を生成する生成手段と、画像において、被写体に含まれる動体被写体の動きベクトルを検出する第１検出手段と、画像において、動体被写体の、行方向と垂直な方向の成分のエッジである縦方向成分エッジの角度を示す歪み角度を検出する第２検出手段と、検出された動きベクトルと検出された歪み角度とに基づいて、両者の相関を示す相関値を算出する第１算出手段と、算出された相関値が所定値を超えたか否かに基づいて、動体被写体に歪みが発生しているか否かを判定する判定手段と、判定手段の判定結果に基づいて、周期を変更する変更手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動体被写体の動きベクトルと縦方向成分の歪み角度とに基づいて、歪みが発生しているか否かを判定し、画像信号を取得するための周期を変更することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態によるデジタルカメラの要部構成を示す図
【図２】実施の形態によるデジタルカメラの制御系の構成を示すブロック図
【図３】ローリング歪みを説明する図
【図４】斜め成分のヒストグラムを説明する図
【図５】フレームレートの変更を説明するタイミングチャート
【図６】実施の形態によるデジタルカメラの動作を説明するフローチャート
【図７】実施の形態によるデジタルカメラの動作を説明するフローチャート
【図８】実施の形態によるデジタルカメラの動作を説明するフローチャート
【図９】実施の形態によるデジタルカメラの動作を説明するフローチャート
【図１０】実施の形態によるデジタルカメラの動作を説明するフローチャート
【発明を実施するための形態】
【０００８】
図面を参照して、本発明による実施の形態におけるカメラを説明する。図１はデジタルカメラ１の要部構成を示す図である。デジタルカメラ１のボディに、撮影レンズＬ１と絞り２０とを備える交換レンズ２が着脱可能に装着されている。デジタルカメラ１のボディ側には、クイックリターンミラー１０、焦点板１１、ペンタプリズム１２、接眼レンズ１３および撮像素子１４が設けられている。
【０００９】
図２はデジタルカメラ１の制御系を簡易的に示すブロック図である。図２において、図１に示した構成要素には同一の符号を付して説明する。デジタルカメラ１の制御系は、撮像素子１４、Ａ／Ｄ変換回路１６、タイミングジェネレータ１７、信号処理／制御回路１８、ＬＣＤ駆動回路１９、液晶表示器１９１、メモリ２０、操作部３０、およびメモリカードインタフェース３１を備えている。
【００１０】
図１を参照して説明すると、撮影レンズＬ１を通過してデジタルカメラ１に入射した被写体光は、シャッタレリーズ前は図１において実線で示すように位置するクイックリターンミラー１０で上方へ導かれて焦点板１１に結像する。焦点板１１に結像された被写体像は、ペンタプリズム１２により接眼レンズ１３へ導かれる。その結果、被写体像がユーザに観察される。被写体光の一部はクイックリターンミラー１０の半透過領域を透過し、サブミラー１０ａにて下方に反射され、図示しない焦点検出用センサへ入射される。レリーズ後はクイックリターンミラー１０が図１の破線で示される位置へ回動し、被写体光が撮像素子１４へ導かれ、その撮像面上に被写体像が結像する。
【００１１】
図２を参照して制御系について詳細に説明する。
撮像素子１４は、行列状に多数配列された画素を有するＸ−Ｙアドレス型の光電変換素子である。撮像素子１４は、後述する信号処理／制御回路１８の制御に応じて駆動して撮影レンズＬ１を通して入力される被写体像を撮像し、撮像して得た画像信号を出力する。また、撮像素子１４は、所定の水平走査期間ごとに走査ライン（画素行）ごとに順次シャッタを切る方式（いわゆるローリングシャッタ方式）により駆動される。
【００１２】
撮像素子１４の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子１４がカラーフィルタを通して被写体像を撮像するため、撮像素子１４から出力される画像信号はＲＧＢ表色系の色情報を有する。撮像素子１４から出力された画像信号は、図示しないＡＦＥ回路等によりアナログ処理（ゲインコントロールなど）が施され、Ａ／Ｄ変換回路１６へ入力される。Ａ／Ｄ変換回路１６は、撮像素子１４が出力する画像信号にアナログ的な処理をしてからデジタルの画像信号に変換する回路である。タイミングジェネレータ１７は、信号処理／制御回路１８の命令に応じて、撮像素子１４とＡ／Ｄ変換回路１６とにタイミング信号を出力し、撮像素子１４とＡ／Ｄ変換回路１６との駆動タイミングを制御する回路である。
【００１３】
信号処理／制御回路１８は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、デジタルカメラ１の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。信号処理／制御回路１８は、前述したタイミングジェネレータ１７を制御する。信号処理／制御回路１８は、入力した画像信号に対して、ベイヤ処理、ホワイトバランス処理、色処理、階調補正処理などの画像処理を施して画像データを生成する。そして、信号処理／制御回路１８は、画像処理が施された画像データに対してＪＰＥＧ圧縮処理を実行する。
【００１４】
信号処理／制御回路１８は、歪み判定部１８１、フレームレート変更部１８２、動き検出部１８３、斜線検出部１８４およびレート算出部１８５を機能的に備える。歪み判定部１８１は、後述するローリングシャッタ方式に起因して被写体に発生する歪み（以下、ローリング歪み）の程度を判定する。ローリング歪みは、撮像素子１４において、画像の上部に対応する位置に配置された画素の電荷蓄積開始時刻と、画像の下部に対応する位置に配置された画素の電荷蓄積開始時刻との差によって生じる。すなわち、同一被写体において露光開始時刻が異なる位置が発生するので、取得された画像上で被写体に歪みが生じる。
【００１５】
図３（ａ）に動体被写体Ｑが矢印方向Ｐに移動する場合を示す。そして、図３（ｂ）に、撮影画像Ｚ上で動体被写体Ｑにローリング歪みが発生した様子を示す。このようなローリング歪みは、撮影画像Ｚの行方向に垂直な方向（縦方向）にエッジを持つ被写体が高速で行方向（水平方向）に移動する動体被写体の場合に特に顕著に発生する。フレームレート変更部１８２は、歪み判定部１８１の判定結果に基づいて、後述するようにライブビュー画像のフレームレートSrを通常周期（たとえばSr＝１／３０[s]）と複数の高速周期（たとえばSr＝１／６０[s]、１／１２０[s]等）との間で切替える。なお、歪み判定部１８１、フレームレート変更部１８２、動き検出部１８３、斜線検出部１８４およびレート算出部１８５については後に詳細に説明する。
【００１６】
メモリ２０は、画像処理、画像圧縮処理の途中や処理後のデータを一時的に格納するために使用される揮発性記憶媒体である。メモリカードインタフェース３１は、メモリカード３２が着脱可能なインタフェースである。メモリカードインタフェース３１は、制御回路１８の制御に基づいて、画像データをメモリカード３２に書き込んだり、メモリカード３２に記録されている画像データを読み出す。メモリカード３２はコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。
【００１７】
ＬＣＤ駆動回路１９は、信号処理／制御回路１８の命令に基づいて液晶表示器１９１を駆動する回路である。液晶表示器１９１は、再生モードにおいて、メモリカード３２に記録されている画像データに基づいて信号処理／制御回路１８で作成された表示用画像データの表示を行う。また、液晶表示器１９１は、いわゆるライブビュー画像を表示するように構成されている。ライブビューとは、レリーズ前にクイックリターンミラー１０を上方に跳ね上げて撮像素子１４で撮像した画像をリアルタイムに液晶表示器１９１に表示する表示形態であり、一眼レフカメラにおいて採用される撮像モードである。この場合、信号処理／制御回路１８は、画像データに基づいてＶＧＡサイズ（６４０画素×４８０画素）の表示用画像データを作成してＬＣＤ駆動回路１９へ出力する。
【００１８】
操作部３０は、ユーザの操作を受け付けるスイッチである。操作部３０には、電源スイッチ、レリーズスイッチ、その他の設定メニューの表示切換スイッチ、設定メニュー決定ボタンなどが含まれる。動画撮影モードや上記したライブビュー画像を表示するためのライブビューモードの設定も、ユーザがこの操作部３０を操作することにより行われる。
【００１９】
操作部３０の操作によりライブビューモードや動画撮影モードが設定されると、信号処理／制御回路１８は、クイックリターンミラー１０を図１の破線で示す位置へ回動し、撮影レンズＬ１を通過した被写体光が撮像素子１４に導かれるようにする。このとき、フレームレート変更部１８２は、通常周期のフレームレートSr（＝１／３０[s]）に設定する。そして、フレームレート変更部１８２は、撮像素子１４を構成する全画素のうち、垂直方向に所定行ごとの画素行（たとえば３行間隔）に含まれる画素から画像信号が出力（間引き出力）されるようにタイミングジェネレータ１７に指示する。
【００２０】
次に、ローリング歪み量の判別処理、およびローリング歪みに基づいた画像信号の読み出し周期、すなわちフレームレートSrの変更処理について説明する。本処理は、信号処理／制御回路１８の歪み判定部１８１、フレームレート変更部１８２、動き検出部１８３、斜線検出部１８４およびレート算出部１８５により実行される。
【００２１】
ローリング歪み量の判別処理には、動き検出処理、斜線検出処理、歪み量判定処理およびレート算出処理が含まれる。以下にそれぞれの処理の詳細について説明する。
−動き検出処理−
動き検出部１８３は、画像データを用いて動体被写体が動く速さを算出する。この場合、動き検出部１８３は、少なくとも第（ｎ−１）フレーム目の画像データＦ(ｎ−１)および第ｎフレーム目の画像データＦ(ｎ)に基づいて、公知のブロックマッチング演算等を用いて各画素の動きベクトルを算出する。そして、動き検出部１８３は、画像データＦ(ｎ)の全領域を、たとえば１６×１６の画素領域、すなわち２５６個の分割領域に分割し、分割領域ごとの動きベクトル量
0005387341.tif 000002
を算出する。ただし(n,m)は分割領域に含まれる画素の座標を示す。動き検出部１８３は、各分割領域の動きベクトル量の総和VP(I,J)を以下の式（１）を用いて、各分割領域においてＲＧＢ成分ごとに算出する。
0005387341.tif 000003
（１）
【００２２】
動き検出部１８３は、分割領域ごとの動きベクトル量の総和VP(I,J)に基づいて、動きベクトル量の分布を示す動きベクトルマップを作成する。すなわち、動き検出部１８３は、分割領域ごとの動きベクトル量の総和VP(I,J)のうちの最大値を検出し、この最大値を基準として、最大値に対する各分割領域の動きベクトル量の総和VP(I,J)の比率を算出する。
【００２３】
−斜線検出処理−
斜線検出部１８４は、画像データＦ(ｎ)に含まれる斜め成分の検出を行う。本実施の形態においては、斜線検出オペレータとして、式（２）に示す縦方向のソーベル（sobel）オペレータｆ(ｘ)（ｎ×ｎ：ｎ≧３）（以後、縦ソーベルと呼ぶ）を用いる。なお、斜線検出オペレータとして微分フィルタ(すなわちラプラシアン)を用いてもよい。
0005387341.tif 000004
（２）
【００２４】
斜線検出部１８４は、上記の２５６ブロックのＲＧＢ成分ごとに、縦ソーベルｆ（ｘ）を用いて画像データＦ(ｎ)を走査（フィルタリング）することにより斜線検出を行い、斜め成分を算出する。斜線検出部１８４は、下記の式（３）を用いて分割領域ごとの斜め成分の総和Ｅ（I,J）を算出し、メモリ２０に格納する。ただし(n,m)は分割領域に含まれる画素の座標を示す。そして、斜線検出部１８４は、分割領域ごとの斜め成分の総和Ｅ（I,J）に基づいて、斜め成分の強度分布を示す強度マップを作成する。すなわち、斜線検出部１８４は、分割領域ごとの斜め成分の総和E(I,J)のうちの最大値を検出し、この最大値を基準として、最大値に対する分割領域ごとの斜め成分の総和E(I,J)の比率を算出する。
0005387341.tif 000005
（３）
【００２５】
−歪み量判定処理−
歪み判定部１８１は、以下の式（４）を用いて、上記の動きベクトルマップと強度マップとの相関値Ref(I,J)を算出する。そして、歪み判定部１８１は、相関値Ref(I,J)が以下の関係式（５）を満たす場合、すなわち相関値Ref(I,J)が所定の閾値Ｃを超える場合には、ローリング歪みが発生していると判定する。すなわち、歪み判定部１８１は、動体被写体の動き量が大きくかつ動体被写体が斜め成分を多く有している場合には、画像上において目立つ歪みが発生していると判定する。
Ref(I,J)＝E(I,J)＊VP(I,J)  （４）
Ref(I,J)＞Ｃ  （５）
【００２６】
−レート算出処理−
レート算出部１８５は、歪み判定部１８２が歪み量判定処理により動体被写体にローリング歪みが発生していると判定した場合は、ライブビューモードにおけるフレームレートを変更するために、新たなフレームレートSrを算出する。すなわち、ローリング歪みの影響が顕著である場合には、レート算出部１８５は、動体被写体の縦線部分、すなわち撮影画像の行方向に垂直な方向のエッジ成分の歪みが目立たなくなるようにフレームレートSrを決定する。
【００２７】
レート算出部１８５は、上記の縦ソーベルｆ(ｘ)を用いて、ＲＧＢ成分ごとに画像データに含まれる縦方向のエッジを検出する。各ＲＧＢ成分において検出されたエッジに対し、レート算出部１８５は、フィルタリングを行って縦方向のエッジの角度を検出する。レート算出部１８５は、上述した式（２）で表された縦ソーベルｆ(ｘ)と、以下の式（６）で示す横方向のソーベルフィルタｆ(ｙ)（以後、横ソーベルと呼ぶ）とに基づいて、以下の式（７）で示すように、縦ソーベルｆ(ｘ)と横ソーベルｆ(ｙ)との正接角θを検出することにより、角度検出を行う。
0005387341.tif 000006
（６）
θ＝tan−１（ｆ(ｙ)/ｆ(ｘ)）  （７）
【００２８】
レート算出部１８５は、上述のようにして角度検出を行うと、角度分布を示すヒストグラムを作成する。図４にヒストグラムの一例を示す。なお、図４においては、横軸を角度[rad]とし、０は撮影画像の行方向に対して垂直を表す。レート算出部１８５は、図４における０とその近傍とを除く範囲Ｘに含まれる角度の分布のピークが、所定の閾値Ｄを超える場合に、新たなフレームレートSrを算出する。図４に示すヒストグラムにおいては、角度θ１において閾値Ｄを超える分布（強度）のピークが生じている。すなわち、画像において角度θ１の方向の強い縦エッジが存在する、もしくは多数の縦エッジが存在することを示している。
【００２９】
レート算出部１８５は、基準角度θ０の算出を行う。レート算出部１８５は、最も高速なフレームレートSr０で取得された画像データＦ(ｎ０)を用いて上記の角度検出を行い、このときの検出角度を基準角度θ０とする。そして、レート算出部１８５は、以下の式（８）を用いて、角度φを算出する。
φ＝θ１−θ０  （８）
【００３０】
歪み判定部１８１は、上記の式（８）により算出された角度φが所定の閾値Ｅ未満の場合は、ローリング歪みが発生していないと判定する。すなわち、歪み判定部１８１は、画像データＦ(ｎ)の斜め成分はローリング歪みによるものではなく、動体被写体が本来有している斜め方向に強度の高いエッジ成分によるものと判定する。このような場合、歪み判定部１８１は、動体被写体にローリング歪みが発生していないと判定する。
【００３１】
レート算出部１８５は、角度φが閾値Ｅ以上の場合、上記のように閾値Ｄを超える角度θ１に応じて、以下の式（９）を用いて新たなフレームレートSrを算出する。
Ｓｒ＝３０＊INT（θ１／π）  （９）
なお、閾値Ｄを超える強度を有する角度θが複数存在する場合は、レート算出部１８５は、最大の強度に対応する角度に基づいてフレームレートSrを算出する。なお、フレームレートSrには、画像のＳ／Ｎ比等に基づいて、予め所定の上限値が定められているものとする。
【００３２】
−フレームレート変更処理−
フレームレート変更部１８２は、レート算出部１８５により式（９）を用いて算出されたフレームレートSrとなるようにタイミングジェネレータ１７を介して撮像素子１４に指示する。算出されたフレームレートSrが１／６０[s]とすると、フレームレート変更部１８２は、第（ｎ＋１）フレーム目の画像データＦ（ｎ＋１）を取得する際のフレームレートSrが１／６０[s]となるように、タイミングジェネレータ１７に指示する。すなわち、フレームレート変更部１８２は、撮像素子１４を構成する全画素のうち、垂直方向に、たとえば６行間隔おきの画素行に含まれる画素から画像信号が間引き出力されるようにタイミングジェネレータ１７に指示する。その結果、画像信号を出力する画素数が減少するので、フレームレートSrを高速に設定できる。
【００３３】
なお、間引きにより画像信号を出力する画素数は、ＶＧＡサイズ（６４０画素×４８０画素）の画像データを作成するために必要な画素数を下回らないものとする。換言すると、レート算出部１８５により算出された高速フレームレートSrに対応する画素数がＶＧＡサイズの画素数未満の場合には、フレームレート変更部１８２は、算出されたフレームレートSrに関わらず、ＶＧＡサイズの画素数となるように間引きする画素行の間隔を決定するものとする。第（ｎ＋１）フレーム目の画像データＦ（ｎ＋１）以降に取得される画像データに対しても、上述した処理と同様の処理が各フレームにおける画像データが取得されるごとに施される。
【００３４】
図５に、各フレームに対するフレームレートSrの変更のタイミングチャートを示す。図５（ａ）には通常周期のフレームレートSr（＝１／３０[s]）で画像データが取得される場合の様子を示す。これに対して、図５（ｂ）は、上述したフレームレートSrの変更処理を行いながら画像データを取得する場合を示す。画像データＦ（ｎ＋１）のフレームレートSrは、画像データＦ（ｎ）を用いて、１／６０[s]に設定されている。同様に、画像データＦ（ｎ＋２）のフレームレートSrは、画像データＦ（ｎ＋１）を用いて、１／６０[s]に設定されている。また、画像データＦ（ｎ＋３）を用いてローリング歪みが生じていないと判定されたので、画像データＦ（ｎ＋４）のフレームレートSrは、画像データＦ（ｎ＋３）でのフレームレートSr（＝１／１２０[s]）よりも低速（１／６０[s]）に設定されている。画像データＦ（ｎ＋５）以降についても、ローリング歪みが生じていないと判定されたので順次フレームレートSrが低速となるように変更され、通常周期のフレームレートSr（＝１／３０[s]）が設定されている。
【００３５】
図６〜図１０のフローチャートを参照しながら、実施の形態によるデジタルカメラ１の動作を説明する。図６〜図１０の処理は信号処理／制御回路１８でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、操作部３０によりライブビューモードや動画撮影モードの設定を指示する信号が入力されると起動され、実行される。
【００３６】
ステップＳ１０１においては、フレームレート変更部１８２は、撮像素子１４のフレームレートSrを通常周期（Sr＝１／３０[s]）に設定してステップＳ１０２へ進む。ステップＳ１０２においては、フレームレート変更部１８２は、第ｎフレーム目の画像データＦ(ｎ)と第（ｎ＋１）フレーム目の画像データＦ(ｎ＋１)とを取得する間のブランク期間に、設定したフレームレートSrとなるように、タイミングジェネレータ１７を介して撮像素子１４に指示してステップＳ１０３へ進む。
【００３７】
ステップＳ１０３においては、信号処理／制御回路１８は撮像素子１４から出力された画像信号を取り込みステップＳ１０４へ進む。ステップＳ１０４においては、フレームレート変更部１８２は、撮像素子１４のフレームレートSrを最高速周期（Sr0）に設定する。そして、フレームレート変更部１８２は、設定したフレームレートSr0となるようにタイミングジェネレータ１７を介して撮像素子１４に指示してステップＳ１０５へ進む。
【００３８】
ステップＳ１０５においては、信号処理／制御回路１８は撮像素子１４から出力された画像信号を取り込み、画像データＦ(ｎ０)を取得してステップＳ１０６へ進む。ステップＳ１０６においては、信号処理／制御回路１８は、ステップＳ１０３で取得した第ｎフレーム目の画像信号に対して各種の画像処理（たとえばホワイトバランス処理、色処理、階調補正処理等）を施して画像データＦ(ｎ)を生成してステップＳ１０７へ進む。ステップＳ１０７においては、信号処理／制御回路１８は、ステップＳ１０６で生成した画像データＦ(ｎ)を用いて表示用画像データを生成する。そして、信号処理／制御回路１８は、生成した表示用画像データをＬＣＤ駆動回路１９に出力して、液晶表示器１９１に第ｎフレーム目の画像として表示させてステップＳ１０８へ進む。ステップＳ１０８においては、信号処理／制御回路１８はローリング歪み量の判別処理を行って図７のステップＳ１０９へ進む。なお、ステップＳ１０８における処理の詳細については後述する。
【００３９】
図７のステップＳ１０９においては、ステップＳ１０８における処理に基づいて、歪み判定部１８１は第ｎフレーム目の画像データＦ(ｎ)に対応する画像上の動体被写体にローリング歪みが発生しているか否かを判定する。ローリング歪みが発生している場合は、ステップＳ１０９が肯定判定されてステップＳ１１０へ進む。ローリング歪みが発生していない場合には、ステップＳ１０９が否定判定されて後述するステップＳ１１１へ進む。
【００４０】
ステップＳ１１０では、レート算出部１８５は、式（７）で示すように、縦ソーベルｆ(ｘ)と横ソーベルｆ(ｙ)との正接角θを検出することにより、角度検出を行う。そして、レート算出部１８５は、検出した角度のヒストグラムを作成し、強度が最大の角度θ１を検出してステップＳ１１１へ進む。ステップＳ１１１においては、レート算出部１８５は、角度θ１が閾値Ｄ以上か否かを判定する。角度θ１が閾値Ｄ以上の場合は、レート算出部１８５によりステップＳ１１１が肯定判定されてステップＳ１１２へ進む。角度θ１が閾値Ｄ未満の場合は、レート算出部１８５によりステップＳ１１１が否定判定されて図６のステップＳ１０２へ戻る。
【００４１】
ステップＳ１１２においては、レート算出部１８５は、ステップＳ１０５で取得した画像データＦ(ｎ０)に対して縦ソーベルｆ(ｘ)および横ソーベルｆ(ｙ)を用いて角度θ０を検出してステップＳ１１３へ進む。ステップＳ１１３においては、レート算出部１８５は、式（８）を用いて角度φを算出してステップＳ１１４へ進む。
【００４２】
ステップＳ１１４においては、歪み判定部１８１は、ステップＳ１１３で算出した角度φが閾値Ｅ以上か否かを判定する。角度φが閾値Ｅ以上の場合は、歪み判定部１８１によりステップＳ１１４が肯定判定されてステップＳ１１５へ進む。角度φが閾値Ｅ未満の場合は、歪み判定部１８１によりステップＳ１１４が否定判定されてステップＳ１１６へ進む。ステップＳ１１５においては、歪み判定部１８１は、上述した式（９）を用いて新たなフレームレートSrを算出してステップＳ１１７へ進む。ステップＳ１１６においては、フレームレート変更部１８２は、撮像素子１４のフレームレートSrを現在のフレームレートの２／３に低減してステップＳ１１７へ戻る。
【００４３】
ステップＳ１１７においては、ライブビューモードまたは動画モードの終了が指示されたか否かを判定する。再生モードへの切り替え等の操作に伴いライブビューモードまたは動画モードの終了を指示する信号を入力した場合は、ステップＳ１１７が肯定判定されて処理を終了する。終了を指示する信号を入力しない場合は、ステップＳ１１７が否定判定されて図６のステップＳ１０２へ戻る。
【００４４】
次に、ステップＳ１０８における処理の詳細を、図８〜図１０のフローチャートを用いて説明する。
ステップＳ２０１においては、動き検出部１８３は動き検出処理を行ってステップＳ２０２へ進む。なお、動き検出処理の詳細は、図９のフローチャートを用いて後に説明する。ステップＳ２０２においては、斜線検出部１８４は斜線検出処理を行ってステップＳ２０３へ進む。なお、斜線検出処理の詳細は、図１０のフローチャートを用いて後述する。
【００４５】
ステップＳ２０３においては、歪み判定部１８１は、ステップＳ２０１で作成した動きベクトルマップとステップＳ２０２で作成した強度マップとに基づいて、式（４）を用いて相関値Ref(I,J)を算出してステップＳ２０４へ進む。ステップＳ２０４においては、歪み判定部１８１は、相関値Ref(I,J)が閾値Ｃを超えるか否か、すなわち関係式（５）を満たすか否かを判定する。関係式（５）を満たす場合、歪み判定部１８１によりステップＳ２０４が肯定判定されてステップＳ２０５へ進む。ステップＳ２０５においては、歪み判定部１８１は、画像データＦ(ｎ)に対して歪み有りと判定してローリング歪み量の判別処理を終了し、図６のステップＳ１０９へ進む。関係式（５）を満たさない場合、歪み判定部１８１によりステップＳ２０４が否定判定されてステップＳ２０６へ進む。ステップＳ２０６においては、歪み判定部１８１は、画像データＦ(ｎ)に対して歪みなしと判定してローリング歪み量の判別処理を終了し、図６のステップＳ１０９へ進む。
【００４６】
ステップＳ２０１における動き検出処理の詳細を、図９のフローチャートを用いて説明する。
ステップＳ３０１において、動き検出部１８３は、第（ｎ−１）フレーム目の画像データＦ(ｎ−１)と第ｎフレーム目の画像データＦ(ｎ)とを用いて、ブロックマッチング等の手法を用いて各画素の動きベクトルを算出してステップＳ３０２へ進む。ステップＳ３０２においては、動き検出部１８５は、式（１）を用いて、ブロックごとに動きベクトルの総和VP(I,J)を算出してステップＳ３０３へ進む。
【００４７】
ステップＳ３０３においては、動き検出部１８３は、動きベクトルの総和VP(I,J)のうちの最大値に対する各ブロックの動きベクトルの総和VP(I,J)の比率を算出し、動きベクトルマップを作成して動き検出処理を終了し、図８のステップＳ２０２へ進む。
【００４８】
次に、ステップＳ２０２における斜線検出処理の詳細を、図１０のフローチャートを用いて説明する。
ステップＳ４０１においては、斜線検出部１８４は、縦ソーベルｆ(ｘ)を用いて、各ブロックのＲＧＢ成分に対して斜線検出を行ってステップＳ４０２へ進む。ステップＳ４０２においては、斜線検出部１８４は、式（３）を用いてブロックごとの斜め成分の総和Ｅ（I,J）を算出してステップＳ４０３へ進む。ステップＳ４０３においては、斜線検出部１８４は、算出した各斜め成分の総和Ｅ(I,J)をメモリ２０に格納してステップＳ４０４へ進む。ステップＳ４０４においては、斜線検出部１８４は、ブロックごとの斜め成分の総和Ｅ（I,J）のうちの最大値に対するブロックごとの斜め成分の総和Ｅ(I,J)の比率を算出し、強度マップを作成して斜線検出処理を終了し、図８のステップＳ２０３へ進む。
【００４９】
以上で説明した実施の形態によるデジタルカメラ１によれば、以下の作用効果が得られる。
（１）信号処理／制御回路１８は、撮像素子１４からローリングシャッタ方式により行単位で画像信号を所定のフレームレートSrで読み出し、読み出された画像信号に基づいて、画像データＦ(ｎ)を生成する。そして、動き検出部１８３は、画像データＦ(ｎ)において、被写体に含まれる動体被写体の動きベクトルを検出し、斜線検出部１８４は、画像データＦ(ｎ)において、縦ソーベルｆ(ｘ)を用いて動体被写体の、画素行方向と垂直方向の成分のエッジである縦方向成分エッジの角度を示す歪み角度を検出するようにした。歪み判定部１８１は、動きベクトルに基づく動きベクトルマップと歪み角度に基づく強度マップとに基づいて相関値Ref(I,J)を算出し、相関値Ref(I,J)が所定値Ｃを超えた場合に、動体被写体にローリング歪みが発生していると判定するようにした。そして、フレームレート変更部１８２は、歪み判定部１８１の判定結果に基づいて、フレームレートSrを変更するようにした。したがって、動体被写体の歪みの程度に応じてフレームレートSrを変更できるので、動体被写体に動きがある場合に常に高速のフレームレートに変更するものに比べて、電荷蓄積をする画素数の低下に伴う画像のＳ／Ｎの劣化、解像度の低下を防ぎ、ローリング歪みを抑制した高画質の画像を取得できる。さらに、フレームレートSrを常に高速にする場合にくらべて、電力消費を抑えることができる。
【００５０】
（２）斜線検出部１８４は、横ソーベルｆ(ｙ)を用いて、動体被写体の横方向成分の歪み角度を検出し、縦ソーベルｆ(ｘ)および横ソーベルｆ(ｙ)による検出結果に基づいて、動体被写体の斜め方向の歪み角度を検出するようにした。そして、レート算出部１８５は、斜め方向の歪み角度に基づいて、新たなフレームレートSrを算出し、フレームレート変更部１８２は、現在のフレームレートSrを新たなフレームレートSrに変更するようにした。図３（ｂ）に示すように、フレームレートSrが１／３０[s]の場合に発生しているローリング歪みは、図３（ｃ）に示すフレームレートSrが１／６０[s]の場合には抑制されている。しかし、図３（ｄ）に示すように、フレームレートSrを１／１２０[s]にした場合には、画像上においてローリング歪みの影響がほとんど目立たなくなる。すなわち、図３（ａ）の動体被写体Ｑを撮影する場合、レート算出部１８５は、新たなフレームレートSrとして１／１２０[s]を算出する。したがって、ローリング歪みの量に応じて、ローリング歪みが目立たなくさせるのに適したフレームレートSr、すなわちローリング歪みの発生による影響が抑制できるフレームレートSrに変更することができるので、ライブビュー画像や動画像の画質を向上させることができる。
【００５１】
（３）レート算出部１８５は、歪み判定部１８２により関係式（５）に基づいて相関値Ref(I,J)が所定値Ｃを超えたと判定された場合は、式（９）を用いて周期が短く、すなわちフレームレートSrが高速となるように新たなフレームレートSrを算出するようにした。また、レート算出部１８５は、歪み判定部１８２により関係式（５）に基づいて相関値Ref(I,J)が所定値Ｃを超えていないと判定された場合は、式（９）を用いて周期が長くなる、すなわちフレームレートSrが低速となるように新たなフレームレートSrを算出するようにした。したがって、動体被写体に対するローリング歪みの影響が目立たなくなった場合には、フレームレートSrを低速に変更できるので、電力消費を抑制することができる。
【００５２】
（４）レート算出部１８５は、縦ソーベルｆ(ｘ)および横ソーベルｆ(ｙ)に基づいて、動体被写体が本来有している斜め方向成分の角度を基準角度θ０として検出し、歪み判定部１８１は、基準角度θ０に基づく角度φが所定の閾値Ｅ未満の場合は、動体被写体に歪みが発生していないと判定するようにした。したがって、たとえば単一色背景で文字などを拡大しながら撮影する等の動きベクトルが検出しにくい場合に、動体被写体をローリング歪みの判定対象から除外して、歪み量判定の精度を向上させることができる。
【００５３】
以上で説明した実施の形態のデジタルカメラ１を、次のように変形できる。
（１）閾値Ｄを変動可能に設定してもよい。この場合、レート算出部１８５は、動き検出部１８３により検出された動体被写体の動きベクトルに基づいて、動きベクトルの値が大きい程、閾値Ｄが小さな値となるように変動させればよい。なお、動きベクトルの値の大きさと閾値Ｄの値とを対応付けたテーブル等を予め所定のメモリ（不図示）に記録させておくものとする。
【００５４】
閾値Ｄを輝度値に基づいて変動可能に設定してもよい。この場合、レート算出部１８５は、たとえば画像データのＲＧＢ成分に基づいて算出した輝度値が高い場合には、画像のコントラストが高くなるので、閾値Ｄが小さな値となるように変動させればよい。この場合においても、輝度値と閾値Ｄとを対応付けたテーブル等を予め所定のメモリ（不図示）に記録させておくものとする。
【００５５】
さらには、閾値Ｄを画像データのＲ，Ｇ，Ｂの各色成分のいずれか一色に基づいて変動可能に設定してもよい。たとえば、画像データに色成分のうちＢ成分が多く含まれる場合、海や空等の縦方向のエッジが少ない被写体が撮影されている可能性が高い。したがって、このような場合、レート算出部１８５は、閾値Ｄが小さな値となるように変動させればよい。
【００５６】
（２）各フレームの画像データＦ(ｎ)を取得するごとに歪み量判定結果に基づいてフレームレートSrを変更するものに限定されず、フレームレート変更部１８２は、たとえば５フレームごとにフレームレートSrを変更してもよい。この場合、歪み判定部１８１は、５フレーム分の動きベクトルを積算した動きベクトルマップ、および５フレーム分の斜め成分の総和Ｅ(Ｉ,Ｊ)を積算した強度マップに基づいて、ローリング歪みの発生の有無を判定すればよい。
【００５７】
（３）歪み判定部１８１は、画像データＦ（ｎ−１）を取得した際に算出した角度φ（ｎ−１）と、画像データＦ（ｎ）を取得した際に算出した角度φ（ｎ）との差分の絶対値が、所定の閾値Ｇ以下の場合には、動体被写体にローリング歪みが発生してないと判定するようにしてもよい。すなわち、歪み判定部１８１は、角度φ（ｎ）が角度φ（ｎ−１）に大して変動していないと判定する。歪み判定部１８１により角度φ（ｎ）の変動なしが判定された場合、レート算出部１８５は画像データＦ（ｎ＋１）を取得する際のフレームレートを新たに算出しないようにする。その結果、フレームレート変更部１８２によるフレームレートSrの変更が行われないので、画像データＦ（ｎ＋１）は、画像データＦ（ｎ）を取得したときと同一のフレームレートSrにて取得される。
【００５８】
（４）動き検出部１８３は、ユーザによりパーン撮影が行われているか否かをさらに加味して、動体被写体の動きベクトルを検出してもよい。この場合、デジタルカメラ１はさらに加速度センサ等を備える。そして、動き検出部１８３は、加速度センサにより検出されたデジタルカメラ１本体の動きベクトルを算出し、動きベクトル量
0005387341.tif 000007
から減算すればよい。
【００５９】
（５）フレームレートSrの変更に際して、画像信号を読み出す画素行の間隔を変更する、すなわち間引きする行を変更するものに代えて、フレームレート変更部１８２がタイミングジェネレータ１７へタイミング信号を出力するクロックを変更するものでもよい。また、フレームレート変更部１８２は、間引きする行およびクロックの変更の両方を行うものでもよい。
【００６０】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
【符号の説明】
【００６１】
１４  撮像素子、  １８  信号処理／制御回路、  
１８１  歪み判定部、  １８２  フレームレート変更部、
１８３  動き検出部、  １８４  斜線検出部、  
１８５  レート算出部
【図１】
0005387341.tif 000008
【図２】
0005387341.tif 000009
【図３】
0005387341.tif 000010
【図４】
0005387341.tif 000011
【図５】
0005387341.tif 000012
【図６】
0005387341.tif 000013
【図７】
0005387341.tif 000014
【図８】
0005387341.tif 000015
【図９】
0005387341.tif 000016
【図１０】
0005387341.tif 000017