(57)【要約】【課題】動画の幾何変形後の画像データに対する変倍率を算出する処理において、フレーム毎に画角が変わってしまうことを抑制できる画像処理装置を提供する。【解決手段】歪みを有する第１の画像データに対して、歪みに対応する幾何変形パラメータを用いて幾何変形処理を行い、さらに変倍処理を行うことにより歪みを補正した第２の画像データを生成する画像処理装置であって、幾何変形パラメータを用いて、幾何変形処理による変形量を算出する算出部と、変倍処理の変倍率を設定する設定部と、第２の画像データの着目画素に対して、変倍処理と、幾何変形処理とを行う前の座標を求め、座標が第１の画像データの領域からはみ出すか否かに応じて、変倍率を変更する制御部と、を備え、制御部は、第１の画像データが動画であるか静止画であるかに基づいて、変倍率の変更に用いる幾何変形パラメータを切り替える。【選択図】  図４
2018098612.tif 000002
【特許請求の範囲】
【請求項１】
歪みを有する第１の画像データに対して、前記歪みに対応する幾何変形パラメータを用いて幾何変形処理を行い、さらに変倍処理を行うことにより前記歪みを補正した第２の画像データを生成する画像処理装置であって、
前記幾何変形パラメータを用いて、前記幾何変形処理による変形量を算出する算出手段と、
前記変倍処理の変倍率を設定する設定手段と、
前記第２の画像データの着目画素に対して、前記変倍処理と、前記幾何変形処理とを行う前の座標を求め、該座標が前記第１の画像データの領域からはみ出すか否かに応じて、前記変倍率を変更する制御手段と、を備え、
前記制御手段は、前記第１の画像データが動画であるか静止画であるかに基づいて、前記変倍率の変更に用いる前記幾何変形パラメータを切り替えることを特徴とする画像処理装置。
【請求項２】
前記幾何変形パラメータは、前記第１の画像データに対応する画像を撮像する光学系の歪曲収差を補正するための値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記幾何変形パラメータは、前記第１の画像データに対応する画像を撮像する撮像装置におけるローリングシャッタ歪みを補正するための値であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記幾何変形パラメータは、前記第１の画像データに対応する画像を撮像する撮像装置の手振れを補正するための値であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、前記座標が前記第１の画像データの領域からはみ出さないように、前記変倍率を変更することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記制御手段は、前記第１の画像データが静止画である場合には、前記第１の画像データが有する歪みを補正する全ての幾何変形パラメータを前記変倍率の変更に用いることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、前記第１の画像データが動画である場合には、フレーム毎に変化しない幾何変形成分とフレーム毎に変化する幾何変形成分の参照する余白領域の割合を固定した上で、前記フレーム毎に変化しない幾何変形成分の幾何変形パラメータのみを前記変倍率の変更に用いることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項８】
前記制御手段は、前記第１の画像データに対応する画像を撮像する光学系の光学ズーム位置に応じて、前記フレーム毎に変化しない幾何変形成分と前記フレーム毎に変化する幾何変形成分の参照する余白領域の割合を設定することを特徴する請求項７に記載の画像処理装置。
【請求項９】
前記第１の画像データに対応する画像を撮像するための撮像手段と、
請求項１乃至８のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項１０】
歪みを有する第１の画像データに対して、前記歪みに対応する幾何変形パラメータを用いて幾何変形処理を行い、さらに変倍処理を行うことにより前記歪みを補正した第２の画像データを生成する画像処理方法であって、
前記幾何変形パラメータを用いて、前記幾何変形処理による変形量を算出する算出工程と、
前記変倍処理の変倍率を設定する設定工程と、
前記第２の画像データの着目画素に対して、前記変倍処理と、前記幾何変形処理とを行う前の座標を求め、該座標が前記第１の画像データの領域からはみ出すか否かに応じて、前記変倍率を変更する制御工程と、を有し、
前記制御工程では、前記第１の画像データが動画であるか静止画であるかに基づいて、前記変倍率の変更に用いる前記幾何変形パラメータを切り替えることを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法の各工程をコンピュータに実施させるためのプログラム。
【請求項１２】
請求項１０に記載の画像処理方法の各工程をコンピュータに実施させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに生じた歪みを補正するために、画像データに対して幾何変形を施す技術に関するものである。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラなどの撮像装置で撮像された画像データには、撮影光学系であるレンズユニットに起因する歪曲収差が含まれる。また、撮像素子としてＣＭＯＳセンサを用いた場合、ラインごとに蓄積タイミングが異なるため、露光中に画角の変化が生じると、ライン間で画角のズレが生じてしまい、所謂ローリングシャッタ歪みが生じる。さらに、所謂手振れなど撮像装置に加えられる振れに起因した撮影画像の変形が発生する。これらの画像データに生じた複数の歪みを補正するために、画像データに幾何変形を加え、補正した画像データに対して適切な変倍処理を施す技術が知られている。
【０００３】
画像データに生じた歪みを補正した幾何変形後の画像では、適切な変倍処理が行われない場合、補正後の画像において画素の欠損（画欠け）が生じる場合がある。また、画像の一部が補正後になくなって画角が減少することもあり、通常、補正後の画像データのサイズは補正する前の画像データのサイズと異なる。そのため、元のサイズに戻すように、画像データに適切な変倍処理を施す必要がある。
【０００４】
ここで、画像データに生じた歪みの補正と変倍処理を別々に行ってしまうと、補間処理を２回行うことにより画像の高域成分が失われやすくなり、望ましくない。そのため、歪みの補正と変倍処理はまとめて１回で行うことが望まれる。そのため、歪みの補正後の画像データの着目画素の座標に対応する歪みの補正前の画像データの座標を求める際には、歪みを補正するための補正量だけでなく、切り出し後の画像データに対する変倍率も考慮する必要がある。
【０００５】
よって、実際に画像データの歪みの補正を行う際には、歪み補正および変倍処理後の出力用の画像データの着目画素を設定し、変倍率と歪みによる変形量に基づいて、この着目画素の座標に対応する歪み補正前の画像データの座標を求める。この座標における信号レベルを、歪み補正前の画像データの周辺画素を用いて補間する。そして、この補間により得られた信号レベルを、出力用の画像データの着目画素の信号レベルとして出力する。
【０００６】
例えば、特許文献１には、画像データに対して幾何変形を行う場合に、少ない処理負荷で、リアルタイムに幾何変形後の画像データに対する好適な変倍率を求めるための構成が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−２５４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ここで、電子手振れ補正(射影変換)、ローリングシャッタ補正のパラメータは、フレーム毎に変化する。そのため、動画における幾何変形後の画像データに対する適切な変倍率を算出する処理において、電子手振れ補正やローリングシャッタ歪補正を含めて算出すると、変倍率がフレーム毎に変化する。結果としてフレーム毎に画角が変わってしまい、違和感のある動画となってしまう。特許文献１に記載の技術では、この問題点について考慮されていない。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、動画の幾何変形後の画像データに対する変倍率を算出する処理において、フレーム毎に画角が変わってしまうことを抑制できる画像処理装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、歪みを有する第１の画像データに対して、前記歪みに対応する幾何変形パラメータを用いて幾何変形処理を行い、さらに変倍処理を行うことにより前記歪みを補正した第２の画像データを生成する画像処理装置であって、前記幾何変形パラメータを用いて、前記幾何変形処理による変形量を算出する算出手段と、前記変倍処理の変倍率を設定する設定手段と、前記第２の画像データの着目画素に対して、前記変倍処理と、前記幾何変形処理とを行う前の座標を求め、該座標が前記第１の画像データの領域からはみ出すか否かに応じて、前記変倍率を変更する制御手段と、を備え、前記制御手段は、前記第１の画像データが動画であるか静止画であるかに基づいて、前記変倍率の変更に用いる前記幾何変形パラメータを切り替えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、動画の幾何変形後の画像データに対する変倍率を算出する処理において、フレーム毎に画角が変わってしまうことを抑制できる画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係わるデジタルカメラの構成を示すブロック図。
【図２】一実施形態における静止画撮影モードの処理を示すフローチャート。
【図３】撮影画像領域と変倍処理後の参照画像領域の例を示す概略図。
【図４】一実施形態における動画撮影モードの処理を示すフローチャート。
【図５】余白領域の割り当てを示す概略図。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の画像処理装置の一実施形態であるデジタルカメラの構成を示すブロック図である。
【００１４】
図１において、デジタルカメラ本体１００は、内部に図示されるような構成の各ブロックを有する。内部バス１０２は各ブロックを接続する内部バスである。システム制御部１０１は、例えばＣＰＵであり、内部バス１０２で接続された各ブロックの制御を行う。ＦＬＡＳＨメモリコントローラ１０３は、システム制御部１０１からの要求に基づき、ＦＬＡＳＨメモリ１０４に対するデータの読み書きを行う。システム制御部１０１は、ＦＬＡＳＨメモリ１０４に格納されたプログラムに基づいて各ブロックを制御する。
【００１５】
ＤＲＡＭコントローラ１０５は、各ブロックからの要求に基づきＤＲＡＭ１０６に対するデータの読み書きを行う。システム制御部１０１及びその他の各ブロックは、動作中の一時データや撮影した画像などをＤＲＡＭ１０６に格納して用いる。操作部１０７はデジタルカメラの外装に設けられたボタン等で構成され、ユーザーはそれを操作することにより、システム制御部１０１へ指示を伝えることができる。
【００１６】
撮像部１０８は被写体を撮影する撮像部である。撮像部１０８は被写体の光学像を取り込むレンズユニット、及び、光学像を電気信号に変換するＣＭＯＳ素子等のイメージセンサ（撮像素子）を備えて構成される。撮像部１０８は、システム制御部１０１の制御により、イメージセンサに結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換する。Ａ／Ｄ変換して得られたデジタル画像データ（画像データ）は、画像信号処理部１０９に出力される。また、システム制御部１０１は、撮像部１０８に含まれるレンズユニットに起因する歪曲収差を補正するため、像高に応じた撮影画像の変形量を算出し、幾何変形処理のための幾何変形パラメータを決定する。
【００１７】
角速度センサ１１１は、デジタルカメラ１００の動きを角速度信号として検出し、その角速度信号をシステム制御部１０１に出力する。システム制御部１０１は、角速度センサ１１１からの角速度データに基づいて、画像データに生じている変形量を算出し、補正するための幾何変形パラメータを算出する。
【００１８】
画像信号処理部１０９は、システム制御部１０１の指示に基づき、撮像部１０８が被写体を撮像して得られた画像データに対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの画像処理を施す。また、システム制御部１０１から設定された幾何変形パラメータに基づき、撮像して得られた画像データに生じた複数の歪みの補正処理も行う。さらに、システム制御部１０１で決定された補正後の画像データの変倍率に基づき、画像データに対して変倍処理を行う。なお、変倍率を決定するための手順については、後に詳細に説明する。
【００１９】
画像処理部１０９により画像処理された後の画像データは、画像圧縮部１１２に供給され、圧縮された後ＤＲＡＭ１０６に格納される。また、表示用に縮小された画像データは、ＤＲＡＭ１０６に設けられた表示用フレームメモリに格納される。ここで、画像圧縮部１１２は、対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成して、画像ファイルを作成する。静止画圧縮にはＪＰＥＧなどを用い、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。
【００２０】
ＤＲＡＭ１０６に蓄積された画像ファイルは、記録媒体１１３に記録される。記録媒体１１３は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）コントローラ１１５は、ＤＲＡＭ１０６に格納された表示用フレームメモリの内容を読み出して、ＬＣＤ１１６に表示する。
【００２１】
なお、図１で説明したデジタルカメラの構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る画像処理装置の構成は、図１に示した構成に限定されるものではない。
【００２２】
デジタルカメラ１００は、静止画撮影モードや動画撮影モードに適宜切り替えられることができる。モードの切り替えは、操作部１０７からのユーザーの操作指示や、システム制御部１０１の判断に応じて実行され、ユーザーの手動操作により切り替えられることもあれば、システム制御部１０１の判断により自動で切り替えられることもある。
【００２３】
まず、デジタルカメラ１００の静止画撮影モードにおける幾何変形処理時の変倍率を決定する処理を含む静止画撮影の動作について、図２のフローチャートを用いて詳細に説明する。図２のフローチャートは、システム制御部１０１によって、各ブロックを制御して実行される処理手順を示す。この手順は、ＦＬＡＳＨメモリ１０４に格納されているプログラムをＤＲＡＭ１０６に展開し、システム制御部１０１が実行することにより実現される。
【００２４】
まず、ステップＳ２０１において、静止画の撮影を行う。システム制御部１０１の制御により撮像部１０８が被写体を撮影し、得られた画像データを静止画データとして画像信号処理部１０９に出力する。画像信号処理部１０９は、静止画データに対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの画像処理を施し、処理された画像データをＤＲＡＭ１０６に格納する。
【００２５】
ステップＳ２０２において、システム制御部１０１は、ズーム位置、フォーカス位置、絞り値などの撮影条件のデータや角速度センサ１１１からの角速度データ等に基づいて、撮影画像に生じている複数の歪みを補正するための幾何変形パラメータを決定する。
【００２６】
本実施形態では、静止画撮影画像に、レンズユニットに起因する歪曲収差が生じているものとする。歪曲収差を補正するため、システム制御部１０１は像高に応じた撮影画像の変形量を算出し、補正パラメータを決定する。撮影画像の変形量は、レンズユニットの光学設計情報から計算により求めても良いし、実際に所定のパターンを撮影して得られた画像データに含まれるパターンの形状と、撮影対象である元の所定のパターンの形状を比較した結果から求めても良い。
【００２７】
また、静音撮影機能として、物理的にシャッターを走行させたり一眼レフカメラのようにミラーを駆動したりせずに、電子的にシャッターを動作させる構成を備えたカメラが知られている。電子シャッター撮影時のデメリットとして、ローリングシャッタ歪みが生じる点が挙げられる。したがって、静音撮影機能で撮影した場合には、ローリングシャッタ歪みの補正が必要となる。
【００２８】
本実施形態では、Ｓ２０１において、静音撮影機能が選択されていて、ローリングシャッタ歪みが生じているものとする。ローリングシャッタ歪みを補正するために、角速度センサ１１１で画像信号の露光期間に生じたデジタルカメラ１００本体の動きを検知する。具体的には、例えば、デジタルカメラ１００本体の単位時間当たりの３軸回転及び３軸並進量からなるモーションパラメータ情報を検出して、システム制御部１０１により幾何変形パラメータを決定する。
【００２９】
さらに、歪曲収差補正のための幾何変形パラメータとローリングシャッタ歪み補正のための幾何変形パラメータを合成して、撮影画像に生じている複数の歪みを補正するための幾何変形パラメータを決定する。例えば、特開２０１４−１１５８２４号公報には、処理速度の向上、メモリアクセス負荷の低減、制御性の向上のため、複数の幾何変形処理を１回に纏めて処理する方法について開示されている。本実施形態のシステム制御部１０１も、同様の方法で幾何変形パラメータを決定するものとする。
【００３０】
ステップＳ２０３において、システム制御部１０１は、幾何変形後の画像の変倍率を決定する。ここで、ステップＳ２０２で決定した幾何変形パラメータを用いて撮影画像に生じている複数の歪みを補正し変倍処理した後の、出力用の画像データ上の着目画素の座標をＰ２（ｘ２，ｙ２）とする。そして、この着目画素に対応する歪曲収差補正後で変倍処理前の画像データ上の座標をＰ１（ｘ１，ｙ１）とする。このとき、座標Ｐ１は、変倍率ｈを用いて、次の（式１）を用いて求めることができる。
【００３１】
ｘ１＝（１／ｈ）×ｘ２
ｙ１＝（１／ｈ）×ｙ２        …（式１）
この座標Ｐ１に対応する、歪曲収差とローリングシャッタ歪みによる変形量Ｄ１を反映させた座標をＰ０（ｘ０，ｙ０）とすると、次の（式２）で表現出来る。
【００３２】
【数１】
2018098612.tif 000003
【００３３】
なお、ａ１〜ｄ１は、変形量Ｄ１を示す値であり、Ｃｘ、Ｃｙは画像中心座標である。
【００３４】
図３を用いて、本実施形態での画像の変倍率を決定する処理について説明する。図３（ａ）において、３０１は撮影画像領域を示している。また、３０２は変倍処理後の画像データ上の各画素に対して求めた全ての座標Ｐ０の範囲を参照画像領域として示した例である。
【００３５】
図３（ａ）では、参照画像領域３０２が、撮影画像領域３０１からはみ出しているため、変倍処理後の画像データに画欠けが生じていることになる。この場合は、座標Ｐ０を歪み補正前の撮影画像領域３０１に収めるために、変倍率ｈを増加させて、歪み補正前の画像データ上の切り出し範囲を狭める必要がある。
【００３６】
また、図３（ｂ）では、参照画像領域３０２が、撮影画像領域３０１に収まっているため、変倍処理後の画像データに画欠けは生じないことになる。しかし、切り出し範囲が必要以上に狭く設定されており、歪み補正前の画像データの画角に比較して、変倍処理後の画像データの画角が小さすぎる。この場合は、変倍率ｈを減少させて、歪曲収差補正前の画像データ上の切り出し範囲を広げる必要がある。
【００３７】
図３（ｃ）では、参照画像領域３０２が、撮影画像領域３０１に内接している。この変倍率ｈの値を幾何変形後の画像の変倍率として決定する。例えば、特許文献１に記載されているような構成を用いて、本実施形態のシステム制御部１０１も、変倍率を決定するものとする。
【００３８】
ステップＳ２０４において、システム制御部１０１は、Ｓ２０２で決定した幾何変形パラメータとステップＳ２０３で決定した変倍率を反映して、撮影画像領域の参照する座標Ｐ０を算出する。画像信号処理部１０９は、この座標Ｐ０における信号レベルを、座標Ｐ０の近傍に位置する複数の画素の信号レベルを用いて補間し、歪曲収差とローリングシャッタ歪みが補正された画像データを生成する。そして、画像処理後の画像データはシステム制御部１０１によりＤＲＡＭ１０６に格納される。
【００３９】
ステップＳ２０５において、システム制御部１０１は、ＤＲＡＭ１０６に蓄積された画像データを、画像圧縮部１１２で圧縮処理し、静止画ファイルとして、記録媒体１１３に記録する。以上で、図２の静止画撮影モードの説明を終了する。
【００４０】
次に、デジタルカメラ１００の動画撮影モードにおける幾何変形処理時の変倍率を決定する処理を含む動画撮影の動作について、図４のフローチャートを用いて詳細に説明する。
【００４１】
図４のフローチャートは、図２の静止画モードの場合と同様に、システム制御部１０１によって、各ブロックを制御し実行される処理手順を示す。この手順は、ＦＬＡＳＨメモリ１０４に格納されているプログラムをＤＲＡＭ１０６に展開し、システム制御部１０１が実行することにより実現される。
【００４２】
ステップＳ４０１において、システム制御部１０１の制御により１フレーム分の動画の撮影を行い、撮影画像をＤＲＡＭ１０６に格納する。具体的には、システム制御部１０１の制御により１フレーム分の動画の撮影を行い、それを動画データとして画像信号処理部１０９に出力する。画像信号処理部１０９は、動画データに対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの画像処理を施し、処理された画像データをＤＲＡＭ１０６に格納する。
【００４３】
ステップＳ４０２において、この撮影画像に生じている複数の歪みを補正するために参照する余白領域を決定する。具体的には、歪みの種類に応じて、参照する余白領域の割合を決定する。
【００４４】
本実施形態では、動画撮影画像に、既に説明した静止画像撮影モード時と同様に、撮像部１０８に含まれるレンズユニットに起因する歪曲収差およびイメージセンサの読み出しタイミングに依存するローリングシャッタ歪みが生じているものとする。そして、これらの歪みについて補正するものとする。
【００４５】
また、デジタルカメラ１００に加えられる手振れに起因して発生する撮影画像の変形に対して、電子的に補正する電子手振れ補正を行うものとする。撮影画像の歪みを補正する際に、出力画角の周囲に余白領域が必要となる。図５（ａ）は、余白領域の例を示す図である。撮影画像領域３０１に対して、出力画角５０１の周囲に余白画素領域５０２が必要となる。
【００４６】
システム制御部１０１は、図５（ａ）で示した余白領域５０２について、図５（ｂ）に示すように余白割り当て境界５０３を境にして、フレーム毎に変化しない幾何変形成分で使用する余白領域５０２ａとフレーム毎に変化する幾何変形成分で使用する余白領域５０２ｂを、割合を固定して割り当てる。ただし、余白領域５０２ａと余白領域５０２ｂは、それらの内部でそれぞれフレーム毎に変化しない幾何変形成分とフレーム毎に変化する幾何変形成分の補正が行われることを意味するものではない。余白領域５０２ａと余白領域５０２ｂは、それらの幅の比率が、フレーム毎に変化しない幾何変形成分に使用する余白領域の量と、フレーム毎に変化する幾何変形成分に使用する余白領域の量の比率を概念的に表わしたものである。なお、ここで、ローリングシャッタ歪み補正と電子手振れ補正については、フレーム毎に変化する幾何変形成分であり、歪曲収差補正については、レンズユニットに起因するため、フレーム毎に変化しない幾何変形成分である。
【００４７】
固定する割合は、デジタルカメラ１００の機能として、あらかじめ決めておいても良いし、手振れによる像ブレを出来るだけ抑えるために、電子手振れ補正を強くかけたい場合には、余白領域５０２ａに対して、余白領域５０２ｂを多く割り当てれば良い。逆に、画像の一部が補正後になくなって画角が減少するのを回避したい場合には、余白領域５０２ｂに対して、余白領域５０２ａを多く割り当てれば良い。また、光学ズーム位置が変化するとレンズの焦点距離が変わり、歪曲収差による歪みも変化するため、光学ズーム位置によって余白領域５０２ａと余白領域５０２ｂの割り当ての割合を調整するようにしても良い。
【００４８】
ステップＳ４０３において、システム制御部１０１は、ズーム位置、フォーカス位置、絞り値などの撮影条件のデータや角速度センサ１１１からの角速度データ等に基づいて、また、Ｓ４０２で決定した余白領域の割合を考慮して、撮影画像に生じている複数の歪みを補正するための幾何変形パラメータを決定する。
【００４９】
歪曲収差補正のための幾何変形パラメータとローリングシャッタ歪み補正のための幾何変形パラメータについては、前述した静止画撮影の場合のＳ２０２と同様にして、システム制御部１０１により幾何変形パラメータを算出する。
【００５０】
電子手振れ補正の幾何変形パラメータについては、システム制御部１０１は、時間的に前後の２枚のフレーム画像間の動きベクトルを検出し、検出された動きベクトルを用いてフレーム画像間の位置ずれ量を推定する。そして、位置ずれを打ち消すように画像に幾何変形処理を施すよう、補正パラメータを決定する。
【００５１】
ここで、フレーム画像間の動きベクトルを検出する方法としては、撮像部１０８に含まれるジャイロセンサ(図示しない)を用いる方法やテンプレートマッチングを用いてフレーム画像間の動きベクトルを推定する方法など公知の技術を利用する。
【００５２】
さらに、フレーム毎に変化するローリングシャッタ歪み補正の幾何変形パラメータと電子手振れ補正の幾何変形パラメータを合成して、フレーム毎に変化する幾何変形成分の歪みを補正するための幾何変形パラメータを算出する。もし、この幾何変形パラメータで参照する範囲がＳ４０２において決定した余白領域５０２ｂに収まらない場合には、変形量を弱めて、収まるように調整する。
【００５３】
ステップＳ４０４において、システム制御部１０１は、幾何変形後の画像の変倍率を決定する。ここで、システム制御部１０１は、フレーム毎に画角変動が生じないように、Ｓ４０３で決定したフレーム毎に変化しない幾何変形成分である歪曲収差補正の幾何変形パラメータのみを用いて変倍率を決定する。前述した静止画撮影の場合のステップＳ２０３と同様にして、歪曲収差による変形量を反映させた座標であるＰ０（ｘ０，ｙ０）で表わされる参照画像領域が図５（ｂ）に示す余白割り当て境界５０３に内接する変倍率を決定する。
【００５４】
ステップＳ４０５において、システム制御部１０１は、Ｓ４０３で決定したフレーム毎に変化する幾何変形成分の幾何変形パラメータおよびフレーム毎に変化しない幾何変形成分の幾何変形パラメータと、Ｓ４０４でフレーム毎に変化しない幾何変形成分から決定した変倍率を反映して、撮影画像領域における参照する座標Ｐ０を算出する。画像信号処理部１０９は、この座標Ｐ０における信号レベルを、座標Ｐ０の近傍に位置する複数の画素の信号レベルを用いて補間し、歪曲収差、ローリングシャッタ歪み、手振れが補正された画像データを生成する。そして、画像処理後の画像データは、システム制御部１０１によりＤＲＡＭ１０６に格納される。
【００５５】
ステップＳ４０６において、システム制御部１０１は、ＤＲＡＭ１０６に蓄積された画像データを、画像圧縮部１１２で圧縮処理し、動画ファイルとして記録媒体１１３に記録する。以上で、図４の動画撮影モードの説明を終了する。
【００５６】
以上説明したように、本実施形態のデジタルカメラ１００は、幾何変形処理時の変倍処理の変倍率を求める際に、動画と静止画で利用する幾何変形パラメータを切り替える。静止画において全ての幾何変形パラメータを利用して変倍率を求めることにより、画像データに対して幾何変形を行う場合に、幾何変形後の画像において画素の欠損が生じないようにでき、かつ撮影画像領域を有効に使用することができる。これにより、撮影時の画角と補正後の画角の差を小さくした変倍率を求めることができる。さらに、動画においては、フレーム毎に変化しない幾何変形成分の幾何変形パラメータを利用して変倍率を求める。これにより、画像データに対して幾何変形を行う場合に、フレーム毎に画角が変わってしまうことなく、幾何変形後の画像データに対する適切な変倍率を求めることができる。
【００５７】
以上、本発明の好ましい実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の技術思想の範囲内において、適宜変更されて適用されるべきものである。
【００５８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１００：デジタルカメラ、１０１：システム制御部、１０２：内部バス、１０３：ＦＬＡＳＨメモリコントローラ、１０４：ＦＬＡＳＨメモリ、１０５：ＤＲＡＭコントローラ、１０６：ＤＲＡＭ、１０７：操作部、１０８：撮像部、１０９：画像信号処理部、１１１：角速度センサ、１１２：画像圧縮部、１１３：記録媒体、１１５：ＬＣＤコントローラ、１１６：ＬＣＤ
【図１】
2018098612.tif 000004
【図２】
2018098612.tif 000005
【図３】
2018098612.tif 000006
【図４】
2018098612.tif 000007
【図５】
2018098612.tif 000008