(57)【要約】【課題】電子シャッタを使用して撮影した画像の歪を補正して画質低下を抑制すること。【解決手段】撮像装置の撮像素子は、ＸＹアドレス方式で各画素の信号を読み出す。撮像装置は、ユーザの操作指示にしたがって撮影準備処理（Ｓ３０１）を行い、電子シャッタを使用したパスト撮影を行う（Ｓ３０２）。パスト撮影ではシャッタレリーズ前の画像が、電子シャッタを使用して取得される。その後、メカニカルシャッタを使用した撮影が行われ（Ｓ３０７，Ｓ３０８）、露光終了（Ｓ３０９）の後、現像処理（Ｓ３１０）が行われる。画像補正処理（Ｓ３１１）において、メカニカルシャッタを使用して撮影された画像に基づき、電子シャッタを使用して撮影されたパスト撮影画像が補正されることで画像のローリング歪が除去される。【選択図】図３
2017038281.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の制御による電子シャッタ手段と、前記撮像素子の受光面への入射光を遮るメカニカルシャッタを備える撮像装置であって、
前記電子シャッタ手段を用いて撮影された第１の画像と、前記メカニカルシャッタを用いて撮影された第２の画像の各データを取得する取得手段と、
前記第２の画像を用いて前記第１の画像の歪を補正する補正手段を有することを特徴とする撮像装置。
【請求項２】
前記撮像素子はＸＹアドレス方式で各画素の信号を読み出し、
前記電子シャッタ手段は前記各画素を行ごとに順次走査することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影のタイミングを指示する指示手段と、
前記指示手段の指示にしがって撮影された前記第２の画像のデータを記録する記録手段を備え、
前記第１の画像の撮影は、前記指示手段の指示よりも前に、連続的に実行される撮影であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記補正手段は、前記第１および第２の画像について画像間の行ごとに移動量を算出して前記第１の画像の歪を補正することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１および第２の画像について画像間の動きベクトルを算出して動体を検出する検出手段をさらに備え、
前記補正手段は、前記第２の画像から検出された前記動体の画像を用いて前記第１の画像から検出された前記動体の画像を補正することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記補正手段は撮影モードを判別して、前記第１の画像の歪を補正するか否かを決定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
撮影シーンを判別する判別手段を備え、
前記補正手段は前記判別手段による判別の結果にしたがって前記第１の画像の歪を補正するか否かを決定することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
被写体を判別する判別手段を備え、
前記補正手段は前記判別手段による判別の結果にしたがって前記第１の画像の歪を補正するか否かを決定することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項９】
撮像装置のブレ量を検出するブレ検出手段を備え、
前記補正手段は前記ブレ検出手段が検出した前記ブレ量を取得し、前記ブレ量が閾値より小さい場合に前記第１の画像の歪を補正することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
電子シャッタ手段を有し、ＸＹアドレス方式で各画素の信号を読み出す撮像素子を備える撮像装置であって、
前記電子シャッタ手段は、前記各画素を行ごとに順次走査する第１のシャッタ手段、および前記各画素を同時に走査する第２のシャッタ手段であり、
前記第２のシャッタ手段による撮影で取得された画像を用いて、前記第１のシャッタ手段による撮影で取得された画像の歪を補正する補正手段を備えることを特徴とする撮像装置。
【請求項１１】
撮像素子の制御による電子シャッタ手段と、前記撮像素子の受光面への入射光を遮るメカニカルシャッタを備えた撮像装置にて実行される制御方法であって、
前記電子シャッタ手段を用いて撮影された第１の画像と、前記メカニカルシャッタを用いて撮影された第２の画像の各データを取得する取得ステップと、
前記第２の画像を用いて、前記第１の画像の歪を補正する補正ステップを有することを特徴とする撮像装置の制御方法。
【請求項１２】
ＸＹアドレス方式で各画素の信号を読み出す撮像素子を備え、電子シャッタ手段として、前記撮像素子の各画素を行ごとに順次走査する第１のシャッタ手段、および前記各画素を同時に走査する第２のシャッタ手段を有する撮像装置にて実行される制御方法であって、
前記第１のシャッタ手段を用いて第１の撮影を行うステップと、
前記第２のシャッタ手段を用いて第２の撮影を行うステップと、
前記第２の撮影で取得された画像を用いて、前記第１の撮影で取得された画像の歪を補正するステップを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子シャッタを使用して撮影した画像の歪を補正する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置のシャッタには、撮像素子の電気的な制御による電子シャッタと、シャッタ機構部の駆動によるメカニカルシャッタがあり、両者を併用した装置がある。ＣＭＯＳ（相補型金属酸化膜半導体）センサ等のＸＹアドレス方式で各画素の信号を読み出す撮像素子は、ローリングシャッタと呼ばれる電子シャッタ機能を有し、二次元に配列された画素を行ごとに順次走査して信号を読み出す。ローリングシャッタを使用した撮影の場合、順次走査により画素の行ごとに露光開始と露光完了のタイミングがずれる。そのため、画素の行ごとの露光期間のずれに起因する、カメラブレによる画像全体の歪や動く被写体像の歪（ローリング歪またはローリングシャッタ歪と呼ばれる）が発生し得る。
【０００３】
特許文献１には、電子シャッタとメカニカルシャッタを併用することにより、撮影時のローリング歪の発生を回避する技術が開示されている。また特許文献２には、撮影条件に応じて電子シャッタとメカニカルシャッタを切り替えることにより、ローリング歪が発生するような撮影条件ではメカニカルシャッタを使用して撮影する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１９１２３６号公報
【特許文献２】特開２００６−３４５３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところでパスト撮影機能を搭載したデジタルカメラでは、シャッタチャンスを逃さないように、レリーズ時の撮影画像だけでなく、ユーザがシャッタボタンを半押し操作している間の画像も連続的に撮影して記録される。パスト撮影中は電子ビューファインダでのスルー画像の表示も併せて行う必要がある。このため、メカニカルシャッタを使用することができず、電子シャッタのみを使用した撮影となる。この場合、ＣＭＯＳセンサを搭載したデジタルカメラにより取得されるパスト撮影画像には、カメラブレや被写体ブレ（動体ブレ）によるローリング歪が発生する可能性がある。シャッタチャンスを逃さないためのパスト撮影機能で撮影される画像にローリング歪が発生してしまうことは好ましくない。
本発明の目的は、電子シャッタを使用して撮影した画像の歪を補正して画質低下を抑制することである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る装置は、撮像素子の制御による電子シャッタ手段と、前記撮像素子の受光面への入射光を遮るメカニカルシャッタを備える撮像装置であって、前記電子シャッタ手段を用いて撮影された第１の画像と、前記メカニカルシャッタを用いて撮影された第２の画像の各データを取得する取得手段と、前記第２の画像を用いて前記第１の画像の歪を補正する補正手段を有する。
【発明の効果】
【０００７】
本発明によれば、電子シャッタを使用して撮影した画像の歪を補正して画質低下を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るデジタルカメラの外観図である。
【図２】本発明の実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図３】本発明の第１実施形態に係るデジタルカメラの撮影処理のフローチャートである。
【図４】図３のＳ３１１に示す画像補正処理のフローチャートである。
【図５】本発明の第２実施形態に係るデジタルカメラの画像補正処理のフローチャートである。
【図６】動体検出と画像補正処理を説明するために撮影画像例を示す図である。
【図７】カメラブレ検出と画像補正処理を説明するために撮影画像例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の好適な実施形態を説明する。各実施形態に共通する事項として、ＣＭＯＳセンサ等のＸＹアドレス方式で画素の信号を読み出す撮像素子を搭載した撮像装置の構成および動作を説明した後で、図３〜図７を参照して各実施形態を説明する。
図１は本発明の撮像装置の一例としてのデジタルカメラ１００の外観図である。被写体側を前面側として各部の位置関係を説明する。図１はデジタルカメラ１００を背面側から示す図である。
【００１０】
表示部２８は画像や各種情報を表示する表示デバイスであり、デジタルカメラ１００の背面部に配置されている。カメラ上面部に設けられたレリーズボタン６１はユーザが撮影タイミングを指示するための操作部材である。電源スイッチ７２は、電源オンと電源オフを切り替えるための押しボタンである。モード切替スイッチ６０は各種モードを切り替えるための操作部材であり、デジタルカメラ１００の背面部に配置されている。コントローラホイール７３は回転操作可能な操作部材である。このように操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材により構成される。
【００１１】
コネクタ１１２は、パーソナルコンピュータやプリンタ等の外部機器とデジタルカメラ１００との接続部である。デジタルカメラ１００は、接続ケーブル１１１を用いて外部機器と電気的に接続される。記録媒体２００はメモリカードやハードディスク等の情報記録媒体である。記録媒体２００は記録媒体スロット２０１を通してデジタルカメラ１００内に格納され、デジタルカメラ１００の制御部と通信して記録や再生が行われる。蓋２０２は記録媒体スロット２０１の開閉蓋である。図１では、蓋２０２を開けて記録媒体スロット２０１から記録媒体２００の一部を取り出して露出させた状態を示している。
【００１２】
図２はデジタルカメラ１００の構成例を示すブロック図である。一例として、撮像光学系を構成するレンズ部がカメラ本体部と一体化された装置を説明する。
撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、図２では単レンズで簡略化して示す。バリア１０２は撮像光学系の構成部を覆うことにより、撮影レンズ１０３、シャッタ１０１、撮像部２２の汚損を防止する。シャッタ１０１は絞り機能を有し、撮像面（撮像素子の受光面）への入射光を遮るメカニカルシャッタである。撮像部２２はＣＭＯＳ素子等で構成される撮像素子を備え、撮影レンズ１０３により結像された光学像を電気信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２が出力するアナログ信号をデジタル信号に変換する。
【００１３】
画像処理部２４は、Ａ／Ｄ変換器２３の出力データ、またはメモリ制御部１５からのデータに対して画素補間処理や、リサイズ処理、色変換処理等を行う。また、画像処理部２４は、撮像された画像データを用いて所定の演算処理を行う。演算結果に基づいてシステム制御部５０が露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（自動焦点調節）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４は更に、撮像された画像データを用いて所定の演算処理を行うことにより、演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。更には、画像処理部２４は撮像時刻の異なる画像間の動きベクトルの算出処理や画像間のラインごとの移動量の算出処理を行う。
【００１４】
Ａ／Ｄ変換器２３の出力データは、画像処理部２４およびメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって取得された後にＡ／Ｄ変換器２３がデジタルデータに変換した画像データや、表示部２８に表示するための画像データを記憶する。メモリ３２は、所定枚数の静止画像や所定時間に亘る動画像および音声のデータを格納するのに十分な記憶容量を有する。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデジタルデータをアナログ信号に変換して表示部２８に出力する。メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して出力され、表示部２８により画像表示される。表示部２８はＬＣＤ（液晶表示デバイス）等を備え、Ｄ／Ａ変換器１３からのアナログ信号に応じた画像表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されてメモリ３２に蓄積されたデジタル信号は、Ｄ／Ａ変換器１３によるアナログ信号への変換後、表示部２８に逐次転送されて画像が表示される。これにより、電子ビューファインダ機能が実現され、スルー画像表示（ライブビュー表示）が行われる。
【００１５】
不揮発性メモリ５６は、電気的に消去および記憶可能な記憶媒体であり、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）等が用いられる。不揮発性メモリ５６は、システム制御部５０の動作用の定数、プログラム等を記憶している。ここでいうプログラムとは、本実施形態にて後述するフローチャートに示す処理を実行するためのコンピュータプログラムのことである。
【００１６】
システム制御部５０は、デジタルカメラ１００全体を制御する中枢部である。システム制御部５０は不揮発性メモリ５６に記憶されたプログラムを実行することで、後述する各処理を実現する。システムメモリ５２にはＲＡＭ（ランダム・アクセス・メモリ）が用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数等が記憶され、不揮発性メモリ５６から読み出したプログラム等が展開される。システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御を行う。システムタイマ５３は各種制御に用いる時間を計測する計時部である。
【００１７】
システム制御部５０に各種の動作指示を入力するための操作部７０は、例えばモード切替スイッチ６０、レリーズボタン６１、コントローラホイール７３を備える。モード切替スイッチ６０は各種モードの切り替えに使用される。各種モードとは、例えば静止画記録モード、動画撮影モード、再生モード等である。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。また、シーンモードには、背景をぼかして人物を浮き立たせるようにして人物撮影に特化したポートレート撮影モードがある。
【００１８】
第１シャッタスイッチ６２は、レリーズボタン６１の操作途中、いわゆる半押し（撮影準備指示）操作でＯＮとなり、第１シャッタスイッチ信号ＳＷ１が発生する。第１シャッタスイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作が開始する。第２シャッタスイッチ６４は、レリーズボタン６１の操作完了、いわゆる全押し（撮影指示）操作でＯＮとなり、第２シャッタスイッチ信号ＳＷ２が発生する。システム制御部５０は、第２シャッタスイッチ信号ＳＷ２により、撮像部２２の信号読み出しから記録媒体２００への画像データの書き込みまでの一連の撮影処理を開始させる。
【００１９】
コントローラホイール７３（図１参照）は、方向ボタンと共に選択項目を指示する際等に使用される。コントローラホイール７３の回転操作量に応じて電気的なパルス信号が発生し、パルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材がある。また、タッチセンサよりなる操作部材であって、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転操作等を検出する部材（いわゆるタッチホイール）がある。
【００２０】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また電源制御部８０は検出結果およびシステム制御部５０の指示にしたがってＤＣ−ＤＣコンバータを制御し、記録媒体２００を含む各部への電源供給を制御する。電源部３０は一次電池または二次電池、ＡＣアダプタ等からなる。記録媒体Ｉ/Ｆ部１８は記録媒体２００との間でデータを送受するインターフェース部である。記録媒体２００は、撮影された画像のデータを記録する記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。
【００２１】
通信部５４は、無線通信または有線ケーブルによる接続により、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像された画像（スルー画像を含む）データや、記録媒体２００に記録された画像データを外部機器へ送信し、また、外部機器から画像データやその他の各種情報を受信することができる。
【００２２】
姿勢検出部５５は加速度センサやジャイロセンサ等により、重力方向に対するデジタルカメラ１００の姿勢を検出する。姿勢検出結果に基づいて撮像部２２で撮影された画像がデジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検出部５５の検出結果に応じた向き情報を撮像部２２で撮像された画像のファイルに付加したり、画像を回転させて記録したりすることが可能である。
【００２３】
デジタルカメラ１００は、中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
【００２４】
顔検出機能の概要を説明すると、システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。画像処理部２４は取得した画像データに水平方向および垂直方向のバンドパスフィルタを作用させてエッジ成分を検出する。検出されたエッジ成分に関してパターンマッチングを行い、目および鼻、口、耳の候補群を抽出する処理が行われる。システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他の部分（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで顔を検出する。システム制御部５０は顔の検出情報を出力し、顔の数などの特徴量をシステムメモリ５２に記憶する。またライブビュー表示あるいは再生表示される画像データの画像解析により、画像データの特徴量を抽出して被写体検出情報を取得可能である。被写体検出情報には、赤目判定や目の検出、目つむり検出、笑顔検出、人物検出等の様々な情報がある。
【００２５】
[第１実施形態]
以下、本発明の第１実施形態を説明する。本実施形態では、メカニカルシャッタを使用して撮影した画像に基づき、電子シャッタを使用して連続的に撮影した画像（以下、パスト撮影画像という）を補正する処理例について説明する。
図３は第１実施形態におけるデジタルカメラ１００の撮影処理を例示するフローチャートである。以下の処理は、システム制御部５０のＣＰＵ（中央演算処理装置）が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。また、フローチャートに示す撮影処理は、デジタルカメラ１００の動作中にユーザが行う、レリーズボタン６１の操作による撮影指示にしたがって実行される。
【００２６】
Ｓ３００でシステム制御部５０はユーザがレリーズボタン６１の半押し操作を行い、第１シャッタスイッチ信号ＳＷ１がＯＮ信号となったか否かを判定する。ＳＷ１信号がＯＮ信号の場合にはＳ３０１へ処理を進め、ＳＷ１信号がＯＦＦ信号の場合にはＳ３００の判定処理を繰り返す。Ｓ３０１でシステム制御部５０は撮影準備処理を行う。ＡＦ処理にて撮影レンズ１０３に含まれるフォーカスレンズが被写体に焦点の合う位置へ移動し、ＡＥ処理にてシャッタ１０１に含まれる絞りにより適正露出値と露光時間の設定が行われる。
【００２７】
Ｓ３０２でシステム制御部５０はパスト撮影処理を開始し、ユーザがレリーズボタン６１を半押し操作している間の画像が連続的に撮影されて記録処理が行われる。パスト撮影中には電子ビューファインダとしてのスルー画像表示も併せて行う必要がある。このため、メカニカルシャッタを使用することができず、撮像素子の電子シャッタを使用した撮影が行われる。また、パスト撮影画像のデータはメモリ３２に一旦記憶された後、後述するＳ３１１以降の処理で本撮影画像と共に処理される。以下ではパスト撮影と区別するべく、撮影画像の記録のための撮影を「本撮影」という。本撮影画像は第２シャッタスイッチ６４のＯＮ操作後の記録処理によって記録媒体２００にデータが記録される画像である。
【００２８】
次にＳ３０３でシステム制御部５０は、ユーザがレリーズボタン６１の全押し操作を行い、第２シャッタスイッチ信号ＳＷ２がＯＮ信号となったか否かを判定する。ＳＷ２信号がＯＮ信号の場合にはＳ３０６へ処理を進め、ＳＷ２信号がＯＦＦ信号の場合にはＳ３０４へ処理を進める。Ｓ３０４でシステム制御部５０は、ユーザによりレリーズボタン６１が離され、ＳＷ１信号がＯＦＦ信号となったか否かを判定する。ＳＷ１信号がＯＦＦ信号の場合にはＳ３０５へ処理を進め、ＳＷ１信号がＯＮ信号の場合にはＳ３０３へ処理を戻す。
【００２９】
Ｓ３０５でシステム制御部５０はパスト撮影処理を停止し、その後に撮影処理を終了する。また、Ｓ３０６でシステム制御部５０はパスト撮影処理を停止してから、次のＳ３０７で本撮影の露光を開始させる。Ｓ３０８では、Ｓ３０１の撮影準備処理で決定された露光時間にしたがってシャッタ１０１が駆動されて撮像部２２が遮光される。Ｓ３０９で電荷の蓄積を終了し、本撮影の露光が終了する。次にＳ３１０でシステム制御部５０は現像処理を行う。現像処理では、撮像部２２に蓄積された電荷の読み出し後に、Ａ／Ｄ変換器２３によりＡ／Ｄ変換処理が行われた後、画像処理部２４によって各種の画像処理が行われて画像データが生成される。
【００３０】
Ｓ３１１でシステム制御部５０は、シャッタ１０１を使用して撮影した本撮影画像に基づき、電子シャッタを使用して撮影したパスト撮影画像を補正する。この画像補正処理の詳細については後述する。Ｓ３１２でシステム制御部５０は、パスト撮影画像データと本撮影画像データを符号化して記録媒体２００に記録する。以上でデジタルカメラ１００の一連の撮影処理が完了する。
【００３１】
次に図４を参照して、図３のＳ３１１に示した画像補正処理について説明する。図４は本実施形態におけるデジタルカメラ１００の画像補正処理例を示すフローチャートである。パスト撮影ではレリーズ前の画像を、電子シャッタを使用して撮影して記録する処理が行われるが、ＣＭＯＳセンサを搭載した撮像装置では、パスト撮影画像にて動体ブレおよびカメラブレによるローリング歪の発生が懸念される。そこで、動体ブレ検出および補正と、カメラブレ検出および補正の処理が行われる。
【００３２】
Ｓ４００でシステム制御部５０は動体検出処理を行う。動体検出処理ではパスト撮影画像と本撮影画像に基づいて動体が検出される。システム制御部５０は、画像処理部２４により、電子シャッタを使用して撮影したパスト撮影画像を複数エリアに分割する。そして、分割したそれぞれのエリアに含まれるパスト撮影画像と、メカニカルシャッタを使用して撮影した本撮影画像とを比較し、画像間の動きベクトルをエリアごとに算出する。算出された動きベクトルに基づいて動体の有無を検出することができる。例えば、それぞれのエリアで算出された動きベクトルのうち、大きさ及び向きが類似する動きベクトルをグループ化し、画像内で支配的な動きベクトルを決定する処理が行われる。この決定された動きベクトルに対して、大きさ及び向きが明らかに異なるベクトルを有する複数のエリアが塊になって存在する場合に、そのエリアに動体が存在すると判定することができる。図６を参照して具体的に説明する。図６（Ａ）はパスト撮影画像を例示し、ローリング歪が発生している動体の画像６０１と、背景の画像６０２を示す。図６（Ｂ）は本撮影画像を例示し、図６（Ｃ）は動体検出結果を例示する。
【００３３】
図４のＳ４０１でシステム制御部５０はカメラブレ検出処理を行う。カメラブレ検出処理では、パスト撮影画像と本撮影画像からカメラブレが検出される。システム制御部５０は、画像処理部２４により、メカニカルシャッタを使用して撮影した本撮影画像を基準とし、電子シャッタを使用して撮影したパスト撮影画像のラインごとの移動量を算出する。このとき、Ｓ４００で動体と判定されたエリアは移動量の算出から除外される。算出されたラインごとの移動量に基づいてカメラブレの有無を検出することができる。図７を参照して具体的に説明する。図７（Ａ）はパスト撮影画像（左傾した塔の画像７０１）を例示し、図７（Ｂ）は本撮影画像（傾いていない塔の画像７０２）を例示する。図７（Ｃ）はカメラブレ検出処理によるラインごとの移動量（矢印参照）の算出結果を例示する。
【００３４】
Ｓ４０２でシステム制御部５０は、Ｓ４０１でのカメラブレ検出処理の結果に基づいて、撮影画像にカメラブレが生じているか否かを判定する。撮影画像にカメラブレが生じている場合にはＳ４０３へ処理を進め、撮影画像にカメラブレが生じていない場合にはＳ４０４へ進む。Ｓ４０３でシステム制御部５０は、Ｓ４０１で算出した複数の移動量を用いて、パスト撮影画像をラインごとに補正する。複数の移動量は、メカニカルシャッタを使用して撮影した本撮影画像を基準とした、パスト撮影画像のラインごとの移動量である。Ｓ４０３のカメラブレ補正処理によって、パスト撮影画像に生じる、カメラブレによるローリング歪が補正される（図７（Ｄ）参照）。
【００３５】
次に、Ｓ４０４でシステム制御部５０は、Ｓ４００での動体検出処理の結果に基づいて、撮影画像中に動体の画像が有るか否かを判定する。判定の結果、撮影画像中に動体の画像が有ると判定された場合、Ｓ４０５へ処理を進め、撮影画像中に動体の画像が無いと判定された場合には画像補正処理を終了する。
【００３６】
Ｓ４０５でシステム制御部５０は動体ブレ（画像ブレ）補正処理を行う。Ｓ４００で検出された動体に対して、メカニカルシャッタを使用して撮影した本撮影画像から切り出した動体画像に基づき、ローリング歪が補正されたパスト撮影画像の動体画像が補正される。システム制御部５０は、画像処理部２４により、メカニカルシャッタを使用して撮影した本撮影画像に含まれる動体画像を基準とし、ローリング歪が補正されたパスト撮影画像に含まれる動体画像のラインごとの移動量を算出する。なお、この２つの画像間で、被写体の向きや形状に変化が生じていることが考えられる。そのため、ライン毎に得られた移動量をそのまま補正量として用いるのではなく、それぞれのライン毎に得られた移動量に対して、ラインをまたがる方向にローパスフィルタが適用されて、ライン毎に得られた移動量を平滑化したものを補正量とする。図６（Ｄ）は補正後のパスト撮影画像を例示する。電子シャッタを使用して取得されたパスト撮影画像の動体像６０１は動体ブレによるローリング歪が生じているが、動体ブレ補正によってローリング歪が除去される。Ｓ４０５の動体ブレ補正処理によって、パスト撮影画像の動体像に生じた、動体ブレによるローリング歪を補正することができる。
【００３７】
本実施形態によれば、メカニカルシャッタを使用して撮影した本撮影画像に基づいて、電子シャッタを使用して撮影したパスト撮影画像を補正することができる。
なお、図４のＳ４０１ではカメラブレをパスト撮影画像と本撮影画像から検出する例を説明したが、加速度センサ等を用いてカメラブレを検出する構成としてもよい。このようにすることで、カメラブレが無い場合のカメラブレ検出時間を削減でき、カメラ処理のレスポンスを向上させることが可能である。
【００３８】
また、撮像素子として二次元に配列された画素をラインごとに順次走査するローリングシャッタ機能に加えて、全ラインを同時に走査するグローバルシャッタ機能を備えた撮像素子を用いる構成としてもよい。この撮像素子は電子シャッタ手段として、各画素を行ごとに順次走査する第１のシャッタ手段、および各画素を同時に走査する第２のシャッタ手段を有する。つまり第１のシャッタ手段はローリングシャッタであり、撮像素子のリセット動作から読み出しが各画素の行ごとに時間差をもって行われる（ローリング動作）。第２のシャッタ手段はグローバルシャッタである。第１のシャッタ手段を用いた第１の撮影の後に、第２のシャッタ手段を用いた第２の撮影が行われる。以上の説明において、メカニカルシャッタに代えてグローバルシャッタを使用することで前記と同様の効果が得られる。このようにすることでメカニカルシャッタを削減でき、カメラのコスト低減が可能である。
【００３９】
本実施形態では、電子シャッタを使用する撮影としてパスト撮影を例に説明した。この他、露出を変えながら撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を撮影するＨＤＲ（High Dynamic Range）撮影のように、複数の画像を撮影して合成する撮影にも本発明を適用可能である。例えばＨＤＲ撮影の場合、前記の説明において、適正露出から露出を変えた画像を、電子シャッタを使用して撮影する画像とする。電子シャッタを使用して撮影した画像に生じるローリング歪を、メカニカルシャッタを使用して撮影した適正露出の画像に基づいて補正することができる。このようにすることで、全ての画像についてメカニカルシャッタを使用して撮影する場合に比べて、ＨＤＲ撮影の撮影時間を短縮可能である。
【００４０】
[第２実施形態]
次に、本発明の第２実施形態を説明する。本実施形態では、撮影モードの判別結果やカメラブレ量に応じてパスト撮影画像を補正するか否かを切り替える。尚、本実施形態において第１実施形態の場合と同様の構成については既に使用した符号を用いることによって、それらの詳細な説明を省略する。
【００４１】
図５は本実施形態に係るデジタルカメラ１００の画像補正処理を例示するフローチャートである。以下の処理は、システム制御部５０のＣＰＵが不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。なお、図５に示すＳ５００〜Ｓ５０２、Ｓ５０４、Ｓ５０６およびＳ５０７の処理は、第１実施形態で説明した図４のＳ４００〜Ｓ４０２、Ｓ４０３、Ｓ４０４およびＳ４０５と同様の処理であるため、それらの説明を省略して主に相違点を説明する。
【００４２】
図５のＳ５０２でカメラブレ有りと判定されてＳ５０３へ進んだ場合に、システム制御部５０は、Ｓ５０１のカメラブレ検出処理で検出したカメラブレ量を所定値と比較する。所定値は予め設定されたカメラブレ量の閾値であり、システム制御部５０はカメラブレ量が所定値以上であるか否かを判定する。カメラブレ量が所定値より小さい場合、Ｓ５０４へ処理を進めるが、カメラブレ量が所定量以上である場合にはＳ５０５に移行する。つまり、デジタルカメラ１００のカメラブレ量が閾値以上である場合には、Ｓ５０４のカメラブレ補正は行われない。パスト撮影中にデジタルカメラ１００が大きく振られた場合には、電子シャッタを使用して撮影したパスト撮影画像と、メカニカルシャッタを使用して撮影した本撮影画像とが異なる可能性が高いためである。
【００４３】
図５のＳ５０５でシステム制御部５０は、デジタルカメラ１００の撮影モードがポートレート撮影モードであるか否かを判定する。撮影モードがポートレート撮影モードである場合、画像補正処理を終了し、撮影モードがポートレート撮影モードでない場合にはＳ５０６へ処理を進める。つまり、撮影モードがポートレート撮影モードである場合、Ｓ５０７の動体ブレ補正は行われない。このようにすることで、ポートレート撮影モードの被写体である人物が動いた場合に、誤補正や過補正によって人物の画像が不自然に補正されてしまうことを防止できる。
【００４４】
本実施形態によれば、撮影モードやカメラブレ量に応じてパスト撮影画像を補正するか否かを切り替えることができる。
尚、図５のＳ５０５では、デジタルカメラ１００の撮影モードがポートレート撮影モードであるか否かを判定する例を説明した。これに限らず、撮影モードが、撮影シーンを自動で判別するオートシーン判別モードである場合には、シーン判別結果がポートレート撮影であるか否かを判定してもよい。このようにすることで、撮影モードがオートシーン判別モードであっても、被写体である人物が動いた場合に人物の画像が不自然に補正されてしまうことを防止可能である。また、検出された被写体が人物であるか否かの判定処理を行って、被写体である人物が動いた場合には動体ブレ補正が行われないようにしてもよい。これにより、人物の画像が不自然に補正されてしまうことを防止可能である。
【００４５】
以上説明したように、本発明によれば、メカニカルシャッタまたはグローバルシャッタを使用して撮影した画像に基づいて、電子シャッタを使用して撮影した画像に発生するローリング歪を補正することができる。
【００４６】
[その他の実施形態]
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４７】
２２  撮像部
２４  画像処理部
５０  システム制御部
６１  レリーズボタン
１０１  シャッタ
２００  記録媒体
【図１】
2017038281.tif 000003
【図２】
2017038281.tif 000004
【図３】
2017038281.tif 000005
【図４】
2017038281.tif 000006
【図５】
2017038281.tif 000007
【図６】
2017038281.tif 000008
【図７】
2017038281.tif 000009