【手続補正書】
【提出日】平成29年8月21日(2017.8.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置及び方法、撮像装置、及び画像生成装置
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
生成手段にて静止画を生成するために用いられる動画を記憶する画像処理装置であって、
振れ量検出手段で検出された振れ量から、画像信号のローリングシャッター歪みを補正するための補正量を動画のフレーム毎に算出する補正量算出手段と、
前記動画の各フレームの画像と前記補正量を関連付けて記憶する記憶手段と、を有し、
前記生成手段は、前記複数のフレームの画像のうち、選択されたフレームの画像を前記関連付けられた補正量に基いて補正して静止画を生成することを特徴とする画像処理装置。
【請求項２】
生成手段にて静止画を生成するために用いられる動画を記憶する画像処理装置であって、
振れ量検出手段で検出された振れ量から、画像信号のローリングシャッター歪みを補正するための補正量を動画のフレーム毎に算出する補正量算出手段と、
前記補正量に基いて、前記ローリングシャッター歪みをフレーム毎に補正する補正手段と、
前記補正手段によりローリングシャッター歪みを補正しきれなかった補正残り量を、前記フレーム毎に算出する補正残り量算出手段と、
前記動画の各フレームの画像と前記補正残り量を関連付けて記憶する記憶手段と、を有し、
前記生成手段は、前記複数のフレームの画像のうち、選択されたフレームの画像を前記関連付けられた補正残り量に基いて補正して静止画を生成することを特徴とする画像処理装置。
【請求項３】
前記補正残り量に基づく補正時に使用する画素に応じて、静止画の画像サイズを変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正量に基づく補正時に使用する画素に応じて、静止画の画像サイズを変更することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
複数の画素ラインを備え、各フレーム期間内で前記画素ラインの電荷蓄積のタイミングと読み出しのタイミングとをライン毎に異ならせて、複数フレーム分の画像信号を順次、出力する撮像素子を更に有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記画像における被写体の動きを検出する動き検出手段と、
前記被写体が動いている場合、前記補正残り量による補正の強さを弱めるためのゲインを設定する設定手段と
を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記動き検出手段が前記被写体に追従して撮影していることを検出した場合、前記設定手段は、前記ゲインとして第１の閾値より低い値を設定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記設定手段は、前記被写体の移動速度が第２の閾値よりも速い場合、第２の閾値以下の場合よりも前記ゲインを高くすることを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記設定手段は、前記画像における前記被写体の大きさが第３の閾値よりも大きい場合、前記第３の閾値以下の場合よりも前記ゲインを低くすることを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記設定手段は、前記画像の中心からの前記被写体までの位置が第４の閾値以上の場合、前記第４の閾値より近い場合よりも前記ゲインを高くすることを特徴とする請求項６に記載の画像処理装置。
【請求項１１】
撮像素子と、
請求項１乃至１０のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
【請求項１２】
請求項１乃至１０のいずれか１項に記載の画像処理装置に記憶された動画の各フレーム画像から静止画を生成する画像生成装置。
【請求項１３】
静止画を生成するために用いられる動画を記憶する画像処理方法であって、
補正量算出手段が、振れ量検出手段で検出された振れ量から、画像信号のローリングシャッター歪みを補正するための補正量を動画のフレーム毎に算出する補正量算出工程と、
記憶手段が、前記動画の各フレームの画像と前記補正量を関連付けて記憶する記憶工程と、
生成手段が、前記記憶された複数のフレームの画像のうち、選択されたフレームの画像を前記関連付けられた補正量に基いて補正して静止画を生成する生成工程と
を有することを特徴とする画像処理方法。
【請求項１４】
静止画を生成するために用いられる動画を記憶する画像処理方法であって、
補正量算出手段が、振れ量検出手段で検出された振れ量から、画像信号のローリングシャッター歪みを補正するための補正量を動画のフレーム毎に算出する補正量算出工程と、
補正手段が、前記補正量に基いて、前記ローリングシャッター歪みをフレーム毎に補正する補正工程と、
補正残り量算出手段が、前記補正工程によりローリングシャッター歪みを補正しきれなかった補正残り量を、前記フレーム毎に算出する補正残り量算出工程と、
記憶手段が、前記動画の各フレームの画像と前記補正残り量を関連付けて記憶する記憶工程と、
生成手段が、前記記憶された複数のフレームの画像のうち、選択されたフレームの画像を前記関連付けられた補正量に基いて補正して静止画を生成する生成工程と
を有することを特徴とする画像処理方法。
【請求項１５】
コンピュータに、請求項１３または１４に記載の画像処理方法の各工程を実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するために、生成手段にて静止画を生成するために用いられる動画を記憶する本発明の画像処理装置は、振れ量検出手段で検出された振れ量から、画像信号のローリングシャッター歪みを補正するための補正量を動画のフレーム毎に算出する補正量算出手段と、前記動画の各フレームの画像と前記補正量を関連付けて記憶する記憶手段と、を有し、前記生成手段は、前記複数のフレームの画像のうち、選択されたフレームの画像を前記関連付けられた補正量に基いて補正して静止画を生成する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
図３（ａ）のグラフは、縦軸は図２（ｂ）と同様であり、横軸はＲＳ歪み補正量を示している。なお、横軸の単位は、図３（ａ）と図２（ｃ）で共通である。図３（ａ）の実線グラフは、ブレ差分ｂ０〜ｂ６に対してゲインを乗算した結果である調整後補正量ｃ０〜ｃ６を示しており、点線グラフは図２（ｃ）と同じグラフを示している。第二ＲＳ歪み補正量演算部１１４は、この調整後補正量ｃ０〜ｃ６をＲＳ歪み補正設定データとしてＲＳ歪み補正部１０５に設定する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
図４を用いて説明したように、ローリングシャッタ歪み補正を行った後の出力画像範囲は、撮像画像よりも小さい画像となる。そのため、ＲＳ歪み残り量のデータを、出力画像範囲に合わせたデータに変換する必要がある。図３（ｃ）において、実線の長方形は撮像画像４０１を表し、その内側の実線の長方形は出力画像４０３を表している。図３（ｄ）は、縦軸が時間、横軸が図３（ｂ）と同じＲＳ歪み残り量である。ＲＳ歪み残り量は、出力画像と対応づけたデータとする必要がある。そのため、図３（ｃ）に示すように、出力画像４０３の範囲内でＲＳ歪み残り量のデータを記録する画像ラインをＬ１０〜Ｌ１６のように設定する。そして、画像ラインＬ１０〜Ｌ１６の電荷蓄積のタイミングに対応した時間をＴ１０〜Ｔ１６とし、図３（ｄ）のグラフに示すように、時間Ｔ１０〜Ｔ１６における調整後ＲＳ歪み残り量ｅ０〜ｅ６を演算する。調整後ＲＳ歪み残り量ｅ０〜ｅ６の演算は、図３（ｂ）のグラフのＴ０〜Ｔ６、歪み残り量ｄ０〜ｄ６から線形補間や多項式近似補間等の方法を用いて、時間Ｔ１０〜Ｔ１６におけるＲＳ歪み残り量を調整することによって行う。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
動き検出演算部７０２における、移動被写体に追従する撮影が行われているかどうかの判定結果は、第二ＲＳ歪み補正量演算部１１４’及びＲＳ歪み補正残り制御部７０３に供給される。また移動速度はＲＳ歪み補正残り制御部７０３に供給される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
第二ＲＳ歪み補正量演算部１１４’では、動き検出演算部７０２から移動被写体に追従しているという判定結果を受け取ると、ＲＳ歪み補正部１０５に対して、ローリングシャッタ歪み補正を行わないＲＳ歪み補正設定データを設定する。あるいは補正量が小さくなるようにＲＳ歪み補正設定データを設定してもよい。これは、以下の理由による。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
図９（ａ）は、画面中央の移動被写体を、画面中央に保持するように撮影している画像を示している。この場合、背景領域は移動被写体に追従する撮像装置の動きにより斜めに歪むが、移動被写体の画面上での位置は変わらないため、移動被写体の歪みは小さくなる。図９（ｂ）は、背景領域の斜めのローリングシャッタ歪みを補正したときの画像を示しており、図９（ａ）で歪んでいなかった移動被写体が斜めに歪むこととなる。このように移動被写体を歪ませてしまうことを避けるため、第二ＲＳ歪み補正量演算部１１４’では、上述したように、ＲＳ歪み補正部１０５に対してローリングシャッタ歪み補正を行わないように、ＲＳ歪み補正設定データを設定する。
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2016058876.tif 000001
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2016058876.tif 000002
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2016058876.tif 000003
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2016058876.tif 000004