(57)【要約】【課題】複数の被写体が奥行き方向に異なる位置に存在していても、確実に画ブレ補正を行うことができる画ブレ補正装置を、提供する。【解決手段】本画ブレ補正装置は、ライトフィールド情報生成手段と、ブレ量検出手段と、補正手段とを、備えている。ライトフィールド情報生成手段は、撮像装置によって撮影された連続撮影画像に対応する一連のライトフィールド情報を、生成する。ブレ量検出手段は、一連のライトフィールド情報の変化から、撮像装置のブレ量を検出する。補正手段は、一連のライトフィールド情報の変化を抑制するように、ブレ量にしたがって一連のライトフィールド情報を補正する。【選択図】図３
2015019119.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮影された連続撮影画像に対応する一連のライトフィールド情報を、生成するライトフィールド情報生成手段と、
前記一連のライトフィールド情報の変化から、前記撮像装置のブレ量を検出するブレ量検出手段と、
前記一連のライトフィールド情報の変化を抑制するように、前記ブレ量にしたがって前記一連のライトフィールド情報を補正する補正手段と、
を備える画ブレ補正装置。
【請求項２】
前記ブレ量検出手段は、
前記一連のライトフィールド情報から、角度方向強度分布情報を抽出する角度方向強度分布抽出手段と、
前記角度方向強度分布情報を用いてパターンマッチングを行うことで、前記撮像装置の水平・垂直方向の回転ブレ量を、検出する水平・垂直方向回転ブレ検出手段と、を有し、
前記補正手段は、
前記一連のライトフィールド情報における前記角度方向強度分布の変化を抑制するように、前記回転ブレ量にしたがって、前記一連のライトフィールド情報を、補正する水平・垂直方向回転ブレ補正手段、
を有する請求項１に記載の画ブレ補正装置。
【請求項３】
前記ブレ量検出手段は、
前記一連のライトフィールド情報から、面方向強度分布情報を抽出する面方向強度分布抽出手段と、
前記面方向強度分布情報を用いてパターンマッチングを行うことで、前記撮像装置の水平・垂直方向の並行ブレ量及び光軸回り回転ブレ量の少なくともいずれか一方を、検出する並行ブレ・光軸回り回転ブレ検出手段と、を有し、
前記補正手段は、
前記一連のライトフィールド情報における前記面方向強度分布の変化を抑制するように、前記少なくともいずれか一方のブレ量にしたがって、前記一連のライトフィールド情報を、補正する平行ブレ・光軸回り回転ブレ補正手段を、有する、
請求項１又は２に記載の画ブレ補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画ブレ補正装置に関する。
【背景技術】
【０００２】
従来の撮像装置では、画ブレ補正機構を備えたものがある（特許文献１を参照）。このタイプの撮像装置では、画像光線が撮像光学系を介して撮像センサに入力されると、撮像センサ上における画像の移動量が、検知手段で検知される。すると、この移動量に基づいて駆動アクチュエータによって撮像光学系が移動され、撮像センサ上の画像の位置が補正される。このような画ブレ補正機構によって、従来の撮像装置では、ブレが小さな画像が出力できるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２５４１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置では、撮像装置にブレが生じると、上記のような画ブレ補正機構によって、画像ブレが補正されていた。例えば、撮像装置がピッチ方向及びヨー方向に回転した場合や撮像装置が上下及び左右に移動した場合では、撮像光学系を移動することによって、画像ブレが補正されていた。
しかしながら、奥行き方向に複数の被写体が存在する状態において、撮像装置が上下及び左右に移動した場合、状況によっては、画ブレを正確に補正できないおそれがある。例えば、撮像装置に近い側に位置する被写体（第１被写体）と、撮像装置に遠い側に位置する被写体（第２被写体）とが同軸上に配置されている例で説明すると、この状態で撮像装置が上方に移動した場合、撮像センサ上における第１被写体像の移動量（第１移動量）と、撮像センサ上における第２被写体像の移動量（第２移動量）とが、異なる。
【０００５】
このため、第１移動量に基づいて画ブレ補正を行うと、第２被写体像のブレ補正に誤差が生じる。一方で、第２移動量に基づいて画ブレ補正を行うと、第１被写体像のブレ補正に誤差が生じる。このように、奥行き方向に複数の被写体が存在する場合、従来の画ブレ補正機構では、各被写体（第１被写体、第２被写体）のブレを補正することができないという問題があった。なお、ここでは、撮像装置が上方に移動した場合を例に説明を行ったが、撮像装置が下方や左右に移動した場合にも同様な問題が生じる。
本発明は、上記のような問題に鑑みてなされたものであり、複数の被写体が奥行き方向に異なる位置に存在していても、確実に画ブレ補正することができる画ブレ補正装置を、提供することにある。
【課題を解決するための手段】
【０００６】
画ブレ補正装置は、ライトフィールド情報生成手段と、ブレ量検出手段と、補正手段とを、備えている。ライトフィールド情報生成手段は、撮像装置によって撮影された連続撮影画像に対応する一連のライトフィールド情報を、生成する。ブレ量検出手段は、一連のライトフィールド情報の変化から、撮像装置のブレ量を検出する。補正手段は、一連のライトフィールド情報の変化を抑制するように、ブレ量にしたがって一連のライトフィールド情報を補正する。
このように画ブレ補正装置を構成することによって、複数の被写体が奥行き方向に異なる位置に存在していても、確実に画ブレ補正を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係るライトフィールドカメラのブロック図。
【図２】本実施形態に係るライトフィールドカメラにおける、（ａ）レンズアレイを通過する光線と撮像素子との関係を示す図と、（ｂ）光線入射角度（θ，φ）を説明するための図。
【図３】本実施形態に係るライトフィールドカメラの処理形態を示すフロー。
【図４】本実施形態に係るライトフィールドカメラの光学部品と光線との関係を示した図（（ａ）初期状態、（ｂ）角度ブレ状態）。
【図５】本実施形態に係るライトフィールド情報の状態を説明するための模式図（（ａ）初期状態、（ｂ）角度ブレ状態、（ｃ）角度ブレ補正、（ｄ）角度ブレ補正後）。
【図６】本実施形態に係るライトフィールドカメラの光学部品と光線との関係を示した図（（ａ）初期状態、（ｂ）移動ブレ状態）。
【図７】本実施形態に係るライトフィールド情報の状態を説明するための模式図（（ａ）初期状態、（ｂ）移動ブレ状態、（ｃ）移動ブレ補正後）。
【図８】本実施形態に係る３次元光軸方向強度分布を示す図（（ａ）初期状態、（ｂ）回転ブレ後）。
【発明を実施するための形態】
【０００８】
＜１．実施の形態＞
以下、本発明をデジタルカメラに適用した場合の実施の形態１について、図面を参照しながら説明する。
＜１−１．デジタルカメラの全体概要＞
図１に示すように、デジタルカメラ１００は、光学系１０１、イメージセンサ１２０、ＡＦＥ（アナログ・フロント・エンド）１２１、画像処理部１２２、バッファメモリ１２４、液晶モニタ１２３を、備える。また、デジタルカメラ１００は、コントローラ１３０、カードスロット１４１、フラッシュメモリ１４２、操作ユニット１５０を、さらに備える。
光学系１０１は、被写体像を形成する。光学系１０１は、主に、フォーカスレンズを含む複数の撮影レンズ１０２と、レンズアレイ１０３とを、有する。複数の撮影レンズ１０２は、被写体のフォーカス状態を調節したり、被写体の画角を調節したりするレンズである。複数の撮影レンズ１０２は、何枚のレンズから構成されるものであってもよいし、何群のレンズから構成されるものであってもよい。なお、ここでは、光学系１０１に複数の撮影レンズ１０２が含まれる場合の例を示したが、レンズアレイ１０３があれば、複数の撮影レンズ１０２は必ずしも用意する必要はない。
【０００９】
レンズアレイ１０３は、複数のレンズエレメントを並列的に配列したレンズである（図２を参照）。レンズアレイ１０３は、イメージセンサ１２０に対向して、配置される。ここでは、各レンズエレメントが結ぶ像が、隣接するレンズエレメントが結ぶ像と重なり合わないように、各レンズエレメントにおける、レンズの直径、焦点距離、撮像素子までの距離、及び視野角を制限するフード等が、設計されている。
イメージセンサ１２０は、光学系１０１により形成された被写体像を撮像する撮像素子である。イメージセンサ１２０は、被写体像を写すフレーム（コマ）の画像データを生成する。
ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）１２１は、イメージセンサ１２０により生成された画像データに対して、各種処理を施す。具体的には、ＡＦＥ１２１は、相関二重サンプリングによる雑音抑圧、アナログゲインコントローラによるＡ／Ｄコンバータの入力レンジ幅への増幅、Ａ／ＤコンバータによるＡ／Ｄ変換等の処理を施す。
【００１０】
ライトフィールド情報処理部１２５は、ライトフィールド情報を生成し、ライトフィールド情報に対して各種処理を実行する。詳細には、ライトフィールド情報処理部１２５は、被写体像の画像情報に基づいて、ライトフィールド情報を生成する。また、ライトフィールド情報処理部１２５は、ライトフィールド情報に基づいて各種のブレ検出を行い、ライトフィールド情報に対して各種のブレ補正を実行する。なお、ライトフィールド情報生成手段１１０、角度ブレ検出手段１１１、角度ブレ補正手段１１２、平行移動ブレ検出手段１１３、平行移動ブレ補正手段１１４、回転ブレ検出手段１１６、及び回転ブレ補正手段１１７は、主に、ライトフィールド情報処理部１２５において実現される。各手段１１０−１１４，１１６−１１７の詳細については、後述する。
画像処理部１２２は、ライトフィールド情報に基づいて、画像データを生成し出力する。また、画像処理部１２２は、画像データに対して、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理等のような処理を、施す。また、画像処理部１２２は、圧縮処理、縮小処理、拡大処理、合成処理等のような処理を、施す。このような処理を画像データに対して実行することによって、画像処理部１２２は、スルー画像及び記録画像を生成する。また、出力画像生成手段１１５は、主に、画像処理部１２２において実現される。出力画像生成手段１１５の詳細については、後述する。
【００１１】
本実施形態では、画像処理部１２２は、プログラムを実行するマイクロコンピュータである。しかしながら、他の実施形態では、画像処理部１２２は、ハードワイヤードな電子回路であってもよい。また、画像処理部１２２は、コントローラ１３０等と一体的に構成されるものであってもよい。
コントローラ１３０は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３０は、ＲＯＭ及びＣＰＵ等により構成される。ＲＯＭには、ファイル制御、オートフォーカス制御（ＡＦ制御）、自動露出制御（ＡＥ制御）、フラッシュの発光制御に関するプログラムの他、デジタルカメラ１００全体の動作を統括制御するためのプログラムが、格納されている。
例えば、コントローラ１３０は、ライトフィールド情報処理部１２５を制御する。また、コントローラ１３０は、画像処理部１２２により各種処理が施された画像データを、静止画データ又は動画データとして、メモリカード１４０及びフラッシュメモリ１４２（以下、メモリ等１４０，１４２）に記録する。なお、撮像制御手段１０５は、主に、コントローラ１３０において実現される。
【００１２】
本実施形態では、コントローラ１３０は、プログラムを実行するマイクロコンピュータであるが、他の実施形態では、ハードワイヤードな電子回路であってもよい。コントローラ１３０は、画像処理部１２２等と一体的に構成されるものであってもよい。
液晶モニタ１２３は、スルー画像及び記録画像等の画像を、表示する。スルー画像及び記録画像は、画像処理部１２２により生成される。スルー画像は、デジタルカメラ１００が撮影モードに設定されている間、イメージセンサ１２０により一定時間間隔で連続的に生成される一連の画像である。
記録画像は、メモリ等１４０，１４２に記録されている静止画データ又は動画データをデコード（伸張）することにより得られる画像である。記録画像は、デジタルカメラ１００が再生モードに設定されている時に、液晶モニタ１２３上に表示される。
【００１３】
他の実施形態では、液晶モニタ１２３の代わりに、有機ＥＬディスプレイやプラズマディスプレイ等のような、画像を表示可能な任意のディスプレイが、使用されてもよい。
バッファメモリ１２４は、画像処理部１２２及びコントローラ１３０のワークメモリとして機能する揮発性の記憶媒体である。本実施形態では、バッファメモリ１２４は、ＤＲＡＭである。
フラッシュメモリ１４２は、デジタルカメラ１００の内部メモリである。フラッシュメモリ１４２は、不揮発性の記録媒体である。
カードスロット１４１には、メモリカード１４０が着脱可能に挿入される。カードスロット１４１は、メモリカード１４０と電気的及び機械的に接続される。メモリカード１４０は、デジタルカメラ１００の外部メモリである。メモリカード１４０は、不揮発性の記録媒体である。
【００１４】
操作ユニット１５０は、ユーザから操作を受け付ける操作インターフェースである。操作ユニット１５０は、デジタルカメラ１００の外装に配置される操作釦や操作ダイヤル等の総称である。操作ユニット１５０は、ユーザから操作を受け付けると、直ちに操作の内容を示す信号をコントローラ１３０に送信する。
＜１−２．ライトフィールドカメラの撮影動作＞
図２（ａ）に示すように、被写体を撮影する場合には、レンズアレイ１０３を通過した光線は、イメージセンサ１２０に到達する。すると、レンズアレイ１０３の各レンズエレメントを通過した光線に対応する被写体像が、イメージセンサ１２０上に形成される。すると、図３に示すように、撮像制御手段１０５は、イメージセンサ１２０に形成された被写体像の画像情報を、生成する（Ｓ１）。具体的には、撮像制御手段１０５は、イメージセンサ１２０とバッファメモリ１２４とを制御することによって、短時間露光画像を、間欠的に撮影する。このようにして、撮像制御手段１０５は、複数の画像情報（一連の画像情報）を生成し、バッファメモリ１２４に記録する。
【００１５】
続いて、ライトフィールド情報生成手段１１０が、バッファメモリ１２４に記録された一連の画像情報に基づいて、各画像情報に対応するライトフィールド情報Ｉを、生成する。すなわち、ライトフィールド情報生成手段１１０は、一連の画像情報に対応する一連のライトフィールド情報を、生成する（Ｓ３）。
ライトフィールド情報は、レンズアレイ１０３が配置された領域におけるライトフィールドを表す情報である。具体的には、ライトフィールド情報は、光強度情報Ｉ（ｘ，ｙ，θ，φ）である。光強度情報Ｉ（ｘ，ｙ，θ，φ）は、各レンズエレメントの位置座標（ｘ，ｙ）と、この位置座標における光線入射角度（θ，φ）とをパラメータとして有している。
各レンズエレメントの位置座標（ｘ，ｙ）は、各レンズエレメントの中心位置を示す座標である。光線入射角度（θ，φ）は、各レンズエレメントの中心と各レンズエレメントが結ぶ像の画素とを結ぶ直線が、デジタルカメラ１００の光軸となす角度である。
【００１６】
ここでは、図２（ｂ）に示すように、光軸（ｚ軸）に平行且つ各エレメントの中心Ｏｒを通る軸が、ｚ’軸と定義されている。図２（ｂ）では、レンズアレイ１０３面の中心Ｏｒを原点として、ｘ’軸及びｙ’軸を定義している。ｘ’軸、ｙ’軸、ｚ’軸からなる座標系は、ｘ軸、ｙ軸、ｚ軸（光軸）からなる座標系に対する相対座標系である。
このような相対座標系（ｘ’，ｙ’，ｚ’）を用いて、光線入射角度（θ，φ）の説明を行っておく。図２（ｂ）に示すように、各レンズエレメントに入射された光線のベクトルＬｖをｘ’−ｚ’平面に垂直に投影した場合、この投影後のベクトルとｚ’軸とがなす角度が、光線入射角度θである。また、各レンズエレメントに入射された光線のベクトルＬｖをｙ’−ｚ’平面に投影した場合、この投影後のベクトルとｚ’軸とがなす角度が、光線入射角度φである。
【００１７】
続いて、角度ブレ検出手段１１１は、一連のライトフィールド情報Ｉ間の角度方向強度分布を比較して、角度ブレ量を、検出する（Ｓ４）。続いて、角度ブレ補正手段１１２は、角度ブレ検出手段１１１から得られた角度ブレ量に基づいて、ライトフィールド情報生成手段１１０から出力された一連のライトフィールド情報Ｉを、補正する（Ｓ５）。例えば、角度ブレ補正手段１１２は、一連のライトフィールド情報Ｉの回転変化を抑制するように、ライトフィールド情報Ｉを、補正する。
続いて、平行移動ブレ検出手段１１３は、一連のライトフィールド情報Ｉ間の光軸方向強度分布例えば光強度情報Ｉ（ｘ，ｙ，０，０）を比較して、平行移動方向のブレ量を、検出する（Ｓ６）。続いて、平行移動ブレ補正手段１１４は、平行移動ブレ検出手段１１３から得られた平行移動ブレ量に基づいて、角度ブレ補正手段１１２から出力された一連のライトフィールド情報Ｉを、補正する（Ｓ７）。例えば、平行移動ブレ補正手段１１４は、一連のライトフィールド情報Ｉにおける平行移動変化及びイメージセンサ１２０に垂直な軸周りの回転変化を抑制するように、ライトフィールド情報Ｉを、補正する。
【００１８】
続いて、回転ブレ検出手段１１６は、一連のライトフィールド情報Ｉ間の光軸方向強度分布を回転に関して比較して、光軸回り回転ブレ量を、検出する（Ｓ８）。そして、回転ブレ補正手段１１７は、回転ブレ検出手段１１６から得られた光軸回り回転ブレ量に基づいて、平行移動ブレ補正手段１１４から出力された一連のライトフィールド情報Ｉを、補正する（Ｓ９）。例えば、回転ブレ補正手段１１７は、一連のライトフィールド情報Ｉの光軸回りの回転変化を抑制するように、ライトフィールド情報Ｉを、補正する。
出力画像生成手段１１５は、ライトフィールド情報処理部１２５から出力された一連のライトフィールド情報Ｉを用いて、焦点の位置、焦点深度、及び視野角等に対する設定パラメータに従って、画像生成処理を行う（Ｓ８）。例えば、出力画像生成手段１１５は、一連のライトフィールド情報Ｉを合成して得られる静止画像、及び／又は一連のライトフィールド情報Ｉから一連の画像を生成して得られる動画像を、生成して出力する。一連のライトフィールド情報Ｉの合成処理では、例えば、ライトフィールド情報Ｉの平均処理が行われる。これによって、Ｓ／Ｎが向上し、高画質の静止画像を得ることができる。
＜２．ブレ検出及びブレ補正＞
＜２−１．ピッチ方向及びヨー方向の角度ブレに対する検出及び補正＞
図４（ａ）−図４（ｂ）及び図５（ａ）−図５（ｄ）を用いて、ピッチ方向とヨー方向とに対する角度ブレを検出し補正する方法を説明する。なお、上記したように、本デジタルカメラ１００では、バッファメモリ１２４に蓄積された一連の画像から、一連のライトフィールド情報Ｉが、生成されている。しかしながら、以下では、説明を容易にするために、一連の画像の中の２つの画像と、これら２つの画像に対応する２つのライトフィールド情報Ｉを用いて、説明を行う。
【００１９】
図４（ａ）−図４（ｂ）は、デジタルカメラ１００の光学部品と光線との関係を示したものである。図４（ａ）−図４（ｂ）では、被写体基準軸２０１ａ，２０１ｂに沿って、被写体が配置されている。被写体としては、遠方被写体２０２ａ，２０２ｂと、近方被写体２０３ａ，２０３ｂとが、用意されている。ここでは、遠方被写体２０２ａ，２０２ｂと、近方被写体２０３ａ，２０３ｂとが、矢印形状で記されている。
なお、図４（ａ）−図４（ｂ）では、２０４ａ，２０４ｂは、デジタルカメラ１００の光軸である。２０６ａ，２０６ｂは、ＣＣＤイメージセンサ（１２０）である。また、ここでは、４つのレンズエレメントから構成されるレンズアレイ１０３を、２０５ａ，２０５ｂと記している。
図４（ａ）は第１の画像撮影時の状態を表し、図４（ｂ）は第２の画像撮影時の状態を表している。図４（ａ）では、被写体基準軸２０１ａとデジタルカメラ１００の光軸２０４ａとが、一致している。図４（ｂ）では、デジタルカメラ１００の光軸２０４ｂが、被写体基準軸２０１ｂに対して回転している。
【００２０】
図４（ａ）及び図４（ｂ）では、遠方被写体２０２ａ，２０２ｂの頂点と、近方被写体２０３ａ，２０３ｂの頂点から発せられた光線が、レンズアレイ２０５ａ，２０５ｂを通って、ＣＣＤイメージセンサ２０６ａ，２０６ｂに入射する様子が、矢印で示されている。
図４（ａ）の場合に生成されるライトフィールド情報Ｉを示す模式図を、図５（ａ）に示す。また、図４（ｂ）の場合に生成されるライトフィールド情報Ｉを示す模式図を、図５（ｂ）に示す。さらに、図５（ｃ）は、回転処理後のライトフィールド情報Ｉを示し、図５（ｄ）は、角度ブレ補正処理後のライトフィールド情報Ｉを示す模式図である。
なお、図５（ａ）及び図５（ｂ）では、３０１ａ、３０１ｂが、ライトフィールド情報Ｉを示している。ここでは、遠方被写体２０２ａ，２０２ｂの頂点と近方被写体２０３ａ，２０３ｂの頂点から発せられた光線、すなわちレンズアレイ２０５ａ，２０５ｂの４つのレンズエレメント０、１、２、３を通過する光線によって、ライトフィールド情報３０１ａ，３０１ｂが形成される。
【００２１】
図５（ａ）及び図５（ｂ）では、３０２ａ、３０２ｂが、角度方向強度分布Ｉave（θ、φ）を示している。角度方向強度分布Ｉave（θ、φ）は、視野角内のすべての被写体が発する光線によって形成されたライトフィールド情報Ｉを、（ｘ，ｙ）方向の全位置において、平均したものである。角度方向強度分布Ｉave（θ、φ）は、レンズアレイ２０５ａ，２０５ｂの領域全体として、どの入射角の光線強度がどのぐらいあるかを表す指標である。なお、このように、（ｘ，ｙ）方向の平均をとることによって、ライトフィールド情報Ｉに平行移動ブレが含まれていたとしても、その影響を小さくすることができる。
角度ブレ検出手段１１１は、角度方向強度分布抽出手段１１１ａ、及び水平・垂直方向回転ブレ検出手段１１１ｂを、有している。角度方向強度分布抽出手段１１１ａは、ライトフィールド情報Ｉを（ｘ，ｙ）方向に平均することによって、角度方向強度分布３０２ａ，３０２ｂを、算出する。そして、水平・垂直方向回転ブレ検出手段１１１ｂは、角度方向強度分布３０２ｂの角度座標を修正しながら、角度方向強度分布３０２ａとの間でパターンマッチングを行う。そして、角度ブレ検出手段１１１は、最も誤差の少ない角度座標修正量を、取得する。これにより、角度ブレ検出手段１１１は、ライトフィールド情報３０１ａに対するライトフィールド情報３０１ｂの角度ブレ量を、検出する。
【００２２】
角度ブレ補正手段１１２（水平・垂直方向回転ブレ補正手段の一例）は、角度ブレ量検出手段１１１が求めた角度ブレ量を用いて、ライトフィールド情報３０１ｂの角度座標を補正する。そして、角度ブレ補正手段１１２は、ライトフィールド情報３０１ｂを回転させることによって、ライトフィールド情報３０１ａとの差を低減したライトフィールド情報３０１ｂ’を、生成する。そして、角度ブレ補正手段１１２は、更に、ライトフィールド情報３０１ａとの平均を計算することによって、ライトフィールド情報３０１ｃを出力する。
なお、上述した角度ブレ量検出手段１１１は、ライトフィールド情報Ｉの信号処理ではなく、ジャイロによる角速度検出値の積分結果を用いても良く、その場合はパターンマッチング処理を削減することができる。
＜２−２．平行移動に対するブレ補正＞
次に、図６（ａ）−図６（ｂ）及び図７（ａ）−図７（ｃ）を用いて、平行移動ブレの補正方法を説明する。図６（ａ）において、４０１ａから４０６ａまでの記号の意味は、図４（ａ）の２０１ａから２０６ａまでのものと同じである。図６（ｂ）において、４０１ｂから４０６ｂまでの記号の意味は、図４（ｂ）の２０１ｂから２０６ｂまでのものと、同じである。
【００２３】
図４（ａ）−図４（ｂ）と同様に、図６（ａ）は第１の画像撮影時の状態を表し、図６（ｂ）は第２の画像撮影時の状態を表している。図６（ａ）では、被写体基準軸４０１とデジタルカメラ１００の光軸４０４が一致している。図６（ｂ）では、デジタルカメラ１００の光軸４０４が、被写体基準軸４０１に対して、上方に平行移動している。
図６（ａ）及び図６（ｂ）の場合に、ライトフィールド情報生成手段１１０によって生成されるライトフィールド情報Ｉを示す模式図を、図７（ａ）−図７（ｂ）に示す。また、図７（ｃ）は、平行移動ブレ補正後のライトフィールド情報Ｉを示す模式図である。
図７（ａ）及び図７（ｂ）では、５０１ａ、５０１ｂが、ライトフィールド情報Ｉを示している。ここでは、遠方被写体４０２ａ，４０２ｂの頂点と近方被写体４０３ａ，４０３ｂの頂点とから発せられた光線、すなわちレンズアレイ４０５の４つのレンズエレメント０、１、２、３を通過する光線によって、ライトフィールド情報５０１ａ，５０１ｂが形成される。
【００２４】
図７（ａ）及び図７（ｂ）では、５０２ａ、５０２ｂが、光軸方向強度分布Ｉ（ｘ，ｙ，０，０）を示している。光軸方向強度分布Ｉ（ｘ，ｙ，０，０）は、視野角内のすべての被写体が発する光線によって形成されたライトフィールド情報Ｉにおいて、各位置の光軸方向の入射光線の強度を抽出したものである。
平行移動ブレ検出手段１１３は、面方向強度分布抽出手段１１３ａ、及び並行ブレ検出手段１１３ｂを、有している。面方向強度分布抽出手段１１３ａは、ライトフィールド情報５０１ａ及び５０１ｂに基づいて、各位置における光軸方向のライトフィールド情報Ｉを抽出して、光軸方向強度分布５０２ａ，５０２ｂを算出する。並行ブレ検出手段１１３ｂは、光軸方向強度分布５０２ｂの位置座標を修正しながら、光軸方向強度分布５０２ａとの間でパターンマッチングを行う。そして、平行移動ブレ検出手段１１３は、最も誤差の少ない位置座標修正量を、取得する。これにより、平行移動ブレ検出手段１１３は、ライトフィールド情報５０１ａに対するライトフィールド情報５０１ｂの平行ブレ量を、検出する（並行ブレ検出手段の一例）。
【００２５】
平行移動ブレ補正手段１１４（平行ブレ補正手段の一例）は、平行移動ブレ検出手段１１３が求めた平行ブレ量を用いて、ライトフィールド情報５０１ｂの位置座標を補正する。そして、平行移動ブレ補正手段１１４は、ライトフィールド情報５０１ｂを平行移動させることによって、ライトフィールド情報５０１ａとの差がなくなるように、ライトフィールド情報５０１ｂを補正する。そして、平行移動ブレ補正手段１１４は、ライトフィールド情報５０１ａとの平均を計算することによって、ライトフィールド情報５０１ｃを出力する。
ここで、図７（ｃ）に示すレンズエレメント０，１，２におけるライトフィールド情報５０１ｃについては、ライトフィールド情報５０１ａとライトフィールド情報５０１ｂとの共通部分である。このため、共通部分については、平均をとることによって、Ｓ／Ｎの向上を図ることができる。一方で、図７（ａ）のレンズエレメント３におけるライトフィールド情報５０１ａ、及び図７（ｂ）のレンズエレメント０におけるライトフィールド情報５０２ｂについては、非共通部分である。しかしながら、この非共通部分を、出力するライトフィールド情報Ｉに含める場合には、より広範囲のライトフィールド情報Ｉを利用して、より大きな視差を活用可能となる。また、この非共通部分を、出力するライトフィールド情報Ｉに含めない場合には、複数のライトフィールド情報Ｉの共通部分のみで平均処理をして、出力ライトフィールド情報Ｉを生成することで、Ｓ／Ｎ向上を実現することができる。
＜２−３．回転に対するブレ補正＞
次に、図８（ａ）及び図８（ｂ）を用いて、光軸回り回転ブレの補正方法を説明する。
図８（ａ）及び図８（ｂ）は、図７（ａ）及び図７（ｂ）で説明した光軸方向強度分布の３次元斜視図である。ライトフィールド情報Ｉの光軸方向強度分布が、６０２ａと６０２ｂである。
【００２６】
例えば、図８（ｂ）に対応する第２の画像が、図８（ａ）に対応する第１の画像に対して、デジタルカメラ１００の光軸４０４ｂを中心に回転した状態で撮影された場合、光軸方向強度分布６０２ｂは、光軸方向強度分布６０２ａに対して、光軸まわりに回転した分布となる。このため、回転ブレ検出手段１１６（光軸回り回転ブレ検出手段の一例）は、光軸方向強度分布６０２ａと光軸方向強度分布６０２ｂとの間で、回転角度を変えながらパターンマッチングを行うことによって、光軸回り回転ブレ量を、検出する。そして、回転ブレ補正手段１１７（光軸回り回転ブレ補正手段の一例）は、平行移動ブレ検出手段１１３及び平行移動ブレ補正手段１１４における処理に、位置座標を回転する処理を加えることによって、光軸回り回転ブレ補正を行う。
＜３．まとめ＞
画ブレ補正装置は、ライトフィールド情報生成手段１１０と、角度ブレ量検出手段１１１，１１３，１１６と、補正手段１１２，１１４，１１７とを、備えている。ライトフィールド情報生成手段１１０は、デジタルカメラ１００によって撮影された連続撮影画像に対応する一連のライトフィールド情報Ｉを、生成する。角度ブレ量検出手段１１１，１１３，１１６は、一連のライトフィールド情報Ｉの変化から、デジタルカメラ１００のブレ量を検出する。補正手段１１２，１１４，１１７は、一連のライトフィールド情報Ｉの変化を抑制するように、ブレ量にしたがって一連のライトフィールド情報Ｉを補正する。
【００２７】
ここに示した画像ブレ補正装置を備えたデジタルカメラ１００では、一連のライトフィールド情報Ｉの変化から、デジタルカメラ１００のブレ量を検出し、一連のライトフィールド情報Ｉの変化を抑制するように、ブレ量にしたがって一連のライトフィールド情報Ｉを補正する。このライトフィールド情報Ｉを用いることによって、複数の被写体が奥行き方向に異なる位置に存在していても、確実に画ブレ補正を行うことができる。
＜４．他の実施形態＞
（１）ライトフィールド情報Ｉの取得方法は、上記のレンズアレイ１０３を用いた方法に限るものではなく、符号化開口法で取得することも可能である。
（２）前記実施形態では、静止画撮影を前提として説明を行ったが、動画撮影に適用してもよい。
（３）前記実施形態では、角度ブレ、平行ブレ、回転ブレの順に、ブレ補正を行う場合の例を示したが、ブレ補正の順序はこの限りではなく、どのようにしてもよい。
（４）前記実施形態では、補正前のライトフィールド情報Ｉを用いて、各種のブレ検出を実行する場合の例を示したが、補正後のライトフィールド情報Ｉを用いて、各種のブレ検出を実行してもよい。
（５）前記実施形態では、角度ブレに対するブレ補正、平行ブレに対するブレ補正、回転ブレに対するブレ補正が行われる場合の例を示したが、３つのブレ補正のうちの少なくともいずれか１つだけが、実行されるようにしてもよい。
（６）前記実施形態では、平行ブレの検出及び補正と、回転ブレの検出及び補正とが独立して実行される場合の例を示した。しかしながら、上述したように、平行移動ブレ検出手段１１３及び平行移動ブレ補正手段１１４における処理に、位置座標を回転する処理を加えることによって、光軸回り回転ブレ補正を行うことができるので、平行ブレの検出及び補正と回転ブレの検出及び補正とを、同時に実行するようにしてもよい。
（７）デジタルカメラ１００において実現可能な複数の態様を、以下にまとめておく。これら態様は、必要に応じて任意に組み合せることができる。
【００２８】
以下では、撮像装置がデジタルカメラ１００に対応している。ブレ量検出手段は、角度ブレ検出手段１１１、平行移動ブレ検出手段１１３、及び回転ブレ検出手段１１６の少なくともいずれか１つを、含んでいる。角度方向強度分布抽出手段は、角度ブレ検出手段１１１を含んでいる。水平・垂直方向回転ブレ検出手段は、平行移動ブレ検出手段１１３、及び回転ブレ検出手段１１６の少なくともいずれか一方を、含んでいる。
補正手段は、角度ブレ補正手段１１２、平行移動ブレ補正手段１１４、及び回転ブレ補正手段１１７の少なくともいずれか１つを、含んでいる。水平・垂直方向回転ブレ補正手段は、角度ブレ補正手段１１２を含んでいる。平行ブレ・光軸回り回転ブレ補正手段は、平行移動ブレ補正手段１１４、及び回転ブレ補正手段１１７の少なくともいずれか一方を、含んでいる。
（Ａ）画ブレ補正装置は、上述したように、光軸に交差する面上に並べて配置されたレンズアレイを通過した光に基づいて、画ブレ補正を行う。画ブレ補正装置は、ライトフィールド情報生成手段と、ブレ量検出手段と、補正手段とを、備えている。ライトフィールド情報生成手段は、撮像装置によって撮影された連続撮影画像に対応する一連のライトフィールド情報を、生成する。ブレ量検出手段は、一連のライトフィールド情報の変化から、撮像装置のブレ量を検出する。補正手段は、一連のライトフィールド情報の変化を抑制するように、前記ブレ量にしたがって前記一連のライトフィールド情報を補正する。
（Ｂ−１）画ブレ補正装置では、ブレ量検出手段が、角度方向強度分布抽出手段と、水平・垂直方向回転ブレ検出手段とを、有している。角度方向強度分布抽出手段は、一連のライトフィールド情報から、角度方向強度分布情報を抽出する。水平・垂直方向回転ブレ検出手段は、角度方向強度分布情報を用いてパターンマッチングを行うことで、撮像装置の水平・垂直方向の回転ブレ量を、検出する。補正手段は、水平・垂直方向回転ブレ補正手段を、有している。水平・垂直方向回転ブレ補正手段は、一連のライトフィールド情報における角度方向強度分布の変化を抑制するように、回転ブレ量にしたがって、一連のライトフィールド情報を補正する。そして、水平・垂直方向回転ブレ補正手段は、補正後のライトフィールド情報を、第１の補正済みライトフィールド情報として出力する。
（Ｂ−２）画ブレ補正装置では、ブレ量検出手段が、第１の補正済みライトフィールド情報から抽出される面方向強度分布情報に基づいて、撮像装置の水平・垂直方向の並行ブレ量及び光軸回り回転ブレ量の少なくともいずれか一方を、さらに検出する。補正手段は、第１の補正済みライトフィールド情報における面方向強度分布の変化を抑制するように、少なくともいずれか一方のブレ量にしたがって、第１の補正済みライトフィールド情報をさらに補正する。そして、補正手段は、補正後の第１補正済みライトフィールド情報を第２の補正済みライトフィールド情報として出力する。
（Ｃ−１）画ブレ補正装置では、ブレ量検出手段が、面方向強度分布抽出手段と、並行ブレ・光軸回り回転ブレ検出手段とを、有している。面方向強度分布抽出手段は、一連のライトフィールド情報から、面方向強度分布情報を抽出する。並行ブレ・光軸回り回転ブレ検出手段は、面方向強度分布情報を用いてパターンマッチングを行うことで、撮像装置の水平・垂直方向の並行ブレ量及び光軸回り回転ブレ量の少なくともいずれか一方を、検出する。補正手段は、平行ブレ・光軸回り回転ブレ補正手段を、有している。平行ブレ・光軸回り回転ブレ補正手段は、一連のライトフィールド情報における面方向強度分布の変化を抑制するように、上記の少なくともいずれか一方のブレ量にしたがって、一連のライトフィールド情報を、補正する。そして、平行ブレ・光軸回り回転ブレ補正手段は、補正後のライトフィールド情報を、第１の補正済みライトフィールド情報として出力する。
（Ｃ−２）画ブレ補正装置では、ブレ量検出手段が、第１の補正済みライトフィールド情報から抽出される角度方向強度分布情報に基づいて、撮像装置の水平・垂直方向の回転ブレ量を、さらに検出する。補正手段は、第１の補正済みライトフィールド情報における角度方向強度分布の変化を抑制するように、回転ブレ量にしたがって、第１の補正済みライトフィールド情報を、さらに補正する。そして、補正手段は、補正後の第１の補正済みライトフィールド情報を第２の補正済みライトフィールド情報として出力する。
（Ｄ）画ブレ補正装置では、ブレ量検出手段が、一連のライトフィールド情報の変化と、撮像装置に生じる回転角速度とから、撮像装置のブレ量を検出してもよい。この場合、撮像装置に生じる回転角速度は、例えばジャイロによって検出してもよい。
【産業上の利用可能性】
【００２９】
本発明は、画ブレ補正装置に広く適用可能である。
【符号の説明】
【００３０】
１００  ライトフィールドカメラ
１０１  光学系
１０２  複数の撮影レンズ
１０３，２０５ａ，２０５ｂ，４０５ａ，４０５ｂ  レンズアレイ
１０５  撮像制御手段
１１０  ライトフィールド情報生成手段
１１１  角度ブレ検出手段
１１１ａ  角度方向強度分布抽出手段
１１１ｂ  水平・垂直方向回転ブレ検出手段
１１２  角度ブレ補正手段
１１３  平行移動ブレ検出手段
１１３ａ  面方向強度分布抽出手段
１１３ｂ  平行ブレ検出手段
１１４  平行移動ブレ補正手段
１１５  出力画像生成手段
１１６  回転ブレ検出手段
１１７  回転ブレ補正手段
１２０，２０６ａ，２０６ｂ，４０６ａ，４０６ｂ  イメージセンサ
１２２  画像処理部
１２５  ライトフィールド情報処理部
１３０  コントローラ
２０１ａ，２０１ｂ，４０１ａ，４０１ｂ  被写体基準軸
２０２ａ，２０２ｂ，４０２ａ，４０２ｂ  遠方被写体
２０３ａ，２０３ｂ，４０３ａ，４０３ｂ  近方被写体
２０４ａ，２０４ｂ，４０４ａ，４０４ｂ  ライトフィールドカメラの光軸
３０１ａ，３０１ｂ，３０１ｃ，５０１ａ，５０１ｂ，５０１ｃ，Ｉ  ライトフィールド情報
３０２ａ，３０２ｂ  角度方向強度分布
５０２ａ，５０２ｂ，６０２ａ，６０２ｂ  光軸方向強度分布
【図１】
2015019119.tif 000003
【図２】
2015019119.tif 000004
【図３】
2015019119.tif 000005
【図４】
2015019119.tif 000006
【図５】
2015019119.tif 000007
【図６】
2015019119.tif 000008
【図７】
2015019119.tif 000009
【図８】
2015019119.tif 000010