(57)【要約】【課題】撮像素子が変位した際に撮像された画像を適切に補正可能にすることを課題とする。【解決手段】画像処理装置は、撮像中に撮影光軸と直交する平面内で撮像素子（１０１）が回転により変位した際の変位の履歴情報を取得する取得手段（１１４，１０３，１０２）と、撮像素子（１０１）により撮像された撮像画像を、変位の履歴情報に基づいて補正する補正手段（１０２）と、を有することを特徴とする。【選択図】図１
2020170937.tif 000002
【特許請求の範囲】
【請求項１】
撮像中に撮影光軸と直交する平面内で撮像素子が変位した際の、前記変位の履歴情報を取得する取得手段と、
前記撮像素子により撮像された撮像画像を、前記変位の履歴情報に基づいて補正する補正手段と、
を有し、
前記撮像素子は少なくとも前記平面内で回転することを特徴とする画像処理装置。
【請求項２】
前記取得手段は、前記撮像素子の露光開始から露光終了までの露光時間内で前記撮像素子が変位した際の複数の変位情報を、前記変位の履歴情報として取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変位情報は、前記平面内における前記撮像素子の回転角度に加えて、前記撮像素子の位置を示す情報であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記撮影光軸を有する光学系に関する光学特性に応じた画像補正に用いられるパラメータと、前記履歴情報とに基づいて、新たなパラメータを生成し、前記新たなパラメータを用いて前記撮像画像を補正することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記補正手段は、前記光学特性に応じた画像補正に用いられるパラメータから、前記撮像素子が変位した際の前記変位の履歴ごとに抽出した複数の画像補正パラメータを平均した値を基に、前記新たなパラメータを生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記光学特性に応じた画像補正に用いられるパラメータは、前記撮像素子が変位可能な変位範囲を区分けした分割領域ごとのパラメータからなり、
前記補正手段は、前記撮像素子が変位した際の分割領域が前記変位範囲の二つ以上の前記分割領域にまたがる場合、前記変位範囲の前記二つ以上の分割領域に対する前記またがった分割領域の面積比に応じたパラメータの値を基に、前記新たなパラメータを生成することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記補正手段は、前記撮像素子が変位した際の前記変位の履歴ごとの、前記撮像素子の複数の前記位置を平均した平均位置と、前記撮像素子の複数の前記回転角度を平均した平均角度とに基づいて、前記撮像画像を補正することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記補正手段は、前記撮影光軸を有する光学系に関する光学特性に応じた画像補正に用いられるパラメータから、前記平均位置と前記平均角度とに基づいて抽出したパラメータを用いて、前記撮像画像を補正することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記変位の履歴情報を保持する保持手段を有し、
前記取得手段は前記保持手段から前記変位の履歴情報を取得することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
撮像素子と
撮像装置のぶれを検出する検出手段と、
前記撮像装置のぶれに応じて、撮影光軸に直交する平面内で前記撮像素子を変位させて、前記撮像装置のぶれを補正するぶれ補正手段と、
撮像中に前記ぶれ補正手段が前記平面内で前記撮像素子を変位させた際の、前記変位の履歴情報を保持する保持手段と、
前記撮像素子により撮像された撮像画像を、前記変位の履歴情報に基づいて補正する画像補正手段と、
を有し、
前記撮像素子は少なくとも前記平面内で回転することを特徴とする撮像装置。
【請求項１１】
前記保持手段は、前記撮像素子の露光開始から露光終了までの露光時間内で、前記ぶれ補正手段が前記撮像素子を変位させた際の複数の変位情報を、前記変位の履歴情報として保持することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記平面内における前記撮像素子の回転角度に加えて、前記撮像素子の位置を示す情報を、前記変位情報として検出する検出手段を有することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記撮影光軸を有する光学系に関する光学特性に応じた画像補正に用いられるパラメータを記憶した記憶手段を有し、
前記画像補正手段は、前記パラメータと前記履歴情報とに基づいて、新たなパラメータを生成し、前記新たなパラメータを用いて前記撮像画像を補正することを特徴とする請求項１０から１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記画像補正手段は、前記光学特性に応じた画像補正に用いられるパラメータから、前記撮像素子が変位した際の前記変位の履歴ごとに抽出した複数の画像補正パラメータを平均した値を基に、前記新たなパラメータを生成することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記光学特性に応じた画像補正に用いられるパラメータは、前記撮像素子が変位可能な変位範囲を区分けした分割領域ごとのパラメータからなり、
前記画像補正手段は、前記撮像素子が変位した際の分割領域が前記変位範囲の二つ以上の前記分割領域にまたがる場合、前記変位範囲の前記二つ以上の分割領域に対する前記またがった分割領域の面積比に応じたパラメータの値を基に、前記新たなパラメータを生成することを特徴とする請求項１３または１４に記載の撮像装置。
【請求項１６】
前記画像補正手段は、前記撮像素子が変位した際の変位の履歴ごとの、前記撮像素子の複数の前記位置を平均した平均位置と、前記撮像素子の複数の前記回転角度を平均した平均角度とに基づいて、前記撮像画像を補正することを特徴とする請求項１２に記載の撮像装置。
【請求項１７】
前記画像補正手段は、前記撮影光軸を有する光学系に関する光学特性に応じた画像補正に用いられるパラメータから、前記平均位置と前記平均角度とに基づいて抽出したパラメータを用いて、前記撮像画像を補正することを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
画像処理装置が実行する画像処理方法であって、
撮像中に撮影光軸と直交する平面内で撮像素子が変位した際の、前記変位の履歴情報を取得する取得工程と、
前記撮像素子により撮像された撮像画像を、前記変位の履歴情報に基づいて補正する補正工程と、
を有し、
前記撮像素子は少なくとも前記平面内で回転することを特徴とする画像処理方法。
【請求項１９】
コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像を補正する画像処理技術に関する。
【背景技術】
【０００２】
近年のデジタルカメラ等の撮像装置は、撮像装置のぶれによって撮像面上で被写体像等の位置が移動してしまういわゆる手ぶれを軽減するための手ぶれ補正機構を備えていることが多い。手ぶれ補正機構としては、撮像装置のブレに応じて、レンズ光学系の一部を変位させる機構（以下、レンズ防振とする）と、撮像素子を変位させる機構（以下、イメージャ防振とする）と、が知られている。撮像装置は、撮像装置本体がぶれている時の加速度、角速度および角加速度などをジャイロセンサ等で検出し、そのセンサ出力に基づいてレンズ群の一部または撮像素子を変位させることで、撮像装置本体のぶれの影響をキャンセルする。
【０００３】
ここで、それらの手ぶれ補正機構では、露光中にレンズ光学系の一部または撮像素子が変位するため、撮像面内において、レンズ光学系の周辺光量特性やレンズ光学系付近のメカ構成による周辺ケラレ特性などが変化する。一方、撮像装置では、周辺光量特性や周辺ケラレ特性などの光学特性を予め求めておき、それら光学特性のデータを基に、撮像画像を補正して画質の向上を図る画像補正処理を行えるものも知られている。しかし、レンズ防振やイメージャ防振が行われることでレンズ光学系の一部や撮像装置が変位すると、周辺光量特性や周辺ケラレ特性などの光学特性が変化してしまい、画像補正処理では適切な補正ができなくなることがある。
【０００４】
これに対し、特許文献１には、ぶれ補正用のレンズが移動したことで周辺光量落ちなどの光学特性が変化する場合、そのぶれ補正用のレンズの移動量及び移動方向に応じて、撮像素子上の読み出し画像中心をシフトさせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３０１０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に開示された技術では、イメージャ防振特有の撮像素子の変位による影響については何ら考慮されていない。また例えば激しい手ぶれや長時間の露光などの撮影条件において、手ぶれ補正動作により撮像素子が多方向に変位した場合、特許文献１に記載の技術のように、画像中心を一方向にシフトする補正処理では、光学特性変化を補正しきれずに補正残りが生じ得る。
【０００７】
そこで、本発明は、撮像素子を変位させて撮像された画像を適切に補正可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、撮像中に撮影光軸と直交する平面内で撮像素子が変位した際の、前記変位の履歴情報を取得する取得手段と、前記撮像素子により撮像された撮像画像を、前記変位の履歴情報に基づいて補正する補正手段と、を有し、前記撮像素子は少なくとも前記平面内で回転することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像素子を変位させて撮像された画像を適切に補正可能となる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成を示すブロック図である。
【図２】イメージャ防振機構の概略構成を示す分解斜視図である。
【図３】撮像装置の光学系における光学特性の一例を説明する図である。
【図４】全体補正マップを説明する図である。
【図５】撮像から画像補正までの処理の流れを示すフローチャートである。
【図６】第１の実施形態の撮像補正マップの作成手順を示すフローチャートである。
【図７】全体補正マップからの画像補正パラメータ抽出を説明する図である。
【図８】分割領域と画像補正パラメータの対応関係を示す図である。
【図９】第２の実施形態の撮像補正マップの作成手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、第１の実施形態の撮像装置の概略構成例を示すブロック図である。
本実施形態の撮像装置の光学系は、被写体の光学像を撮像素子１０１に結像させる撮影レンズ１１１などを含む。撮影レンズ１１１は、それぞれ不図示の、ズームレンズ及びそのズームレンズを移動させるズーム機構、フォーカスレンズ及びそのフォーカスレンズを移動させるフォーカス機構を含み、また絞り機構も含んでいる。なお、以下の説明で用いられている撮影光軸とは、この撮影レンズ１１１の光軸のことである。撮影レンズ１１１と撮像素子１０１との間にはシャッタ１１６が配されている。レンズ・シャッタ駆動部１１０は、制御演算回路１０２による制御の下で、撮影レンズ１１１のズーム機構、フォーカス機構及び絞り機構を駆動させ、またシャッタ１１６を開閉動作させる。
【００１２】
撮像素子１０１は、複数の単位画素が二次元配置されたイメージセンサである。撮像素子１０１は、制御演算回路１０２により制御され、撮像面に結像された被写体像等を光電変換してさらにデジタル変換した画像データを、制御演算回路１０２へ出力する。
【００１３】
メモリ１０３は、撮像素子１０１から出力された画像データを一時的に記憶し、また制御演算回路１０２のワークメモリとして使用される。不揮発性メモリ１０４は、本実施形態に係るプログラム、種々の閾値、及び撮像装置ごとに異なる調整値などを格納している。
【００１４】
制御演算回路１０２は、撮像装置全体の動作を制御し、撮像素子１０１から出力された画像データに対して本実施形態に係る画像補正処理を含む各種の画像処理、及び圧縮処理等を行うことで最終的に記録等される画像データを生成する。なお、制御演算回路１０２は、回路等のハードウェア構成によって本実施形態に係る画像処理を行ってもよいし、不揮発性メモリ１０４に格納されているプログラムを実行することにより本実施形態に係る画像処理を行ってもよい。
【００１５】
記録部１０６は、画像データの記録または読み出しを行う。記録部１０６は、例えば半導体メモリ等の着脱可能な記録媒体に対する読み書きを行う。
操作部１０７は、スイッチ、ボタン、タッチパネルなどを代表とする入力デバイス群を含み、撮像装置に対するユーザ指示を受け付ける。
表示部１０５は、各種情報や撮影した画像などを表示する。
【００１６】
傾き検出部１０８は、例えば加速度センサで構成され、撮像装置が重力方向もしくは水平方向に対してどの程度傾いているかを検出する。傾き検出部１０８により検出された傾き情報は、制御演算回路１０２に送られる。制御演算回路１０２は、その傾き情報を基に、例えば、撮像装置が水平方向に対してどの程度傾いているかを表すラインを表示部１０５に表示させることで電子水準器の機能を実現することができる。
【００１７】
ぶれ検出部１０９は、例えばジャイロセンサで構成され、撮像装置のぶれを３軸の角速度として取得し、その検出した３軸の角速度情報を制御演算回路１０２に送る。制御演算回路１０２は、ぶれ検出部１０９にて検出された３軸の角速度情報を基に、後述するＸ方向駆動部１１２と二つのＹ方向駆動部１１３ａ及び１１３ｂを駆動させることで、撮像素子１０１を変位させる。これによりイメージャ防振による手ぶれ補正が実現される。このように、本実施形態の撮像装置は、撮影光軸に対して直交する平面内で撮像素子１０１を移動させるイメージャ防振によって手ぶれを補正する機能を備えている。
【００１８】
Ｘ方向駆動部１１２と二つのＹ方向駆動部１１３ａ及び１１３ｂは、例えばボイスコイルモータで構成され、撮影光軸に対して直交する平面内で撮像素子１０１を自在に移動させる。これらイメージャ防振のための構成の詳細は後述する図２で説明する。
【００１９】
位置検出部１１４は、複数のホール素子と、それぞれのホール素子の近傍に各々配置された磁石とで構成されている。本実施形態の撮像装置の場合、位置検出部１１４の磁石は、例えば撮像装置の筐体に固定されている基底部に配されている。一方、位置検出部１１４のホール素子は、撮像素子１０１を支持する可動部等に配されている。基底部と可動部の詳細は後述する。そして、ホール素子は、磁石との相対位置が変化したときに生じる磁界の変化を電気信号に変換し、その電気信号を検出信号として制御演算回路１０２に出力する。
【００２０】
このときの制御演算回路１０２は、位置検出部１１４からの検出信号の変化を監視しており、その検出信号の変化から、撮像素子１０１が変位した際の当該撮像素子１０１の基準位置の変化及び角度の変化を検出する。すなわち制御演算回路１０２は、例えばイメージャ防振時に撮像素子１０１が変位したことで位置検出部１１４からの検出信号が変化すると、その検出信号の変化を基に、撮像素子１０１が変位した際の基準位置及び角度の変化を検出する。本実施形態においては、基準位置は撮像素子１０１の例えば中心位置であり、角度は撮像素子１０１の回転角度であるとする。なお、撮像素子１０１の中心位置が変化している一方で回転する方向には変位していない場合、制御演算回路１０２は、撮像素子１００の中心位置の変化を検出することになる。また、撮像素子１０１が回転する方向に変位している一方で中心位置が変位していない場合、制御演算回路１０２は、撮像素子１００の回転角度の変化を検出することになる。つまり、制御演算回路１０２は、撮像素子１００の変位として、中心位置と回転角度の少なくともいずれかを検出する。そして制御演算回路１０２は、撮像素子１０１の基準位置（中心位置）と角度（回転角度）の変化の検出結果を基に、イメージャ防振時における手ぶれ補正制御のフィードバックを行う。また制御演算回路１０２は、位置検出部１１４からの検出信号により、撮像素子１０１が初期設定位置及び初期設定角度からどの程度ずれているかを検出し、そのずれ量に応じて撮像素子１０を初期設定位置及び初期設定角度に戻すようなセンタリング制御も行う。
【００２１】
前述したように、本実施形態においては、Ｘ方向駆動部１１２、Ｙ方向駆動部１１３ａ及び１１３ｂによって変位可能となされた撮像素子１０１と、位置検出部１１４とを有する機構によって、イメージャ防振の手ぶれ補正機構１１５が構成されている。
【００２２】
図２は、手ぶれ補正機構１１５における主要部の概略構成を示した分解斜視図である。
手ぶれ補正機構１１５は、大別して、基底部２０１と、可動部２０２と、ヨーク２０３とから構成されている。
図２に示すように、基底部２０１は、撮像装置において光が入射する側（以下、前面とする）から見て、略矩形状の鋼板などの板材からなる部材である。基底部２０１は、撮像装置の不図示の筐体の内部等に固定されている。基底部２０１の前面上の周縁部には、磁石２０４ａ、２０４ｂ及び２０４ｃが接着等されている。
【００２３】
磁石２０４ａは、Ｙ方向を長手方向とした細長い矩形状を有し、且つその前面側の表面がＸ方向に沿って異極着磁されている。なお、上述したようにＸ方向に沿って異なる磁極が並ぶように配置されてさえいれば、磁石２０４ａは単体の部材で構成されていなくともよく、例えば複数の磁石が基底部２０１上に配置されていてもよい。
【００２４】
磁石２０４ｂ及び２０４ｃは共に、Ｘ方向を長手方向とした細長い矩形状を有し、且つその前面側の表面がＹ方向に沿って異極着磁されている。なお、Ｙ方向に沿って異なる磁極が並ぶように配置されてさえいれば、磁石２０４ｂ及び２０４ｃは、単体の部材で構成されていなくともよく、例えば複数の磁石が基底部２０１上に配置されていてもよい。
【００２５】
可動部２０２の背面上で且つ、基底部２０１に設けられた磁石２０４ａに対向する位置には、Ｘ方向駆動コイル２０５ａと、磁力検出素子であるホール素子２０６ａとが配設されている。
【００２６】
Ｘ方向駆動コイル２０５ａは、撮影光軸に平行な軸周りに銅線が巻かれたコイルであり、且つＹ方向を長手方向とした細長の矩形状を有する。
Ｙ方向駆動コイル２０５ｂ及び２０５ｃは、撮影光軸に平行な軸周りに銅線が巻かれたコイルであり、かつＸ方向を長手方向とした細長の矩形状を有する。
【００２７】
可動部２０２の前面側には撮像素子１０１が固定されている。
可動部２０２の背面上で且つ、基底部２０１に設けられた磁石２０４ｂ及び２０４ｃにそれぞれ対向する位置には、Ｙ方向駆動コイル２０５ｂ及び２０５ｃと、磁力検出素子であるホール素子２０６ｂ及び２０６ｃとが配設されている。さらに、可動部２０２の背面上で且つ周縁部には、セラミック製の支持球を内包する四つのボール受け２０５が設けられており、それぞれボール受け２０５と基底部２０１との間で支持球を挟み込むように組み立てられている。これにより、可動部２０２は、基底部２０１上において４点で支持され、且つ、撮影光軸に対して直交する平面内を自在に移動可能となる。すなわち可動部２０２が移動した場合、当該可動部２０２の前面側に設けられている撮像素子１０１は、その可動部２０２の移動に伴って変位することになる。
【００２８】
また可動部２０２の表面上には磁性をもつ三つのステンレス板２０７が接着されている。三つのステンレス板２０７のうちの一つは基底部２０１の磁石２０４ａと磁気吸着し、同様に、別の一つは磁石２０４ｂと、さらに別の一つは２０４ｃとそれぞれ磁気吸着する位置に配されている。また、可動部２０２は、電気配線可能な基板であり、主にプリント基板となされている。
【００２９】
ヨーク２０３は、鋼製の板部材により構成されており、磁石２０４ａ，２０４ｂ及び２０４ｃと、Ｘ方向駆動コイル２０５ａと、Ｙ方向駆動コイル２０５ｂ及び２０５ｃと、ステンレス板２０７とを覆うように、基底部２０１と嵌合接続する。これによりヨーク２０３は、基底部２０１と機械的・磁気的に固定される。
なお、本実施形態において、撮影光軸に対して直交する平面内で撮像素子１０１を移動させる機構は、図２に示した機構の例に限らず、他の機構であってもよい。
【００３０】
次に、図３と図４を用いて、撮影レンズ１１１における周辺光量特性やレンズ光学系付近のメカ構成等による周辺ケラレ特性に応じた画像補正処理に用いられる画像補正パラメータのマップ（以下、全体補正マップとする）について説明する。
なお本実施形態の場合、画像補正による補正の対象となる光学特性は、周辺光量落ちやケラレの特性を例としているが、それらに限定されず、レンズによる色シェーディングなど、撮像素子の変位が影響する光学特性であってもよい。
【００３１】
全体補正マップは予め作成されて、例えば不揮発性メモリ１０４に格納されているものである。全体補正マップを作成する際、まず、イメージャ防振による撮像素子１０１の変位によって撮像領域が移動する可能性のある全範囲（以下、イメージャ変位範囲とする）について、撮像面に平行な面上における周辺光量落ちやケラレなどの光学特性が測定される。さらに、そのイメージャ変位範囲を一定間隔ごとに区切り、それら区切られたそれぞれの領域（以下、分割領域とする）の光学特性から、画像補正パラメータが算出される。そして、それら分割領域ごとの画像補正パラメータと、光学中心の位置に対する各分割領域の位置とを対応付けたものが、全体補正マップとして作成される。なおイメージャ変位範囲を分割領域に区切る際の区切り法は、一定間隔ごとの区切りに限らず、例えば撮影レンズ１１１の光学特性に応じた区切り法などであってもよい。
【００３２】
図３は、画像補正による補正対象となる光学特性の一例として、周辺光量落ち及びケラレにおける光学特性のイメージを示した図である。
図３において、中心の点は光学中心３００を示している。また点線で示された円形領域３０１はイメージャ変位範囲を表している。撮像素子１０１は、イメージャ防振時において、その円形領域３０１内で変位可能（移動可能）となる。また図３において、イメージャ変位範囲内の濃淡は、ケラレを含んだ光量落ちの大小を表しており、濃い部分ほど光学中心３００の位置の光量と比較して光量落ちが大きいことを表している。周辺光量落ちは光学中心３００からの距離に依存した特性を示し、ケラレは一部の領域に偏った特性を示す。
【００３３】
そして、光量落ちの画像補正に用いられる画像補正パラメータは、それら周辺光量落ちやケラレによる光量落ちの大きさの特性に応じて、撮像画像のデータ値を調整する際の係数を算出することで求められる。
さらに、全体補正マップは、イメージャ変位範囲を区切った分割領域ごとの画像補正パラメータ、つまり分割領域ごとの係数の値を二次元配列したマップとして作成される。図４は、全体補正マップ４０１の一例を示している。図４に示すように、全体補正マップは、円形領域３０１を包含し、且つ図中に矩形で表された分割領域ごとに画像補正パラメータの係数が配されたマップとなる。なお、図４に示した全体補正マップ４０１において、矩形で表された各分割領域内の数字は画像補正パラメータの係数の例を示している。これら各分割領域の係数の値は、図３で表した光学特性における光量落ちの多寡に応じて、イメージャ変位範囲に含まれる分割領域ごとに算出された値である。
【００３４】
ここで、本実施形態の撮像装置は、露光時間内において、イメージャ防振によって撮像素子１０１が変位した際の変位情報を、定期的に取得して記録することにより、その変位の履歴を記録するようになされている。本実施形態では、撮像装置が定期的に取得して記録した変位情報を、変位の履歴情報と定義する。また本実施形態の撮像装置は、変位情報として、イメージャ防振によって変位した撮像素子１０１の例えば中心位置及び回転角度を検出する。すなわち本実施形態の撮像装置は、露光時間内において撮像素子１０１の中心位置及び回転角度を定期的に検出し、それら定期的に検出した中心位置及び回転角度の情報を、撮像素子１０１の変位の履歴情報として記録する。
【００３５】
そして本実施形態の撮像装置は、撮像素子１０１が撮像した撮像画像を、その変位の履歴情報に基づいて補正する機能を有する。撮像画像に対する画像補正としては、前述した周辺光量特性や周辺ケラレ特性に応じた画像補正が行われ、その画像補正の際には前述した全体補正マップの画像補正パラメータが用いられる。ただし、本実施形態の撮像装置においては、その画像補正の際に、変位の履歴ごとの中心位置及び回転角度の情報に基づいて、全体補正マップの画像補正パラメータから、履歴ごとの複数の画像補正パラメータを抽出する。そして、撮像装置は、その履歴ごとに抽出した複数の画像補正パラメータを基に、新たな画像補正パラメータを算出し、その新たな画像補正パラメータを用いて撮像画像に対する画像補正処理を行う。
【００３６】
図５は、イメージャ防振による撮像素子１０１の変位の履歴情報を取得し、その履歴情報を基に全体補正マップの画像補正パラメータから新たな画像補正パラメータを生成して撮像画像を補正するまでの処理の流れを示したフローチャートである。
ステップＳ５０１において、制御演算回路１０２は、撮影に必要な各種初期設定を行った上で、撮像素子１０１における露光を開始するように制御する。制御演算回路１０２は、レンズ・シャッタ駆動部１１０を介してシャッタ１１６の開閉動作を制御し、また撮像素子１０１の電荷蓄積リセット動作を制御することにより、露光時間を制御する。
【００３７】
次にステップＳ５０２において、位置検出部１１４は、イメージャ防振により撮像素子１０１が変位した際の、撮像素子１０１の中心位置と撮影光軸に対する撮像素子１０１の回転角度を検出する。そして、制御演算回路１０２は、位置検出部１１４にて検出された中心位置及び回転角度の値を、撮影光軸に直交する平面上で且つイメージャ変位範囲内における座標の情報に変換して、メモリ１０３に保持させる。このように、制御演算回路１０２は、中心位置及び回転角度を座標の情報として扱うが、以下の説明では、簡易的に中心位置及び回転角度と表記することにする。
【００３８】
次にステップＳ５０３において、制御演算回路１０２は、露光が終了したかどうかを判断し、露光が終了したと判断した場合にはステップＳ５０４に処理を進める。一方、制御演算回路１０２は、露光が終了していないと判断した場合にはステップＳ５０２に処理を戻す。これにより、ステップＳ５０３で露光が終了したと判断されるまで、ステップＳ５０２の動作が繰り返されることになる。
【００３９】
また、ステップＳ５０２の動作が繰り返されるループ処理中において、制御演算回路１０２は、前述した撮像素子１０１の中心位置及び回転角度の情報を、メモリ１０３に保持させる。つまり、メモリ１０３は、露光開始から露光終了までの間に、イメージャ防振によって撮像素子１０１が変位したことで中心位置及び回転角度が変化した履歴（以下、履歴Ｐとする）の情報を格納する。なお、本実施形態において、露光開始から露光終了までの露光時間は例えば１秒であるとする。
【００４０】
またここでは、メモリ１０３に保持されている履歴Ｐの情報のうち、位置検出部１１４がｎ回目に検出した撮像素子１０１の中心位置及び回転角度の情報を、履歴Ｐn（ｎは１以上の自然数）の情報と定義する。なお、本実施形態において、イメージャ防振による、撮像素子１０１の中心位置の最大変位は撮像素子１０１の対角の長さの数％程度であり、撮像素子１０１の回転角度の最大変位は数度程度であるとする。
【００４１】
またステップＳ５０２のループ処理中において、速度の速い手ぶれ時に撮像素子１０１が変位した際の中心位置及び回転角度の変化を正確に記録するには、位置検出部１１４は、中心位置及び回転角度をある程度高いサンプリングレートで検出することが望ましい。本実施形態の場合、位置検出部１１４におけるサンプリングレートは、例えば１００Ｈｚ／秒であるとする。このため、露光開始から露光終了までの露光時間が１秒間である場合、履歴Ｐは、履歴Ｐ1〜履歴Ｐ100の１００個となる。
【００４２】
ステップＳ５０４に進むと、制御演算回路１０２は、撮像素子１０１によって撮像された画像データ（以下、撮像画像データとする）をメモリ１０３に記憶させる。
次にステップＳ５０５において、制御演算回路１０２は、ステップＳ５０２でメモリ１０３に保持されている履歴Ｐの情報を基に、全体補正マップの画像補正パラメータから、新たな画像補正パラメータの撮像マップ（以下、撮像補正マップＡとする）を算出する。撮像補正マップＡを算出する処理の詳細は後述する。本実施形態において、画像補正パラメータは、撮像素子１０１の出力する画素信号値に対して積算される係数であり、撮像補正マップＡは、前述の図４に示したような分割領域ごとの画像補正パラメータが二次元配列されたものである。
その後、ステップＳ５０６において、制御演算回路１０２は、ステップＳ５０５で算出した撮像補正マップＡの画像補正パラメータを用いて、撮像画像データを補正するための画像処理を行う。
【００４３】
図６は、図５のステップＳ５０５における撮像補正マップＡの生成処理の詳細なフローチャートである。
ステップＳ６０１において、制御演算回路１０２は、メモリ１０３から履歴Ｐの情報を取得する。また、制御演算回路１０２は、不揮発性メモリ１０４から全体補正マップのデータを取得する。
【００４４】
次にステップＳ６０２において、制御演算回路１０２は、履歴Ｐ1〜Ｐnの履歴ごとの撮像素子１０１における撮像領域（以下、撮像領域Ｄ1〜Ｄnとする）に対応した画像補正パラメータを、全体補正マップから抽出する。そして、制御演算回路１０２は、撮像領域ごとに抽出した画像補正パラメータからなるマップ（以下、撮像補正マップＢとする）のデータを、メモリ１０３に格納させる。つまり、制御演算回路１０２は、撮像領域Ｄ1〜Ｄnのそれぞれの撮像領域に対応して全体補正マップから各々抽出した画像補正パラメータによって形成された撮像補正マップＢ1〜Ｂnを、メモリ１０３に格納する。なお、ステップＳ６０２中のＸは１，２，・・・，ｎのいずれかである。
【００４５】
図７は、全体補正マップから、履歴ごとの撮像素子１０１の各撮像領域にそれぞれ対応した画像補正パラメータを抽出するイメージを示した図である。
図７は、ｎ＝３の場合の履歴Ｐ3（中心位置の座標（ｘ，ｙ）、回転角度θ°）における撮像領域Ｄ3を全体補正マップ４０１上に示した図である。
図７において、太線で囲まれた領域７０１が、履歴Ｐ3に対応した撮像領域Ｄ3を示している。また、撮像領域Ｄ3は図中点線に示すように一定間隔ごとに区分けされている。制御演算回路１０２は、全体補正マップから、撮像領域Ｄ3のそれぞれの分割領域に対応した画像補正パラメータを抽出する。ただし、撮像領域Ｄ3の分割領域は、全体補正マップの複数の分割領域にまたがっている場合がある。この場合、制御演算回路１０２は、それらまたがった部分の面積比に応じて、全体補正マップの画像補正パラメータの係数に重み付けを行って加算する。そして、制御演算回路１０２は、その加算した値を、撮像領域Ｄ3の分割領域の画像補正パラメータとする。
【００４６】
例えば図７における領域７０１内の斜線部で示した分割領域は、全体補正マップ４０１では画像補正パラメータの係数値が「１」と「３」の二つの分割領域にまたがっている。また、斜線部で示した分割領域は、全体補正マップ４０１の係数値が「１」と「３」の二つの分割領域に対して１：１の面積比でまたがっているとする。この例の場合、制御演算回路１０２は、全体補正マップ４０１の画像補正パラメータの係数値である「１」と「３」を加重加算した値を、その面積比で割った値を算出する。このとき算出される値は、｛（１×１）＋（３×１）｝／２＝２となる。すなわち、制御演算回路１０２は、この算出された係数値である「２」を、領域７０１内の斜線部で示した分割領域の画像補正パラメータとする。なお、図７の例では領域７０１が二つの分割領域にまたがった例を挙げているが、例えば三つ以上の分割領域にまたがっている場合にはそれらの面積比を基に係数値が算出される。
【００４７】
制御演算回路１０２は、前述のようにして、領域７０１内のそれぞれの分割領域について画像補正パラメータを求め、それら分割領域ごとに求めた画像補正パラメータからなる撮像補正マップＢ3を生成する。そして、制御演算回路１０２は、その撮像補正マップＢ3のデータを、メモリ１０３に格納する。このように、制御演算回路１０２は、露光時間における履歴Ｐ1〜Ｐnについて、前述と同様にして、それぞれ撮像補正マップＢ1〜Ｂnを作成し、それらのデータをメモリ１０３に格納する。
【００４８】
次にステップＳ６０３に進むと、制御演算回路１０２は、ステップＳ６０２で作成した撮像補正マップＢ1〜Ｂnのデータをメモリ１０３から読み出す。制御演算回路１０２は、それら撮像補正マップＢ1〜Ｂnのそれぞれ対応した位置の分割領域の画像補正パラメータの係数値を、下記の式（１）に示す演算により加算平均する。そして、制御演算回路１０２は、それら分割領域ごとに算出された値を二次元配置したマップを、撮像補正マップＡとして生成する。制御演算回路１０２は、この撮像補正マップＡのデータをメモリ１０３に格納する。
【００４９】
ここで、本実施形態では、撮像領域Ｄが例えばｋ個の分割領域に区分けされおり、また撮像補正マップＢは撮像領域Ｄと同様にｋ個の分割領域に区分けされているとする。また本実施形態では、撮像補正マップＢnにおけるｋ番目の分割領域の画像補正パラメータは「Ｂn,k」のように表されるとする。つまり、例えば撮像補正マップＢ3における１０番目の分割領域の画像補正パラメータは、Ｂ3,10で表されるとする。この例の場合、撮像補正マップＡにおけるｋ番目の分割領域の画像補正パラメータＡkは、式（１）により求められる値となる。
【００５０】
【数１】
2020170937.tif 000003
【００５１】
図８（ａ）は、履歴ＰがＰ1で、分割領域の個数がｋ＝３５の場合の、撮像補正マップＢ1における各分割領域の画像補正パラメータＢ1,1〜Ｂ1,35を表した図である。図８（ｂ）は、履歴ＰがＰnで、分割領域の個数がｋ＝３５の場合の、撮像補正マップＢnにおける各分割領域の画像補正パラメータＢn,1〜Ｂn,35を表した図である。図８（ｃ）は、図８（ａ）と図８（ｂ）の例に対応して、図６のフローチャートの処理によって生成された撮像補正マップＡの各分割領域の画像補正パラメータＡ1〜Ａ35を表した図である。
【００５２】
以上説明したように、第１の実施形態の撮像装置は、イメージャ防振によって撮像中に変位した撮像素子１０１の中心位置及び回転角度の履歴情報を記録する。さらに、本実施形態の撮像装置は、その記録した中心位置及び回転角度の履歴情報を基に、全体補正マップの画像補正パラメータから、撮像補正マップＡの画像補正パラメータを算出する。そして、本実施形態の撮像装置は、撮像補正マップＡの画像補正パラメータを用いて、撮像画像に対する画像補正処理を行う。これにより、本実施形態の撮像装置は、イメージャ防振による撮像素子１０１の変位に起因した、光学特性の変化による画像への影響を適切に補正することが可能となる。
【００５３】
次に、本発明の第２の実施形態の撮像装置について説明する。
第２の実施形態の撮像装置の構成は前述した第１の実施形態と同様であるため、その構成の図示及び説明は省略する。第２の実施形態では、図５のステップＳ５０５の処理が第１の実施形態とは異なる。図９は、第２の実施形態におけるステップＳ５０５の詳細なフローチャートである。
【００５４】
第２の実施形態の撮像装置は、第１の実施形態と同様に、撮像中に変位した撮像素子１０１の中心位置及び回転角度の情報を定期的に記録する。第２の実施形態の撮像装置は、履歴として記憶した複数の中心位置の情報から平均位置（つまり平均中心位置）を算出し、同様に、履歴として記憶した複数の回転角度の情報から平均角度（つまり平均回転角度）を算出する。そして、本実施形態の撮像装置は、平均位置及び平均角度を用いて画像補正パラメータを算出し、その算出した画像補正パラメータを用いて撮像画像を補正する。
【００５５】
以下、図９のフローチャートを参照して、第２の実施形態の撮像装置の制御演算回路１０２が撮像補正マップＡを作成する際の処理について説明する。
ステップＳ９０１において、制御演算回路１０２は、前述のステップＳ６０１の処理と同様に、メモリ１０３から履歴Ｐの情報を取得する。
【００５６】
次にステップＳ９０２において、制御演算回路１０２は、履歴ＰM（Ｍ＝１，２，・・・，ｎ-１，ｎ）から、平均座標ＣAの情報として、中心位置の平均位置座標（ｘA，ｙA）と平均回転角θAを算出する。具体的には、制御演算回路１０２は、下記の式（２）及び式（３）により、履歴ＰM（Ｍ＝１，２，・・・，ｎ-１，ｎ）における中心位置の平均位置座標（ｘA，ｙA）を算出する。また、制御演算回路１０２は、下記の式（４）により、履歴ＰMにおける平均回転角θAを算出する。そして、制御演算回路１０２は、それら算出した平均座標ＣAの情報を、メモリ１０３に保持させる。
【００５７】
【数２】
2020170937.tif 000004
【数３】
2020170937.tif 000005
【数４】
2020170937.tif 000006
【００５８】
次にステップＳ９０３において、制御演算回路１０２は、不揮発性メモリ１０４から全体補正マップのデータを取得し、メモリ１０３から平均座標ＣAの情報を読み出す。そして、制御演算回路１０２は、全体補正マップから、平均座標ＣAにおける撮像領域Ｄ内の分割領域ごとの画像補正パラメータを抽出する。これら抽出された画像補正パラメータは、撮像補正マップＡとしてメモリ１０３に格納される。なお、全体補正マップから画像補正パラメータを抽出する方法は、図７を用いて説明した第１の実施形態と同様の方法を用いる。
【００５９】
以上のように、第２の実施形態の撮像装置においては、イメージャ防振により変位した撮像素子１０１の中心位置及び回転角度の履歴情報から、平均位置及び平均角度を算出する。そして、本実施形態の撮像装置は、平均位置及び平均角度を用いて画像補正パラメータを算出し、その算出した画像補正パラメータを用いて撮像画像を補正する。これにより、第２の実施形態によれば、イメージャ防振による撮像素子１０１の変位に起因した、光学特性の変化による画像への影響を適切に補正することが可能となる。
【００６０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６１】
１０１：撮像素子、１０２：制御演算回路、１０３：メモリ、１０４：不揮発性メモリ、１０８：傾き検出部、１０９：ぶれ検出部、１１２：Ｘ方向駆動部、１１３ａ，１１３ｂ：Ｙ方向駆動部、１１４：位置検出部
【図１】
2020170937.tif 000007
【図２】
2020170937.tif 000008
【図３】
2020170937.tif 000009
【図４】
2020170937.tif 000010
【図５】
2020170937.tif 000011
【図６】
2020170937.tif 000012
【図７】
2020170937.tif 000013
【図８】
2020170937.tif 000014
【図９】
2020170937.tif 000015