(57)【要約】  撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出し補正できる撮像装置を提供する。撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を補正する際に、角度センサ８ａから検出される装置の傾き角の検出結果を、画像傾き検出処理部７によって撮影画像の特徴から検出される画像傾き角の検出結果によって校正し、校正された装置の傾き角に基づいて撮像素子３を光軸または光軸に平行な軸を中心に回転させる。
2009011105.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学的な像を形成する撮像光学系と、前記形成された光学的な像を受光して、電気的な画像信号に変換して出力する撮像素子とを備えた撮像装置であって、
前記撮像装置のローリング方向の傾きの角度を検出する装置傾き角検出部と、
前記画像信号から受光した像のローリング方向の傾きの角度を検出する画像傾き角検出部と、
前記画像傾き角検出部によって検出された像の傾きの角度によって、前記装置傾き角検出部の検出結果を校正して装置傾き角を算出する装置傾き角算出部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記装置傾き角算出部の算出結果に基づいて、前記撮像装置の傾きを補正する傾き補正部をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記傾き補正部は、前記装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、又は、前記電気的な画像を回転することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像光学系を格納し、前記撮像素子が固定されたレンズ鏡筒をさらに備え、
前記傾き補正部は、前記装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する請求項３に記載の撮像装置。
【請求項５】
前記傾き補正部は、前記画像信号に変換された像の水平または垂直が、被写体と一致するように前記撮像素子を光軸または光軸に平行する軸を中心に回転することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記傾き補正部は、最初の前記校正が完了した後から前記撮像素子を光軸または光軸に平行な軸を中心に回転する動作を開始することを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記撮像装置から被写体側への前記撮像光学系の光軸に対して垂直方向であって少なくとも１軸の加速度を検出する装置加速度検出部と、
前記装置加速度検出部より出力される加速度を用いて、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、
前記画像傾き角検出部は、前記参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記撮像光学系の光軸と直交する２方向に手ブレ補正部を駆動する第１、第２のアクチュエータを有した手ブレ補正装置と、
前記第１、第２のアクチュエータの駆動電流値を入力として、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、
前記画像傾き角検出部は、前記参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記装置傾き角検出部は、傾斜センサ、加速度センサ、角速度センサのいずれかであることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記装置傾き角検出部が角速度センサであって、
前記装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部をさらに有し、
前記装置傾き角算出部は前記画像傾き角検出部によって検出された像の傾きの角度によって、前記角度変化量を校正して装置傾き角を算出することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記装置傾き角算出部は、
前記装置傾き角算出部から出力される傾き角を保持する装置傾き角保存メモリと、
前記装置傾き角保存メモリから出力される傾き角と前記画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、
前記差分演算器の出力を保持する差分値保存メモリと、
前記差分値保存メモリの出力を用いて前記角度変化量に加算する補正値を算出する補正値算出部とからなり、
前記画像傾き角検出部の動作タイミングに合わせて前記差分値保存メモリの保持する内容を更新し、前記撮像素子の動作タイミングに合わせて前記装置傾き角保存メモリを更新することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記補正値算出部は、
前記画像傾き角検出部の動作周波数を前記角度変化量算出部の動作周波数で割った値を、前記差分値保存メモリの出力に対して掛け合わせる乗算器と、前記乗算器からの出力を積算する積分器と
からなることを特徴とする請求項１１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ブレ補正機能を備える撮像装置に関するものである。
【背景技術】
【０００２】
近年、民生用のデジタルカメラやビデオカメラ（以下、「ビデオムービー」と称す）の小型化、軽量化、光学ズームの高倍率化が進み、その使い勝手が格段に向上した結果、一般消費者にとってデジタルカメラやビデオムービーは日常生活で使用される家電製品の１つとなっている。しかしその反面、小型化、軽量化、光学ズームの高倍率化、および撮影に習熟していない消費者へのそれらの商品の普及は、撮影時の手ブレによる画面の不安定化という問題も発生させていた。したがって、この問題を解決するため、画像動き補正装置を搭載するデジタルカメラやビデオムービーが今や多く開発、商品化されている。ただし、これら既存の画像動き補正装置は、垂直方向（ピッチング方向）および水平方向（ヨーイング方向）の手ブレによる画像の動きを補正するものである。しかしデジタルカメラやビデオムービーでの撮影中の手ブレは垂直方向および水平方向に限られるものではなく、例えば光軸もしくは光軸に平行する軸を中心に回転するローリング方向の手ブレも発生しうる。【０００３】
そこで撮影時のローリング方向のブレ（画像の回転）を補正する装置として、以下のようにいくつかの提案がなされている。【０００４】
例えば特許文献１においては、カメラ本体の傾きの検出手段と、検出手段によって得られた信号により傾きの程度を判断する手段と、撮像素子の回転手段と、回転手段の制御手段とを有するビデオムービーが開示されている。この特許文献１においては、カメラの傾きを検出する手段として、重力を用いたものまたは加速度を利用したものを採用し、カメラ本体の傾きに応じて撮像素子を回転駆動することで、撮影画像の傾き（ローリング方向のブレ）を解消する例が開示されている。【０００５】
また、例えば特許文献２においては、被写体を撮像する撮像装置であって、上記被写体の画像を取得する撮像部と、上記画像から、上記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、上記検出条件に基づいて、上記画像から、上記直線成分に対応する画像要素を検出し、検出した上記画像要素と、予め定められた上記直線成分の傾きに関する基準との幾何学的ずれを検出する画像処理部とを備えることを特徴とする撮像装置が開示されている。この特許文献２においては、撮像部から得た画像を処理し、検出したエッジ成分をもとに画像の傾きを検出し、さらに得られた画像の傾きを用いて撮影画像の傾き（ローリング方向のブレ）の補正を行う例が提示されている。
【特許文献１】特開平４−３３１５８６号公報
【特許文献２】特開２００２−３４４７２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上のようにローリング方向のブレ（画像の回転）を補正する装置に関しては各種方法の提案がされていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。その１つは、ローリング方向のブレを検出する手段として、加速度センサなどの物理センサを使用する場合、センサは個体ばらつきや温度特性、経年変化が不可避であるため、検出される傾きの精度を高く保つことは困難である。【０００７】
その点では、ローリング方向のブレを検出する手段として、撮影画像の特徴から画像の傾きを検出する手段を用いた場合、画像処理は電子的な信号処理であり、個体ばらつきや温度特性、経年変化は発生しえない。しかし、撮影画像の特徴から画像の傾きを検出する場合、傾きに関する情報を取得できる周期が画像の撮影周期に束縛され、所望の早い周期で傾きの情報を得ることができない。例えばテレビジョン方式がＮＴＳＣ方式のビデオカメラの場合、約１６．６ミリ秒間隔で画像を撮影するため、これ以上の早い周期で画像の傾き情報を得ることができない。つまり傾きの検出が遅延する。このことはすなわち、例えば撮影画像の傾きを補正するために撮像素子などを機構的に回転駆動する場合、この検出の遅延が原因で機構部を十分に高い動作周波数で駆動できず、傾きの補正が精度よく実現できない可能性が懸念される。その点、センサは画像の撮影周期に束縛を受けることなく、ほぼリアルタイムで傾きを検出することが可能である。【０００８】
本発明の目的は、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
上述したような課題を解決するために、第１の発明に係る撮像装置は、被写体の光学的な像を形成する撮像光学系と、形成された光学的な像を受光して、電気的な画像信号に変換して出力する撮像素子とを備えた撮像装置であって、撮像装置のローリング方向の傾きの角度を検出する装置傾き角検出部と、画像信号から受光した像のローリング方向の傾きの角度を検出する画像傾き角検出部と、画像傾き角検出部によって検出された像の傾きの角度によって、装置傾き角検出部の検出結果を校正して装置傾き角を算出する装置傾き角算出部と、を備えたことを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる。【００１０】
第２の発明に係る撮像装置は、第１の発明に係る撮像装置において、装置傾き角算出部の算出結果に基づいて、撮像装置の傾きを補正する傾き補正部をさらに備えることを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。【００１１】
第３の発明に係る撮像装置は、第２の発明に係る撮像装置において、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、又は、電気的な画像を回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。【００１２】
第４の発明に係る撮像装置は、第３の発明に係る撮像装置において、撮像光学系を格納し、撮像素子が固定されたレンズ鏡筒をさらに備え、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。【００１３】
第５の発明に係る撮像装置は、第３または第４の発明に係る撮像装置において、傾き補正部は、画像信号に変換された像の水平または垂直が、被写体と一致するように撮像素子を光軸または光軸に平行する軸を中心に回転することを特徴とする。これにより、撮影画像に多く含まれる水平または垂直の線分を利用して補正することにより補正精度を向上することができる。【００１４】
第６の発明に係る撮像装置は、第３〜第５の発明のいずれかに係る撮像装置において、傾き補正部は、最初の校正が完了した後から撮像素子またはレンズ鏡筒を光軸または光軸に平行な軸を中心に回転する動作を開始することを特徴とする。これにより、正しく校正された装置傾き角を使って傾き補正が実施されるので補正精度を向上することができる。【００１５】
第７の発明に係る撮像装置は、第１〜第６の発明のいずれかに係る撮像装置において、撮像装置から被写体側への撮像光学系の光軸に対して垂直方向であって少なくとも１軸の加速度を検出する装置加速度検出部と、装置加速度検出部より出力される加速度を用いて、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする。これにより、水平／垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。【００１６】
第８の発明に係る撮像装置は、第１〜第６の発明のいずれかに係る撮像装置において、撮像光学系の光軸と直交する２方向に手ブレ補正部を駆動する第１、第２のアクチュエータを有した手ブレ補正装置と、第１、第２のアクチュエータの駆動電流値を入力として、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値としてもよい。これにより、水平／垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。【００１７】
第９の発明に係る撮像装置は、第１〜第８の発明のいずれかに係る撮像装置において、装置傾き角検出部は、傾斜センサ、加速度センサ、角速度センサのいずれかであることを特徴とする。これにより、装置傾き角を正確に検出することができる。【００１８】
第１０の発明に係る撮像装置は、第９の発明に係る撮像装置において、装置傾き角検出部が角速度センサであって、装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部をさらに有し、装置傾き角算出部は画像傾き角検出部によって検出された像の傾きの角度によって、角度変化量を校正して装置傾き角を算出することを特徴とする。これにより、装置傾き角検出部にコリオリ力を検知するジャイロセンサのような角速度検出方法も用いることにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることがなく正確に装置傾き角を検出することができる。【００１９】
第１１の発明に係る撮像装置は、第１０の発明に係る撮像装置において、装置傾き角算出部は、装置傾き角算出部から出力される傾き角を保持する装置傾き角保存メモリと、装置傾き角保存メモリから出力される傾き角と画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、差分演算器の出力を保持する差分値保存メモリと、差分値保存メモリの出力を用いて角度変化量に加算する補正値を算出する補正値算出部とからなり、画像傾き角検出部の動作タイミングに合わせて差分値保存メモリの保持する内容を更新し、撮像素子の動作タイミングに合わせて装置傾き角保存メモリを更新することを特徴とする。これにより、画像傾き角検出部の動作タイミングに合わせて装置傾き角算出部の算出結果を校正するので正確な装置傾き角が算出できる。【００２０】
第１２の発明に係る撮像装置は、第１１の発明に係る撮像装置において、補正値算出部は、画像傾き角検出部の動作周波数を角度変化量算出部の動作周波数で割った値を、差分値保存メモリの出力に対して掛け合わせる乗算器と、乗算器からの出力を積算する積分器とから構成することを特徴とする。これにより、補正値の急変を防止することができ安定な補正が可能となる。
【発明の効果】
【００２１】
本発明によれば、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１における撮像装置の構成を示すブロック図
【図２】同撮像装置のレンズ鏡筒とその回転方向を示す模式図
【図３】同撮像装置の画像傾き角検出処理部から出力される撮影画像の傾きの角度と、角度センサからの撮像装置の傾きに関する角度信号を、マイコンが取得するタイミングの一例を示す模式図
【図４】同撮像装置の画像傾き角検出処理のフローチャート
【図５Ａ】同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図
【図５Ｂ】同撮像装置の画像傾き角検出処理の処理過程の説明図であって、線分抽出結果の例を示す図
【図５Ｃ】同撮像装置の画像傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図
【図５Ｄ】同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾き補正後の画像を示す図
【図６Ａ】同撮像装置の画像傾き検出に使用される３×３ラプラシアンフィルタの重み付け係数の一例を示す図
【図６Ｂ】同撮像装置の画像傾き検出に使用される３×３ラプラシアンフィルタの重み付け係数の他の例を示す図
【図７】同撮像装置のマイコンに格納された処理プログラムのフローチャート
【図８】同撮像装置の角度信号から角度を換算する換算式の一例を説明するための図
【図９】同撮像装置の角度信号から角度を換算する換算式の更新方法を説明するための図
【図１０】本発明の実施の形態２における撮像装置の構成を示すブロック図
【図１１】同撮像装置の撮像素子回転機構の概略構成を示す斜視図
【図１２】本発明の実施の形態３における撮像装置の構成を示すブロック図
【図１３】同撮像装置の角速度算出処理のブロック図
【図１４】同撮像装置の角度変化量算出処理のブロック図
【図１５】同撮像装置の装置傾き角算出処理のブロック図
【図１６】同撮像装置の装置傾き角算出処理のブロック図
【図１７】本発明の実施の形態４における撮像装置の構成を示すブロック図
【図１８】同撮像装置の加速度算出処理のブロック図
【図１９】同撮像装置のコアリング処理部での入出力特性を示す図
【図２０Ａ】同撮像装置の傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図
【図２０Ｂ】同撮像装置の傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図
【図２０Ｃ】同撮像装置の傾き角検出処理の処理過程の説明図であって、正しい傾き補正後の画像を示す図
【図２１】本発明の実施の形態５における撮像装置の構成を示すブロック図
【図２２】同撮像装置のヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図
【図２３Ａ】同撮像装置の傾き角が０度の場合のピッチング保持枠を示す図
【図２３Ｂ】同撮像装置の傾き角が９０度の場合のピッチング保持枠を示す図
【図２３Ｃ】同撮像装置の傾き角がθ度の場合のピッチング保持枠を示す図
【図２４】同撮像装置の傾き角とコイルの駆動電流の関係を示す図
【図２５】同撮像装置のレンズ鏡筒とその回転方向を示す他の例の模式図
【図２６】同撮像装置の角度信号から角度を換算する換算式の他の更新方法を説明するためのグラフ
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について図面を参照しながら説明する。【００２４】
（実施の形態１）
まず、本発明の実施の形態１における撮像装置１００について図１〜図９を用いて説明する。図１は、本発明の実施の形態１における撮像装置１００の構成を示すブロック図である。図１において、撮像光学系１は、光軸ＡＸに沿って配置された３つのレンズ群Ｌ１、Ｌ２、Ｌ３からなり、被写体像を撮像素子３上に結像させるために設けられており、レンズ鏡筒２の内部に格納されている。また、レンズ鏡筒２は撮像光学系１の光軸ＡＸを中心に回転自在に構成されており、後述する鏡筒回転駆動部１６によって回転運動する。また、図１においては各レンズ群は単レンズで構成されているが、これに限定されるものではなく、複数レンズで１つのレンズ群を構成してもよい。【００２５】
撮像素子３は撮像光学系１を介して入射する像を電気信号に変換する撮像素子であり、具体的にはＣＣＤやＣＭＯＳなどが使用される。カメラ信号処理部４では、撮像素子３から出力される画像信号に対してゲインコントロール処理やガンマ処理などのアナログ信号処理、Ａ／Ｄ変換、ノイズ除去や輪郭強調などのデジタル信号処理が施される。その後、記録系信号処理部５にて、圧縮などの記録系の信号処理が施され、最後に半導体メモリなどで構成される記録媒体６に記録される。画像傾き角検出処理部７は、カメラ信号処理部４の出力画像信号から画像の傾き（角度）を電子的に検出する。【００２６】
角度センサ８ａは撮像装置１００本体に設置され、撮像装置１００自体のローリング方向の傾きを検出するためのセンサである。ここで、重力の方向（鉛直方向）に対し９０度をなす方向は水平方向として定められ、これが角度の基準（角度＝０度）として定められる。また、撮像光学系から被写体側を見たときの反時計回り方向はプラス方向として定められる。角度センサ８ａは、撮像装置１００の傾きの大きさおよび方向に応じて、正負両方向の角度信号を出力する。【００２７】
ここで角度信号と角度の関係（初期状態）は図８に示すように、水平方向の基準（角度＝０度）に対して傾いた角度に比例して角度信号が出力されるような関係である。角度信号の正負は、撮像装置１００の傾きが水平方向（角度＝０度で且つ、角度信号＝０[V]）に対して、右上がりまたは左上がりの場合に相当する。図８に示した角度信号と角度の関係を表すグラフにおいて、その比例直線の傾きをＫとすると、角度信号から角度を換算する換算式は以下のようになる。【００２８】
【数１】
2009011105.tif 000003
【００２９】
ＨＰＦ９ａは角度センサ８ａの出力に含まれる不要帯域成分中の例えば直流ドリフト成分を除去するための高域通過フィルタである。ＬＰＦ１０ａは角度センサ８ａの出力に含まれる不要帯域成分中の、例えばノイズ成分を除去するための低域通過フィルタである。アンプ（Ａｍｐ）１１ａは、角度センサ８ａの出力の信号レベルの調整を行う信号増幅器である。Ａ／Ｄ変換（ＡＤＣ）部１２ａはアンプ１１ａの出力をデジタル信号に変換する。【００３０】
マイクロコンピュータ（以下、「マイコン」と略記する）１４は、Ａ／Ｄ変換部１２ａを介して取り込んだ角度センサ８ａの出力と、画像傾き角検出処理部７から得た画像の傾きの角度に基づき、装置傾き角算出処理部１３（マイコン内の処理）でレンズ鏡筒２を回転運動させるための駆動制御量を求め、駆動制御量を示す制御信号をＤ／Ａ変換（ＤＡＣ）部１５を介して鏡筒回転駆動部１６に送る。Ｄ／Ａ変換部１５はマイコン１４から信号を受け取ると略同時にこれをアナログ信号に変換し、変換された制御信号を鏡筒回転駆動部１６に送る。【００３１】
鏡筒回転駆動部１６は制御信号に基づきレンズ鏡筒２を回転駆動することで撮影される画像の傾きを補正するものであり、レンズ鏡筒２を回転駆動するためのモーターとモータードライバーからなる。最後に、撮像素子駆動部１７は撮像素子３において被写体から変換された電荷の転送を制御する。【００３２】
図２は、本発明の実施の形態１における撮像装置１００のレンズ鏡筒２とその回転方向を示す模式図である。図２に示すようにレンズ鏡筒２は光軸ＡＸ（一点鎖線）を回転中心として、矢印の方向に鏡筒回転駆動部１６（図示せず）によって回転する。撮像素子３はレンズ鏡筒２に物理的に固定されている。よって、レンズ鏡筒２が回転運動する際には、撮像素子３もレンズ鏡筒２と一体になって回転する。【００３３】
図３は、本発明の実施の形態１における撮像装置１００の画像傾き角検出処理部７から出力される撮影画像の傾きの角度と、角度センサ８ａからの撮像装置１００の傾きに関する角度信号を、マイコン１４が取得するタイミングの一例を示す模式図である。図３において、Ａ）は撮影された画像の傾きを画像傾き角検出処理部７が検出する処理にかかる期間を示したものである。実施の形態１においては、画像傾き角検出処理部７は１垂直走査期間をかけて撮影画像から傾きの角度を検出するものとする。Ｂ）は画像傾き角検出処理部７が検出した画像の傾き角度を、マイコン１４に出力するタイミング（矢印で示す）を示したものである。Ｃ）は角度センサ８ａが検出した撮像装置１００自体の角度信号がマイコン１４に取り込まれるタイミングである。Ｂ）およびＣ）に示すように、画像傾き角検出処理部７から得られる撮影画像の傾き角度は、１垂直走査期間に一度であり、角度センサ８ａからの角度信号は、より高い頻度でマイコン１４に取り込まれるものとする。なお実施の形態１における以下の説明では、一例として撮影画像の１秒あたりのコマ数を６０枚（１垂直走査期間は約１６．６ミリ秒）とし、角度センサ８ａからの角度信号をマイコン１４が１秒間に取り込む回数を１秒あたり６００回とする。【００３４】
ここで、画像傾き角検出処理部７の動作について説明する。図４は本発明の実施の形態１における撮像装置１００の画像傾き角検出処理のフローチャート、図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄは画像傾き角検出処理の処理過程の説明図である。まず初めに画像傾き角検出処理部７で実行される画像傾き角検出処理（マイコン）について説明する。この処理は画像に含まれる直線成分に着目するものである。建築物など種々の構造物、地面、地平線、水平線など水平方向および鉛直方向の線が一般的に多く含まれることを利用し、画像内の水平鉛直方向を検出することにより傾き角を算出する。画像傾き角検出処理部７は演算処理部とフレームメモリ（図示せず）からなる。カメラ信号処理部４から受け取った画像はフレームメモリに保持され、演算処理部との間でデータのやりとりをしながら以下の処理が行われる。【００３５】
ステップＳ１では輝度画像の作成が行われる。各画素においてＲ成分の輝度値をＩＲ、Ｇ成分の輝度値をＩＧ、Ｂ成分の輝度値をＩＢとするとき、輝度画像の輝度値Ｉは下記（数２）を実行することにより求められる。【００３６】
【数２】
2009011105.tif 000004
【００３７】
なお、カメラ信号処理部４から輝度画像が出力される場合はステップＳ１を省略することができる。【００３８】
ステップＳ２ではステップＳ１で作成した輝度画像に対してエッジ検出が行われる。エッジ検出方法として、例えば３×３ラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ  Ｆｉｌｔｅｒ）を適用することができる。図６Ａおよび図６Ｂに３×３ラプラシアンフィルタの重み付け係数の一例を示す。注目画素のエッジ成分の大きさを決定する際に、自身の近傍の画素を図６Ａまたは図６Ｂのように重み付けして足し合わせることで、注目画素のエッジ成分を決定する。なお、その他の一般に広く知られているエッジ抽出方法としては、ソーベルフィルタ（Ｓｏｂｅｌ  Ｆｉｌｔｅｒ）やプレウィットフィルタ（Ｐｒｅｗｉｔｔ  Ｆｉｌｔｅｒ）などのフィルタを適用する方法などがある。【００３９】
ステップＳ３ではステップＳ２で作成したエッジ抽出画像に対して線分抽出処理を行う。具体的な処理方法としては、例えば画像処理においてロバストな直線検出手法として多く使用されているハフ変換を利用してもよい。ハフ変換では、Ｘ−Ｙ平面における求めたい直線をパラメータｐ、ｑを用いてＹ＝ｐＸ＋ｑで表すとき、画素（Ｘ，Ｙ）ごとにパラメータ空間ｐ−ｑにｑ＝Ｙ−ｐＸの軌跡を描く。多くの軌跡が交わる点のパラメータ（ｐ、ｑ）を持つ直線が、画像中に存在するものとみなす。このような処理を用いた例を図５Ａ〜図５Ｄに示す。【００４０】
図５Ａは撮像装置１００が水平に対して傾きを有したまま撮影してしまった画像の例である。図５Ｂは図５Ａの元画像に対してエッジ検出、線分抽出を行った結果の例である。太線で示した線分が抽出線分である。図５Ｂを見ると全ての線分が抽出されているわけではないことがわかる。線分抽出の感度は前述したハフ変換の説明のｐ−ｑ平面における“多くの軌跡が交わる点のパラメータ（ｐ、ｑ）”を抽出する際の閾値の設定に依存する。また一般的によく行われる処理として、ハフ変換で線分候補を抽出した後、さらに線分の長さやエッジ検出画像での輝度の大きさなどに基づいてフィルタリングを行ってもよい。これらのフィルタ処理をチューニングすることによりノイズに強い傾き角検出が可能となる。【００４１】
ステップＳ４ではステップＳ３で抽出した線分の傾き角を求め、その分布を得る。ここで傾き角は前述のように水平方向を０度とする。また±９０度の範囲の値をとることとする。図５Ｃに図５Ｂの抽出線分の傾き角θの分布を模式的に示す。図５Ｃでは元画像の略水平方向の線分と略鉛直方向の線分によって２つのピークができる。【００４２】
ステップＳ５でこのピーク位置を検出し、水平方向および鉛直方向を決定する。前述のように、一般的には９０度間隔で水平方向と鉛直方向の２つのピークができる。これら２つのピークを検出し、画像の水平方向の角度θＨおよび鉛直方向の角度θＶを求める。これらを精度よく検出するために、図５Ｃに示されるような角度分布の−９０≦θ＜０[deg]の範囲のデータと０≦θ＜９０[deg]の範囲のデータを重ね合わせた分布データに対してピーク検出を行う。これにより水平鉛直方向検出の精度を上げることができる。【００４３】
最後にステップＳ６では、ステップＳ５で検出した画像内の水平方向および鉛直方向の角度を基に最終的な画像の傾き角度を求める。ここで、画像の傾き角度を例えばθＨとすると撮影時の撮像装置１００の傾き角は、−θＨとなる。【００４４】
次にマイコン１４内の装置傾き角算出処理部１３の動作を説明する。【００４５】
図７は、本発明の実施の形態１における撮像装置１００のマイコン１４に格納された処理プログラムのフローチャートである。傾き補正スイッチ（図示せず）がＯＮされると図７に示した一連の処理が開始される。なお、図７には記載していないが、１回の処理ループは、例えばマイコン１４に内蔵されたタイマーにより一定周期で割り込みをかけることにより、行われる。その割り込みをかける周期は角度センサ８ａから角度信号を取得する周期（１／６００秒ごと）とする。【００４６】
まず傾き補正スイッチがＯＮされると、ステップＳ１０１においてＤ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する制御信号値を０度に相当する初期値に設定する。【００４７】
またステップＳ１０２において、マイコン１４に内蔵のカウンタ（以下、「ＣＮＴ」と略記する）をゼロに設定する（カウンタのリセット）。さらにステップＳ１０３において、画像傾き角検出処理部７において最初の画像からの傾き角度検出が完了するまで待機する。【００４８】
画像傾き角検出処理部７における最初の画像からの傾き角度の検出が完了し、タイマーによる割り込みがかけられると、まずステップＳ１０４でＣＮＴ値に応じて、処理をステップＳ１０５もしくはステップＳ１０６へと分岐させる。ＣＮＴ値がゼロの場合は、ステップＳ１０５において、画像傾き角検出処理部７から画像の傾きの角度を取得する。ＣＮＴ値がゼロでない場合は、ステップＳ１０６に移行し、Ａ／Ｄ変換部１２ａを介して角度センサ８ａからの角度信号を取得する。【００４９】
次に、ステップＳ１０７で再びＣＮＴ値に応じて、処理をステップＳ１０８もしくはステップＳ１０９へと分岐させる。ＣＮＴ値がゼロの場合は、ステップＳ１０８において、後述する換算式をステップＳ１０５で取得した画像の傾き角度を用いて更新する。ＣＮＴ値がゼロでない場合は、ステップＳ１０９において、ステップＳ１０６にて取得した角度信号から後述する換算式を用いて撮像装置１００の傾きを算出する。【００５０】
ステップＳ１１０ではステップＳ１０９で算出した撮像装置１００の傾きによって生じる撮影画像の傾きを解消する方向にレンズ鏡筒２を回転させるための制御信号値を算出し、これをＤ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する。【００５１】
ステップＳ１１１ではＣＮＴ値を角度センサ８ａからの１秒あたりの角度信号読み込み回数６００と比較し、ＣＮＴ値がもしも６００ならばＣＮＴをリセット（ステップＳ１１２）し、６００でなければＣＮＴを１だけカウントアップする。【００５２】
以上のように構成された実施の形態１に関し、以下その動作を、マイコン１４に格納された処理プログラムを基に説明する。【００５３】
撮像装置１００の操作者の指示などにより傾き補正が動作の状態にされると図７に示した一連の処理が開始される。【００５４】
まず、撮影された画像から画像傾き角検出処理部７によって、画像の傾きの角度の検出が開始される。略同時に角度センサ８ａも撮像装置１００自体の傾きの検出を開始する。初期の状態ではＣＮＴ値はゼロであり（ステップＳ１０２）、ステップＳ１０３で画像傾き角検出処理部７による画像の傾き角度の検出の完了を待つ。画像傾き角検出処理部７による画像の傾き角度の検出が完了したことを知る方法は、例えば一定時間のタイマー処理でウエイトをかける方法や、画像傾き角検出処理部７が処理完了を割り込みや通信でマイコン１４に伝えるなど様々な方法が考えられるが、実施の形態１においては、方法は特に限定されない。【００５５】
画像傾き角検出処理部７による画像の傾き角度の検出が完了すると、ステップＳ１０４にてＣＮＴ値が確認される。最初はＣＮＴ値はゼロのため、ステップＳ１０５において画像傾き角検出処理部７によって検出された画像の傾き角度が取得される。【００５６】
次にステップＳ１０６においてはＡ／Ｄ変換部１２ａを介して角度センサ８ａからの角度信号が取得される。【００５７】
次にステップＳ１０７においてＣＮＴ値がゼロであるため、ステップＳ１０８に移行し、ステップＳ１０５で取得した角度信号を角度に換算するための換算式を更新する。ここで角度信号から角度を換算する換算式の更新について、図８を用いて説明する。【００５８】
まず換算式は、（数１）に示したような式となるが、これはあくまでも換算式の初期値である。その理由は、角度センサ８ａは例えば重力加速度の方向や大きさを検出する物理的センサであり、その特性は部品ごとにばらつきや温度特性を有することが一般的だからである。個別に角度センサ８ａの特性を調整するなどの処理をしない場合、角度センサ８ａごとに特性のばらつきが発生する。このため、角度信号値から換算式によって得られる角度の値が正しいとは限らない。また、角度センサ８ａを個別に調整したとしても、経年変化や温度変化によって、やはり得られる角度の値が正しい保証はない。一方、画像傾き角検出処理部７から得られる画像の傾きの角度値は、個体ばらつきや経年変化や温度変化による影響を受けない。【００５９】
そこでステップＳ１０８においては、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）を行う。図９に示すようにステップＳ１０５で取得した画像の傾き角度をθ２、ステップＳ１０６で取得した角度信号をｂとすると、図８および（数１）に示した初期状態の換算式では、角度信号がｂの場合、換算結果の角度はθ３となる。仮に角度信号に応じて正しく撮像装置１００の傾き角度が検出されており、且つレンズ鏡筒２がこの傾き角度に合致して回転していれば、撮影された画像の傾きは０度である。つまり撮影画像は水平を保たれて撮影されているので、θ２は０となる。しかし、角度信号値から換算式によって得られる角度の値が正しくない場合、撮影された画像は傾いた状態で撮影されるため、θ２は何らかの値を持つ。そしてこのθ２の値は角度信号値から換算式によって得られる角度の値の誤差に相当するといえる。したがって、θ３から誤差であるθ２を除いた値が撮像装置１００の正しい角度であることとなる。そこでθ３からθ２を除いた値とθ３を比較し、両者が等しければ換算式の更新は不要と判断する。逆にθ３からθ２を除いた値とθ３が異なる場合、θ３からθ２を除いた値を新たにθ４として、換算式の傾きを以下の（数３）よって算出し、【００６０】
【数３】
2009011105.tif 000005
【００６１】
このＫ’を用いて換算式を以下の（数４）のように更新する。【００６２】
【数４】
2009011105.tif 000006
【００６３】
次にステップＳ１０９では、ステップＳ１０８において更新された換算式（数４）を用いてステップＳ１０６で取得した角度信号から撮像装置１００の傾き角度を算出する。ステップＳ１１０では、レンズ鏡筒２を回転駆動して撮影画像の傾きを解消するための制御信号を生成し、Ｄ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する。この制御信号に基づきレンズ鏡筒２が回転することにより、撮像装置１００の傾きに起因して発生する撮影画像の傾きが補正される。【００６４】
ステップＳ１１１、ステップＳ１１２、ステップＳ１１３はＣＮＴ値をリセットもしくはカウントアップするステップであり、ＣＮＴ値が６００の場合はＣＮＴ値をゼロにリセットし、ＣＮＴ値が６００未満の場合は、１だけカウントアップを行う。【００６５】
これら一連の処理が完了すると、例えばマイコン１４に内蔵されたタイマーにより一定周期で割り込みがかけられ、ステップＳ１０４以降のループ処理が繰り返される。【００６６】
２回目以降のループでは、ＣＮＴ値がゼロではないため、ステップＳ１０５およびステップＳ１０８は実施されず、ステップＳ１０６で取得された角度信号を基に、ステップＳ１０８で更新された換算式によって、撮像装置１００の傾きの角度が算出される。ステップＳ１１０では、レンズ鏡筒２を回転駆動して撮影画像の傾きを解消するための制御信号が生成される。そして、上述したようにレンズ鏡筒２が回転することにより、撮像装置１００の傾きに起因して発生する撮影画像の傾きが補正される。【００６７】
これらのループが繰り返され、ＣＮＴ値が６００となりステップＳ１１２にてＣＮＴがゼロにリセットされた次のループでは、再度、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）が行われる。【００６８】
このように、一定周期ごとに、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）を行う。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、角度信号から角度を算出する換算式が絶えず更新されている。このため、精度の高い角度検出および撮像装置１００の傾きの補正を実現することができる。【００６９】
以上のように、実施の形態１においては、マイコン１４は、画像傾き角検出処理部７によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ８ａから得られる撮像装置１００の角度信号を校正する。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出が可能となる。さらに、この検出された傾き角度を利用して撮像装置１００の傾きを補正することにより、精度の高い傾き補正を実現することが可能である。【００７０】
（実施の形態２）
本発明の実施の形態１においては、撮像装置１００の傾きに起因する撮影画像の傾きを補正するために、レンズ鏡筒２を回転駆動する構成を説明したが、レンズ鏡筒２の代わりに撮像素子３を回転することで撮影画像の傾きを補正する構成も考えられる。実施の形態２は、撮像素子３を回転することで撮影画像の傾きを補正するものである。【００７１】
図１０は、本発明の実施の形態２における撮像装置２００の構成を示すブロック図を示すものである。実施の形態１と同様な部分には同じ符号を付して説明を省略し、異なる部分についてのみ説明する。図１０において、撮像素子回転機構１９は撮像素子３を撮像光学系１の光軸を中心に回転させるための機構である。撮像素子回転駆動部１８は、本発明の実施の形態１の鏡筒回転駆動部１６と同様に、撮像素子回転機構１９を回転駆動するためのものであり、これによって撮像素子回転機構１９が回転運動し、結果的に撮像素子３が回転して撮影時の画像の傾きが補正される。撮像素子回転機構１９の概略構成を図１１に示す。【００７２】
図１１において、撮像素子回転機構１９は、回転台１９１と固定枠１９２と駆動源１９３とからなる。撮像素子３は回転台１９１上に固定され、回転台１９１は回転自在に固定枠１９２上に設置される。また固定枠１９２上に固定される駆動源１９３は図示しないＤＣモーターなどのアクチュエータとその回転駆動力を回転台１９１に伝達するギアボックスからなる。【００７３】
撮像素子回転駆動部１８はマイコン１４からＤ／Ａ変換部１５を介して回転制御信号を受け、駆動源１９３に含まれるアクチュエータをコントロール可能な信号に変換し、変換された信号を出力する。この信号を受け取った駆動源１９３は、その指示に従って駆動力を発生させ、回転台１９１および撮像素子３を回転駆動させる。回転台１９１および撮像素子３の回転移動量は固定枠１９２に固定された図示しない位置検出器で検出する。位置検出器は、磁気センサを固定枠１９２に設けるような構成を有する。磁気センサは、例えば回転台１９１の内周に描かれたスリット状の磁気パターンが作る磁界の強さの強弱を読み取る。このような位置検出器の出力は撮像素子回転駆動部１８に返され、そのパルス数をカウントすることにより位置がわかる。この情報を使ってフィードバック制御ループを形成することによって精度よく撮像素子３の位置決めが可能となる。【００７４】
このように構成された実施の形態２においては、実施の形態１と同様にＤ／Ａ変換部１５を介してマイコン１４から供給される制御信号によって撮像素子３が回転され、撮像装置２００の傾きに起因する撮影画像の傾きが補正される。【００７５】
また実施の形態１と同様に、画像傾き角検出処理部７によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ８ａから得られる撮像装置２００の角度信号を校正する。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出および撮像装置２００の傾きの補正を実現することが可能である。【００７６】
（実施の形態３）
以下、本発明の実施の形態３における撮像装置３００について、図１２〜図１６を用いて説明する。図１２は本発明の実施の形態３における撮像装置３００の構成を示すブロック図、図１３は角速度算出処理のブロック図、図１４は角度変化量算出処理のブロック図、図１５、１６は装置傾き角算出処理のブロック図である。また、実施の形態３においては、画像傾き角から求めた装置の傾き角度と傾きセンサで求めた装置の傾き角度を区別するために、前者をαＩと表し画像傾き角と呼び、後者をαＳと表して装置傾き角と呼ぶことにする。【００７７】
図１２を用いて実施の形態３における撮像装置３００の構成について説明する。実施の形態３が実施の形態１および実施の形態２と異なる点は、撮像装置３００の傾きセンサとして角度センサに代えて角速度センサを使用する点である。その他の構成は、実施の形態１および実施の形態２と同じであるので同様な部分には同じ符号を付し、説明を省略する。【００７８】
角速度センサ８ｂは被写体に対してローリング方向の角速度を検出するように撮像装置３００の任意の位置に固定された所謂ジャイロセンサである。ジャイロセンサの出力としてはアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合を取り上げている。角速度センサ８ｂから出力される電圧信号はＨＰＦ９ｂ、ＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂ、角速度算出処理部２１へと順次送られ処理される。デジタルＬＰＦ２０ｂでは主に高周波ノイズを削除するためのローパスフィルタ処理が必要に応じて行われる。角速度算出処理部２１では後述する電圧値の角速度への変換が行われ、角度変化量算出処理部２２では後述する角速度の角度変化量への変換が行われる。【００７９】
装置傾き角算出処理部１３では画像傾き角検出処理部７から出力される傾き角を用いて角度変化量算出処理部２２から出力される角度変化量を補正し撮像装置３００の傾き角を算出する。その詳細な動作については後述する。【００８０】
デジタル処理であるデジタルＬＰＦ２０ｂ、角速度算出処理部２１、角度変化量算出処理部２２、装置傾き角算出処理部１３は、マイコン１４の内部に実現される。またマイコン１４は撮像素子駆動部１７を介して撮像素子３の撮影タイミングなどの動作を制御する。【００８１】
次に角速度算出処理部２１で実行される処理について図１３を用いて説明する。【００８２】
既に説明したように角速度センサ８ｂのアナログ電圧出力はＨＰＦ９ｂ、ＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂを経る間に帯域制限やノイズ除去、Ａ／Ｄ変換といった前処理を施され、Ａ／Ｄ変換部１２ｂのサンプリング周波数ｆＳ[Hz]にてデジタル化された電圧信号Ｖ(ｎ・Ts)[V]となる。ここでTsはサンプリング周期[sec]、ｎは整数である。角速度算出処理部２１にはこのデジタル化された電圧信号が入力される。これに対して（数５）に示す演算を行い角速度ω(ｎ・Ts)[deg/sec]を出力する。【００８３】
【数５】
2009011105.tif 000007
【００８４】
（数５）を実現するブロック図を図１３に示し、これについて説明する。角速度算出処理部２１の内部ではまず入力信号が分岐され、一方は加算器５１に、他方は移動平均算出処理部５０に入力される。移動平均算出処理部５０では最近数十点分の電圧値の平均（移動平均電圧値と呼ぶ）を算出し、加算器５１へと出力される。移動平均電圧値は角加速度０のときの基準電圧となる。加算器５１では、最新の電圧値から移動平均電圧値を減算し、差分電圧値が出力される。乗算器５２では予め設定された感度定数Ｓ[V/deg/sec]での割り算を実行する。これにより差分電圧値は角速度ω(ｎ・Ts)[deg/sec]に変換される。【００８５】
次に角度変化量算出処理部２２で実行される処理について説明する。角度変化量算出処理部２２では角速度ω(ｎ・Ts)[deg/sec]を積分し、角度変化量φ(ｎ・Ts)[deg]を出力する。具体的には図１４に示すように、まず乗算器５３において角速度ω(ｎ・Ts)[deg/sec]に対してＡ／Ｄ変換部１２ｂのサンプリング周期Ts[sec]を掛け合わせる。次に加算器５４において積分処理を行う。【００８６】
次に装置傾き角算出処理部１３で実行される処理について説明する。装置傾き角算出処理部１３では角度変化量算出処理部２２から角度変化量φ(ｎ・Ts)[deg]と画像傾き角検出処理部７から画像傾き角αＩ(ｍ・Ti)[deg]が入力される。ここでTiは画像傾き角αＩのサンプリング周期[sec]、ｍは整数である。画像傾き角αＩ(ｍ・Ti)[deg]を基準として、角度変化量φ(ｎ・Ts)[deg]の絶対値の補正を行う。具体的には図１５に示すように、加算器５５において角度変化量φ(ｎ・Ts)[deg]から、補正値算出処理部５９からの入力値である補正値Ｃ(ｎ・Ts)[deg]を減算する。これにより撮像装置３００の傾き角αＳ(ｎ・Ts)[deg]が得られる。装置傾き角αＳ(ｎ・Ts)[deg]は装置傾き角算出処理部１３から出力される一方で装置傾き角保存メモリ５６に送られる。装置傾き角保存メモリ５６に保存された値は加算器５７に送られる。加算器５７では装置傾き角αＳ(ｎ・Ts)[deg]から、画像傾き角検出処理部７からの入力値である画像傾き角αＩ(ｍ・Ti)[deg]が減算される。【００８７】
この差分値（αＳ(ｎ・Ts)−αＩ(ｍ・Ti)）[deg]が差分値保存メモリ５８に代入される。この差分値が０となるよう、補正値算出処理部５９にて補正値Ｃ(ｎ・Ts)[deg]を変更することにより装置傾き角αＳ(ｎ・Ts)[deg]へのフィードバックを行う。この差分値算出の際、装置傾き角αＳ(ｎ・Ts)[deg]と画像傾き角αＩ(ｍ・Ti)[deg]のサンプリングタイミングは同期していなければならない。そこで装置傾き角保存メモリ５６の更新、加算器５７での減算処理、差分値保存メモリ５８の更新はマイコン１４のタイミング管理下で画像傾き角検出処理部７の処理周期ｆＩ[Hz]に同期して行われる。つまりマイコン１４は、画像傾き角検出処理部７から処理結果出力（画像傾き角の更新）のタイミングを受け、装置傾き角算出処理部１３に差分値保存メモリ５８の更新処理を指示する。ここで差分値保存メモリ５８の更新処理とは、装置傾き角保存メモリ５６から受け取る装置傾き角と、画像傾き角検出処理部７から受け取る画像傾き角を加算器５７で減算処理し、その結果を差分値保存メモリ５８に代入する一連の処理を指す。【００８８】
その後マイコン１４は、次に画像傾き角検出処理部７に送る画像信号の撮像素子３における露光終了タイミングを特定し図示しない結線を通して装置傾き角保存メモリ５６に送る。装置傾き角保存メモリ５６ではマイコン１４からタイミングの指示を受け、保持している装置傾き角αＳ(ｎ・Ts)[deg]の値を更新する。さらにマイコン１４はこの露光終了タイミングで取り込んだ画像信号をカメラ信号処理部４で処理した結果が次に画像傾き角検出処理部７に送られるよう制御する。【００８９】
なおここでは露光終了タイミングを送ることとしたが、露光開始タイミングあるいは露光開始と終了の間のいずれかのタイミングを送るようにしても実用上問題ない。傾き補正の場合、手ブレ補正と異なり比較的低い数Ｈｚ程度の周波数の動きを補正対象とするからである。【００９０】
補正値算出処理部５９では補正値Ｃ(ｎ・Ts)[deg]の更新を行う。その際補正値Ｃ(ｎ・Ts)[deg]の急変を避けるため、差分値保存メモリ５８から受け取った差分値（αＳ(ｎ・Ts)−αＩ(ｍ・Ti)）[deg]を分割して補正値Ｃ(ｎ・Ts)[deg]に加算するように構成している。具体的には差分値保存メモリ５８から受け取る差分値（αＳ(ｎ・Ts)−αＩ(ｍ・Ti)）[deg]に対して乗算器６０で（ｆＩ／ｆＳ）を乗算する。加算器６１では乗算器６０の出力値の積分処理を行う。【００９１】
次に撮像素子回転駆動部１８は装置傾き角算出処理部１３から受け取る装置傾き角αＳ(ｎ・Ts)[deg]に応じて撮像素子３を撮像素子３の光軸周りに−αＳ(ｎ・Ts)[deg]回転駆動し、得られる撮影画像の水平を保つようにする。【００９２】
以上のような実施の形態によれば、角速度センサ（ジャイロセンサ）８ｂを使用することにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることなく角速度を取得することが可能となる。また角速度センサ８ｂを使用する場合、角速度から角度変化量は積分計算により容易に求めることができるが、傾き角、つまり水平からの絶対的な傾き角はわからないという問題があった。この問題は、傾き角が出力可能な画像傾き角検出部を組み合わせることにより解決され、傾き角を得ることが可能となった。【００９３】
また温度特性／経時変化のない画像傾き角検出部で傾き角を補正することにより角速度センサ（ジャイロセンサ）の温度特性／経時変化の影響を排除した正確な傾き角を取得することが可能となる。【００９４】
また本実施の形態においては、角速度算出処理部２１と角度変化量算出処理部２２を分割していたが、図１６に示すような両者を融合した形態としてもよい。図１６は図１５の結線を一部変更したのみであり、説明は省略する。【００９５】
（実施の形態４）
以下、本発明の実施の形態４における撮像装置４００について、図１７〜図２０を用いて説明する。実施の形態４における撮像装置４００は、実施の形態３の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化／経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置４００は、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。【００９６】
実施の形態４の撮像装置４００における主な構成は、実施の形態３の構成と同じである。相違点は加速度センサを備え、その出力値を利用して画像傾き角検出処理の高精度化を図った点である。【００９７】
図１７は本発明の実施の形態４における撮像装置４００の構成を示すブロック図、図１８は加速度算出処理のブロック図、図１９はコアリング処理部での入出力特性を示す図、図２０Ａ、図２０Ｂおよび図２０Ｃは傾き角検出処理の処理過程の説明図である。【００９８】
実施の形態３と共通する部分は同じ符号を付して説明を省略し、実施の形態３と異なる部分のみ説明を行う。【００９９】
加速度センサ８ｃは、撮像装置４００から被写体側へ伸ばした光軸ＡＸに対して垂直で且つ撮影画像の横方向に相当する方向の加速度を検出するように撮像装置４００の任意の位置に固定されている。加速度センサ８ｃの場合もジャイロセンサの出力と同じようにアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合について説明する。加速度センサ８ｃから出力される電圧信号は、ＨＰＦ９ｃ、ＬＰＦ１０ｃ、アンプ１１ｃ、Ａ／Ｄ変換部１２ｃ、デジタルＬＰＦ２０ｃ、加速度算出処理部２３へと順次送られ処理される。デジタルＬＰＦ２０ｃでは主に高周波ノイズを削除するためのローパスフィルタ処理が必要に応じて行われる。加速度算出処理部２３では後述する電圧値の加速度への変換が行われる。【０１００】
参照傾き角算出処理部２４では後述する加速度の傾き角への変換が行われる。画像傾き角検出処理部７では画像内の被写体の水平に対する傾き角の検出処理が行われる。基本的なアルゴリズムは実施の形態１で説明したものと同じである。相違点は、参照傾き角算出処理部２４から受け取った参照傾き値を利用して傾き角算出精度の向上を図る点である。その詳細な動作については後述する。デジタル処理であるデジタルＬＰＦ２０ｃ、加速度算出処理部２３、参照傾き角算出処理部２４は、マイコン１４の内部に実現される。【０１０１】
以下、実施の形態４の撮像装置４００の動作について実施の形態３と異なる部分のみ説明する。【０１０２】
まず加速度算出処理部２３で実行される処理について図１８を用いて説明する。既に説明したように、加速度センサ８ｃのアナログ電圧出力はＨＰＦ９ｃ、ＬＰＦ１０ｃ、アンプ１１ｃ、Ａ／Ｄ変換部１２ｃ、デジタルＬＰＦ２０ｃを経る間に帯域制限やノイズ除去、Ａ／Ｄ変換といった前処理が行われ、Ａ／Ｄ変換部１２ｃでサンプリング周波数ｆＳ[Hz]にてデジタル化された電圧信号Ｖａ(ｎ・Ts)[V]となる。ここでもTsはサンプリング周期[sec]、ｎは整数である。加速度算出処理部２３には、このデジタル化された電圧信号が入力される。これに対してコアリング処理部８０では残留ノイズの影響により測定値が微小に振動して後の処理に悪影響を与えることを避けるために（数６）で示される変換を行う。図１９に入出力特性を示す。【０１０３】
【数６】
2009011105.tif 000008
【０１０４】
０Ｇ電圧保存メモリ８１には加速度センサ８ｃが０Ｇ検出時の出力電圧値定数が保存されている。加算器８２にて、コアリング処理後の電圧信号から０Ｇ電圧を減算する。乗算器８３でこの減算結果に対して感度定数ＳＧ[V/G]の逆数を掛け合わせることにより加速度Ａを得る。【０１０５】
参照傾き角算出処理部２４では、撮像装置４００から被写体側へ伸ばした光軸ＡＸ周りの傾き角αＧを（数７）に従い加速度Ａから求める処理を行う。【０１０６】
【数７】
2009011105.tif 000009
【０１０７】
こうして求めた傾き角αＧを参照傾き角と呼ぶこととする。画像傾き角検出処理部７では、基本的には実施の形態１の場合とほとんど同じ処理を行う。相違点は、図４のステップＳ５にてピーク検出を行う際、±９０度全範囲をサーチする代わりに、参照傾き角αＧの近傍のみをサーチする点である。この点について図２０Ａ〜図２０Ｃを用いて説明する。図２０Ａは傾きを有して撮影されてしまった画像の例である。この画像の特徴は、本来の水平／垂直方向の線分と斜めの線分の分布の差が小さいことである。そのため、この画像に対して図４のフローチャートに従い、抽出線分の角度分布算出までの処理を実施すると図２０Ｂに模式的に示すような角度分布が得られる。このようなケースで±９０度全範囲をサーチすると間違ってαＥを画像傾き角と判定してしまう可能性がある。そこで参照傾き角αＧを用いて、図２０Ｂに示すようにピークサーチ範囲をαＧ±βに制限する。こうすれば図２０Ｂに示すαＩを画像傾き角として検出することができ、エラーの発生を防ぐことができる。ここでβの値は加速度センサの傾き角検出精度に略一致する値に設定すればよい。現状市販されているＭＥＭＳを利用した加速度センサの場合は、５〜１０度程度が望ましい。【０１０８】
上述のように、実施の形態４によれば、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角αＩを求めることが可能となる。こうして求めた画像傾き角αＩを用いて装置傾き角αＳを補正し、傾き補正を実行すれば図２０Ｃに示すような水平が正しく保たれた画像を精度よく得ることが可能となる。【０１０９】
なお実施の形態４では１軸の加速度センサを用いたがこれに限定されない。１軸であれば±９０度の範囲しか検出できないが、例えば、撮像装置４００から被写体側へ伸ばした光軸ＡＸに垂直な方向に、互いに直交した２軸の加速度センサを用いた場合には±１８０度の範囲で傾き角の検出が可能になる。【０１１０】
（実施の形態５）
以下、本発明の実施の形態５における撮像装置５００について、図２１〜図２４を用いて説明する。実施の形態５における撮像装置５００は、実施の形態３の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化／経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置５００は、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。【０１１１】
実施の形態５の撮像装置５００における主な構成は、実施の形態３の構成と同じである。相違点は手ブレ補正装置を備え、その装置内にあるアクチュエータの駆動電流量を利用して参照傾き角を検出し、画像傾き角検出処理の高精度化を図った点である。【０１１２】
図２１は本発明の実施の形態５における撮像装置５００の構成を示すブロック図、図２２はヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図、図２３Ａ、図２３Ｂおよび図２３Ｃは撮像装置５００の傾き角とピッチング保持枠の関係を示す図、図２４は撮像装置５００の傾き角とコイルの駆動電流の関係を示す図である。ここでも、実施の形態３と共通する部分には同じ符号を付して説明を省略し、実施の形態３と異なる部分、具体的には手ブレ補正装置および参照傾き角算出処理部の説明を行う。【０１１３】
まず手ブレ補正装置および参照傾き角算出処理部の構成について図２１、図２２を用いて説明する。【０１１４】
手ブレ補正装置は、被写体に対してヨーイング方向およびピッチング方向の撮像装置５００の角度変化量を検出し、この角度変化量に起因する光路のシフトを、撮像光学系１を構成するレンズ群の１つであるレンズ群Ｌ２を撮像画面の水平／垂直方向に駆動することにより補正する。図２１において手ブレ補正装置はヨーイング方向角速度センサ２５、ＬＰＦ２６、アンプ２７、Ａ／Ｄ変換部２８、デジタルＬＰＦ２９、角速度算出処理部３０、角度変化量算出処理部３１、ヨーイング方向駆動制御部３２、ピッチング方向角速度センサ３３、ＬＰＦ３４、アンプ３５、Ａ／Ｄ変換部３６、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３９、ピッチング方向駆動制御部４０、撮像光学系１からなる。ヨーイング方向角速度センサ２５およびピッチング方向角速度センサ３３は被写体に対してそれぞれヨーイング方向、ピッチング方向の角速度を検出するように撮像装置５００の任意の位置に固定された所謂ジャイロセンサである。ヨーイング方向角速度センサ２５の出力に対するＬＰＦ２６、アンプ２７、Ａ／Ｄ変換部２８、デジタルＬＰＦ２９、角速度算出処理部３０、角度変化量算出処理部３１の処理およびピッチング方向角速度センサ３３の出力に対するＬＰＦ３４、アンプ３５、Ａ／Ｄ変換部３６、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３９の処理は、実施の形態３のＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂ、角速度算出処理部２１、角度変化量算出処理部２２の処理と同じであるため、説明を省略する。ヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０は、それぞれ角度変化量算出処理部３１、角度変化量算出処理部３９から受け取った角度変化量に基づき、光軸補正用レンズ群Ｌ２を光軸ＡＸに垂直な面内で駆動し、画像の動きを補正する。【０１１５】
次に、実施の形態５に用いる手ブレ補正装置の機構部詳細について、図２２を用いて説明する。図２２において、手ブレ補正機構部９０はヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０の一部であり、ピッチング保持枠９１と、ヨーイング保持枠９２と、固定枠９５と、ヨーイング用アクチュエータ９９ｘと、ピッチング用アクチュエータ９９ｙと、発光素子１００と、受光素子１０１とを含む。【０１１６】
ピッチング保持枠９１は、コイル９４ｘ、９４ｙを有する。第２レンズ群Ｌ２および発光素子１００は、ピッチング保持枠９１に固定されている。ピッチング保持枠９１は、２本のピッチングシャフト９３ａ、９３ｂを介して、ヨーイング保持枠９２に対し、Ｙ方向に摺動可能に保持される。【０１１７】
ヨーイング保持枠９２は、ヨーイングシャフト９６ａ、９６ｂを介して、固定枠９５に対し、Ｘ方向に摺動可能に保持される。【０１１８】
ヨーイング用アクチュエータ９９ｘは、マグネット９７ｘと、ヨーク９８ｘとを有し、固定枠９５に保持される。同様に、ピッチング用アクチュエータ９９ｙは、マグネット９７ｙと、ヨーク９８ｙとを有し、固定枠９５に保持される。【０１１９】
受光素子１０１は、固定枠９５に固定され、発光素子１００の投射光を受光し、２次元の位置座標を検出する。【０１２０】
またヨーイング方向駆動制御部３２にはヨーイング用アクチュエータ９９ｘが動作したときのコイル９４ｘに流れる電流値を検出する図示しないヨーイング電流値検出部があり、参照傾き角算出処理部２４ｃにヨーイング電流値を受け渡す。同様に、ピッチング方向駆動制御部４０にはピッチング用アクチュエータ９９ｙが動作したときのコイル９４ｙに流れる電流値を検出する図示しないピッチング電流値検出部があり、参照傾き角算出処理部２４ｃにピッチング電流値を受け渡す。【０１２１】
参照傾き角算出処理部２４ｃは、ヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０から受け取ったヨーイング電流値およびピッチング電流値を用いて後述する撮像装置５００の傾き角の算出を行う。【０１２２】
またデジタル処理であるデジタルＬＰＦ２９、角速度算出処理部３０、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３１、角度変化量算出処理部３９、参照傾き角算出処理部２４ｃは、マイコン１４の内部に実現される。【０１２３】
次に、実施の形態５における撮像装置５００の手ブレ補正装置および参照傾き角算出処理部２４ｃの動作について、図２１、図２２を用いて説明する。【０１２４】
撮像装置５００の動作時、撮像装置５００に加わる手ブレや振動は、ヨーイング方向角速度センサ２５、ピッチング方向角速度センサ３３により検知される。それぞれの検出電圧は既に説明したように角度変化量に変換され、ヨーイング方向駆動制御部３２、ピッチング方向駆動制御部４０に送られる。ヨーイング方向駆動制御部３２、ピッチング方向駆動制御部４０は受け取った角度変化量を基に手ブレなどを打ち消すための制御信号を生成し、手ブレ補正機構部９０を駆動する。この制御信号に応じた電流は、ピッチング保持枠９１のコイル９４ｘ、９４ｙのそれぞれに供給される。ピッチング保持枠９１は、供給された電流とマグネット９７ｘ、９７ｙとから形成された磁気回路により、光軸ＡＸと直角な２方向Ｘ、Ｙ平面内を移動する。また、ピッチング保持枠９１の位置検出は、受光素子１０１を用いることにより高精度に行われる。すなわち、手ブレ補正機構部９０により第２レンズ群Ｌ２は、光軸と直交する２平面内を移動する。これにより、撮像光学系１を介して撮像素子３に入射する画像の水平および垂直方向のブレ補正を行うことができる。【０１２５】
また手ブレ補正駆動を行う際にコイル９４ｘ、９４ｙに流れる電流値が参照傾き角算出処理部２４ｃに送られる。このときの電流値について図２３Ａ〜図２３Ｃ、図２４を用いて説明する。図２３Ａは傾き角０の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。レンズ群Ｌ２を所定の位置に保持するためには、Ｙ方向に関して、レンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００の質量和Ｍyが重力方向（−Ｙ方向）にかかるため、コイル９４ｙにその自重分を持ち上げるための駆動電流Ｉyaを流す必要がある。一方、Ｘ方向に関しては、レンズ群Ｌ２を所定の位置に保持するために自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力０に相当する基準電流Ｉxaをコイル９４ｘに流せばよい。なお手ブレ補正機構部９０を駆動する場合にはレンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００とヨーイング保持枠９２、ピッチングシャフト９３ａ、９３ｂの質量和Ｍxがヨーイング保持枠９２とヨーイングシャフト９６ａ、９６ｂの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部９０を駆動するに必要且つ十分の電流をコイル９４ｘに流せばよい。【０１２６】
図２３Ｂは傾き角９０度の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群Ｌ２を所定の位置に保持するためには、Ｘ方向に関して、レンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００、ヨーイング保持枠９２、ピッチングシャフト９３ａ、９３ｂの質量和Ｍxが重力方向（−Ｘ方向）にかかるため、コイル９４ｘにその自重分を持ち上げるための駆動電流Ｉxbを流す必要がある。一方、Ｙ方向に関しては、レンズ群Ｌ２を所定の位置に保持するための自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力０に相当する基準電流Ｉybをコイル９４ｙに流せばよい。なお手ブレ補正機構部９０を駆動する場合にはレンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００の質量和Ｍyがピッチング保持枠９１とピッチングシャフト９３ａ、９３ｂの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部９０を駆動するに必要且つ十分の電流をコイル９４ｙに流せばよい。なおＭy＜ＭxであるためＩya＜Ｉxbとなる。【０１２７】
図２３Ｃは傾き角θ度の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群Ｌ２を所定の位置に保持するためには、Ｙ方向に関して、位置保持のための上記の質量和Ｍyの角度θ分の分力（位置保持のための力）と、ピッチング保持枠９１とピッチングシャフト９３ａ、９３ｂの間に発生する摩擦抵抗の角度θ分の分力（駆動のための力）との和を打ち消すための駆動電流Ｉycを流す必要がある。一方、Ｘ方向に関しては、上記の質量和Ｍxの角度θ分の分力（位置保持のための力）と、ヨーイング保持枠９２とヨーイングシャフト９６ａ、９６ｂの間に発生する摩擦抵抗の角度θ分の分力（駆動のための力）との和を打ち消すための駆動電流Ｉxcを流す必要がある。以上をまとめると、レンズ群Ｌ２を所定の位置に保持するためにコイル９４ｘ、９４ｙにかかる駆動電流の中央値（静止時駆動電流）は図２４に示すようになる。【０１２８】
参照傾き角算出処理部２４ｃでは、予めコイル９４ｘ、９４ｙにかかるそれぞれの駆動電流の基準電流値および最大電流値を記憶しておく。これらの値を用いてヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０から受け取る２方向の駆動電流値を正規化し、その比から傾き角を算出する。これを参照傾き角として画像傾き角検出処理部７に渡す。【０１２９】
画像傾き角検出処理部７では、参照傾き角算出処理部２４ｃから受け取った参照傾き角を用いて実施の形態４で説明した処理と同様の処理を実行する。【０１３０】
上述のように、実施の形態５によれば、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角αＩを求めることが可能となる。こうして求めた画像傾き角αＩを用いて装置傾き角αＳを補正し、傾き補正を実行することが可能となり、水平が正しく保たれた画像を精度よく得ることが可能となる。【０１３１】
（その他の実施の形態）
本発明の内容は、上述した実施の形態に示された具体例に限定されない。例えば、以下のような変形例も考えられる。【０１３２】
（１）
撮像装置の傾き角を検出するセンサとしては、振り子状の構造物を内蔵した角度センサもしくは傾斜センサや、重力加速度などを検出する加速度センサ、もしくは回転角速度を検出する角速度センサが用いられるが特にいずれかに限るものではない。【０１３３】
（２）
本発明の実施の形態において、角度センサ８は重力の方向（鉛直方向）に対し９０度をなす方向を水平方向として定め、これを角度の基準（角度＝０度）として定め、撮像装置の傾きの大きさおよび方向に応じて正負両方向の角度信号を出力するものとした。しかし、本発明はこれに限られるものではない。鉛直方向を角度の基準（角度＝０度）として撮像装置の傾きの大きさ、方向を検出してもよい。【０１３４】
（３）
本発明の実施の形態において、傾きの補正を行う際、レンズ鏡筒２もしくは撮像素子３を撮像光学系１の光軸を中心に回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば図２５に示したように光軸と平行する軸を中心として回転させても撮影画像の傾きを補正することが可能である。本発明においても、レンズ鏡筒２もしくは撮像素子３を撮像光学系１の光軸と平行する軸を中心として回転させてもよい。【０１３５】
（４）
本発明の実施の形態において、図７に示したように画像傾き角検出処理部７が最初に画像からの傾き検出結果を出力するまでは、鏡筒回転駆動部１６もしくは撮像素子回転駆動部１８による傾きの補正が動作しない構成を説明した。しかし、本発明はこれに限られるものではない。例えば、最初の画像傾き角検出処理部７による画像からの傾き検出結果が出力されるまでは、角度センサ８ａから得られる角度信号と初期の換算式から算出される傾き角度によって撮影画像の傾き補正を行ってもよい。【０１３６】
（５）
本発明の実施の形態において、角度センサ８ａから得られた角度信号を角度に換算するための関係式の例として図８、図９を示した。しかし、本発明はこれに限るものではない。例えば図２６のように原点を通らない１次直線の関係でもよい。もちろん２次以上の高次でもよい。また原点を通らない１次直線の関係や２次以上の高次の場合、換算式を校正する際には、画像傾き角検出処理部７から検出される画像からの傾き検出結果を複数用いて換算式を校正すればよい。【０１３７】
（６）
本発明の実施の形態において、画像傾き角検出処理部７による画像からの傾き検出は撮影周期ごととして説明を行った。しかし、本発明はこれに限られるものではない。実施の形態において用いる角度センサの特性、性能を考慮して、任意に周期を設定するのが有効である。その際、画像傾き角検出処理部７による画像からの傾き検出の周期を低減すれば、機器の消費電力の低減などの新たな効果が実現可能である。【０１３８】
（７）
本発明の実施の形態において、マイコン１４によるプログラム処理による例を示した。しかし、本発明はこれに限られるものではない。マイコン１４によるプログラム処理を電子回路などのハードウェアにより実現することが可能であることは言うまでもない。【０１３９】
（８）
本発明の実施の形態において、撮像装置の撮像素子数に関しては特に言及しなかった。しかし、単板式撮像装置、２板式撮像装置、３板式撮像装置のいずれの撮像装置においても本発明が有効であることは明らかである。【０１４０】
（９）
本発明の実施の形態において、傾き補正部として、レンズ鏡筒２もしくは撮像素子３を回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば撮像装置を固定する雲台を回転させて傾きを補正する構成でもよい。この場合、雲台を回転駆動するための制御信号を撮像装置の外部に出力し、これを基に雲台が駆動制御される構成が考えられる。さらには、機械的な構成のみでなく、例えば撮影画像の水平を保つための方法として撮像素子２を回転駆動する代わりに画像信号に対して画像処理を行い、傾き角を補正するように画像を回転させてもよい。【０１４１】
２００７年７月１３日出願の特願２００７−１８３９５７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１４２】
本発明は、例えば、傾き補正機能を有するデジタルカメラやビデオムービーなどの撮像装置に利用することが可能である。
【図１】
2009011105.tif 000010
【図２】
2009011105.tif 000011
【図３】
2009011105.tif 000012
【図４】
2009011105.tif 000013
【図５Ａ】
2009011105.tif 000014
【図５Ｂ】
2009011105.tif 000015
【図５Ｃ】
2009011105.tif 000016
【図５Ｄ】
2009011105.tif 000017
【図６Ａ】
2009011105.tif 000018
【図６Ｂ】
2009011105.tif 000019
【図７】
2009011105.tif 000020
【図８】
2009011105.tif 000021
【図９】
2009011105.tif 000022
【図１０】
2009011105.tif 000023
【図１１】
2009011105.tif 000024
【図１２】
2009011105.tif 000025
【図１３】
2009011105.tif 000026
【図１４】
2009011105.tif 000027
【図１５】
2009011105.tif 000028
【図１６】
2009011105.tif 000029
【図１７】
2009011105.tif 000030
【図１８】
2009011105.tif 000031
【図１９】
2009011105.tif 000032
【図２０Ａ】
2009011105.tif 000033
【図２０Ｂ】
2009011105.tif 000034
【図２０Ｃ】
2009011105.tif 000035
【図２１】
2009011105.tif 000036
【図２２】
2009011105.tif 000037
【図２３Ａ】
2009011105.tif 000038
【図２３Ｂ】
2009011105.tif 000039
【図２３Ｃ】
2009011105.tif 000040
【図２４】
2009011105.tif 000041
【図２５】
2009011105.tif 000042
【図２６】
2009011105.tif 000043
【手続補正書】
【提出日】平成21年12月1日(2009.12.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の光学的な像を形成する撮像光学系と、前記形成された光学的な像を受光して、電気的な画像信号に変換して出力する撮像素子とを備えた撮像装置であって、
前記撮像装置のローリング方向の傾きの角度を検出する装置傾き角検出部と、
前記画像信号から受光した像のローリング方向の傾きの角度を検出する画像傾き角検出部と、
前記画像傾き角検出部によって検出された像の傾きの角度によって、前記装置傾き角検出部の検出結果を校正して装置傾き角を算出する装置傾き角算出部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記装置傾き角算出部の算出結果に基づいて、前記撮像装置の傾きを補正する傾き補正部をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記傾き補正部は、前記装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、又は、前記電気的な画像を回転することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像光学系を格納し、前記撮像素子が固定されたレンズ鏡筒をさらに備え、
前記傾き補正部は、前記装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する請求項３に記載の撮像装置。
【請求項５】
前記傾き補正部は、前記画像信号に変換された像の水平または垂直が、被写体と一致するように前記撮像素子を光軸または光軸に平行する軸を中心に回転することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記傾き補正部は、最初の前記校正が完了した後から前記撮像素子を光軸または光軸に平行な軸を中心に回転する動作を開始することを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記撮像装置から被写体側への前記撮像光学系の光軸に対して垂直方向であって少なくとも１軸の加速度を検出する装置加速度検出部と、
前記装置加速度検出部より出力される加速度を用いて、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、
前記画像傾き角検出部は、前記参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記撮像光学系の光軸と直交する２方向に手ブレ補正部を駆動する第１、第２のアクチュエータを有した手ブレ補正装置と、
前記第１、第２のアクチュエータの駆動電流値を入力として、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、
前記画像傾き角検出部は、前記参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記装置傾き角検出部は、傾斜センサ、加速度センサ、角速度センサのいずれかであることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記装置傾き角検出部が角速度センサであって、
前記装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部をさらに有し、
前記装置傾き角算出部は前記画像傾き角検出部によって検出された像の傾きの角度によ
って、前記角度変化量を校正して装置傾き角を算出することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記装置傾き角算出部は、
前記装置傾き角算出部から出力される傾き角を保持する装置傾き角保存メモリと、
前記装置傾き角保存メモリから出力される傾き角と前記画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、
前記差分演算器の出力を保持する差分値保存メモリと、
前記差分値保存メモリの出力を用いて前記角度変化量に加算する補正値を算出する補正値算出部とからなり、
前記画像傾き角検出部の動作タイミングに合わせて前記差分値保存メモリの保持する内容を更新し、前記撮像素子の動作タイミングに合わせて前記装置傾き角保存メモリを更新することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記補正値算出部は、
前記画像傾き角検出部の動作周波数を前記角度変化量算出部の動作周波数で割った値を、前記差分値保存メモリの出力に対して掛け合わせる乗算器と、
前記乗算器からの出力を積算する積分器と
からなることを特徴とする請求項１１に記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ブレ補正機能を備える撮像装置に関するものである。
【背景技術】
【０００２】
近年、民生用のデジタルカメラやビデオカメラ（以下、「ビデオムービー」と称す）の小型化、軽量化、光学ズームの高倍率化が進み、その使い勝手が格段に向上した結果、一般消費者にとってデジタルカメラやビデオムービーは日常生活で使用される家電製品の１つとなっている。しかしその反面、小型化、軽量化、光学ズームの高倍率化、および撮影に習熟していない消費者へのそれらの商品の普及は、撮影時の手ブレによる画面の不安定化という問題も発生させていた。したがって、この問題を解決するため、画像動き補正装置を搭載するデジタルカメラやビデオムービーが今や多く開発、商品化されている。ただし、これら既存の画像動き補正装置は、垂直方向（ピッチング方向）および水平方向（ヨーイング方向）の手ブレによる画像の動きを補正するものである。しかしデジタルカメラやビデオムービーでの撮影中の手ブレは垂直方向および水平方向に限られるものではなく、例えば光軸もしくは光軸に平行する軸を中心に回転するローリング方向の手ブレも発生しうる。
【０００３】
そこで撮影時のローリング方向のブレ（画像の回転）を補正する装置として、以下のようにいくつかの提案がなされている。
【０００４】
例えば特許文献１においては、カメラ本体の傾きの検出手段と、検出手段によって得られた信号により傾きの程度を判断する手段と、撮像素子の回転手段と、回転手段の制御手段とを有するビデオムービーが開示されている。この特許文献１においては、カメラの傾きを検出する手段として、重力を用いたものまたは加速度を利用したものを採用し、カメラ本体の傾きに応じて撮像素子を回転駆動することで、撮影画像の傾き（ローリング方向のブレ）を解消する例が開示されている。
【０００５】
また、例えば特許文献２においては、被写体を撮像する撮像装置であって、上記被写体の画像を取得する撮像部と、上記画像から、上記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、上記検出条件に基づいて、上記画像から、上記直線成分に対応する画像要素を検出し、検出した上記画像要素と、予め定められた上記直線成分の傾きに関する基準との幾何学的ずれを検出する画像処理部とを備えることを特徴とする撮像装置が開示されている。この特許文献２においては、撮像部から得た画像を処理し、検出したエッジ成分をもとに画像の傾きを検出し、さらに得られた画像の傾きを用いて撮影画像の傾き（ローリング方向のブレ）の補正を行う例が提示されている。
【特許文献１】特開平４−３３１５８６号公報
【特許文献２】特開２００２−３４４７２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上のようにローリング方向のブレ（画像の回転）を補正する装置に関しては各種方法の提案がされていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。その１つは、ローリング方向のブレを検出する手段として、加速度センサなどの物理センサを使用する場合、センサは個体ばらつきや温度特性、経年変化が不可避であるため、検出される傾きの精度を高く保つことは困難である。
【０００７】
その点では、ローリング方向のブレを検出する手段として、撮影画像の特徴から画像の傾きを検出する手段を用いた場合、画像処理は電子的な信号処理であり、個体ばらつきや温度特性、経年変化は発生しえない。しかし、撮影画像の特徴から画像の傾きを検出する場合、傾きに関する情報を取得できる周期が画像の撮影周期に束縛され、所望の早い周期で傾きの情報を得ることができない。例えばテレビジョン方式がＮＴＳＣ方式のビデオカメラの場合、約１６．６ミリ秒間隔で画像を撮影するため、これ以上の早い周期で画像の傾き情報を得ることができない。つまり傾きの検出が遅延する。このことはすなわち、例えば撮影画像の傾きを補正するために撮像素子などを機構的に回転駆動する場合、この検出の遅延が原因で機構部を十分に高い動作周波数で駆動できず、傾きの補正が精度よく実現できない可能性が懸念される。その点、センサは画像の撮影周期に束縛を受けることなく、ほぼリアルタイムで傾きを検出することが可能である。
【０００８】
本発明の目的は、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
上述したような課題を解決するために、第１の発明に係る撮像装置は、被写体の光学的な像を形成する撮像光学系と、形成された光学的な像を受光して、電気的な画像信号に変換して出力する撮像素子とを備えた撮像装置であって、撮像装置のローリング方向の傾きの角度を検出する装置傾き角検出部と、画像信号から受光した像のローリング方向の傾きの角度を検出する画像傾き角検出部と、画像傾き角検出部によって検出された像の傾きの角度によって、装置傾き角検出部の検出結果を校正して装置傾き角を算出する装置傾き角算出部と、を備えたことを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる。
【００１０】
第２の発明に係る撮像装置は、第１の発明に係る撮像装置において、装置傾き角算出部の算出結果に基づいて、撮像装置の傾きを補正する傾き補正部をさらに備えることを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。
【００１１】
第３の発明に係る撮像装置は、第２の発明に係る撮像装置において、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、又は、電気的な画像を回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。
【００１２】
第４の発明に係る撮像装置は、第３の発明に係る撮像装置において、撮像光学系を格納し、撮像素子が固定されたレンズ鏡筒をさらに備え、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）を高精度に補正できる。
【００１３】
第５の発明に係る撮像装置は、第３または第４の発明に係る撮像装置において、傾き補正部は、画像信号に変換された像の水平または垂直が、被写体と一致するように撮像素子を光軸または光軸に平行する軸を中心に回転することを特徴とする。これにより、撮影画像に多く含まれる水平または垂直の線分を利用して補正することにより補正精度を向上することができる。
【００１４】
第６の発明に係る撮像装置は、第３〜第５の発明のいずれかに係る撮像装置において、傾き補正部は、最初の校正が完了した後から撮像素子またはレンズ鏡筒を光軸または光軸に平行な軸を中心に回転する動作を開始することを特徴とする。これにより、正しく校正された装置傾き角を使って傾き補正が実施されるので補正精度を向上することができる。
【００１５】
第７の発明に係る撮像装置は、第１〜第６の発明のいずれかに係る撮像装置において、撮像装置から被写体側への撮像光学系の光軸に対して垂直方向であって少なくとも１軸の加速度を検出する装置加速度検出部と、装置加速度検出部より出力される加速度を用いて、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする。これにより、水平／垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。
【００１６】
第８の発明に係る撮像装置は、第１〜第６の発明のいずれかに係る撮像装置において、撮像光学系の光軸と直交する２方向に手ブレ補正部を駆動する第１、第２のアクチュエータを有した手ブレ補正装置と、第１、第２のアクチュエータの駆動電流値を入力として、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値としてもよい。これにより、水平／垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。
【００１７】
第９の発明に係る撮像装置は、第１〜第８の発明のいずれかに係る撮像装置において、装置傾き角検出部は、傾斜センサ、加速度センサ、角速度センサのいずれかであることを特徴とする。これにより、装置傾き角を正確に検出することができる。
【００１８】
第１０の発明に係る撮像装置は、第９の発明に係る撮像装置において、装置傾き角検出部が角速度センサであって、装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部をさらに有し、装置傾き角算出部は画像傾き角検出部によって検出された像の傾きの角度によって、角度変化量を校正して装置傾き角を算出することを特徴とする。これにより、装置傾き角検出部にコリオリ力を検知するジャイロセンサのような角速度検出方法も用いることにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることがなく正確に装置傾き角を検出することができる。
【００１９】
第１１の発明に係る撮像装置は、第１０の発明に係る撮像装置において、装置傾き角算出部は、装置傾き角算出部から出力される傾き角を保持する装置傾き角保存メモリと、装置傾き角保存メモリから出力される傾き角と画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、差分演算器の出力を保持する差分値保存メモリと、差分値保存メモリの出力を用いて角度変化量に加算する補正値を算出する補正値算出部とからなり、画像傾き角検出部の動作タイミングに合わせて差分値保存メモリの保持する内容を更新し、撮像素子の動作タイミングに合わせて装置傾き角保存メモリを更新することを特徴とする。これにより、画像傾き角検出部の動作タイミングに合わせて装置傾き角算出部の算出結果を校正するので正確な装置傾き角が算出できる。
【００２０】
第１２の発明に係る撮像装置は、第１１の発明に係る撮像装置において、補正値算出部は、画像傾き角検出部の動作周波数を角度変化量算出部の動作周波数で割った値を、差分値保存メモリの出力に対して掛け合わせる乗算器と、乗算器からの出力を積算する積分器とから構成することを特徴とする。これにより、補正値の急変を防止することができ安定な補正が可能となる。
【発明の効果】
【００２１】
本発明によれば、撮影中に手ブレなどによって発生する画像のローリング方向のブレ（画像の回転）をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２３】
（実施の形態１）
まず、本発明の実施の形態１における撮像装置１００について図１〜図９を用いて説明する。図１は、本発明の実施の形態１における撮像装置１００の構成を示すブロック図である。図１において、撮像光学系１は、光軸ＡＸに沿って配置された３つのレンズ群Ｌ１、Ｌ２、Ｌ３からなり、被写体像を撮像素子３上に結像させるために設けられており、レンズ鏡筒２の内部に格納されている。また、レンズ鏡筒２は撮像光学系１の光軸ＡＸを中心に回転自在に構成されており、後述する鏡筒回転駆動部１６によって回転運動する。また、図１においては各レンズ群は単レンズで構成されているが、これに限定されるものではなく、複数レンズで１つのレンズ群を構成してもよい。
【００２４】
撮像素子３は撮像光学系１を介して入射する像を電気信号に変換する撮像素子であり、具体的にはＣＣＤやＣＭＯＳなどが使用される。カメラ信号処理部４では、撮像素子３から出力される画像信号に対してゲインコントロール処理やガンマ処理などのアナログ信号処理、Ａ／Ｄ変換、ノイズ除去や輪郭強調などのデジタル信号処理が施される。その後、記録系信号処理部５にて、圧縮などの記録系の信号処理が施され、最後に半導体メモリなどで構成される記録媒体６に記録される。画像傾き角検出処理部７は、カメラ信号処理部４の出力画像信号から画像の傾き（角度）を電子的に検出する。
【００２５】
角度センサ８ａは撮像装置１００本体に設置され、撮像装置１００自体のローリング方向の傾きを検出するためのセンサである。ここで、重力の方向（鉛直方向）に対し９０度をなす方向は水平方向として定められ、これが角度の基準（角度＝０度）として定められる。また、撮像光学系から被写体側を見たときの反時計回り方向はプラス方向として定められる。角度センサ８ａは、撮像装置１００の傾きの大きさおよび方向に応じて、正負両方向の角度信号を出力する。
【００２６】
ここで角度信号と角度の関係（初期状態）は図８に示すように、水平方向の基準（角度＝０度）に対して傾いた角度に比例して角度信号が出力されるような関係である。角度信号の正負は、撮像装置１００の傾きが水平方向（角度＝０度で且つ、角度信号＝０[V]）に対して、右上がりまたは左上がりの場合に相当する。図８に示した角度信号と角度の関係を表すグラフにおいて、その比例直線の傾きをＫとすると、角度信号から角度を換算する換算式は以下のようになる。
【００２７】
【数１】
2009011105.tif 000044
【００２８】
ＨＰＦ９ａは角度センサ８ａの出力に含まれる不要帯域成分中の例えば直流ドリフト成分を除去するための高域通過フィルタである。ＬＰＦ１０ａは角度センサ８ａの出力に含まれる不要帯域成分中の、例えばノイズ成分を除去するための低域通過フィルタである。アンプ（Ａｍｐ）１１ａは、角度センサ８ａの出力の信号レベルの調整を行う信号増幅器である。Ａ／Ｄ変換（ＡＤＣ）部１２ａはアンプ１１ａの出力をデジタル信号に変換する。
【００２９】
マイクロコンピュータ（以下、「マイコン」と略記する）１４は、Ａ／Ｄ変換部１２ａを介して取り込んだ角度センサ８ａの出力と、画像傾き角検出処理部７から得た画像の傾きの角度に基づき、装置傾き角算出処理部１３（マイコン内の処理）でレンズ鏡筒２を回転運動させるための駆動制御量を求め、駆動制御量を示す制御信号をＤ／Ａ変換（ＤＡＣ）部１５を介して鏡筒回転駆動部１６に送る。Ｄ／Ａ変換部１５はマイコン１４から信号を受け取ると略同時にこれをアナログ信号に変換し、変換された制御信号を鏡筒回転駆動部１６に送る。
【００３０】
鏡筒回転駆動部１６は制御信号に基づきレンズ鏡筒２を回転駆動することで撮影される画像の傾きを補正するものであり、レンズ鏡筒２を回転駆動するためのモーターとモータードライバーからなる。最後に、撮像素子駆動部１７は撮像素子３において被写体から変換された電荷の転送を制御する。
【００３１】
図２は、本発明の実施の形態１における撮像装置１００のレンズ鏡筒２とその回転方向を示す模式図である。図２に示すようにレンズ鏡筒２は光軸ＡＸ（一点鎖線）を回転中心として、矢印の方向に鏡筒回転駆動部１６（図示せず）によって回転する。撮像素子３はレンズ鏡筒２に物理的に固定されている。よって、レンズ鏡筒２が回転運動する際には、撮像素子３もレンズ鏡筒２と一体になって回転する。
【００３２】
図３は、本発明の実施の形態１における撮像装置１００の画像傾き角検出処理部７から出力される撮影画像の傾きの角度と、角度センサ８ａからの撮像装置１００の傾きに関する角度信号を、マイコン１４が取得するタイミングの一例を示す模式図である。図３において、Ａ）は撮影された画像の傾きを画像傾き角検出処理部７が検出する処理にかかる期間を示したものである。実施の形態１においては、画像傾き角検出処理部７は１垂直走査期間をかけて撮影画像から傾きの角度を検出するものとする。Ｂ）は画像傾き角検出処理部７が検出した画像の傾き角度を、マイコン１４に出力するタイミング（矢印で示す）を示したものである。Ｃ）は角度センサ８ａが検出した撮像装置１００自体の角度信号がマイコン１４に取り込まれるタイミングである。Ｂ）およびＣ）に示すように、画像傾き角検出処理部７から得られる撮影画像の傾き角度は、１垂直走査期間に一度であり、角度センサ８ａからの角度信号は、より高い頻度でマイコン１４に取り込まれるものとする。なお実施の形態１における以下の説明では、一例として撮影画像の１秒あたりのコマ数を６０枚（１垂直走査期間は約１６．６ミリ秒）とし、角度センサ８ａからの角度信号をマイコン１４が１秒間に取り込む回数を１秒あたり６００回とする。
【００３３】
ここで、画像傾き角検出処理部７の動作について説明する。図４は本発明の実施の形態１における撮像装置１００の画像傾き角検出処理のフローチャート、図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄは画像傾き角検出処理の処理過程の説明図である。まず初めに画像傾き角検出処理部７で実行される画像傾き角検出処理（マイコン）について説明する。この処理は画像に含まれる直線成分に着目するものである。建築物など種々の構造物、地面、地平線、水平線など水平方向および鉛直方向の線が一般的に多く含まれることを利用し、画像内の水平鉛直方向を検出することにより傾き角を算出する。画像傾き角検出処理部７は演算処理部とフレームメモリ（図示せず）からなる。カメラ信号処理部４から受け取った画像はフレームメモリに保持され、演算処理部との間でデータのやりとりをしながら以下の処理が行われる。
【００３４】
ステップＳ１では輝度画像の作成が行われる。各画素においてＲ成分の輝度値をＩＲ、Ｇ成分の輝度値をＩＧ、Ｂ成分の輝度値をＩＢとするとき、輝度画像の輝度値Ｉは下記（数２）を実行することにより求められる。
【００３５】
【数２】
2009011105.tif 000045
【００３６】
なお、カメラ信号処理部４から輝度画像が出力される場合はステップＳ１を省略することができる。
【００３７】
ステップＳ２ではステップＳ１で作成した輝度画像に対してエッジ検出が行われる。エッジ検出方法として、例えば３×３ラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ  Ｆｉｌｔｅｒ）を適用することができる。図６Ａおよび図６Ｂに３×３ラプラシアンフィルタの重み付け係数の一例を示す。注目画素のエッジ成分の大きさを決定する際に、自身の近傍の画素を図６Ａまたは図６Ｂのように重み付けして足し合わせることで、注目画素のエッジ成分を決定する。なお、その他の一般に広く知られているエッジ抽出方法としては、ソーベルフィルタ（Ｓｏｂｅｌ  Ｆｉｌｔｅｒ）やプレウィットフィルタ（Ｐｒｅｗｉｔｔ
Ｆｉｌｔｅｒ）などのフィルタを適用する方法などがある。
【００３８】
ステップＳ３ではステップＳ２で作成したエッジ抽出画像に対して線分抽出処理を行う。具体的な処理方法としては、例えば画像処理においてロバストな直線検出手法として多く使用されているハフ変換を利用してもよい。ハフ変換では、Ｘ−Ｙ平面における求めたい直線をパラメータｐ、ｑを用いてＹ＝ｐＸ＋ｑで表すとき、画素（Ｘ，Ｙ）ごとにパラメータ空間ｐ−ｑにｑ＝Ｙ−ｐＸの軌跡を描く。多くの軌跡が交わる点のパラメータ（ｐ、ｑ）を持つ直線が、画像中に存在するものとみなす。このような処理を用いた例を図５Ａ〜図５Ｄに示す。
【００３９】
図５Ａは撮像装置１００が水平に対して傾きを有したまま撮影してしまった画像の例である。図５Ｂは図５Ａの元画像に対してエッジ検出、線分抽出を行った結果の例である。太線で示した線分が抽出線分である。図５Ｂを見ると全ての線分が抽出されているわけではないことがわかる。線分抽出の感度は前述したハフ変換の説明のｐ−ｑ平面における“多くの軌跡が交わる点のパラメータ（ｐ、ｑ）”を抽出する際の閾値の設定に依存する。また一般的によく行われる処理として、ハフ変換で線分候補を抽出した後、さらに線分の長さやエッジ検出画像での輝度の大きさなどに基づいてフィルタリングを行ってもよい。これらのフィルタ処理をチューニングすることによりノイズに強い傾き角検出が可能となる。
【００４０】
ステップＳ４ではステップＳ３で抽出した線分の傾き角を求め、その分布を得る。ここで傾き角は前述のように水平方向を０度とする。また±９０度の範囲の値をとることとする。図５Ｃに図５Ｂの抽出線分の傾き角θの分布を模式的に示す。図５Ｃでは元画像の略水平方向の線分と略鉛直方向の線分によって２つのピークができる。
【００４１】
ステップＳ５でこのピーク位置を検出し、水平方向および鉛直方向を決定する。前述のように、一般的には９０度間隔で水平方向と鉛直方向の２つのピークができる。これら２つのピークを検出し、画像の水平方向の角度θＨおよび鉛直方向の角度θＶを求める。これらを精度よく検出するために、図５Ｃに示されるような角度分布の−９０≦θ＜０[deg]の範囲のデータと０≦θ＜９０[deg]の範囲のデータを重ね合わせた分布データに対してピーク検出を行う。これにより水平鉛直方向検出の精度を上げることができる。
【００４２】
最後にステップＳ６では、ステップＳ５で検出した画像内の水平方向および鉛直方向の角度を基に最終的な画像の傾き角度を求める。ここで、画像の傾き角度を例えばθＨとすると撮影時の撮像装置１００の傾き角は、−θＨとなる。
【００４３】
次にマイコン１４内の装置傾き角算出処理部１３の動作を説明する。
【００４４】
図７は、本発明の実施の形態１における撮像装置１００のマイコン１４に格納された処理プログラムのフローチャートである。傾き補正スイッチ（図示せず）がＯＮされると図７に示した一連の処理が開始される。なお、図７には記載していないが、１回の処理ループは、例えばマイコン１４に内蔵されたタイマーにより一定周期で割り込みをかけることにより、行われる。その割り込みをかける周期は角度センサ８ａから角度信号を取得する周期（１／６００秒ごと）とする。
【００４５】
まず傾き補正スイッチがＯＮされると、ステップＳ１０１においてＤ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する制御信号値を０度に相当する初期値に設定する。
【００４６】
またステップＳ１０２において、マイコン１４に内蔵のカウンタ（以下、「ＣＮＴ」と略記する）をゼロに設定する（カウンタのリセット）。さらにステップＳ１０３において、画像傾き角検出処理部７において最初の画像からの傾き角度検出が完了するまで待機する。
【００４７】
画像傾き角検出処理部７における最初の画像からの傾き角度の検出が完了し、タイマーによる割り込みがかけられると、まずステップＳ１０４でＣＮＴ値に応じて、処理をステップＳ１０５もしくはステップＳ１０６へと分岐させる。ＣＮＴ値がゼロの場合は、ステップＳ１０５において、画像傾き角検出処理部７から画像の傾きの角度を取得する。ＣＮＴ値がゼロでない場合は、ステップＳ１０６に移行し、Ａ／Ｄ変換部１２ａを介して角度センサ８ａからの角度信号を取得する。
【００４８】
次に、ステップＳ１０７で再びＣＮＴ値に応じて、処理をステップＳ１０８もしくはステップＳ１０９へと分岐させる。ＣＮＴ値がゼロの場合は、ステップＳ１０８において、後述する換算式をステップＳ１０５で取得した画像の傾き角度を用いて更新する。ＣＮＴ値がゼロでない場合は、ステップＳ１０９において、ステップＳ１０６にて取得した角度信号から後述する換算式を用いて撮像装置１００の傾きを算出する。
【００４９】
ステップＳ１１０ではステップＳ１０９で算出した撮像装置１００の傾きによって生じる撮影画像の傾きを解消する方向にレンズ鏡筒２を回転させるための制御信号値を算出し、これをＤ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する。
【００５０】
ステップＳ１１１ではＣＮＴ値を角度センサ８ａからの１秒あたりの角度信号読み込み回数６００と比較し、ＣＮＴ値がもしも６００ならばＣＮＴをリセット（ステップＳ１１２）し、６００でなければＣＮＴを１だけカウントアップする。
【００５１】
以上のように構成された実施の形態１に関し、以下その動作を、マイコン１４に格納された処理プログラムを基に説明する。
【００５２】
撮像装置１００の操作者の指示などにより傾き補正が動作の状態にされると図７に示した一連の処理が開始される。
【００５３】
まず、撮影された画像から画像傾き角検出処理部７によって、画像の傾きの角度の検出が開始される。略同時に角度センサ８ａも撮像装置１００自体の傾きの検出を開始する。初期の状態ではＣＮＴ値はゼロであり（ステップＳ１０２）、ステップＳ１０３で画像傾き角検出処理部７による画像の傾き角度の検出の完了を待つ。画像傾き角検出処理部７による画像の傾き角度の検出が完了したことを知る方法は、例えば一定時間のタイマー処理でウエイトをかける方法や、画像傾き角検出処理部７が処理完了を割り込みや通信でマイ
コン１４に伝えるなど様々な方法が考えられるが、実施の形態１においては、方法は特に限定されない。
【００５４】
画像傾き角検出処理部７による画像の傾き角度の検出が完了すると、ステップＳ１０４にてＣＮＴ値が確認される。最初はＣＮＴ値はゼロのため、ステップＳ１０５において画像傾き角検出処理部７によって検出された画像の傾き角度が取得される。
【００５５】
次にステップＳ１０６においてはＡ／Ｄ変換部１２ａを介して角度センサ８ａからの角度信号が取得される。
【００５６】
次にステップＳ１０７においてＣＮＴ値がゼロであるため、ステップＳ１０８に移行し、ステップＳ１０５で取得した角度信号を角度に換算するための換算式を更新する。ここで角度信号から角度を換算する換算式の更新について、図８を用いて説明する。
【００５７】
まず換算式は、（数１）に示したような式となるが、これはあくまでも換算式の初期値である。その理由は、角度センサ８ａは例えば重力加速度の方向や大きさを検出する物理的センサであり、その特性は部品ごとにばらつきや温度特性を有することが一般的だからである。個別に角度センサ８ａの特性を調整するなどの処理をしない場合、角度センサ８ａごとに特性のばらつきが発生する。このため、角度信号値から換算式によって得られる角度の値が正しいとは限らない。また、角度センサ８ａを個別に調整したとしても、経年変化や温度変化によって、やはり得られる角度の値が正しい保証はない。一方、画像傾き角検出処理部７から得られる画像の傾きの角度値は、個体ばらつきや経年変化や温度変化による影響を受けない。
【００５８】
そこでステップＳ１０８においては、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）を行う。図９に示すようにステップＳ１０５で取得した画像の傾き角度をθ２、ステップＳ１０６で取得した角度信号をｂとすると、図８および（数１）に示した初期状態の換算式では、角度信号がｂの場合、換算結果の角度はθ３となる。仮に角度信号に応じて正しく撮像装置１００の傾き角度が検出されており、且つレンズ鏡筒２がこの傾き角度に合致して回転していれば、撮影された画像の傾きは０度である。つまり撮影画像は水平を保たれて撮影されているので、θ２は０となる。しかし、角度信号値から換算式によって得られる角度の値が正しくない場合、撮影された画像は傾いた状態で撮影されるため、θ２は何らかの値を持つ。そしてこのθ２の値は角度信号値から換算式によって得られる角度の値の誤差に相当するといえる。したがって、θ３から誤差であるθ２を除いた値が撮像装置１００の正しい角度であることとなる。そこでθ３からθ２を除いた値とθ３を比較し、両者が等しければ換算式の更新は不要と判断する。逆にθ３からθ２を除いた値とθ３が異なる場合、θ３からθ２を除いた値を新たにθ４として、換算式の傾きを以下の（数３）よって算出し、
【００５９】
【数３】
2009011105.tif 000046
【００６０】
このＫ’を用いて換算式を以下の（数４）のように更新する。
【００６１】
【数４】
2009011105.tif 000047
【００６２】
次にステップＳ１０９では、ステップＳ１０８において更新された換算式（数４）を用
いてステップＳ１０６で取得した角度信号から撮像装置１００の傾き角度を算出する。ステップＳ１１０では、レンズ鏡筒２を回転駆動して撮影画像の傾きを解消するための制御信号を生成し、Ｄ／Ａ変換部１５を介して鏡筒回転駆動部１６に供給する。この制御信号に基づきレンズ鏡筒２が回転することにより、撮像装置１００の傾きに起因して発生する撮影画像の傾きが補正される。
【００６３】
ステップＳ１１１、ステップＳ１１２、ステップＳ１１３はＣＮＴ値をリセットもしくはカウントアップするステップであり、ＣＮＴ値が６００の場合はＣＮＴ値をゼロにリセットし、ＣＮＴ値が６００未満の場合は、１だけカウントアップを行う。
【００６４】
これら一連の処理が完了すると、例えばマイコン１４に内蔵されたタイマーにより一定周期で割り込みがかけられ、ステップＳ１０４以降のループ処理が繰り返される。
【００６５】
２回目以降のループでは、ＣＮＴ値がゼロではないため、ステップＳ１０５およびステップＳ１０８は実施されず、ステップＳ１０６で取得された角度信号を基に、ステップＳ１０８で更新された換算式によって、撮像装置１００の傾きの角度が算出される。ステップＳ１１０では、レンズ鏡筒２を回転駆動して撮影画像の傾きを解消するための制御信号が生成される。そして、上述したようにレンズ鏡筒２が回転することにより、撮像装置１００の傾きに起因して発生する撮影画像の傾きが補正される。
【００６６】
これらのループが繰り返され、ＣＮＴ値が６００となりステップＳ１１２にてＣＮＴがゼロにリセットされた次のループでは、再度、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）が行われる。
【００６７】
このように、一定周期ごとに、画像傾き角検出処理部７から得られた画像の傾きの角度値を利用して、換算式の更新（校正）を行う。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、角度信号から角度を算出する換算式が絶えず更新されている。このため、精度の高い角度検出および撮像装置１００の傾きの補正を実現することができる。
【００６８】
以上のように、実施の形態１においては、マイコン１４は、画像傾き角検出処理部７によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ８ａから得られる撮像装置１００の角度信号を校正する。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出が可能となる。さらに、この検出された傾き角度を利用して撮像装置１００の傾きを補正することにより、精度の高い傾き補正を実現することが可能である。
【００６９】
（実施の形態２）
本発明の実施の形態１においては、撮像装置１００の傾きに起因する撮影画像の傾きを補正するために、レンズ鏡筒２を回転駆動する構成を説明したが、レンズ鏡筒２の代わりに撮像素子３を回転することで撮影画像の傾きを補正する構成も考えられる。実施の形態２は、撮像素子３を回転することで撮影画像の傾きを補正するものである。
【００７０】
図１０は、本発明の実施の形態２における撮像装置２００の構成を示すブロック図を示すものである。実施の形態１と同様な部分には同じ符号を付して説明を省略し、異なる部分についてのみ説明する。図１０において、撮像素子回転機構１９は撮像素子３を撮像光学系１の光軸を中心に回転させるための機構である。撮像素子回転駆動部１８は、本発明の実施の形態１の鏡筒回転駆動部１６と同様に、撮像素子回転機構１９を回転駆動するためのものであり、これによって撮像素子回転機構１９が回転運動し、結果的に撮像素子３が回転して撮影時の画像の傾きが補正される。撮像素子回転機構１９の概略構成を図１１
に示す。
【００７１】
図１１において、撮像素子回転機構１９は、回転台１９１と固定枠１９２と駆動源１９３とからなる。撮像素子３は回転台１９１上に固定され、回転台１９１は回転自在に固定枠１９２上に設置される。また固定枠１９２上に固定される駆動源１９３は図示しないＤＣモーターなどのアクチュエータとその回転駆動力を回転台１９１に伝達するギアボックスからなる。
【００７２】
撮像素子回転駆動部１８はマイコン１４からＤ／Ａ変換部１５を介して回転制御信号を受け、駆動源１９３に含まれるアクチュエータをコントロール可能な信号に変換し、変換された信号を出力する。この信号を受け取った駆動源１９３は、その指示に従って駆動力を発生させ、回転台１９１および撮像素子３を回転駆動させる。回転台１９１および撮像素子３の回転移動量は固定枠１９２に固定された図示しない位置検出器で検出する。位置検出器は、磁気センサを固定枠１９２に設けるような構成を有する。磁気センサは、例えば回転台１９１の内周に描かれたスリット状の磁気パターンが作る磁界の強さの強弱を読み取る。このような位置検出器の出力は撮像素子回転駆動部１８に返され、そのパルス数をカウントすることにより位置がわかる。この情報を使ってフィードバック制御ループを形成することによって精度よく撮像素子３の位置決めが可能となる。
【００７３】
このように構成された実施の形態２においては、実施の形態１と同様にＤ／Ａ変換部１５を介してマイコン１４から供給される制御信号によって撮像素子３が回転され、撮像装置２００の傾きに起因する撮影画像の傾きが補正される。
【００７４】
また実施の形態１と同様に、画像傾き角検出処理部７によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ８ａから得られる撮像装置２００の角度信号を校正する。これにより、角度センサ８ａが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出および撮像装置２００の傾きの補正を実現することが可能である。
【００７５】
（実施の形態３）
以下、本発明の実施の形態３における撮像装置３００について、図１２〜図１６を用いて説明する。図１２は本発明の実施の形態３における撮像装置３００の構成を示すブロック図、図１３は角速度算出処理のブロック図、図１４は角度変化量算出処理のブロック図、図１５、１６は装置傾き角算出処理のブロック図である。また、実施の形態３においては、画像傾き角から求めた装置の傾き角度と傾きセンサで求めた装置の傾き角度を区別するために、前者をαＩと表し画像傾き角と呼び、後者をαＳと表して装置傾き角と呼ぶことにする。
【００７６】
図１２を用いて実施の形態３における撮像装置３００の構成について説明する。実施の形態３が実施の形態１および実施の形態２と異なる点は、撮像装置３００の傾きセンサとして角度センサに代えて角速度センサを使用する点である。その他の構成は、実施の形態１および実施の形態２と同じであるので同様な部分には同じ符号を付し、説明を省略する。
【００７７】
角速度センサ８ｂは被写体に対してローリング方向の角速度を検出するように撮像装置３００の任意の位置に固定された所謂ジャイロセンサである。ジャイロセンサの出力としてはアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合を取り上げている。角速度センサ８ｂから出力される電圧信号はＨＰＦ９ｂ、ＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂ、角速度算出処理部２１へと順次送られ処理される。デジタルＬＰＦ２０ｂでは主に高周波ノイズを削除す
るためのローパスフィルタ処理が必要に応じて行われる。角速度算出処理部２１では後述する電圧値の角速度への変換が行われ、角度変化量算出処理部２２では後述する角速度の角度変化量への変換が行われる。
【００７８】
装置傾き角算出処理部１３では画像傾き角検出処理部７から出力される傾き角を用いて角度変化量算出処理部２２から出力される角度変化量を補正し撮像装置３００の傾き角を算出する。その詳細な動作については後述する。
【００７９】
デジタル処理であるデジタルＬＰＦ２０ｂ、角速度算出処理部２１、角度変化量算出処理部２２、装置傾き角算出処理部１３は、マイコン１４の内部に実現される。またマイコン１４は撮像素子駆動部１７を介して撮像素子３の撮影タイミングなどの動作を制御する。
【００８０】
次に角速度算出処理部２１で実行される処理について図１３を用いて説明する。
【００８１】
既に説明したように角速度センサ８ｂのアナログ電圧出力はＨＰＦ９ｂ、ＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂを経る間に帯域制限やノイズ除去、Ａ／Ｄ変換といった前処理を施され、Ａ／Ｄ変換部１２ｂのサンプリング周波数ｆＳ[Hz]にてデジタル化された電圧信号Ｖ(ｎ・Ts)[V]となる。ここでTsはサンプリング周期[sec]、ｎは整数である。角速度算出処理部２１にはこのデジタル化された電圧信号が入力される。これに対して（数５）に示す演算を行い角速度ω(ｎ・Ts)[deg/sec]を出力する。
【００８２】
【数５】
2009011105.tif 000048
【００８３】
（数５）を実現するブロック図を図１３に示し、これについて説明する。角速度算出処理部２１の内部ではまず入力信号が分岐され、一方は加算器５１に、他方は移動平均算出処理部５０に入力される。移動平均算出処理部５０では最近数十点分の電圧値の平均（移動平均電圧値と呼ぶ）を算出し、加算器５１へと出力される。移動平均電圧値は角加速度０のときの基準電圧となる。加算器５１では、最新の電圧値から移動平均電圧値を減算し、差分電圧値が出力される。乗算器５２では予め設定された感度定数Ｓ[V/deg/sec]での割り算を実行する。これにより差分電圧値は角速度ω(ｎ・Ts)[deg/sec]に変換される。
【００８４】
次に角度変化量算出処理部２２で実行される処理について説明する。角度変化量算出処理部２２では角速度ω(ｎ・Ts)[deg/sec]を積分し、角度変化量φ(ｎ・Ts)[deg]を出力する。具体的には図１４に示すように、まず乗算器５３において角速度ω(ｎ・Ts)[deg/sec]に対してＡ／Ｄ変換部１２ｂのサンプリング周期Ts[sec]を掛け合わせる。次に加算器５４において積分処理を行う。
【００８５】
次に装置傾き角算出処理部１３で実行される処理について説明する。装置傾き角算出処理部１３では角度変化量算出処理部２２から角度変化量φ(ｎ・Ts)[deg]と画像傾き角検出処理部７から画像傾き角αＩ(ｍ・Ti)[deg]が入力される。ここでTiは画像傾き角αＩのサンプリング周期[sec]、ｍは整数である。画像傾き角αＩ(ｍ・Ti)[deg]を基準として、角度変化量φ(ｎ・Ts)[deg]の絶対値の補正を行う。具体的には図１５に示すように、加算器５５において角度変化量φ(ｎ・Ts)[deg]から、補正値算出処理部５９からの入力
値である補正値Ｃ(ｎ・Ts)[deg]を減算する。これにより撮像装置３００の傾き角αＳ(ｎ・Ts)[deg]が得られる。装置傾き角αＳ(ｎ・Ts)[deg]は装置傾き角算出処理部１３から出力される一方で装置傾き角保存メモリ５６に送られる。装置傾き角保存メモリ５６に保存された値は加算器５７に送られる。加算器５７では装置傾き角αＳ(ｎ・Ts)[deg]から、画像傾き角検出処理部７からの入力値である画像傾き角αＩ(ｍ・Ti)[deg]が減算される。
【００８６】
この差分値（αＳ(ｎ・Ts)−αＩ(ｍ・Ti)）[deg]が差分値保存メモリ５８に代入される。この差分値が０となるよう、補正値算出処理部５９にて補正値Ｃ(ｎ・Ts)[deg]を変更することにより装置傾き角αＳ(ｎ・Ts)[deg]へのフィードバックを行う。この差分値算出の際、装置傾き角αＳ(ｎ・Ts)[deg]と画像傾き角αＩ(ｍ・Ti)[deg]のサンプリングタイミングは同期していなければならない。そこで装置傾き角保存メモリ５６の更新、加算器５７での減算処理、差分値保存メモリ５８の更新はマイコン１４のタイミング管理下で画像傾き角検出処理部７の処理周期ｆＩ[Hz]に同期して行われる。つまりマイコン１４は、画像傾き角検出処理部７から処理結果出力（画像傾き角の更新）のタイミングを受け、装置傾き角算出処理部１３に差分値保存メモリ５８の更新処理を指示する。ここで差分値保存メモリ５８の更新処理とは、装置傾き角保存メモリ５６から受け取る装置傾き角と、画像傾き角検出処理部７から受け取る画像傾き角を加算器５７で減算処理し、その結果を差分値保存メモリ５８に代入する一連の処理を指す。
【００８７】
その後マイコン１４は、次に画像傾き角検出処理部７に送る画像信号の撮像素子３における露光終了タイミングを特定し図示しない結線を通して装置傾き角保存メモリ５６に送る。装置傾き角保存メモリ５６ではマイコン１４からタイミングの指示を受け、保持している装置傾き角αＳ(ｎ・Ts)[deg]の値を更新する。さらにマイコン１４はこの露光終了タイミングで取り込んだ画像信号をカメラ信号処理部４で処理した結果が次に画像傾き角検出処理部７に送られるよう制御する。
【００８８】
なおここでは露光終了タイミングを送ることとしたが、露光開始タイミングあるいは露光開始と終了の間のいずれかのタイミングを送るようにしても実用上問題ない。傾き補正の場合、手ブレ補正と異なり比較的低い数Ｈｚ程度の周波数の動きを補正対象とするからである。
【００８９】
補正値算出処理部５９では補正値Ｃ(ｎ・Ts)[deg]の更新を行う。その際補正値Ｃ(ｎ・Ts)[deg]の急変を避けるため、差分値保存メモリ５８から受け取った差分値（αＳ(ｎ・Ts)−αＩ(ｍ・Ti)）[deg]を分割して補正値Ｃ(ｎ・Ts)[deg]に加算するように構成している。具体的には差分値保存メモリ５８から受け取る差分値（αＳ(ｎ・Ts)−αＩ(ｍ・Ti)）[deg]に対して乗算器６０で（ｆＩ／ｆＳ）を乗算する。加算器６１では乗算器６０の出力値の積分処理を行う。
【００９０】
次に撮像素子回転駆動部１８は装置傾き角算出処理部１３から受け取る装置傾き角αＳ(ｎ・Ts)[deg]に応じて撮像素子３を撮像素子３の光軸周りに−αＳ(ｎ・Ts)[deg]回転駆動し、得られる撮影画像の水平を保つようにする。
【００９１】
以上のような実施の形態によれば、角速度センサ（ジャイロセンサ）８ｂを使用することにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることなく角速度を取得することが可能となる。また角速度センサ８ｂを使用する場合、角速度から角度変化量は積分計算により容易に求めることができるが、傾き角、つまり水平からの絶対的な傾き角はわからないという問題があった。この問題は、傾き角が出力可能な画像傾き角検出部を組み合わせることにより解決され、傾き角を得ることが可能となった。
【００９２】
また温度特性／経時変化のない画像傾き角検出部で傾き角を補正することにより角速度センサ（ジャイロセンサ）の温度特性／経時変化の影響を排除した正確な傾き角を取得することが可能となる。
【００９３】
また本実施の形態においては、角速度算出処理部２１と角度変化量算出処理部２２を分割していたが、図１６に示すような両者を融合した形態としてもよい。図１６は図１５の結線を一部変更したのみであり、説明は省略する。
【００９４】
（実施の形態４）
以下、本発明の実施の形態４における撮像装置４００について、図１７〜図２０を用いて説明する。実施の形態４における撮像装置４００は、実施の形態３の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化／経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置４００は、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。
【００９５】
実施の形態４の撮像装置４００における主な構成は、実施の形態３の構成と同じである。相違点は加速度センサを備え、その出力値を利用して画像傾き角検出処理の高精度化を図った点である。
【００９６】
図１７は本発明の実施の形態４における撮像装置４００の構成を示すブロック図、図１８は加速度算出処理のブロック図、図１９はコアリング処理部での入出力特性を示す図、図２０Ａ、図２０Ｂおよび図２０Ｃは傾き角検出処理の処理過程の説明図である。
【００９７】
実施の形態３と共通する部分は同じ符号を付して説明を省略し、実施の形態３と異なる部分のみ説明を行う。
【００９８】
加速度センサ８ｃは、撮像装置４００から被写体側へ伸ばした光軸ＡＸに対して垂直で且つ撮影画像の横方向に相当する方向の加速度を検出するように撮像装置４００の任意の位置に固定されている。加速度センサ８ｃの場合もジャイロセンサの出力と同じようにアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合について説明する。加速度センサ８ｃから出力される電圧信号は、ＨＰＦ９ｃ、ＬＰＦ１０ｃ、アンプ１１ｃ、Ａ／Ｄ変換部１２ｃ、デジタルＬＰＦ２０ｃ、加速度算出処理部２３へと順次送られ処理される。デジタルＬＰＦ２０ｃでは主に高周波ノイズを削除するためのローパスフィルタ処理が必要に応じて行われる。加速度算出処理部２３では後述する電圧値の加速度への変換が行われる。
【００９９】
参照傾き角算出処理部２４では後述する加速度の傾き角への変換が行われる。画像傾き角検出処理部７では画像内の被写体の水平に対する傾き角の検出処理が行われる。基本的なアルゴリズムは実施の形態１で説明したものと同じである。相違点は、参照傾き角算出処理部２４から受け取った参照傾き値を利用して傾き角算出精度の向上を図る点である。その詳細な動作については後述する。デジタル処理であるデジタルＬＰＦ２０ｃ、加速度算出処理部２３、参照傾き角算出処理部２４は、マイコン１４の内部に実現される。
【０１００】
以下、実施の形態４の撮像装置４００の動作について実施の形態３と異なる部分のみ説明する。
【０１０１】
まず加速度算出処理部２３で実行される処理について図１８を用いて説明する。既に説明したように、加速度センサ８ｃのアナログ電圧出力はＨＰＦ９ｃ、ＬＰＦ１０ｃ、アン
プ１１ｃ、Ａ／Ｄ変換部１２ｃ、デジタルＬＰＦ２０ｃを経る間に帯域制限やノイズ除去、Ａ／Ｄ変換といった前処理が行われ、Ａ／Ｄ変換部１２ｃでサンプリング周波数ｆＳ[Hz]にてデジタル化された電圧信号Ｖａ(ｎ・Ts)[V]となる。ここでもTsはサンプリング周期[sec]、ｎは整数である。加速度算出処理部２３には、このデジタル化された電圧信号が入力される。これに対してコアリング処理部８０では残留ノイズの影響により測定値が微小に振動して後の処理に悪影響を与えることを避けるために（数６）で示される変換を行う。図１９に入出力特性を示す。
【０１０２】
【数６】
2009011105.tif 000049
【０１０３】
０Ｇ電圧保存メモリ８１には加速度センサ８ｃが０Ｇ検出時の出力電圧値定数が保存されている。加算器８２にて、コアリング処理後の電圧信号から０Ｇ電圧を減算する。乗算器８３でこの減算結果に対して感度定数ＳＧ[V/G]の逆数を掛け合わせることにより加速度Ａを得る。
【０１０４】
参照傾き角算出処理部２４では、撮像装置４００から被写体側へ伸ばした光軸ＡＸ周りの傾き角αＧを（数７）に従い加速度Ａから求める処理を行う。
【０１０５】
【数７】
2009011105.tif 000050
【０１０６】
こうして求めた傾き角αＧを参照傾き角と呼ぶこととする。画像傾き角検出処理部７では、基本的には実施の形態１の場合とほとんど同じ処理を行う。相違点は、図４のステップＳ５にてピーク検出を行う際、±９０度全範囲をサーチする代わりに、参照傾き角αＧの近傍のみをサーチする点である。この点について図２０Ａ〜図２０Ｃを用いて説明する。図２０Ａは傾きを有して撮影されてしまった画像の例である。この画像の特徴は、本来の水平／垂直方向の線分と斜めの線分の分布の差が小さいことである。そのため、この画像に対して図４のフローチャートに従い、抽出線分の角度分布算出までの処理を実施すると図２０Ｂに模式的に示すような角度分布が得られる。このようなケースで±９０度全範囲をサーチすると間違ってαＥを画像傾き角と判定してしまう可能性がある。そこで参照傾き角αＧを用いて、図２０Ｂに示すようにピークサーチ範囲をαＧ±βに制限する。こうすれば図２０Ｂに示すαＩを画像傾き角として検出することができ、エラーの発生を防ぐことができる。ここでβの値は加速度センサの傾き角検出精度に略一致する値に設定すればよい。現状市販されているＭＥＭＳを利用した加速度センサの場合は、５〜１０度程度が望ましい。
【０１０７】
上述のように、実施の形態４によれば、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角αＩを求めることが可能となる。こうして求めた画像傾き角αＩを用いて装置傾き角αＳを補正し、傾き補正を実行すれば図２０Ｃに示すような水平が正しく保たれた画像を精度よく得ることが可能となる。
【０１０８】
なお実施の形態４では１軸の加速度センサを用いたがこれに限定されない。１軸であれば±９０度の範囲しか検出できないが、例えば、撮像装置４００から被写体側へ伸ばした光軸ＡＸに垂直な方向に、互いに直交した２軸の加速度センサを用いた場合には±１８０度の範囲で傾き角の検出が可能になる。
【０１０９】
（実施の形態５）
以下、本発明の実施の形態５における撮像装置５００について、図２１〜図２４を用いて説明する。実施の形態５における撮像装置５００は、実施の形態３の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化／経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置５００は、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。
【０１１０】
実施の形態５の撮像装置５００における主な構成は、実施の形態３の構成と同じである。相違点は手ブレ補正装置を備え、その装置内にあるアクチュエータの駆動電流量を利用して参照傾き角を検出し、画像傾き角検出処理の高精度化を図った点である。
【０１１１】
図２１は本発明の実施の形態５における撮像装置５００の構成を示すブロック図、図２２はヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図、図２３Ａ、図２３Ｂおよび図２３Ｃは撮像装置５００の傾き角とピッチング保持枠の関係を示す図、図２４は撮像装置５００の傾き角とコイルの駆動電流の関係を示す図である。ここでも、実施の形態３と共通する部分には同じ符号を付して説明を省略し、実施の形態３と異なる部分、具体的には手ブレ補正装置および参照傾き角算出処理部の説明を行う。
【０１１２】
まず手ブレ補正装置および参照傾き角算出処理部の構成について図２１、図２２を用いて説明する。
【０１１３】
手ブレ補正装置は、被写体に対してヨーイング方向およびピッチング方向の撮像装置５００の角度変化量を検出し、この角度変化量に起因する光路のシフトを、撮像光学系１を構成するレンズ群の１つであるレンズ群Ｌ２を撮像画面の水平／垂直方向に駆動することにより補正する。図２１において手ブレ補正装置はヨーイング方向角速度センサ２５、ＬＰＦ２６、アンプ２７、Ａ／Ｄ変換部２８、デジタルＬＰＦ２９、角速度算出処理部３０、角度変化量算出処理部３１、ヨーイング方向駆動制御部３２、ピッチング方向角速度センサ３３、ＬＰＦ３４、アンプ３５、Ａ／Ｄ変換部３６、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３９、ピッチング方向駆動制御部４０、撮像光学系１からなる。ヨーイング方向角速度センサ２５およびピッチング方向角速度センサ３３は被写体に対してそれぞれヨーイング方向、ピッチング方向の角速度を検出するように撮像装置５００の任意の位置に固定された所謂ジャイロセンサである。ヨーイング方向角速度センサ２５の出力に対するＬＰＦ２６、アンプ２７、Ａ／Ｄ変換部２８、デジタルＬＰＦ２９、角速度算出処理部３０、角度変化量算出処理部３１の処理およびピッチング方向角速度センサ３３の出力に対するＬＰＦ３４、アンプ３５、Ａ／Ｄ変換部３６、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３９の処理は、実施の形態３のＬＰＦ１０ｂ、アンプ１１ｂ、Ａ／Ｄ変換部１２ｂ、デジタルＬＰＦ２０ｂ、角速度算出処理部２１、角度変化量算出処理部２２の処理と同じであるため、説明を省略する。ヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０は、それぞれ角度変化量算出処理部３１、角度変化量算出処理部３９から受け取った角度変化量に基づき、光軸補正用レンズ群Ｌ２を光軸ＡＸに垂直な面内で駆動し、画像の動きを補正する。
【０１１４】
次に、実施の形態５に用いる手ブレ補正装置の機構部詳細について、図２２を用いて説明する。図２２において、手ブレ補正機構部９０はヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０の一部であり、ピッチング保持枠９１と、ヨーイング保持枠９２と、固定枠９５と、ヨーイング用アクチュエータ９９ｘと、ピッチング用アクチュエータ９９ｙと、発光素子１００と、受光素子１０１とを含む。
【０１１５】
ピッチング保持枠９１は、コイル９４ｘ、９４ｙを有する。第２レンズ群Ｌ２および発光素子１００は、ピッチング保持枠９１に固定されている。ピッチング保持枠９１は、２本のピッチングシャフト９３ａ、９３ｂを介して、ヨーイング保持枠９２に対し、Ｙ方向に摺動可能に保持される。
【０１１６】
ヨーイング保持枠９２は、ヨーイングシャフト９６ａ、９６ｂを介して、固定枠９５に対し、Ｘ方向に摺動可能に保持される。
【０１１７】
ヨーイング用アクチュエータ９９ｘは、マグネット９７ｘと、ヨーク９８ｘとを有し、固定枠９５に保持される。同様に、ピッチング用アクチュエータ９９ｙは、マグネット９７ｙと、ヨーク９８ｙとを有し、固定枠９５に保持される。
【０１１８】
受光素子１０１は、固定枠９５に固定され、発光素子１００の投射光を受光し、２次元の位置座標を検出する。
【０１１９】
またヨーイング方向駆動制御部３２にはヨーイング用アクチュエータ９９ｘが動作したときのコイル９４ｘに流れる電流値を検出する図示しないヨーイング電流値検出部があり、参照傾き角算出処理部２４ｃにヨーイング電流値を受け渡す。同様に、ピッチング方向駆動制御部４０にはピッチング用アクチュエータ９９ｙが動作したときのコイル９４ｙに流れる電流値を検出する図示しないピッチング電流値検出部があり、参照傾き角算出処理部２４ｃにピッチング電流値を受け渡す。
【０１２０】
参照傾き角算出処理部２４ｃは、ヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０から受け取ったヨーイング電流値およびピッチング電流値を用いて後述する撮像装置５００の傾き角の算出を行う。
【０１２１】
またデジタル処理であるデジタルＬＰＦ２９、角速度算出処理部３０、デジタルＬＰＦ３７、角速度算出処理部３８、角度変化量算出処理部３１、角度変化量算出処理部３９、参照傾き角算出処理部２４ｃは、マイコン１４の内部に実現される。
【０１２２】
次に、実施の形態５における撮像装置５００の手ブレ補正装置および参照傾き角算出処理部２４ｃの動作について、図２１、図２２を用いて説明する。
【０１２３】
撮像装置５００の動作時、撮像装置５００に加わる手ブレや振動は、ヨーイング方向角速度センサ２５、ピッチング方向角速度センサ３３により検知される。それぞれの検出電圧は既に説明したように角度変化量に変換され、ヨーイング方向駆動制御部３２、ピッチング方向駆動制御部４０に送られる。ヨーイング方向駆動制御部３２、ピッチング方向駆動制御部４０は受け取った角度変化量を基に手ブレなどを打ち消すための制御信号を生成し、手ブレ補正機構部９０を駆動する。この制御信号に応じた電流は、ピッチング保持枠９１のコイル９４ｘ、９４ｙのそれぞれに供給される。ピッチング保持枠９１は、供給された電流とマグネット９７ｘ、９７ｙとから形成された磁気回路により、光軸ＡＸと直角な２方向Ｘ、Ｙ平面内を移動する。また、ピッチング保持枠９１の位置検出は、受光素子１０１を用いることにより高精度に行われる。すなわち、手ブレ補正機構部９０により第２レンズ群Ｌ２は、光軸と直交する２平面内を移動する。これにより、撮像光学系１を介して撮像素子３に入射する画像の水平および垂直方向のブレ補正を行うことができる。
【０１２４】
また手ブレ補正駆動を行う際にコイル９４ｘ、９４ｙに流れる電流値が参照傾き角算出処理部２４ｃに送られる。このときの電流値について図２３Ａ〜図２３Ｃ、図２４を用いて説明する。図２３Ａは傾き角０の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。レンズ群Ｌ２を
所定の位置に保持するためには、Ｙ方向に関して、レンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００の質量和Ｍyが重力方向（−Ｙ方向）にかかるため、コイル９４ｙにその自重分を持ち上げるための駆動電流Ｉyaを流す必要がある。一方、Ｘ方向に関しては、レンズ群Ｌ２を所定の位置に保持するために自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力０に相当する基準電流Ｉxaをコイル９４ｘに流せばよい。なお手ブレ補正機構部９０を駆動する場合にはレンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００とヨーイング保持枠９２、ピッチングシャフト９３ａ、９３ｂの質量和Ｍxがヨーイング保持枠９２とヨーイングシャフト９６ａ、９６ｂの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部９０を駆動するに必要且つ十分の電流をコイル９４ｘに流せばよい。
【０１２５】
図２３Ｂは傾き角９０度の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群Ｌ２を所定の位置に保持するためには、Ｘ方向に関して、レンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００、ヨーイング保持枠９２、ピッチングシャフト９３ａ、９３ｂの質量和Ｍxが重力方向（−Ｘ方向）にかかるため、コイル９４ｘにその自重分を持ち上げるための駆動電流Ｉxbを流す必要がある。一方、Ｙ方向に関しては、レンズ群Ｌ２を所定の位置に保持するための自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力０に相当する基準電流Ｉybをコイル９４ｙに流せばよい。なお手ブレ補正機構部９０を駆動する場合にはレンズ群Ｌ２、ピッチング保持枠９１、コイル９４ｘ、９４ｙ、発光素子１００の質量和Ｍyがピッチング保持枠９１とピッチングシャフト９３ａ、９３ｂの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部９０を駆動するに必要且つ十分の電流をコイル９４ｙに流せばよい。なおＭy＜ＭxであるためＩya＜Ｉxbとなる。
【０１２６】
図２３Ｃは傾き角θ度の状態で保持された撮像装置５００におけるピッチング保持枠９１を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群Ｌ２を所定の位置に保持するためには、Ｙ方向に関して、位置保持のための上記の質量和Ｍyの角度θ分の分力（位置保持のための力）と、ピッチング保持枠９１とピッチングシャフト９３ａ、９３ｂの間に発生する摩擦抵抗の角度θ分の分力（駆動のための力）との和を打ち消すための駆動電流Ｉycを流す必要がある。一方、Ｘ方向に関しては、上記の質量和Ｍxの角度θ分の分力（位置保持のための力）と、ヨーイング保持枠９２とヨーイングシャフト９６ａ、９６ｂの間に発生する摩擦抵抗の角度θ分の分力（駆動のための力）との和を打ち消すための駆動電流Ｉxcを流す必要がある。以上をまとめると、レンズ群Ｌ２を所定の位置に保持するためにコイル９４ｘ、９４ｙにかかる駆動電流の中央値（静止時駆動電流）は図２４に示すようになる。
【０１２７】
参照傾き角算出処理部２４ｃでは、予めコイル９４ｘ、９４ｙにかかるそれぞれの駆動電流の基準電流値および最大電流値を記憶しておく。これらの値を用いてヨーイング方向駆動制御部３２およびピッチング方向駆動制御部４０から受け取る２方向の駆動電流値を正規化し、その比から傾き角を算出する。これを参照傾き角として画像傾き角検出処理部７に渡す。
【０１２８】
画像傾き角検出処理部７では、参照傾き角算出処理部２４ｃから受け取った参照傾き角を用いて実施の形態４で説明した処理と同様の処理を実行する。
【０１２９】
上述のように、実施の形態５によれば、水平／垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角αＩを求めることが可能となる。こうして求めた画像傾き角αＩを用いて装置傾き角αＳを補正し、傾き補正を実行することが可能となり、水平が正しく保たれた画像を精度よく得ること
が可能となる。
【０１３０】
（その他の実施の形態）
本発明の内容は、上述した実施の形態に示された具体例に限定されない。例えば、以下のような変形例も考えられる。
【０１３１】
（１）
撮像装置の傾き角を検出するセンサとしては、振り子状の構造物を内蔵した角度センサもしくは傾斜センサや、重力加速度などを検出する加速度センサ、もしくは回転角速度を検出する角速度センサが用いられるが特にいずれかに限るものではない。
【０１３２】
（２）
本発明の実施の形態において、角度センサ８は重力の方向（鉛直方向）に対し９０度をなす方向を水平方向として定め、これを角度の基準（角度＝０度）として定め、撮像装置の傾きの大きさおよび方向に応じて正負両方向の角度信号を出力するものとした。しかし、本発明はこれに限られるものではない。鉛直方向を角度の基準（角度＝０度）として撮像装置の傾きの大きさ、方向を検出してもよい。
【０１３３】
（３）
本発明の実施の形態において、傾きの補正を行う際、レンズ鏡筒２もしくは撮像素子３を撮像光学系１の光軸を中心に回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば図２５に示したように光軸と平行する軸を中心として回転させても撮影画像の傾きを補正することが可能である。本発明においても、レンズ鏡筒２もしくは撮像素子３を撮像光学系１の光軸と平行する軸を中心として回転させてもよい。
【０１３４】
（４）
本発明の実施の形態において、図７に示したように画像傾き角検出処理部７が最初に画像からの傾き検出結果を出力するまでは、鏡筒回転駆動部１６もしくは撮像素子回転駆動部１８による傾きの補正が動作しない構成を説明した。しかし、本発明はこれに限られるものではない。例えば、最初の画像傾き角検出処理部７による画像からの傾き検出結果が出力されるまでは、角度センサ８ａから得られる角度信号と初期の換算式から算出される傾き角度によって撮影画像の傾き補正を行ってもよい。
【０１３５】
（５）
本発明の実施の形態において、角度センサ８ａから得られた角度信号を角度に換算するための関係式の例として図８、図９を示した。しかし、本発明はこれに限るものではない。例えば図２６のように原点を通らない１次直線の関係でもよい。もちろん２次以上の高次でもよい。また原点を通らない１次直線の関係や２次以上の高次の場合、換算式を校正する際には、画像傾き角検出処理部７から検出される画像からの傾き検出結果を複数用いて換算式を校正すればよい。
【０１３６】
（６）
本発明の実施の形態において、画像傾き角検出処理部７による画像からの傾き検出は撮影周期ごととして説明を行った。しかし、本発明はこれに限られるものではない。実施の形態において用いる角度センサの特性、性能を考慮して、任意に周期を設定するのが有効である。その際、画像傾き角検出処理部７による画像からの傾き検出の周期を低減すれば、機器の消費電力の低減などの新たな効果が実現可能である。
【０１３７】
（７）
本発明の実施の形態において、マイコン１４によるプログラム処理による例を示した。
しかし、本発明はこれに限られるものではない。マイコン１４によるプログラム処理を電子回路などのハードウェアにより実現することが可能であることは言うまでもない。
【０１３８】
（８）
本発明の実施の形態において、撮像装置の撮像素子数に関しては特に言及しなかった。しかし、単板式撮像装置、２板式撮像装置、３板式撮像装置のいずれの撮像装置においても本発明が有効であることは明らかである。
【０１３９】
（９）
本発明の実施の形態において、傾き補正部として、レンズ鏡筒２もしくは撮像素子３を回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば撮像装置を固定する雲台を回転させて傾きを補正する構成でもよい。この場合、雲台を回転駆動するための制御信号を撮像装置の外部に出力し、これを基に雲台が駆動制御される構成が考えられる。さらには、機械的な構成のみでなく、例えば撮影画像の水平を保つための方法として撮像素子２を回転駆動する代わりに画像信号に対して画像処理を行い、傾き角を補正するように画像を回転させてもよい。
【０１４０】
２００７年７月１３日出願の特願２００７−１８３９５７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１４１】
本発明は、例えば、傾き補正機能を有するデジタルカメラやビデオムービーなどの撮像装置に利用することが可能である。
【図面の簡単な説明】
【０１４２】
【図１】本発明の実施の形態１における撮像装置の構成を示すブロック図
【図２】同撮像装置のレンズ鏡筒とその回転方向を示す模式図
【図３】同撮像装置の画像傾き角検出処理部から出力される撮影画像の傾きの角度と、角度センサからの撮像装置の傾きに関する角度信号を、マイコンが取得するタイミングの一例を示す模式図
【図４】同撮像装置の画像傾き角検出処理のフローチャート
【図５Ａ】同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図
【図５Ｂ】同撮像装置の画像傾き角検出処理の処理過程の説明図であって、線分抽出結果の例を示す図
【図５Ｃ】同撮像装置の画像傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図
【図５Ｄ】同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾き補正後の画像を示す図
【図６Ａ】同撮像装置の画像傾き検出に使用される３×３ラプラシアンフィルタの重み付け係数の一例を示す図
【図６Ｂ】同撮像装置の画像傾き検出に使用される３×３ラプラシアンフィルタの重み付け係数の他の例を示す図
【図７】同撮像装置のマイコンに格納された処理プログラムのフローチャート
【図８】同撮像装置の角度信号から角度を換算する換算式の一例を説明するための図
【図９】同撮像装置の角度信号から角度を換算する換算式の更新方法を説明するための図
【図１０】本発明の実施の形態２における撮像装置の構成を示すブロック図
【図１１】同撮像装置の撮像素子回転機構の概略構成を示す斜視図
【図１２】本発明の実施の形態３における撮像装置の構成を示すブロック図
【図１３】同撮像装置の角速度算出処理のブロック図
【図１４】同撮像装置の角度変化量算出処理のブロック図
【図１５】同撮像装置の装置傾き角算出処理のブロック図
【図１６】同撮像装置の装置傾き角算出処理のブロック図
【図１７】本発明の実施の形態４における撮像装置の構成を示すブロック図
【図１８】同撮像装置の加速度算出処理のブロック図
【図１９】同撮像装置のコアリング処理部での入出力特性を示す図
【図２０Ａ】同撮像装置の傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図
【図２０Ｂ】同撮像装置の傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図
【図２０Ｃ】同撮像装置の傾き角検出処理の処理過程の説明図であって、正しい傾き補正後の画像を示す図
【図２１】本発明の実施の形態５における撮像装置の構成を示すブロック図
【図２２】同撮像装置のヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図
【図２３Ａ】同撮像装置の傾き角が０度の場合のピッチング保持枠を示す図
【図２３Ｂ】同撮像装置の傾き角が９０度の場合のピッチング保持枠を示す図
【図２３Ｃ】同撮像装置の傾き角がθ度の場合のピッチング保持枠を示す図
【図２４】同撮像装置の傾き角とコイルの駆動電流の関係を示す図
【図２５】同撮像装置のレンズ鏡筒とその回転方向を示す他の例の模式図
【図２６】同撮像装置の角度信号から角度を換算する換算式の他の更新方法を説明するためのグラフ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009011105.tif 000051
【図２】
2009011105.tif 000052
【図３】
2009011105.tif 000053
【図４】
2009011105.tif 000054
【図５Ａ】
2009011105.tif 000055
【図５Ｂ】
2009011105.tif 000056
【図５Ｃ】
2009011105.tif 000057
【図５Ｄ】
2009011105.tif 000058
【図６Ａ】
2009011105.tif 000059
【図６Ｂ】
2009011105.tif 000060
【図７】
2009011105.tif 000061
【図８】
2009011105.tif 000062
【図９】
2009011105.tif 000063
【図１０】
2009011105.tif 000064
【図１１】
2009011105.tif 000065
【図１２】
2009011105.tif 000066
【図１３】
2009011105.tif 000067
【図１４】
2009011105.tif 000068
【図１５】
2009011105.tif 000069
【図１６】
2009011105.tif 000070
【図１７】
2009011105.tif 000071
【図１８】
2009011105.tif 000072
【図１９】
2009011105.tif 000073
【図２０Ａ】
2009011105.tif 000074
【図２０Ｂ】
2009011105.tif 000075
【図２０Ｃ】
2009011105.tif 000076
【図２１】
2009011105.tif 000077
【図２２】
2009011105.tif 000078
【図２３Ａ】
2009011105.tif 000079
【図２３Ｂ】
2009011105.tif 000080
【図２３Ｃ】
2009011105.tif 000081
【図２４】
2009011105.tif 000082
【図２５】
2009011105.tif 000083
【図２６】
2009011105.tif 000084
【国際調査報告】
2009011105.tif 000085
2009011105.tif 000086
2009011105.tif 000087
2009011105.tif 000088