(57)【要約】【課題】振れ情報に基づいて光学手段の絶対角度値を推定することにより、コストや起動時の消費電力を低減し、起動時間を短縮すること。【解決手段】撮像装置の鏡筒１０２は、撮像光学系および撮像部２０５を備える。ピッチ方向の回転ユニット１０４によって鏡筒１０２のチルティングが行われ、ヨー方向の回転ユニット１０５によって鏡筒１０２のパンニングが行われる。制御部２１３は、撮像装置の固定部１０３に取り付けられた角速度計１０６の出力と、画像処理部２０６から取得した撮像画像の動きベクトルに基づいて、角速度計１０６の取り付け角度を基準とした回転ユニット１０５の絶対角度値を推定する。制御部２１３は推定した絶対角度値と角速度計１０６の出力に基づいて補正量を算出して、回転ユニット１０４，１０５を駆動するとともに画像変形部２０８により像ブレ補正の制御を行う。【選択図】  図２
2019161539.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を通して被写体を撮像する撮像素子を有する光学手段と、
前記光学手段を固定部に対して回転させる回転駆動手段と、
前記固定部に取り付けられて、角速度を検出する第１の検出手段と、
前記撮像素子の出力から画像の動き量を検出する第２の検出手段と、
前記第１および第２の検出手段の出力を用いて、前記第１の検出手段の取り付け角度を基準とした前記光学手段の絶対角度値を推定する推定手段と、
前記第１の検出手段の出力と前記推定手段による絶対角度値を用いて前記回転駆動手段の制御を行う制御手段と、を備える
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１の検出手段の出力と前記推定手段による絶対角度値から像ブレ補正の補正量を算出して前記回転駆動手段を制御することにより像ブレ補正を行う
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第１の検出手段の出力と前記推定手段による絶対角度値から像ブレ補正の補正量を算出して画像処理によって像ブレ補正を行う
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記推定手段が絶対角度値の推定を行っている間、前記制御手段は前記回転駆動手段の制御を停止させる
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記回転駆動手段は、前記光学手段の可動部を、複数の回転軸を中心に回転させる複数の駆動手段を備え、
前記推定手段は、前記複数の回転軸のうち、いずれかの回転軸を中心とする絶対角度値を推定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記駆動手段の基準位置を検出する第３の検出手段をさらに備え、
前記推定手段が絶対角度値の推定を開始した時点から、あらかじめ定められた時間が経過しても前記絶対角度値の推定が終了しない場合、前記制御手段は、前記駆動手段の基準位置を探索する動作を制御し、当該動作にて前記第３の検出手段が前記基準位置を検出して検出信号を前記制御手段に出力する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の検出手段は、前記推定手段が絶対角度値の推定処理を実行している間、撮像画像の中心部を含む検出範囲での動き量を検出する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記推定手段はカルマンフィルタまたは逐次最小二乗法により推定処理を行い、推定誤差の分散値が閾値以下になった場合に推定処理を終了する
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記第３の検出手段は、前記複数の駆動手段のうち、第１の駆動手段の基準位置を検出し、
前記制御手段は前記第１の駆動手段の基準位置を探索する動作を制御し、当該動作にて前記第３の検出手段が前記基準位置を検出し、
前記推定手段は、前記複数の駆動手段のうち、第２の駆動手段の回転軸を中心とする絶対角度値を推定する
ことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記第１の駆動手段により駆動される可動部の可動範囲は、前記第２の駆動手段により駆動される可動部の可動範囲よりも狭い
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
撮像光学系を通して被写体を撮像する撮像素子を有する光学手段と、前記光学手段を固定部に対して回転させる回転駆動手段を備える撮像装置にて実行される制御方法であって、
前記固定部に取り付けられた第１の検出手段によって角速度を検出し、第２の検出手段によって、前記撮像素子の出力から画像の動き量を検出する工程と、
前記第１および第２の検出手段の出力を用いて、前記第１の検出手段の取り付け角度を基準とした前記光学手段の絶対角度値を推定する工程と、
前記第１の検出手段の出力と前記絶対角度値を用いて前記回転駆動手段の制御を行う工程と、を有する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、振れ情報に基づく回転機構部の絶対角度値の検出技術に関する。
【背景技術】
【０００２】
撮像装置に搭載される像ブレ補正装置は、手振れ等を検出して像ブレ補正部を用いて像面上での画像の像ブレを抑制する。像ブレ補正方法には、レンズや撮像素子を光軸と垂直な平面上で移動させる方法や、撮像光学系と撮像素子を含む鏡筒を回転駆動する方法がある。動画撮影においては、撮像素子が出力する各撮影フレームの画像に発生する種々の像ブレを補正する方法として、撮影画像の画像変形量を算出して、これを打ち消すように画像を変形する電子式補正方法がある。
【０００３】
手振れ等の振動を検出するためには角速度センサ（ジャイロセンサ）が一般的に使用され、検出された角速度に基づいて像ブレ補正部が制御される。また、フレーム間の画像のブレを解析し、動きベクトルを算出する技術がある。画像領域を小さなブロックに分割し、ブロックごとに算出されるローカルな動きベクトルから、全体の動き量を表すグローバルな動きベクトルが算出される。被写体ブレによる手振れ以外の要素を除去可能である。
【０００４】
特許文献１に開示の装置は、撮像光学系と撮像素子を含む鏡筒を保持する回動部と、鏡筒が少なくとも２軸方向に回動可能なように回動部を保持する本体部と、本体部に配設された３軸方向の回転振動を検出する振動検出部と、を備える。振動検出部による振動検出結果と、本体部と可動部との相対角度から振れ補正の目標値が算出され、目標値に応じて回転部が駆動されて像ブレ補正が行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１１６８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１のような、大きな角度変化が可能な回転機構部を用いて像ブレ補正を行う場合、本体部と可動部との正確な相対角度を検出する必要がある。つまり、本体部と可動部との相対角度値（回転部の絶対角度値）に基づいて、振動検出部の取り付け位置での各軸の振動出力を、回転機構部の駆動軸方向への出力に変換する、いわゆる回転軸変換が必要である。
【０００７】
回転部が外部から触れられない構成の場合、電源ＯＦＦ時の回転位置をメモリに記憶しておき、電源ＯＮの直後に回転位置を読み出す方法がある。しかし、回転部が外部から触れられる構成の場合、電源ＯＦＦの期間中に回転角度が変化することがあり得る。この場合には電源ＯＮの直後に回転部の絶対角度値の検出が必要である。
【０００８】
絶対角度値の検出に高分解能なエンコーダを用いる方法は、装置の大型化、消費電力やコストの増加等の問題がある。また、基準位置を検出するセンサを設け、電源投入後に回転機構部を駆動して基準位置を初期化動作で探す方法は、初期化動作による消費電力が増加し、起動時間がかかる。
本発明の目的は、振れ情報に基づいて光学手段の絶対角度値を推定することにより、コストや起動時の消費電力を低減し、起動時間を短縮することである。
【課題を解決するための手段】
【０００９】
本発明の実施形態の装置は、撮像光学系を通して被写体を撮像する撮像素子を有する光学手段と、前記光学手段を固定部に対して回転させる回転駆動手段と、前記固定部に取り付けられて、角速度を検出する第１の検出手段と、前記撮像素子の出力から画像の動き量を検出する第２の検出手段と、前記第１および第２の検出手段の出力を用いて、前記第１の検出手段の取り付け角度を基準とした前記光学手段の絶対角度値を推定する推定手段と、前記第１の検出手段の出力と前記推定手段による絶対角度値を用いて前記回転駆動手段の制御を行う制御手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、振れ情報に基づいて光学手段の絶対角度値を推定することにより、コストや起動時の消費電力を低減し、起動時間を短縮することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る撮像装置を模式的に示す図である。
【図２】本実施形態に係る撮像装置の構成を示す図である。
【図３】本実施形態の絶対角度推定および像ブレ補正処理を示すフローチャートである。
【図４】本実施形態における像ブレ補正制御部のブロック図である。
【図５】本実施形態における画像変形量算出部のブロック図である。
【図６】本実施形態における像ブレ補正処理を示すフローチャートである。
【図７】図６に続く処理を示すフローチャートである。
【図８】本実施形態における回転軸変換の説明図である。
【図９】本実施形態における絶対角度推定のブロック図である。
【図１０】本実施形態における画像の動きベクトルの検出範囲を示す図である。
【発明を実施するための形態】
【００１２】
本発明の実施形態について、図面を参照して詳細に説明する。本発明は、デジタルカメラやデジタルビデオカメラに限らず、携帯電話、監視カメラ、Ｗｅｂカメラ等の撮像装置に適用可能である。
【００１３】
図１は、本実施形態に係る撮像装置の構成例を示す模式図である。図１（Ａ）は、撮像装置１０１の主要な構成部を示す。撮像装置１０１は、ユーザが操作する電源スイッチ等の操作部材を備える。鏡筒１０２は、撮像光学系を構成する撮影レンズ群や絞り、撮像素子を備える光学ユニットであり、撮像装置１０１に取り付けられる。撮像装置１０１には、鏡筒１０２を固定部１０３に対して回転駆動させるための回転機構部が設けられている。角速度計１０６は撮像装置１０１の振れを検出する振れ検出部を構成し、撮像装置１０１の固定部１０３に実装される。図１（Ａ）では角速度計１０６を固定部１０３の側面に取り付けた例を示すが、角速度計１０６を固定部１０３内部の回路基板に取り付けてもよい。角速度計１０６は固定部１０３への取り付け角度および位置を基準とする振れの角速度検出信号を出力する。
【００１４】
図１（Ｂ）は、固定部１０３の基準位置での座標軸と方向の定義を説明する図である。Ｘ軸、Ｙ軸、Ｚ軸からなる３次元直交座標において、Ｘ軸を中心とする回転方向をピッチ方向とし、Ｙ軸を中心とする回転方向をヨー方向とし、Ｚ軸を中心とする回転方向をロール方向と定義する。角速度計１０６の取り付け位置、即ち固定部１０３における基準位置にて、図１（Ｂ）で定義される各軸方向の角速度が検出されるものとする。なお明細書中の記載を簡潔にするため、鏡筒１０２に駆動制御に関するパンニング方向をＰ方向と略記し、チルティング方向をＴ方向と略記する。
【００１５】
撮像装置１０１は複数のモータ駆動機構部を備える。第１のモータ駆動機構部１０４は、鏡筒１０２を、ピッチ方向に回転させるユニット（以下、チルト回転ユニットという）である。第２のモータ駆動機構部１０５は、鏡筒１０２をヨー方向に回転させるユニット（以下、パン回転ユニットという）である。チルト回転ユニット１０４とパン回転ユニット１０５によって鏡筒１０２が回転駆動され、図１（Ｃ）および（Ｄ）に示すように、撮像装置１０１の撮像方向、つまり撮像光学系の光軸１０８の方向が変更される。
【００１６】
図２は、本実施形態の像ブレ補正機能を有する撮像装置の構成を示すブロック図である。鏡筒１０２は、変倍を行うズームユニット２０１と、焦点調節を行うフォーカスユニット２０３と、撮像部２０５を備える。
【００１７】
ズーム駆動制御部２０２はズームユニット２０１を駆動制御する。フォーカス駆動制御部２０４はフォーカスユニット２０３を駆動制御する。各制御部２０２，２０４は制御部２１３からの制御指令にしたがって可動レンズの駆動制御を行う。
【００１８】
撮像部２０５は撮像素子を備え、撮像光学系を通して入射する光を受光し、光電変換によって電気信号を出力する。撮像部２０５は撮像素子の受光量に応じた電荷の情報をアナログ画像信号として画像処理部２０６に出力する。
【００１９】
画像処理部２０６は撮像部２０５の出力信号を取得してＡ／Ｄ（アナログ／デジタル）変換を行い、デジタル画像データに対して所定の画像処理を行い、処理後のデジタル画像データを出力する。所定の画像処理とは、歪曲補正やホワイトバランス調整や色補間処理等である。画像処理部２０６は、撮像時刻の異なる複数の撮像画像データの比較により、被写体の動き量を表す動きベクトルを算出して制御部２１３に出力する。画像処理部２０６は、信号を所定の形式に準拠したビデオ信号（映像信号）に変換して画像メモリ２０７に記憶する。所定の形式とは、ＪＰＥＧ（Joint Photographic Experts Group）形式や、ＮＴＳＣ方式やＰＡＬ方式等のフォーマットである。
【００２０】
画像変形部２０８は、画像メモリ２０７から画像データを取得し、制御部２１３が算出した画像変形量に基づいて画像変形処理を行う。画像変形処理後の画像データは画像記録部２０９に出力され、不揮発性メモリ等の記録媒体に記録される。
【００２１】
制御部２１３はＣＰＵ（中央演算処理装置）を備え、撮像システム全体を制御する。鏡筒回転駆動部２１２は、制御部２１３の制御指令にしたがって、チルト回転ユニット１０４およびパン回転ユニット１０５を駆動する。これにより、鏡筒１０２はＴ方向とＰ方向に駆動される。
【００２２】
装置揺れ検出部２１０は、撮像装置１０１の揺れを検出し、検出信号を制御部２１３に出力する。撮像装置１０１には３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６が搭載される。操作部２１１は、ユーザが撮像システムを操作するために、電源ボタンや撮像装置１０１の設定を変更するボタン等の操作部材を備える。ユーザが電源ボタンをＯＮ操作すると、撮像システム全体に電源が供給されて撮像装置１０１が起動する。
【００２３】
図３を参照して、本実施形態の処理について説明する。図３は、撮像装置の絶対角度推定処理および像ブレ補正処理を説明するフローチャートである。以下の処理は制御部２１３の備えるＣＰＵが所定のプログラムを実行することにより実現される。操作部２１１の電源ボタンがＯＮ操作されると、撮像装置１０１が起動して以下の処理が開始する。
【００２４】
まずＳ３０１において制御部２１３は、固定部１０３に設置された角速度計１０６から、３軸の角速度出力を取得し、画像処理部２０６により算出された動きベクトルを取得する。次のＳ３０２で制御部２１３は、絶対角度推定が未完了であるか否かを判定する。絶対角度推定が未完了である場合、Ｓ３０３の処理に進み、Ｓ３０３乃至Ｓ３１０の処理にて絶対角度推定処理が行われる。またＳ３０２で絶対角度推定が完了している場合、Ｓ３１１に進み、像ブレ補正処理が所定のサンプリング周期で繰り返し実行される。
【００２５】
以下では、像ブレ補正処理を説明した後で絶対角度推定処理を説明する。図４は、像ブレ補正におけるＰ方向およびＴ方向の回転補正量と、電子式振れ補正量を算出するための構成を示すブロック図である。角速度計１０６は、角速度検出信号を振れ補正角度算出部５０２、変換部５０３、画像変形量算出部５０９に出力する。
【００２６】
チルト回転ユニット１０４とパン回転ユニット１０５には、エンコーダがそれぞれ設置されており、回転角度が取得される。パンニングおよびチルティング制御に用いられる各ユニットの現在位置情報５０１は、変換部５０３と画像変形量算出部５０９に送られる。
【００２７】
Ｐ方向の振れ補正角度算出部５０２は角速度計１０６から角速度検出信号を取得し、Ｐ方向の振れ角度を算出して加算器５０５に出力する。加算器５０５は、操作部２１１により手動操作で行われるＰ方向の角度変更指示に対応する目標角度と、振れ補正角度算出部５０２の出力とを加算して、加算結果を鏡筒回転駆動部２１２内のパン回転部５０７に出力する。
【００２８】
変換部５０３は、角速度計１０６からの角速度検出信号と、現在位置情報５０１を取得して後述の変換処理を実行する。Ｔ方向の振れ補正角度算出部５０４は変換部５０３の出力を取得し、Ｔ方向の振れ角度を算出して加算器５０６に出力する。加算器５０６は、操作部２１１により手動操作で行われるＴ方向の角度変更指示に対応する目標角度と、振れ補正角度算出部５０４の出力とを加算して、加算結果を鏡筒回転駆動部２１２内のチルト回転部５０８に出力する。
【００２９】
画像変形量算出部５０９は、角速度計１０６からの角速度検出信号と、現在位置情報５０１を取得し、画像変形量を算出して画像変形部２０８に出力する。図５は、画像変形量算出部５０９の構成を示すブロック図である。画像変形量算出部５０９は、現在位置情報５０１に対する微分器６０１，６０２と、回転軸変換部６０３，６０４と、減算器６０５乃至６０７を備える。画像変形量算出部５０９は、各減算器の出力から並進補正量、あおり補正量、回転補正量を算出する補正量算出部６０８乃至６１２と、画像変形量合成部６１３を備える。画像変形量合成部６１３は、各補正量算出部の出力を取得して合成した画像変形量を、画像変形部２０８に出力する。図４および図５に示す各部が行う処理の詳細については後述する。
【００３０】
図６および図７は、図３のＳ３１１に示す像ブレ補正処理を説明するフローチャートである。像ブレ補正処理が開始すると、まず図６のＳ４０１において、固定部１０３に設置された角速度計１０６から、３軸の角速度出力を取り込む処理が行われて、Ｓ４０２に進む。Ｓ４０２で鏡筒回転駆動部２１２は、チルト回転ユニット１０４とパン回転ユニット１０５にそれぞれ設置されたエンコーダから、パンニングおよびチルティング制御における現在位置情報５０１を取得する。現在位置情報５０１として、チルト回転ユニット１０４とパン回転ユニット１０５の現在の角度値が取得される。
【００３１】
Ｓ４０３で振れ補正角度算出部５０２は、ヨー方向の角速度出力からＰ方向の振れ補正の目標角度を算出する。角速度計１０６（図１参照）は固定部１０３に実装されており、パン回転ユニット１０５の回転軸と、角速度計１０６のヨー方向の回転軸とは一致している。よって振れ補正角度算出部５０２は、角速度計１０６が出力するヨー角速度に対し、ハイパスフィルタ（以下、ＨＰＦと記す）で低周波数成分をカットした後に積分処理を行い、角度に変換する。これにより、Ｐ方向の振れ補正角度が算出され、パン回転ユニット１０５の回転駆動によってＰ方向の振れ補正が行われる。鏡筒回転駆動部２１２のパン回転部５０７は、パン回転ユニット１０５を回転軸に関して回転させる駆動部である。パン回転部５０７の目標角度を算出するために、Ｓ４０３では角速度計１０６のヨー角速度出力のみから振れ補正の目標角度が算出された後、Ｓ４０４の処理に進む。
【００３２】
Ｓ４０４では、角速度計１０６のピッチ方向の角速度出力およびロール方向の角速度出力と、Ｓ４０２で取得された現在位置情報５０１（Ｐ方向の角度情報）に基づいて、振れ補正角度算出部５０４がＴ方向の振れ補正の目標角度を算出する。角速度計１０６が固定部１０３に実装されているので、パン回転ユニット１０５の回転角度によって、Ｔ方向の振れ補正を行うための補正量が変化する。
【００３３】
図１（Ａ）は、Ｐ方向の回転位置が正位置、つまりＸ軸が光軸１０８に対して常に垂直方向に位置する場合を示す。この場合、Ｔ方向の振れ補正を行うことができるチルト回転ユニット１０４の軸は、図１（Ｂ）のピッチ軸と一致するので、ピッチ方向の角速度出力のみから、Ｔ方向の振れ補正目標角度が算出される。また、Ｐ方向の回転角度が正位置から９０度回転した位置、つまりＺ軸が光軸１０８に対して常に垂直方向に位置する場合を想定する。この場合、チルト回転ユニット１０４の軸は、図１（Ｂ）のロール軸と一致するので、ロール方向の角速度出力のみから、Ｔ方向の振れ補正目標角度が算出される。パン回転ユニット１０５の回転角度に対応する位置が図１（Ａ）に示す正位置と、９０度の回転位置との間にある場合、図４の変換部５０３は回転角度に基づいて、ピッチ方向の角速度出力とロール方向の角速度出力とを合成する。変換部５０３はチルト回転ユニット１０４における軸への回転方向変換を行って、Ｔ方向の角速度を算出する。具体的には、変換部５０３内で用いる計算式は、式（１）で表される。
【００３４】
【数１】
2019161539.tif 000003
式（１）中の記号の意味は、以下のとおりである。
Ｗｔｌ：Ｔ方向の角速度
Ｗｘ：角速度計１０６のピッチ方向の角速度
Ｗｚ：角速度計１０６のロール方向の角速度
θpa：Ｐ方向の回転角度。
【００３５】
以上のように算出されたＴ方向の角速度Ｗｔｌは、振れ補正角度算出部５０４が取得し、Ｔ方向の振れ補正目標角度を算出する。つまりＴ方向の角速度Ｗｔｌは、ＨＰＦで低周波数成分がカットされた後で積分処理によって角度に変換される。このＴ方向の振れ補正角度に基づいて、チルト回転部５０８の回転駆動によって像ブレ補正が行われる。鏡筒回転駆動部２１２のチルト回転部５０８は、チルト回転ユニット１０４を回転軸に関して回転させる駆動部である。
【００３６】
Ｓ４０４の次にＳ４０５へ進む。Ｓ４０５からＳ４１２までの処理は、画像変形による電子式像ブレ補正を行うために、画像変形量算出部５０９が行う処理である。画像変形量算出部５０９は、撮像面上の振れ残り角度と、撮像光学系の焦点距離とを用いて画像変形量を算出する。画像変形部２０８は射影変換等の幾何学変換を用いて画像変形処理を行うことで電子式像ブレ補正を行う。
【００３７】
Ｓ４０５では、固定部１０３に取り付けられた角速度計１０６による、３軸の角速度出力に対して、撮像素子を含む鏡筒１０２上の軸に回転変換した角速度が算出される。図８を参照して具体的に説明する。図８（Ａ）は、撮像装置の固定部１０３に対する軸の定義を説明する図である。Ｘ軸を中心とするピッチ方向の角速度をＷｘと表記し、Ｙ軸を中心とするヨー方向の角速度をＷｙと表記する。Ｚ軸を中心とするロール方向の角速度をＷｚと表記する。
【００３８】
図８（Ｂ）は、回転部である鏡筒１０２に対する軸の定義を説明する図である。Ｘ軸、Ｙ軸、Ｚ軸に対してそれぞれ回転された軸をＸ’、Ｙ’、Ｚ’と表記する。Ｘ’軸に対する回転方向の角速度をＷｘ’と表記し、Ｙ’軸に対する回転方向の角速度をＷｙ’と表記する、Ｚ’軸に対する回転方向の角速度をＷｚ’と表記する。また、Ｙ軸をＺ軸側に傾けたＹ’軸の角度をθｘ、Ｚ軸をＸ軸側に傾けたＺ’軸の角度をθｙ、Ｘ軸をＹ軸側に傾けたＸ’軸の角度をθｚと表記する。θｘ、θｙ、θｚはそれぞれ、固定部１０３と回転部（鏡筒１０２）との差分の角度を表す。本実施形態ではＴ方向とＰ方向の２軸での駆動が行われるので、θｚは常にゼロとなる。
【００３９】
ここで、３次元空間でのＸ軸、Ｙ軸、Ｚ軸の回りの回転行列は、下記式（２）から（４）で表すことができる。
【数２】
2019161539.tif 000004
【００４０】
回転軸変換部６０４は、鏡筒１０２の回転角度分に応じて、固定部１０３に配置された角速度計１０６の出力を、撮像面基準の軸定義による角速度に変換する。固定部１０３に配置された角速度計１０６が検出できるのは、Ｘ軸回りの角速度Ｗｘと、Ｙ軸回りの角速度Ｗｙと、Ｚ軸回りの角速度Ｗｚである。固定部１０３の角速度Ｗを下記式（５）の列ベクトルで表し、回転後の鏡筒１０２の角速度Ｗ’を下記式（６）の列ベクトルで表す。ＷをＷ’に変換するために、下記式（７）が用いられる。
【数３】
2019161539.tif 000005
【００４１】
以上の方法により、回転軸変換部６０４は、固定部１０３にて検出された３軸の角速度とパンニング角度／チルティング角度から、回転部である鏡筒１０２の３軸の角速度（ＰｉｔｃｈＩｍ、ＹａｗＩｍ，ＲｏｌｌＩｍと記す）に変換する。
【００４２】
次にＳ４０６では、Ｐ方向とＴ方向の現在位置情報５０１の微分処理が実行される。微分器６０１は現在のチルト角度を微分処理することで、チルト角速度（ＴｉｌｔＳｐｄ）を算出する。微分器６０２は現在のパン角度を微分処理することで、パン角速度（ＰａｎＳｐｄ）を算出する。Ｓ４０７では、パン角速度とチルト角度とから、鏡筒１０２の軸におけるメカ補正角速度に変換するために、回転軸変換部６０３が回転軸の変換を行う。
【００４３】
パン角速度（ＰａｎＳｐｄ）をWpaと表記し、チルト回転角度をθtlと表記する。撮像面基準の軸定義によるＹａｗ角速度（ＹａｗＰｎ）をWyaと表記し、ロール方向の角速度（ＲｏｌｌＰｎ）をWrlと表記する。チルト回転角度θtlを考慮して、WpaをWya、Wrlに変換する処理が行われる。このとき、チルト回転軸は、撮像面上のピッチ回転軸と一致するので、ピッチ回転軸は無視してよい。よって、変換式は下記式（８）になる。
【数４】
2019161539.tif 000006
【００４４】
次にＳ４０８で、チルト回転ユニット１０４の駆動角速度（ＰｉｔｃｈＴｌｔ）が算出される。Ｔ方向の駆動に関して像面上での方向の影響は変わらない（常に縦ブレへの影響）ので、メカ補正ピッチ角速度であるＰｉｔｃｈＴｌｔとしては、チルト角速度（ＴｉｌｔＳｐｄ）がそのまま設定されて、Ｓ４０９へ進む。
【００４５】
Ｓ４０９では、回転軸変換部６０４の出力（ＰｉｔｃｈＩｍ、ＹａｗＩｍ，ＲｏｌｌＩｍ）から、微分器６０１と回転軸変換部６０３の各出力が減算される。減算器６０５は、回転軸変換部６０４の出力するＰｉｔｃｈＩｍから、微分器６０１の出力するメカ補正角速度ＰｉｔｃｈＴｌｔを減算する。減算器６０６は、回転軸変換部６０４の出力するＹａｗＩｍから、回転軸変換部６０３の出力するメカ補正角速度ＹａｗＰｎを減算する。減算器６０７は、回転軸変換部６０４の出力するＲｏｌｌＩｍから、回転軸変換部６０３の出力するメカ補正角速度ＲｏｌｌＰｎを減算する。減算器６０５，６０６，６０７は、メカ補正残り角速度（ＰｉｔｃｈＥｒｒ，ＹａｗＥｒｒ，ＲｏｌｌＥｒｒと記す）をそれぞれ算出する。
【００４６】
図７のＳ４１０では、ピッチ補正残り角速度（ＰｉｔｃｈＥｒｒ）と焦点距離に基づいて、縦並進補正量と縦あおり補正量が算出される。縦並進補正量算出部６０８はＰｉｔｃｈＥｒｒを取得して、縦並進補正量を算出する。ＰｉｔｃｈＥｒｒはＨＰＦにより、角速度データに含まれる低周波数成分が遮断されることで、高周波数帯域の信号が出力される。撮像光学系の焦点距離ｆは、ズームユニット２０１のエンコーダの出力から算出される。ＨＰＦの出力は積分器で角度に変換され、さらに焦点距離ｆを乗算することで縦並進補正量が算出される。縦並進補正量算出部６０８は算出した縦並進補正量を、画像変形量合成部６１３に出力する。
【００４７】
縦あおり補正量算出部６０９はＰｉｔｃｈＥｒｒを取得して、縦あおり補正量を算出する。ＰｉｔｃｈＥｒｒはＨＰＦにより、角速度データに含まれる低周波数成分が遮断されることで、高周波数帯域の信号が出力される。ＨＰＦの出力は積分器で角度に変換され、さらに焦点距離ｆで除算することで縦あおり補正量が算出される。縦あおり補正量算出部６０９は算出した縦あおり補正量を、画像変形量合成部６１３に出力する。
【００４８】
縦並進補正量および縦あおり補正量の算出後、Ｓ４１１に進む。Ｓ４１１では、ヨー補正残り角速度（ＹａｗＥｒｒ）と焦点距離に基づいて、横並進補正量と横あおり補正量が算出される。横並進補正量算出部６１０はＹａｗＥｒｒを取得して、横並進補正量を算出する。横あおり補正量算出部６１１はＹａｗＥｒｒを取得して、横あおり補正量を算出する。横並進補正量および横あおり補正量の算出方法については、入力がＹａｗＥｒｒであること以外、縦並進補正量および縦あおり補正量の算出方法と同様であるので、それらの詳細な説明を省略する。
【００４９】
横並進補正量および横あおり補正量の算出後、Ｓ４１２に進む。Ｓ４１２で回転補正量算出部６１２は、ロール補正残り角速度（ＲｏｌｌＥｒｒ）から回転補正量を算出する。ＲｏｌｌＥｒｒはＨＰＦにより、角速度データに含まれる低周波数成分が遮断された後、積分器により角度に変換される。回転補正量算出部６１２は算出した回転補正量を、画像変形量合成部６１３に出力する。
【００５０】
Ｓ４１３で画像変形量合成部６１３は、補正量算出部６０８乃至６１２の各出力を取得して画像変形量の合成を行う。並進補正量、あおり補正量、回転補正量を合成する演算が行われる。画像変形量合成部６１３は、算出した射影変換行列の各要素の値を、画像変形部２０８へ出力する。そしてＳ４１４に進み、画像変形部２０８は、画像変形量合成部６１３の出力に基づいて画像変形処理を行う。これにより、電子式像ブレ補正が行われ、Ｓ４１５に進む。
【００５１】
Ｓ４１５で制御部２１３は、ユーザが操作部２１１を使用して、手動操作によりＰ方向またはＴ方向への角度変更指示を行ったかどうかを判定する。例えば、ユーザは撮像装置１０１に設けられた専用の操作部材を用いて、目標角度を設定することができる。操作部材として、Ｐ方向に関連する右回転および左回転と、Ｔ方向に関連する上回転および下回転が可能な操作ボタンが使用される。操作ボタンが押されている操作時間によって、目標角度が設定される。例えば、所定の閾値時間Ｔが経過する毎に目標角度にα度を加算していく設定方法が挙げられるが、他の設定方法でもよい。または、撮像装置１０１と相互に通信可能な外部デバイスにおける操作指示によって、撮像装置１０１へ目標角度が通知されることで目標角度が設定される。
【００５２】
Ｓ４１５にて角度変更指示が行われたと判定された場合、Ｓ４１６に進む。Ｓ４１５にて角度変更指示が行われていないと判定された場合には、目標角度として前回の値が保持された後、Ｓ４１７に進む。Ｓ４１６で制御部２１３は、手動操作によって設定された目標角度を設定した後、Ｓ４１７に進む。
【００５３】
Ｓ４１７で制御部２１３は、パンニング制御とチルティング制御に係る最終的な目標角度を算出する。Ｓ４０３、Ｓ４０４でそれぞれ算出されたパン振れ補正目標角度とチルト振れ補正目標角度、およびＳ４１６で設定された手動目標角度から、最終的な目標角度が算出される。最終的な目標角度は、鏡筒回転駆動部２１２のパン回転部５０７に指示するためのＰ方向の目標角度、および鏡筒回転駆動部２１２のチルト回転部５０８に指示するためのＴ方向の目標角度である。Ｐ方向の目標角度については、振れ補正角度算出部５０２の出力と、操作部２１１からのＰ方向の手動目標角度とを加算器５０５が加算して算出する。またＴ方向の目標角度については、振れ補正角度算出部５０４の出力と、操作部２１１からのＴ方向の手動目標角度とを加算器５０６が加算して算出する。
【００５４】
Ｓ４１８ではパンニングとチルティングの駆動が行われる。Ｓ４１７で算出されたＰ方向の目標角度、Ｔ方向の目標角度はそれぞれ、パン回転部５０７、チルト回転部５０８へ出力される。各方向の振れ補正が行われ、サブルーチンを終了する。この処理は所定のサンプリング周期で実行される。
【００５５】
固定部１０３に設けられた角速度計１０６の出力に基づいて、パン回転部５０７、チルト回転部５０８による機械式像ブレ補正（メカ補正）と、撮像面上でのブレ量に基づく電子式像ブレ補正が行われる。各補正を行うためには、正確なチルト絶対角度とパン絶対角度の検出情報（現在位置情報５０１）が必要である。
【００５６】
例えば、絶対角度検出法には以下の方法がある。
（Ａ）高分解能の検出が可能なエンコーダを用いる方法。
この方法は、サイズや消費電力の増加の他、高価であることが問題である。
（Ｂ）フォトインタラプタ等を基準位置に設け、電源投入後にパンニングやチルティングの駆動を行い、基準位置を探す方法。
基準位置の探索は初期化動作として行われ、制御部はフォトインタラプタ等による検出信号を取得し、探索した位置を基準位置として設定する。しかし、この方法では、初期化動作による消費電力の増加や、リセットモーションの動作時間がかかること等が問題である。
【００５７】
本実施形態は、絶対角度検出用のセンサを追加することなく、また、電源投入時に大きなリセットモーションの動作を必要とすることなく、絶対角度値を推定する処理を行う。図９は、Ｐ方向の絶対角度値の推定処理を行う構成例を示すブロック図である。図９に示す推定演算部８０３は、角速度計１０６の取り付け角度を基準とした鏡筒１０２の絶対角度値を推定する。鏡筒１０２はパン回転ユニット１０５により回転駆動されるため、パン回転ユニット１０５の絶対角度値を推定してもよい。推定演算部８０３は、角速度計１０６の出力と、画像の動きベクトル８０１と、撮像光学系の焦点距離８０２と、Ｔ方向の絶対角度８０７の値を取得し、Ｐ方向の絶対角度８０６の値を推定する。推定演算部８０３は、撮像面上でのブレ角速度を算出する算出部８０４と、カルマンフィルタ８０５を有する。カルマンフィルタ８０５は算出部８０４の出力とＴ方向の絶対角度８０７の値に基づいて、Ｐ方向の絶対角度８０６の推定値を算出する。
【００５８】
ここで、Ｔ方向の角度については絶対角度値が検出できる構成を有するものとする。例えば前記（Ｂ）の方法が用いられ、起動時にＴ方向のリセット駆動が行われて基準位置が探索される。多くの場合、チルト角度の可動範囲はパン角度の可動範囲よりも大きくない構成が採用される。例えば、チルト角度が−２０度から＋９０度の範囲であるのに対して、パン角度の可動範囲は、−１８０度から＋１８０度の範囲である。Ｔ方向の可動範囲が狭い分、大きな角度変化のリセット動作を行う必要がないので、初期化動作の消費電力が少なくて済む。また、Ｔ方向に駆動される可動部は、Ｐ方向に駆動される可動部に比べて質量が大きくないので、駆動時の消費電力が少ないという有利な点もある。
【００５９】
Ｔ方向に駆動される可動部については、ユーザが外部から触れることができないように、例えばガラス等のカバー部材で覆われる構成とする。絶対角度値の検出では、電源遮断時の絶対角度値がＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリの記憶領域に書き込まれて保持される。電源投入時には、記憶領域から絶対角度値を読み込んで使用することで、リセット動作を行わなくても、起動直後に絶対角度値の検出が可能である。
【００６０】
一方、Ｐ方向に駆動される可動部については、可動範囲を、例えば−１８０度〜＋１８０度のように大きくした場合、ユーザが触れられない機構的構成にすることは難しい。また電源ＯＦＦ時に、ユーザが手動操作でパン角度を回転させる可能性や、ユーザが意図せず可動部に触れたために、角度がずれてしまうことも起こりうる。例えば、Ｐ方向の駆動にて前記（Ｂ）の方法を採用した場合を想定する。この場合、可動範囲が大きいとリセット動作時に大きな角度変更が必要になり、初期化動作に時間がかかる。起動時間や駆動時の消費電力の増加の他、起動ごとに大きなリセットモーションが行われることによる、見栄えへの影響が懸念される。以下に、Ｔ方向の絶対角度値を即座に検出可能であって、Ｐ方向の絶対角度値を推定する方法について詳説する。
【００６１】
固定部１０３に設けられた角速度計１０６の出力である３軸角速度と、可動部である鏡筒（撮像面上）での３軸の角速度との関係は、上記式（７）のように表される。撮像面上でのブレ量に相当する鏡筒１０２の角速度Ｗ’の算出方法について説明する。撮像部２０５は被写体からの反射光を電気信号に光電変換することで画像信号を取得し、画像信号はデジタル信号に変換される。画像処理部２０６は、あらかじめ記憶されている過去（例えば１フレーム前）の画像データと現在の画像データ、すなわち連続する２つの画像データを比較することで、画像の相対的なズレ情報から動きベクトルを算出する。
【００６２】
図９の算出部８０４は、動きベクトルの出力である像面速度を、下記式（９）により、撮像面上でのブレ角速度に変換する。並進方向の動きベクトルに関して、撮像面における縦方向のブレ速度をＶｘと表記し、横方向のブレ速度をＶｙと表記する。ＶｘとＶｙと撮像光学系の焦点距離ｆによって、撮像面上でのブレ角速度への換算を行うことができる。
【数５】
2019161539.tif 000007
式（９）中のarctan()は逆正接関数である。なお、回転方向におけるＷｚ’のベクトルを検出することも可能であるが、本実施形態では演算負荷を低減するため、並進方向の動きベクトルの検出値のみを用いて、Ｐ方向の角度値が推定される。
【００６３】
図１０は、撮像画像内で動きベクトルの検出を行う際の検出範囲を例示する図である。撮像画像９０１の内、範囲９０２は絶対角度値の推定処理中における動きベクトルの検出範囲を示す。このように、検出範囲９０２は画像中心付近に制限されており、画像中心部から離れた場所での動きベクトルは使用しない。その理由は、撮像面上におけるロール方向のブレによる影響をできるだけ抑制するためであり、当該ブレの発生に伴う、縦横の並進ブレ出力への、出力誤差の影響を低減することができる。
【００６４】
式（７）から、Ｗｘ’とＷｙ’は以下の式となる。
【数６】
2019161539.tif 000008
【００６５】
上記のとおり、Ｔ方向の角度については絶対角度値の検出が可能であるので、sinθxとcosθxは既知である。このことから、式（１０）および（１１）は式（１２）で表すことができる。
【数７】
2019161539.tif 000009
【００６６】
式（１２）から、以下の状態方程式が導出される。
【数８】
2019161539.tif 000010
式（１３）乃至（１６）中のkは離散時間を表す。εは推定パラメータの変動成分を表すシステムノイズパラメータであり、ωは観測ノイズパラメータである。
【００６７】
式（１３）乃至（１６）より、状態変数として表される推定パラメータである、cosθyとsinθyは、観測量である動きベクトル出力データＷｘ’、Ｗｙ’と、チルト角度θｘと、角速度出力Ｗｘ、Ｗｚから推定できる。推定されたcosθyとsinθyから、Ｐ方向の絶対角度であるθｙが導出される。
【００６８】
式（１６）について、カルマンフィルタ８０５（図９）を用いてx(k)を推定するフィルタリングステップは、以下の通りである。
・ステップ１：カルマンゲインの算出
【数９】
2019161539.tif 000011
【００６９】
・ステップ２：推定パラメータの算出
【数１０】
2019161539.tif 000012
【００７０】
・ステップ３：推定誤差分散の算出
【数１１】
2019161539.tif 000013
【００７１】
上式（１７）乃至（１９）にて、離散時間kはフィルタリングのステップ数に相当する。Kはカルマンゲイン、Pは推定誤差共分散行列である。σωは観測ノイズ分散（スカラー量）であり、Rεは推定パラメータの変動を考慮したシステムパラメータである。推定誤差共分散行列Pについては、その初期値が適切な設計値として与えられるものとする。あまりにも大きな値を初期値に設定すると、推定結果が発散してしまうので、観測ノイズに応じてチューニングが必要である。
【００７２】
一方、カルマンフィルタ８０５では、ステップ３の式（１９）において推定誤差分散値も同時に計算される。これは、ある時刻jにおける推定結果ｘ(j)がk=0からk=jまででどれだけばらついているかを示す指標となる値であり、その時刻jにおける推定パラメータxの信頼度に相当する値になると考えられる。したがって、起動後に推定誤差分散値が所定の値に落ち着いたときに、Ｐ方向の絶対角度値の推定が完了したものと判定される。像ブレ補正のための絶対角度値が設定された後、推定処理によって得られた絶対角度値を基準として、パンニング動作の駆動角度を更新する処理が行われる。
【００７３】
カルマンフィルタを用いる絶対角度値の推定方法の他には、逐次最小二乗法を用いる推定方法がある。ただし、逐次最小二乗法は観測ノイズやシステムノイズ（推定パラメータ変動成分）を考慮しないため、フィルタリングのロバスト性が低く、またパラメータの変動には適応できない。そのため、実際の設計ではカルマンフィルタを用いることが望ましい。
【００７４】
また、絶対角度値の推定期間、つまり、推定誤差分散値が所定の閾値以下になり、Ｐ方向の絶対角度値の推定が完了したと判定される時点までの間は、パンニングやチルティングの駆動が停止される。その理由は、推定期間中にθyが変動することにより、カルマンフィルタ８０５の演算が不安定になってしまうことを防止するためである。推定誤差分散値が所定の閾値以下になって、Ｐ方向の絶対角度値の推定が完了したと判定された時点で、絶対角度検出のための基準値が設定され、その後にパンニングやチルティングの駆動が許可される。
【００７５】
以上のように、カルマンフィルタ８０５を用いてＰ方向の絶対角度８０６の値を推定可能である。ただし、この推定には、動きベクトルと角速度計の各出力を用いるので、出力がゼロである場合や、実際のブレ量が動きベクトルと角速度計出力の各センサノイズ以下である場合には、正しい推定結果が得られない。そこで、角速度計出力が所定の閾値以上である場合のみ、カルマンフィルタ８０５によるＰ方向の絶対角度値の推定処理が行われる。
【００７６】
次に図３のＳ３０３乃至Ｓ３１０に示す処理について説明する。上記のとおり、撮像装置のブレ量がある程度大きくないと、絶対角度値の推定を高い精度で行うことができない。Ｓ３０３で制御部２１３は、角速度計１０６から出力される角速度値を第１の閾値と比較する。第１の閾値をＧｓ１と表記する。角速度値がＧｓ１以上であるか否かが判定され、Ｇｓ１より小さい場合、Ｓ３０１に戻り、絶対角度値の推定処理は行われない。撮像装置の振れが非常に小さい場合には、像ブレ補正を行う必要がないので、絶対角度値の推定は不要である。
【００７７】
Ｓ３０３で角速度値が第１の閾値以上（Ｇｓ１以上）である場合、Ｓ３０４の処理に進む。Ｓ３０４で制御部２１３は、角速度計１０６から出力される角速度値を、第２の閾値と比較する。第２の閾値をＧｓ２と表記する。Ｇｓ２はＧｓ１よりも大きい値であり、動きベクトルが検出可能であるブレ量に基づいて設定される。動きベクトルはフレーム間での画像データの差分から、像面ブレ量として検出されるので、検出可能な最大値が決まっている。また、動きベクトル検出のサンプリングについてもフレームレートに依存することから、無暗に高速にすることはできない。大きなブレ量や高周波振動の場合には、動きベクトルの検出精度が低下する可能性がある。そこで、動きベクトルによる像面ブレ量の検出精度が確保される閾値としてＧｓ２が設定される。角速度値がＧｓ２以下である場合に絶対角度値の推定処理が実行され、Ｇｓ２より大きい場合に絶対角度値の推定処理は行われない。
【００７８】
Ｓ３０４で角速度値が第２の閾値以下（Ｇｓ２以下）である場合、Ｓ３０５に進み、角速度値が第２の閾値より大きい場合、Ｓ３０８に進む。Ｓ３０５で制御部２１３はパンニングおよびチルティングを停止させる。そしてＳ３０６では、式（９）乃至（１９）を用いて説明したように、絶対角度値の推定処理が実行される。
【００７９】
Ｓ３０６において動きベクトルが取得できない場合には、絶対角度値の推定処理は実行されない。例えばコントラストの低い被写体が撮像されている場合や、一方向にグラデーションがかかった被写体が撮像されている場合には、動きベクトルの検出精度が十分でない可能性がある。このため、制御部２１３は動きベクトルの信頼性が低いと判定し、絶対角度値の推定処理を行わない。
【００８０】
Ｓ３０７で制御部２１３は絶対角度値の推定の完了について判定を行う。推定誤差分散値が所定の閾値以下となり、絶対角度値の推定が完了したと判定された場合、Ｓ３１０に進む。また推定誤差分散値が所定の閾値より大きく、絶対角度値の推定が未完了であると判定された場合、Ｓ３０８に進む。例えば、動きベクトルの信頼性が低い状態が長時間に亘って継続すると、絶対角度値の推定処理が行われない時間が長くなる。そのときには、推定誤差分散値が所定の閾値以下ではなく、絶対角度値の推定は完了していないと判定されるので、Ｓ３０８に進むことになる。
【００８１】
Ｓ３０８で制御部２１３は、所定のカウンタの計数値が閾値に到達したか否かを判定する。この計数値は、絶対角度値の推定が行えない時間に相当する。Ｓ３０８の処理に入った回数が計数され、計数値が所定の閾値になった場合、Ｓ３０９に進む。また、計数値が所定の閾値未満である場合にはＳ３０１に戻って処理を続行する。Ｓ３０９では、Ｐ方向の角度の基準位置を探索する初期化動作が行われた後、Ｓ３１０に進む。
【００８２】
Ｓ３１０で制御部２１３は、絶対角度値の推定を完了したことをフラグ等に設定した後、Ｓ３０１に処理を戻す。次回のＳ３０２においては、絶対角度値の推定が完了しているので、Ｓ３０２からＳ３１１に進み、その後には像ブレ補正処理が繰り返し実行される。
【００８３】
本実施形態では、パンニングおよびチルティングの駆動を行う回転機構部を備える撮像装置において、電源投入後に、角速度計の出力と動きベクトルとＴ方向の絶対角度値を用いてＰ方向の絶対角度値を推定する。推定された絶対角度値に基づいて像ブレ補正が行われる。これにより、電源投入時に大きなリセットモーションでの初期化動作を常に行う必要はなくなる。コストやサイズ、消費電力を抑制しつつ、絶対角度値を算出し、電源投入時点から即座に像ブレ補正を行うことができる。
【００８４】
また本実施形態では、角速度計により検出される振れ量が所定範囲内であるか否かを判定し、振れ量が所定範囲内である場合に絶対角度値の推定処理を実行する。絶対角度値の推定処理が所定時間以内に完了しない場合には、基準位置を探索する初期化動作によって絶対角度が検出される。動きベクトルの検出が困難であって絶対角度値の推定が難しい場合には、回転機構部の駆動によってリセット位置が検出された後に像ブレ補正が行われる。撮像装置の状態や撮影状況等に応じて、適切な絶対位置検出方法が自動的に選択される。
【００８５】
鏡筒の角度変更が可能な撮像装置において、絶対角度値の検出用部品の追加や、モーションの大きなリセット動作を行うことなく、絶対角度値を推定することができる。本実施形態によれば、コスト低減効果、起動時の消費電力の低減効果、起動時間の短縮効果が得られる。
【符号の説明】
【００８６】
１０２  鏡筒
１０４，１０５  回転ユニット
１０６  角速度計
２０６  画像処理部
２０８  画像変形部
２１３  制御部
【図１】
2019161539.tif 000014
【図２】
2019161539.tif 000015
【図３】
2019161539.tif 000016
【図４】
2019161539.tif 000017
【図５】
2019161539.tif 000018
【図６】
2019161539.tif 000019
【図７】
2019161539.tif 000020
【図８】
2019161539.tif 000021
【図９】
2019161539.tif 000022
【図１０】
2019161539.tif 000023