(57)【要約】【課題】より適切な傾き補正を行う撮像装置を提供する。【解決手段】撮像装置１００は、結像された被写体像から画像を生成する撮像部２７０と、自装置１００に対する重力加速度を検出して、検出結果を第１検出信号として出力する第１センサ２６０と、自装置１００の姿勢の変化を検出して、検出結果を第２検出信号として出力する第２センサ２５０と、第１検出信号に含まれる、所定の第１周波数以下の周波数成分に基づいて第１補正量を算出し、第２検出信号に含まれる、所定の第２周波数以上の周波数成分に基づいて第２補正量を算出し、第１補正量、および第２補正量に基づいて、被写体像または画像の傾きを補正するプロセッサ２９０とを備えている。【選択図】図２
2014160226.tif 000002
【特許請求の範囲】
【請求項１】
結像された被写体像から画像を生成する撮像部と、
自装置に対する重力加速度を検出して、検出結果を第１検出信号として出力する第１センサと、
自装置の姿勢の変化を検出して、検出結果を第２検出信号として出力する第２センサと、
前記第１検出信号に含まれる、所定の第１周波数以下の周波数成分に基づいて第１補正量を算出し、前記第２検出信号に含まれる、所定の第２周波数以上の周波数成分に基づいて第２補正量を算出し、前記第１補正量、および前記第２補正量に基づいて、前記被写体像または前記画像の傾きを補正するプロセッサと
を備えた撮像装置。
【請求項２】
前記第１センサは加速度センサであり、前記第２センサは角速度センサおよび角加速度センサの一方である、請求項１に記載の撮像装置。
【請求項３】
前記プロセッサは、
前記第１検出信号の周波数成分のうち、前記第１周波数をカットオフ周波数とするローパスフィルタを通過した周波数成分に基づいて前記第１補正量を算出し、
前記第２検出信号の周波数成分のうち、前記第２周波数をカットオフ周波数とするハイパスフィルタを通過した周波数成分に基づいて前記第２補正量を算出する、請求項１に記載の撮像装置。
【請求項４】
前記ローパスフィルタのカットオフ周波数以下の周波数に関する前記ローパスフィルタのゲイン特性と、前記ハイパスフィルタのカットオフ周波数以上の周波数に関する前記ハイパスフィルタのゲイン特性とが所定の範囲内に収まる、請求項３に記載の撮像装置。
【請求項５】
前記ローパスフィルタのカットオフ周波数以下の周波数に関する前記ローパスフィルタのゲイン特性、および前記ハイパスフィルタのカットオフ周波数以上の周波数に関する前記ハイパスフィルタのゲイン特性は、実質的に平坦である、請求項４に記載の撮像装置。
【請求項６】
前記ローパスフィルタのカットオフ周波数と、前記ハイパスフィルタのカットオフ周波数とは実質的に等しい、請求項４に記載の撮像装置。
【請求項７】
前記ハイパスフィルタは、前記ローパスフィルタと同じ周波数特性およびゲイン特性を有するフィルタと、減算器とを有しており、
前記フィルタは前記第２検出信号をフィルタリングして前記第２検出信号の低周波成分を通過させ、
前記減算器は、前記フィルタによってフィルタリングされた信号を前記第２検出信号から減算して前記第２検出信号の高周波成分を出力する、請求項３または４に記載の撮像装置。
【請求項８】
前記プロセッサは、前記第１検出信号に含まれる、所定の第１周波数以下の周波数成分に基づいて算出された第１補正量、および前記第２検出信号に含まれる、所定の第２周波数以上の周波数成分に基づいて算出された第２補正量に基づいて、前記撮像部により生成された画像の傾きを補正する画像処理回路を備えている、請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記プロセッサは、
前記第１検出信号に含まれる、所定の第１周波数以下の周波数成分に基づいて第１補正量を算出し、前記第２検出信号に含まれる、所定の第２周波数以上の周波数成分に基づいて第２補正量を算出するコントローラと、
前記第１補正量、および前記第２補正量に基づいて、前記撮像部により生成された画像の傾きを補正する画像処理回路と
を備えている、請求項１から７のいずれかに記載の撮像装置。
【請求項１０】
前記撮像部は、前記被写体像が結像される撮像素子を有しており、
前記撮像素子の角度を変更する駆動機構をさらに備え、
前記駆動機構は、
前記撮像素子の角度を変更するアクチュエータと、
前記プロセッサからの指示に従って、前記撮像素子の角度を変更するよう前記アクチュエータを制御する制御回路と
を有し、
前記プロセッサは、前記第１補正量、および前記第２補正量に基づく角度だけ、前記撮像素子の角度を変更するよう前記駆動機構に指示し、前記被写体像の傾きを補正する、請求項１から７のいずれかに記載の撮像装置。
【請求項１１】
前記アクチュエータは前記撮像素子と機械的に接続されており、
前記制御回路は、前記アクチュエータを制御して前記撮像素子の角度を変更する、請求項１０に記載の撮像装置。
【請求項１２】
前記撮像部は、撮像素子が固定された鏡筒を備えており、
前記アクチュエータは、前記鏡筒と機械的に接続されており、
前記制御回路は、前記アクチュエータを制御して前記鏡筒の角度を変更することによって前記撮像素子の角度を変更する、請求項１０に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、電子カメラを開示する。この電子カメラは、撮像によって取得した画像（以下、「撮像画像」と呼ぶことがある。）から一部を抽出し、抽出した画像の画像データを記憶媒体に記録する。この電子カメラは、撮像画像から抽出した画像領域の座標を、画像の傾きを打ち消す方向に回転させることによって画像を補正する。このような処理による画像の傾きの補正を、「傾き補正」または「回転補正」という。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−９４８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、より適切な回転補正を行う撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示にかかる撮像装置は、結像された被写体像から画像を生成する撮像部と、自装置に対する重力加速度を検出して、検出結果を第１検出信号として出力する第１センサと、自装置の姿勢の変化を検出して、検出結果を第２検出信号として出力する第２センサと、第１検出信号に含まれる、所定の第１周波数以下の周波数成分に基づいて第１補正量を算出し、第２検出信号に含まれる、所定の第２周波数以上の周波数成分に基づいて第２補正量を算出し、第１補正量、および第２補正量に基づいて、被写体像または画像の傾きを補正するプロセッサとを備えている。
【発明の効果】
【０００６】
本開示の技術によれば、傾きを有する画像に、より適切な回転補正を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】デジタルビデオカメラ１００の外観、および加速度センサおよび角速度センサの検出軸を示す図である。
【図２】画像の傾きを補正するデジタルビデオカメラ１００の構成を示すブロック図である。
【図３】（ａ）および（ｂ）は、加速度センサ２６０によって検出された各成分の加速度の値から静的な回転の角度θを求める例を示す図である。
【図４】デジタルビデオカメラ１００の動作手順を示すフローチャートである。
【図５】回転補正角度γの算出に関連するコントローラ１８０の構成を示す図である。
【図６】傾き補正処理の概念図である。
【図７】加速度センサと角速度センサとの検出周波数の相違を説明するための図である。
【図８】加算器３５０を有しないコントローラ１８０の構成を示す図である。
【図９】被写体像の傾きを補正するデジタルビデオカメラ１０１の構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
〔実施の形態１〕
以下、図面を参照しながら、本開示の技術をデジタルビデオカメラに適用した実施の形態１を説明する。以下の説明において、画像を示す信号またはデータを単に「画像」と称することがある。また、重力加速度の方向を「鉛直方向」または「垂直方向」と呼び、当該垂直方向に直交する方向を「水平方向」と呼ぶことがある。
【００１１】
１−１．概要
図１は、デジタルビデオカメラ１００の外観を示す。
【００１２】
本実施の形態にかかるデジタルビデオカメラ１００は、光軸に垂直な平面（図１のＸＹ平面）上でのデジタルビデオカメラ１００の「回転」に起因して生じた、撮影画像の「傾き」または「回転」を補正することができる。ここでいう、「回転」には「静的な回転」と「動的な回転」とが含まれる。
【００１３】
「静的な回転」は、たとえばデジタルビデオカメラ１００が固定されたときにおける、水平方向からのデジタルビデオカメラ１００筐体の傾きである。
【００１４】
「動的な回転」は、たとえばデジタルビデオカメラ１００を把持する撮影者の手振れなどの、光軸に垂直な平面上での、光軸を中心とするデジタルビデオカメラ１００の回転である。たとえば、動的な回転の周波数は３Ｈｚ以上が主成分である。なお、本開示では、光軸を中心とする回転を、「ローリング方向の回転」と呼ぶことがある。
【００１５】
デジタルビデオカメラ１００は、ローリング方向の角速度を検出する角速度センサと、水平方向からの自装置筐体の傾きを検出する加速度センサとを備えている。そして、デジタルビデオカメラ１００は、角速度センサと、加速度センサとからの出力に基づいて、「静的な回転」と「動的な回転」とを補正する。
【００１６】
このとき、デジタルビデオカメラ１００は、角速度センサの検出信号の周波数のうち、角速度の検出に利用する周波数帯域と、加速度センサの検出信号の周波数のうち、加速度の検出に利用する周波数帯域とを異ならせる。より具体的には、角速度センサの検出信号に関しては相対的に高周波側の周波数帯域を利用し、加速度センサの検出信号に関しては、相対的に低周波側の周波数帯域を利用する。これにより、角速度センサ、および加速度センサ双方の特性を活かして、より適切な回転角度の算出を行うことが可能となる。
【００１７】
そして、デジタルビデオカメラ１００は、算出した筐体の回転角度を用いて、撮像画像の傾きを打ち消す方向に、撮像画像から抽出する画像領域の座標を回転させる。これにより、傾きを有する画像に、より適切な回転補正処理を行うことが可能となる。
【００１８】
なお、デジタルビデオカメラ１００は、静止画像、および動画像のいずれをも撮影することができる。本願明細書では、「画像」とはその両方を含む概念である。動画像は複数のフレーム画像によって構成される。そのため、各フレーム画像に関して本明細書に記載された回転補正処理を行えばよいことになる。
【００１９】
以下、図面を参照しながら、デジタルビデオカメラ１００の具体的な構成および動作の詳細を説明する。
【００２０】
１−２．デジタルビデオカメラ１００の構成
図２を参照しながら、本実施の形態にかかるデジタルビデオカメラ１００の構成を説明する。
【００２１】
図２は、デジタルビデオカメラ１００の構成を示すブロック図である。この図は、デジタルビデオカメラ１００の構成要素間の電気的な接続関係を示している。
【００２２】
デジタルビデオカメラ１００は、撮像部２７０、画像処理回路１６０、バッファ１７０、コントローラ１８０、カードスロット１９０、メモリカード２００、操作部２１０、表示モニタ２２０、内部メモリ２４０、角速度センサ２５０、加速度センサ２６０を備えている。
【００２３】
撮像部２７０は、結像された被写体像から画像を生成する。撮像部２７０は、光学系１１０、レンズ駆動回路１２０、ＣＭＯＳイメージセンサ１４０、およびＡ／Ｄコンバータ（ＡＤＣ）１５０を含んでいる。
【００２４】
デジタルビデオカメラ１００は、光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像によって電気信号に変換（撮像）する。画像処理回路１６０は、ＣＭＯＳイメージセンサ１４０で生成された電気信号に各種の処理を施し、メモリカード２００に格納する。
【００２５】
以下、デジタルビデオカメラ１００の各構成要素を詳細に説明する。その後、デジタルビデオカメラ１００の動作を説明する。
【００２６】
光学系１１０は、１又は複数のレンズ、絞り等を有する。
【００２７】
光学系１１０のレンズは１枚でもよいが、本実施の形態では、光学系１１０は複数のレンズを有しているとする。複数のレンズは、たとえばズームレンズ、手振れ補正レンズ、フォーカスレンズである。ズームレンズを光軸に沿って移動させることにより、ＣＭＯＳイメージセンサ１４０の撮像面上に形成される被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。また、手振れ補正レンズは、光学系１１０の光軸に垂直な平面内で移動可能である。デジタルビデオカメラ１００の振れを打ち消す方向に手振れ補正レンズを移動することで、デジタルビデオカメラ１００の振れが撮像画像に与える影響を低減できる。なお、図２では、一例として、上述の３種類のレンズに対応する３つのレンズが描かれているが、レンズの数はこの例に限定されない。レンズの数および種類は、要求される機能および性能に応じて好適に決定される。
【００２８】
絞りは、使用者の設定に応じて、若しくは後述するコントローラ１８０からの制御信号に基づいて自動で、光が通過する開口部の大きさを変える。これにより、開口部を透過する光の量を調整することができる。
【００２９】
光学系１１０は、ズームレンズを駆動するズームアクチュエータや、手振れ補正レンズを駆動する手振れ補正アクチュエータや、フォーカスレンズを駆動するフォーカスアクチュエータや、絞りを駆動する絞りアクチュエータ（いずれも図示せず）を含んでいてもよい。
【００３０】
レンズ駆動回路１２０は、光学系１１０に含まれる各種レンズ及び絞りを駆動する。レンズ駆動回路１２０は、例えば、光学系１１０に含まれ得るズームアクチュエータや、フォーカスアクチュエータや、手振れ補正アクチュエータや、絞りアクチュエータを制御する。
【００３１】
ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を電気信号に変換して、アナログの画像信号を生成する。ＣＭＯＳイメージセンサ１４０は、たとえば露光、転送、電子シャッタなどの各種動作を行う。なお、ＣＭＯＳイメージセンサ１４０の代わりにＣＣＤイメージセンサやＮＭＯＳイメージセンサのような他の種類のイメージセンサを用いてもよい。
【００３２】
Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像信号をデジタル画像データに変換する回路である。Ａ／Ｄコンバータ１５０の出力は画像処理回路１６０に送られる。
【００３３】
画像処理回路１６０は、Ａ／Ｄコンバータ１５０から出力された撮像データに各種処理を施す回路である。画像処理回路１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）やマイクロコントローラ(マイコン)によって実現され得る。画像処理回路１６０は、例えば、表示モニタ２２０に表示するための画像データや、メモリカード２００に格納するための画像データを生成する。画像処理回路１６０が行う各種処理には、ガンマ補正、ホワイトバランス補正、傷補正などの処理が含まれるが、これに限定されない。また、画像処理回路１６０は、ＣＭＯＳイメージセンサ１４０からＡＤＣ１５０を経て受け取った画像データを、たとえばＨ．２６４規格やＭＰＥＧ２規格などの所定の規格に準拠した圧縮形式等により圧縮する。
【００３４】
画像処理回路１６０は、画像データに座標回転処理を施す。座標を回転させる方向は、自装置の傾きや振れがＣＭＯＳイメージセンサ１４０上に形成された像に与えた回転方向（ローリング方向）の影響を低減する方向である。画像処理回路１６０は、コントローラ１８０から回転補正角度に関する情報を取得して、その情報によって示される角度だけ、画像データの座標を回転させる。
【００３５】
コントローラ１８０は、デジタルビデオカメラ全体を制御するプロセッサである。コントローラ１８０は、たとえば半導体素子や、マイコンなどの半導体集積回路によって実現可能である。コントローラ１８０は、中央演算処理装置（ＣＰＵ）とプログラム（ソフトウェア）との組み合わせにより、好適に実現され得る。あるいは、専用のハードウェアのみでコントローラ１８０を構成してもよい。
【００３６】
なお、図２では、画像処理回路１６０とコントローラ１８０とが分離して描かれているが、両者は物理的に１つの集積回路として実現されてもよい。すなわち画像処理回路１６０およびコントローラ１８０は、別々の半導体チップで構成されている必要はなく、たとえば１つの半導体チップで構成されてもよい。そのような集積回路または半導体チップは、統合型のプロセッサと呼ばれることがある。図２には、そのような統合型のプロセッサ２９０が示されている。プロセッサ２９０においては、画像処理回路１６０は画像処理コアとして実装され、コントローラ１８０はプロセッサコアとして実装される。なお、プロセッサ２９０はバッファ１７０を含んでいるが、これは一例である。バッファ１７０を含まなくてもよい。
【００３７】
バッファ１７０は、画像処理回路１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００３８】
カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理回路１６０で生成された画像ファイル等のデータを格納可能である。なお、図２に示されているメモリカード２００は、デジタルビデオカメラ１００自体の構成要素ではない。
【００３９】
内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成され得る。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。
【００４０】
操作部２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。なお、操作部２１０はタッチスクリーンであってもよい。タッチスクリーンは、たとえば次に説明する表示モニタ２２０と一体的に形成され得る。タッチスクリーンと、表示モニタ２２０に表示された内容（たとえばボタンアイコン）とが一体となって、操作部２１０として機能してもよい。
【００４１】
表示モニタ２２０は、例えば液晶パネルや有機ＥＬパネルによって実現され得る表示装置である。表示モニタ２２０は、撮像部２７０から出力され、画像処理回路１６０によって処理された画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。
【００４２】
上述のように、本実施の形態のデジタルビデオカメラ１００は、角速度センサ２５０、および加速度センサ２６０を備えている。以下、図２とともに再び図１を参照しながら、角速度センサ２５０、および加速度センサ２６０の検出軸を説明する。
【００４３】
図１は、角速度センサ２５０、および加速度センサ２６０の検出軸のイメージを示している。
【００４４】
角速度センサ２５０は、自装置であるデジタルビデオカメラ１００の姿勢の変化を角速度として検出し、検出結果である検出信号を出力するセンサである。角速度センサ２５０は、例えば振動式のジャイロセンサである。角速度センサ２５０は、回転する振動子に働くコリオリの力に起因する振動子の変位量を測定することによって角速度を検出することができる。角速度センサ２５０は、光学式などの他の種類のセンサであってもよい。
【００４５】
図１に示すように、実施の形態１にかかる角速度センサ２５０は、手振れ等に応じて発生する、デジタルビデオカメラ１００のローリング方向（図１の「Ｒ」方向）の角速度を検出する。角速度センサ２５０は、ローリング方向に加えて、ヨー方向（Ｙ軸回りの回転の方向）、ピッチ方向（Ｘ軸回りの回転の方向）の角速度を検出する他のセンサを備えてもよい。
【００４６】
コントローラ１８０は、角速度センサ２５０（ローリング方向）の検出信号から得られる角速度を積分して角度に変換することにより、撮影中のデジタルビデオカメラ１００のローリング方向の振れを補正するための回転角度（動的な回転角度）φを算出することができる。
【００４７】
加速度センサ２６０は、自装置に対する重力加速度を検出することにより、重力加速度方向に対するデジタルビデオカメラ１００の傾きを検出し、検出結果である検出信号を出力するセンサである。加速度センサ２６０は、例えば、静電容量型、ピエゾ抵抗型、熱検知型といった半導体式加速度センサを用いることができる。加速度センサ２６０は、半導体式に限らず、光学式や機械式のセンサでもよい。
【００４８】
図２に示すように、本実施の形態の加速度センサ２６０は、３つのセンサを含んでいる。すなわち、デジタルビデオカメラ１００の光軸方向（図１に示すＺ軸）の加速度を検出するセンサ２６０Ｚ、Ｚ軸に垂直な平面内であってデジタルビデオカメラ１００の水平方向（図１に示すＸ軸）の加速度を検出するセンサ２６０Ｘ、Ｚ軸に垂直な平面内であってデジタルビデオカメラ１００の鉛直方向（図１に示すＹ軸）の加速度を検出するセンサ２６０Ｙである。各センサが、対応する各軸方向に関する検出信号を出力する。
【００４９】
以下では説明の便宜のため、これらのセンサを総称して「加速度センサ２６０」と呼ぶことにする。Ｘ軸、Ｙ軸、Ｚ軸は、デジタルビデオカメラ１００に固定されているため、各軸方向の加速度成分の検出結果はデジタルビデオカメラ１００の姿勢に応じて変化する。
【００５０】
加速度センサ２６０が検出したＸ軸方向、Ｙ軸方向、Ｚ軸方向の各加速度に関する情報は、検出信号としてコントローラ１８０に通知される。コントローラ１８０は、加速度センサ２６０のＸ軸方向の検出信号、Ｙ軸方向の検出信号、Ｚ軸方向の検出信号を演算処理することにより、デジタルビデオカメラ１００の回転を補正するための回転角度（静的な回転角度）を算出することができる。ここで、検出されたＸ方向の加速度成分の値を「Ｘ」、Ｙ方向の加速度成分の値を「Ｙ」、Ｚ方向の加速度成分の値を「Ｚ」で表すとすると、デジタルビデオカメラ１００の重力加速度方向に対する回転角度（静的な回転角度）「θ」は、次の式で算出することができる。
【数１】
2014160226.tif 000003
【００５１】
角度θは、鉛直方向に対する、デジタルビデオカメラ１００に固定されたＹ軸の傾きということができる。
【００５２】
例えば、図３（ａ）に示すように、加速度センサ２６０によって検出された各成分の加速度の値が、重力加速度の大きさを１Ｇ（約９．８０７ｍ／ｓ2）として、Ｘ＝Ｙ＝０．７０７Ｇ、Ｚ＝０であったとする。これは、デジタルビデオカメラ１００がローリング（Ｒ）方向以外の方向に傾いていない状況を表している。このとき、コントローラ１８０は、式（１）に基づき、θ＝４５°という演算結果を得る。また、図３（ｂ）に示すように、加速度センサ２６０によって検出された各成分の加速度の値が、Ｘ＝０．５００Ｇ、Ｙ＝０．８６６Ｇ、Ｚ＝０であった場合を考える。このとき、コントローラ１８０は、式（１）に基づき、θ＝３０°という演算結果を得る。上記以外の場合でも、コントローラ１８０は、式（１）に基づいて傾き角度θを算出することができる。
【００５３】
１−３．デジタルビデオカメラ１００の動作
以下に、デジタルビデオカメラ１００の動作を説明する。
【００５４】
図４は、デジタルビデオカメラ１００の動作手順を示すフローチャートである。
【００５５】
ステップＳ１において、デジタルビデオカメラ１００の画像処理回路１６０は撮像画像を取得する。また、コントローラ１８０は、加速度センサ２６０が出力する検出信号（加速度情報）、および角速度センサ２５０が出力する検出信号（角速度情報）を取得する。
【００５６】
ステップＳ２において、コントローラ１８０は、加速度情報に基づいて静的な回転（傾き）の角度θを算出する。
【００５７】
ステップＳ３において、コントローラ１８０は、角速度情報に基づいて動的な回転（手振れ）の角度φを算出する。
【００５８】
ステップＳ４において、コントローラ１８０は、静的な回転の角度θ、および動的な回転の角度φから回転補正角度γを算出する。
【００５９】
ステップＳ５において、画像処理回路１６０は回転補正角度γにおいて画像の傾きの補正処理を行う。
【００６０】
以下、図５などを参照しながら、ステップＳ２からＳ５の処理を具体的に説明する。
【００６１】
図５は、回転補正角度γの算出に関連するコントローラ１８０の構成を示す。
【００６２】
図５に示すように、コントローラ１８０は、ローパスフィルタ３００（以下、ＬＰＦ３００）、角度算出部３１０、角度算出部３４０、加算器３５０、ハイパスフィルタ３６０（以下、ＨＰＦ３６０）を備えている。
【００６３】
図５の構成は、たとえばソフトウェアを実行するＣＰＵが、ソフトウェアに記述された命令により、ＬＰＦ３００、ＨＰＦ３６０、角度算出部３１０、３４０、加算器３５０として動作することによって実現される。コントローラ１８０がデジタル処理を行う場合には、ＡＤコンバータ（図示せず）が、角速度センサ２５０、および加速度センサ２６０から出力されるアナログの信号（検出信号）をデジタル信号に変換すればよい。
【００６４】
１−３−１．コントローラ１８０における静的な回転（傾き）角度θの算出処理
加速度センサ２６０（加速度センサ２６０Ｘ，加速度センサ２６０Ｙ、加速度センサ２６０Ｚ）は、検出結果である加速度に関する検出信号を、ＬＰＦ３００に出力する。ＬＰＦ３００は、加速度センサ２６０からの検出信号に含まれるノイズを除去する。
【００６５】
ここで、ＬＰＦ３００の周波数特性を説明する。
【００６６】
ＬＰＦ３００のカットオフ周波数ｆｃを低周波にするほど、加速度センサ２６０の検出精度は高くなる。しかしながら、カットオフ周波数ｆｃを低周波にするほど、加速度センサ２６０により検出した結果が撮影画像の傾き補正に反映されるまでの応答性、つまり静的な回転に対する応答性が低下してしまう。一方、カットオフ周波数ｆｃを高くすると応答性は向上するが、検出信号にノイズが残ることになる。カットオフ周波数ｆｃを高くしすぎると、ＬＰＦ３００を設ける意味が損われる。
【００６７】
そこで、本実施の形態においては、ノイズ除去および、静的な回転に対する応答性とのバランスを考慮してカットオフ周波数をｆｃ＝０．２Ｈｚとしている。
【００６８】
但し、カットオフ周波数は、ｆｃ＝０．２Ｈｚに限定されず、ノイズ除去および、静的な回転に対する応答性とのバランスを考慮して適宜チューニングしてもよい。
【００６９】
ノイズの周波数は加速度センサ２６０の特性（性能）によって変化されるため、カットオフ周波数ｆｃは利用する加速度センサ２６０の性能に応じて決定すればよい。
【００７０】
ＬＰＦ３００は加速度センサ２６０から出力された検出信号をフィルタリングして、検出信号から低周波数帯域（「低周波成分」とも呼ぶことがある。）を抽出する。「検出信号」とは、加速度センサ２６０Ｘ，加速度センサ２６０Ｙ、加速度センサ２６０Ｚの各々から出力された検出信号を意味する。
【００７１】
ＬＰＦ３００は、低周波成分を角度算出部３１０に出力する。角度算出部３１０は、ＬＰＦ３００を通過した、加速度センサ２６０Ｘ，加速度センサ２６０Ｙ、加速度センサ２６０Ｚの各低周波成分を利用して、上記式（１）により角度（静的な回転とみなす回転角度）θを算出する。角度算出部３１０は算出した静的な回転角度θを加算器３５０に出力する。
【００７２】
１−３−２．コントローラ１８０における動的な回転（手振れ）角度φの算出処理
図５を参照する。
【００７３】
角速度センサ２５０は、検出結果である角速度に関する検出信号を、ＨＰＦ３６０に入力する。
【００７４】
本実施の形態のＨＰＦ３６０は、ローパスフィルタ３２０（以下、ＬＰＦ３２０）および減算器３３０を含む。
【００７５】
ＨＰＦ３６０内では、ＬＰＦ３２０および、減算器３３０には角速度センサ２５０の検出信号が入力される。
【００７６】
ＬＰＦ３２０は、角速度センサ２５０の出力から低周波数帯域（「低周波成分」とも呼ぶことがある。）を抽出する。減算器３３０は、角速度センサ２５０の検出信号からＬＰＦ３２０を通過した低周波成分を減算する。これにより、減算器３３０は、角速度センサ２５０の出力から高周波数帯域（「高周波成分」とも呼ぶことがある。）を抽出することになる。
【００７７】
本実施の形態では、ＬＰＦ３２０は、加速度センサ用のＬＰＦ３００のカットオフ周波数（ｆｃ＝０．２Ｈｚ）と同じカットオフ周波数（ｆｃ＝０．２Ｈｚ）に設定されている。これにより、ＨＰＦ３６０のカットオフ周波数もｆｃ＝０．２Ｈｚとなる。
【００７８】
ＬＰＦ３００のカットオフ周波数と、ＨＰＦ３６０のカットオフ周波数とを一致させることにより、加速度センサ２６０の周波数帯域と角速度センサ２５０の周波数帯域との干渉を回避できる。
【００７９】
さらに、カットオフ周波数を一致させることにより、デジタルビデオカメラ１００の回転動作が終わり、加速度センサ２６０の応答に、角速度センサ２５０の出力値が低減するタイミングを合わせることができる。これにより、たとえばデジタルビデオカメラ１００筐体が動的に回転しているときの角速度センサ２５０の出力結果による回転角度φと、回転の後、デジタルビデオカメラ１００筐体が静止したときの回転角度θとを滑らかに繋げることできる。回転角度φと回転角度θとを滑らかに繋げることで、常に適切な回転補正を行うことができる。
【００８０】
減算器３３０の演算結果は、角度算出部３４０に入力される。角度算出部３４０は、減算器３３０の演算結果である角速度を積分して角度に変換する。そして、角度算出部３４０は、回転ブレ量（動的な回転とみなす角度）φを演算する。角度算出部３４０は算出した動的な回転角度φを加算器３５０に出力する。
【００８１】
以上のようにして、加速度センサ２６０とから算出した角度の周波数帯域と、角速度センサ２５０とから算出した角度の周波数帯域との互いの干渉を避けることができ、かつ静的な回転角度と、動的な回転角度とを算出することができる。
【００８２】
１−３−３．コントローラ１８０における回転補正角度γの算出処理
加算器３５０は、静的な回転角度θと動的な回転角度φとを加算してリアルタイムに回転補正角度γを算出する。つまり、回転補正角度γはデジタルビデオカメラ１００の筐体の傾きを示している。
【００８３】
１−３−４．画像処理回路１６０における傾き補正処理
コントローラ１８０は、算出した回転補正角度γの情報を画像処理回路１６０に出力する。画像処理回路１６０は、入力された回転補正角度γに基づいて、ＣＭＯＳイメージセンサ１４０によって撮像された画像の傾きの補正処理を行う。
【００８４】
図６は、画像の傾き補正処理の概念を示す。図６では、顔や衣服等に装着して使用するウェアラブルカメラとしてデジタルビデオカメラ１００が使用されている例を示している。図６には、ＣＭＯＳイメージセンサ１４０におけるオプティカルブラック領域、有効画素領域、および実効画素領域に対応する画像領域が示されている。
【００８５】
例えば、被写体を撮影しているときに、撮影者の手振れによってデジタルビデオカメラ１００が反時計回りに角度γだけ回転したり、初めから撮影者によってデジタルビデオカメラ１００が基準の姿勢から反時計回りに角度γだけ傾けられていたとする。つまり撮影者に対向して見たとき、図６に示すようにデジタルビデオカメラ１００が時計回りに角度γだけ傾けられているとする。この場合、被写体が時計回りに角度γだけ回転して補正された画像が生成されることになる。
【００８６】
画像処理回路１６０は、コントローラ１８０から取得した回転補正角度γに関する情報を参照して、画像の傾きを低減させる方向に画像データを回転させる。より具体的には、画像内に、画像データの座標系を時計回りに角度γだけ回転させた新たな座標系を設定する。その後、画像処理回路１６０は、新たな座標系において、かつＣＭＯＳイメージセンサ１４０の有効画素領域内で画像の切出し処理を行う。そして、切り出した画像（実線の矩形で示されている実効画素領域の画像）を補正画像として出力する。これにより、被写体の傾きが補正された画像が得られる。そしてその画像は、オプティカルブラック領域内の画素を含まない良好な画像の画像データをメモリカード２００等に記録することができる。
【００８７】
なお、上述の図２に示されている構成要素は一例であり、デジタルビデオカメラ１００は、後述する動作を実行できる限り、一部の要素を含んでいなくてもよい。また、デジタルビデオカメラ１００は、電源、ハードディスクドライブなどの記録装置、フラッシュ、外部インターフェースのような他の要素を含み得る。
【００８８】
１−４．加速度センサ２６０の検出周波数と角速度センサ２５０との検出周波数
ここで、図７を参照しながら、加速度センサ２６０と角速度センサ２５０との検出周波数の相違を説明する。図７は、加速度センサ２６０と角速度センサ２５０との検出周波数の相違を示す。
【００８９】
図７（Ａ）は、加速度センサ２６０と角速度センサ２５０との検出周波数の相違を模式的に示す。
【００９０】
上述したように、ＬＰＦ３００のカットオフ周波数とＬＰＦ３２０のカットオフ周波数とがそれぞれｆｃ＝０．２Ｈｚに設定されている例を考える。本実施の形態では、静的な回転の角度θは、加速度センサ２６０から出力された検出信号の周波数成分のうち、主に、静的な回転（傾き）とみなす０〜０．２Ｈｚの周波数成分を利用して求める。一方、動的な回転の角度φは、角速度センサ２５０から出力された検出信号の周波数成分のうち、主に、動的な回転（手振れ）とみなす０．２Ｈｚより高周波の周波数成分を利用して求める。
【００９１】
図７（Ｂ）は、加速度センサ２６０の検出周波数と角速度センサ２５０の検出周波数との相違を示すためのゲイン線図である。
【００９２】
図７（Ｂ）において、ゲイン特性７１は加速度センサ出力に対するゲイン（静的な回転に対するゲイン）の変化を示し、ゲイン特性７２は角速度センサ出力に対するゲイン（動的な回転に対するゲイン）の変化を示す。さらに、ゲイン特性７３は、デジタルビデオカメラ１００の動的な回転および静的な回転（本明細書では「正味の回転」と記述することがある。）に対するゲインの変化を示す。
【００９３】
本実施の形態では、ＬＰＦ３００とＬＰＦ３２０のカットオフ周波数がそれぞれｆｃ＝０．２Ｈｚに設定されている。図７（Ｂ）に示されるように、０．２Ｈｚ以下の周波数帯域では角速度センサ出力に対する各ゲインは低く抑えられており（ゲイン特性７２）、加速度センサ出力に対する各ゲインは概ね０ｄＢである（ゲイン特性７１）。一方、０．２Ｈｚ以上の周波数帯域では、加速度センサ出力に対する各ゲインが低く抑えられ（ゲイン特性７１）、角速度センサ出力に対する各ゲインはほぼ０ｄＢである（ゲイン特性７２）。これにより、加速度センサ２６０と角速度センサ２５０との検出周波数を分離することができる。なお、ＬＰＦ３００とＬＰＦ３２０のカットオフ周波数は、それぞれの個体差により、互いに多少は相違していてもよい。本開示では、ＬＰＦ３００とＬＰＦ３２０のカットオフ周波数は、互いに「実質的に等しく」設定されればよい。
【００９４】
以下、ローパスフィルタ３００のカットオフ周波数以下の周波数に関するローパスフィルタ３００のゲイン特性を「ローパスフィルタ３００の低周波ゲイン特性」と記述する。また、ハイパスフィルタ３６０のカットオフ周波数以上の周波数に関するハイパスフィルタ３６０のゲイン特性を「ハイパスフィルタ３６０の高周波ゲイン特性」と記述する。本実施の形態においては、ローパスフィルタ３００の低周波ゲイン特性、およびハイパスフィルタ３６０の高周波ゲイン特性は、それぞれ一定の値を取り、平坦であるとしている。
【００９５】
本実施の形態では、少なくとも角速度センサ２５０および加速度センサ２６０が動作する周波数帯域に亘って、デジタルビデオカメラ１００の正味の回転に対するゲイン特性７３が実質的に平坦になるように設計されている。つまりゲイン特性７３を得られるよう、ローパスフィルタ３００の低周波ゲイン特性と、ハイパスフィルタ３６０の高周波ゲイン特性とが設計されている。
【００９６】
ここでいう「実質的に平坦」とは、ゲイン線図で表記したとき、ローパスフィルタ３００の低周波ゲイン特性、およびハイパスフィルタ３６０の高周波ゲイン特性がそれぞれ平坦であり、かつ、（１）平坦な周波数帯域における両者のゲインが一致する、または（２）両者のゲインが一致せずにずれが存在していたとしても、そのずれが所定の範囲内に収まっている、ことをいう。つまり、両者にずれがあったとしても、両者が平坦で、所定の範囲内に収まっていれば「実質的に平坦」である。「所定の範囲内」は、たとえば３ｄＢ未満であり、より好ましくは０〜１ｄＢである。これにより、上述した回転角度φと回転角度θとを滑らかに繋げることできる。
【００９７】
本実施の形態では、ゲイン特性７３が実質的に平坦であり、しかも角速度センサ２５０および加速度センサ２６０が動作する周波数帯域に亘ってゲインがほぼ０ｄＢになるように、ローパスフィルタ３００の低周波ゲイン特性、およびハイパスフィルタ３６０の高周波ゲイン特性が設計されている。
【００９８】
上述した性能を満足することが容易な例として、本願発明者らは、本実施の形態ではＬＰＦ３００と同等の性能を有するＬＰＦ３２０を用いてＨＰＦ３６０を設計した。
【００９９】
以上のように、本実施の形態にかかるデジタルビデオカメラ１００は、被写体像を撮像して画像を生成するＣＭＯＳイメージセンサ１４０と、加速度センサ２６０と、角速度センサ２５０と、加速度センサ２６０の出力のうち、第１の周波数（０．２Ｈｚ）よりも低周波側の周波数の信号に基づく第１の補正量と、角速度センサ２５０の出力のうち、第２の周波数（０．２Ｈｚ）よりも高周波側の周波数の信号に基づく第２の補正量とを算出するコントローラ１８０と、第１の補正量と、第２の補正量とに基づいて、ＣＭＯＳイメージセンサ１４０により生成された画像の傾き補正を行う画像処理回路１６０と、を備える。これにより、加速度センサ２６０および、角速度センサ２５０の特性に応じた適切な回転補正を行うことができる。
【０１００】
１−５．効果等
以上のように、本実施の形態において、撮像装置１００は、結像された被写体像から画像を生成する撮像部２７０と、自装置１００に対する重力加速度を検出して、検出結果を第１検出信号として出力する加速度センサ２６０と、自装置１００の姿勢の変化を検出して、検出結果を第２検出信号として出力する角速度センサ２５０および角加速度センサの一方と、第１検出信号に含まれる、所定の第１周波数以下の周波数成分に基づいて第１補正量を算出し、第２検出信号に含まれる、所定の第２周波数以上の周波数成分に基づいて第２補正量を算出し、第１補正量、および第２補正量に基づいて、被写体像または画像の傾きを補正するプロセッサ２９０とを備えている。
【０１０１】
これにより、傾きを有する撮影後の画像、または撮影前の撮像素子（ＣＭＯＳイメージセンサ１４０）上の像に、より適切な回転補正を行うことができる。
【０１０２】
また、プロセッサ２９０は、第１検出信号の周波数成分のうち、第１周波数をカットオフ周波数とするローパスフィルタ３００を通過した周波数成分に基づいて第１補正量を算出し、第２検出信号の周波数成分のうち、第２周波数をカットオフ周波数とするハイパスフィルタ３６０を通過した周波数成分に基づいて第２補正量を算出する。
【０１０３】
ローパスフィルタ３００のカットオフ周波数以下の周波数に関するローパスフィルタ３００のゲイン特性と、ハイパスフィルタ３６０のカットオフ周波数以上の周波数に関するハイパスフィルタ３６０のゲイン特性とは所定の範囲内に収まる。
【０１０４】
ローパスフィルタ３００のカットオフ周波数以下の周波数に関するローパスフィルタ３００のゲイン特性、およびハイパスフィルタ３６０のカットオフ周波数以上の周波数に関するハイパスフィルタ３６０のゲイン特性は、実質的に平坦である。
【０１０５】
ローパスフィルタ３００のカットオフ周波数と、ハイパスフィルタ３６０のカットオフ周波数とは等しい。
【０１０６】
ハイパスフィルタ３６０は、ローパスフィルタ３００と同じ周波数特性およびゲイン特性を有するフィルタ３２０と、減算器３３０とを有しており、フィルタ３２０は第２検出信号をフィルタリングして第２検出信号の低周波成分を通過させ、減算器３３０は、フィルタによってフィルタリングされた信号を第２検出信号から減算して第２検出信号の高周波成分を出力する。
【０１０７】
プロセッサ２９０は、第１検出信号に含まれる、所定の第１周波数以下の周波数成分に基づいて算出された第１補正量、および第２検出信号に含まれる、所定の第２周波数以上の周波数成分に基づいて算出された第２補正量に基づいて、撮像部２７０により生成された画像の傾きを補正する画像処理回路１６０を備えている。
【０１０８】
プロセッサ２９０は、第１検出信号に含まれる、所定の第１周波数以下の周波数成分に基づいて第１補正量を算出し、第２検出信号に含まれる、所定の第２周波数以上の周波数成分に基づいて第２補正量を算出するコントローラ１８０と、第１補正量、および第２補正量に基づいて、撮像部により生成された画像の傾きを補正する画像処理回路１６０とを備えている。
【０１０９】
撮像部２７０は、被写体像が結像される撮像素子１４０を有しており、撮像素子１４０の角度を変更する駆動機構２８０をさらに備え、駆動機構２８０は、撮像素子１４０の角度を変更するアクチュエータ２８０ａと、プロセッサ２９０からの指示に従って、撮像素子１４０の角度を変更するようアクチュエータを制御する制御回路２８０ｂとを有し、プロセッサ２９０は、第１補正量、および第２補正量に基づく角度だけ、撮像素子の角度を変更するよう駆動機構に指示し、被写体像の傾きを補正する。
【０１１０】
アクチュエータ２８０ａは撮像素子１４０と機械的に接続されており、制御回路２８０ｂは、アクチュエータ２８０ａを制御して撮像素子１４０の角度を変更する。
【０１１１】
撮像部２７０は、撮像素子１４０が固定された鏡筒を備えており、アクチュエータ２８０ａは、鏡筒と機械的に接続されており、制御回路２８０ｂは、アクチュエータ２８０ａを制御して鏡筒の角度を変更することによって撮像素子１４０の角度を変更する。
【０１１２】
〔他の実施の形態〕
図５に示す加算器３５０は必須の構成要素ではない。
【０１１３】
たとえば図８は、加算器３５０を有しないコントローラ１８０の構成例を示す。コントローラ１８０に代えて、画像処理回路１６１が加算器３５１を有している。加算器３５１を有する以外は、画像処理回路１６１は画像処理回路１６０と同じである。角度算出部３１０および３４０は、それぞれが算出した動的な回転角度の情報と静的な回転角度の情報とを、画像処理回路１６１に出力する。画像処理回路１６１はそれらの情報を受け取って加算器３５１を用いて加算することにより、回転補正角度を計算する。
【０１１４】
上述の実施の形態では、角速度センサを利用する例を説明したが、角加速度センサを用いてもよい。角加速度センサによって検出された角加速度の積分を計算することにより、角速度を得ることができ、上述の実施の形態の処理を適用できる。
【０１１５】
上記実施の形態では、デジタルビデオカメラが撮影した画像の回転補正を、画像処理回路１６０による傾きの補正処理により行ったが、これに限定されない。すなわち、コントローラ１８０は、算出した回転補正角度γの情報に基づいて、ＣＭＯＳイメージセンサ１４０を回転させることにより、デジタルビデオカメラが撮影する画像の回転補正を行ってもよい。このとき、ＣＭＯＳイメージセンサ１４０自体を単体で回転させてもよいし、光学系１１０と一体的に鏡筒単位で回転させてもよい。
【０１１６】
図９は、センサ駆動機構２８０を備えたデジタルビデオカメラ１０１を示す。デジタルビデオカメラ１０１とデジタルビデオカメラ１００（図２）とのハードウェア的な相違点はセンサ駆動機構２８０の有無である。また、ソフトウェア的な相違点は、デジタルビデオカメラ１０１の画像処理回路１６０は、画像の傾き補正処理を行わなくてもよいことである。以下、センサ駆動機構２８０に関して説明し、他の構成に付いての説明は省略する。なお、以下の説明では、センサ駆動機構２８０は、ＣＭＯＳイメージセンサ１４０を単体で回転させるとして説明する。
【０１１７】
センサ駆動機構２８０は、たとえば光軸に垂直な平面内でＣＭＯＳイメージセンサ１４０の角度を変更する。そのような動作を実現するため、センサ駆動機構２８０は、たとえばＣＭＯＳイメージセンサ１４０に物理的に接続されたアクチュエータ２８０ａと、アクチュエータ２８０ａを制御するための制御回路２８０ｂとを含む。
【０１１８】
コントローラ１８０が、回転補正角度γを算出する処理は上述したとおりである。コントローラ１８０は、算出した回転補正角度γの情報に基づいて、センサ駆動機構２８０に命令を送り、ＣＭＯＳイメージセンサ１４０を回転駆動させる。図６に示すように、デジタルビデオカメラ１０１が反時計回りに角度γだけ傾けられている状態においては、センサ駆動機構２８０は、ＣＭＯＳイメージセンサ１４０を時計回りに角度γだけ移動させればよい。これにより、ＣＭＯＳイメージセンサ１４０上に結像される被写体像の傾きが補正される。その結果、撮影された傾きが低減または相殺された画像を得ることができる。
【０１１９】
なお、上述の説明では、センサ駆動機構２８０が、ＣＭＯＳイメージセンサ１４０を単体で回転させるとして説明した。鏡筒を回転させる態様の場合には、アクチュエータ２８０ａを、鏡筒または撮像部２７０に機械的に接続すればよい。ただし、ＣＭＯＳイメージセンサ１４０を駆動するアクチュエータの仕様と、鏡筒を駆動するアクチュエータの仕様とは異なり得る。当業者であれば適切なアクチュエータを採用することができる。鏡筒内部にはＣＭＯＳイメージセンサ１４０が固定的に設置されているため、アクチュエータ２８０ａが鏡筒を回転させることにより、ＣＭＯＳイメージセンサ１４０の角度が変更される。なお回転方向に関しては、上述の説明のとおりである。
【０１２０】
上述した画像処理回路１６０、またはプロセッサ２９０は、光学系１１０によってＣＭＯＳ１４０上に結像された被写体像の傾き、または撮像によって取得された画像の傾きを補正する処理のいずれか一方を行うことが可能である。これにより、デジタルビデオカメラ１００は、傾きが補正された画像を生成することができる。
【０１２１】
上記実施の形態では、デジタルビデオカメラが撮影した画像の回転補正を行う場合を説明したが、これに限定されない。すなわち、角度算出結果を、電子水準器の表示に適用してもよい。
【産業上の利用可能性】
【０１２２】
本開示は、デジタルビデオカメラへの適用に限定されず、デジタルスチルカメラや、カメラ機能付携帯電話や、カメラ機能付スマートフォン等の電子機器に適用できる。
【符号の説明】
【０１２３】
１００  デジタルビデオカメラ
１１０  光学系
１２０  レンズ駆動回路
１４０  ＣＭＯＳイメージセンサ
１５０  Ａ／Ｄコンバータ
１６０  画像処理回路
１７０  バッファ
１８０  コントローラ
１９０  カードスロット
２００  メモリカード
２１０  操作部
２２０  表示モニタ
２４０  内部メモリ
２５０  角速度センサ
２６０  加速度センサ
２７０  撮像部
２８０  センサ駆動機構
２８０ａ  アクチュエータ
２８０ｂ  制御回路
２９０  プロセッサ
【図１】
2014160226.tif 000004
【図２】
2014160226.tif 000005
【図３】
2014160226.tif 000006
【図４】
2014160226.tif 000007
【図５】
2014160226.tif 000008
【図６】
2014160226.tif 000009
【図７】
2014160226.tif 000010
【図８】
2014160226.tif 000011
【図９】
2014160226.tif 000012