(57)【要約】【課題】撮像によって取得された画像の傾きをより適切に補正する。【解決手段】撮像装置は、撮像によって画像を生成する撮像部と、加速度を検出する加速度検出部と、角速度を検出する角速度検出部と、前記加速度検出部の出力に基づく第１の信号の直流成分と前記角速度検出部の出力に基づく第２の信号の直流成分との比較結果、および前記第１の信号の交流成分と前記第２の信号の交流成分との比較結果の少なくとも一方に基づいて、前記画像の回転角度を決定するコントローラとを備える。【選択図】図４
2014068336.tif 000002
【特許請求の範囲】
【請求項１】
撮像によって画像を生成する撮像部と、
加速度を検出する加速度検出部と、
角速度を検出する角速度検出部と、
前記加速度検出部の出力に基づく第１の信号の直流成分と、前記角速度検出部の出力に基づく第２の信号の直流成分との比較結果、および前記第１の信号の交流成分と前記第２の信号の交流成分との比較結果の少なくとも一方に基づいて、前記生成された画像の回転角度を決定するコントローラと、
を備える撮像装置。
【請求項２】
前記コントローラは、前記第１の信号の直流成分が示す値と前記第２の信号の直流成分が示す値との差分が予め設定された閾値よりも小さいとき、前記第２の信号に基づいて前記回転角度を決定する、請求項１に記載の撮像装置。
【請求項３】
前記コントローラは、前記第１の信号の直流成分が示す値と前記第２の信号の直流成分が示す値との差分が前記閾値以上であり、かつ前記第１の信号の交流成分と前記第２の信号の交流成分とが対応しないとき、前記第１の信号の直流成分および前記第２の信号に基づいて前記回転角度を決定する、請求項２に記載の撮像装置。
【請求項４】
前記コントローラは、前記第１の信号の直流成分が示す値と前記第２の信号の直流成分が示す値との差分が前記閾値以上であり、かつ前記第１の信号の交流成分と前記第２の信号の交流成分とが対応するとき、前記第１の信号に基づいて、前記回転角度を決定する、請求項２または３に記載の撮像装置。
【請求項５】
前記コントローラは、前記第１の信号の直流成分が示す値と前記第２の信号の直流成分が示す値との差分が前記閾値以上であり、かつ前記第１の信号の交流成分と前記第２の信号の交流成分とが対応するとき、前記第１の信号の直流成分および交流成分と、前記第２の信号の交流成分のうち、前記第１の信号の交流成分と重複しない成分とに基づいて、前記回転角度を決定する、請求項４に記載の撮像装置。
【請求項６】
前記コントローラは、前記第１の信号の交流成分と前記第２の信号の交流成分とが対応しないとき、前記第１の信号の直流成分および前記第２の信号に基づいて前記回転角度を決定する、請求項１に記載の撮像装置。
【請求項７】
前記コントローラは、前記第１の信号の交流成分と前記第２の信号の交流成分とが対応し、かつ前記第１の信号の直流成分が示す値と前記第２の信号の直流成分が示す値との差分が予め定められた閾値以上であるとき、前記第１の信号に基づいて前記回転角度を決定する、請求項６に記載の撮像装置。
【請求項８】
前記コントローラは、前記第１の信号の交流成分と前記第２の信号の交流成分とが対応し、かつ前記第１の信号の直流成分が示す値と前記第２の信号の直流成分が示す値との差分が予め定められた閾値以上であるとき、前記第１の信号の直流成分および交流成分と、前記第２の信号の交流成分のうち、前記第１の信号の交流成分と重複しない成分とに基づいて、前記回転角度を決定する、請求項７に記載の撮像装置。
【請求項９】
前記コントローラは、前記第１の信号の交流成分と前記第２の信号の交流成分とが対応し、かつ前記第１の信号の直流成分が示す値と前記第２の信号の直流成分が示す値との差分が前記閾値よりも小さいとき、前記第２の信号に基づいて前記回転角度を決定する、請求項６から８のいずれかに記載の撮像装置。
【請求項１０】
前記コントローラによって決定された前記回転角度に従って、前記画像の座標を回転させることにより、前記画像を補正する画像処理部をさらに備える請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
撮像によって画像を生成する撮像部と、加速度を検出する加速度検出部と、角速度を検出する角速度検出部と、を備える撮像装置から出力される信号を処理する画像処理装置であって、
前記画像を示す信号、前記加速度検出部の出力を示す信号、および前記角速度検出部の出力を示す信号を取得するインターフェースと、
前記加速度検出部の出力に基づく第１の信号の直流成分と前記角速度検出部の出力に基づく第２の信号の直流成分との比較結果、および前記第１の信号の交流成分と前記第２の信号の交流成分との比較結果の少なくとも一方に基づいて、前記画像の回転角度を決定するコントローラと、
を備える画像処理装置。
【請求項１２】
撮像によって画像を生成する撮像部と、加速度を検出する加速度検出部と、角速度を検出する角速度検出部と、を備える撮像装置から出力される信号を処理する画像処理方法であって、
前記画像を示す信号、前記加速度検出部の出力を示す信号、前記角速度検出部の出力を示す信号を取得するステップと、
前記加速度検出部の出力に基づく前記第１の信号の直流成分と前記角速度検出部の出力に基づく前記第２の信号の直流成分との比較結果、および前記第１の信号の交流成分と前記第２の信号の交流成分との比較結果の少なくとも一方に基づいて、前記画像の回転角度を決定するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は撮像装置および画像処理装置に関する。
【背景技術】
【０００２】
特許文献１は、電子カメラを開示する。この電子カメラは、撮像によって取得した画像（以下、「撮像画像」と呼ぶことがある。）から一部を抽出することによって得られる画像を示す画像データを記憶媒体に記録する。この電子カメラは、撮像画像から抽出する画像領域の座標を、画像の傾きを打ち消す方向に回転させることによって画像を補正する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−９４８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、より適切な傾き補正を行う撮像装置および画像処理装置を提供する。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本開示の撮像装置は、撮像によって画像を生成する撮像部と、加速度を検出する加速度検出部と、角速度を検出する角速度検出部と、前記加速度検出部の出力に基づく第１の信号の直流成分と前記角速度検出部の出力に基づく第２の信号の直流成分との比較結果、および前記第１の信号の交流成分と前記第２の信号の交流成分との比較結果の少なくとも一方に基づいて、前記画像の傾きを補正するための回転角度を決定するコントローラとを備える。
【０００６】
また、本開示の画像処理装置は、撮像によって画像を生成する撮像部と、加速度を検出する加速度センサと、角速度を検出する角速度検出部とを備える撮像装置から出力される信号を処理する画像処理装置であって、前記画像を示す信号、前記加速度検出部の出力を示す信号、および前記角速度検出部の出力を示す信号を取得するインターフェースと、前記加速度検出部の出力に基づく第１の信号の直流成分と前記角速度検出部の出力に基づく第２の信号の直流成分との比較結果、および前記第１の信号の交流成分と前記第２の信号の交流成分との比較結果の少なくとも一方に基づいて、前記画像の傾きを補正するための回転角度を決定するコントローラとを備える。
【発明の効果】
【０００７】
本開示の技術によれば、より適切な傾き補正を行う撮像装置および画像処理装置を提供できる。
【図面の簡単な説明】
【０００８】
【図１】デジタルビデオカメラ１００の電気的構成を示すブロック図
【図２】加速度センサと角速度センサの検出軸のイメージを示す図
【図３】コントローラ１８０の構成例を示すブロック部
【図４】例示的な実施の形態１における画像の傾きを補正する動作を示すフローチャート
【図５】直流成分および交流成分の比較がなされる傾き角度θ１およびθ２を表す信号波形の複数の例を示すイメージ図
【図６】画像を補正する動作のイメージを示す図
【図７】例示的な実施の形態２における画像の傾きを補正する動作を示すフローチャート
【図８】他の実施の形態における画像処理装置３００を備えるシステムの構成例を示すブロック図
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
（実施の形態１）
本開示の技術をデジタルビデオカメラに適用した実施の形態１について図面を参照して説明する。以下の説明において、画像を示す信号またはデータを単に「画像」と称することがある。また、デジタルビデオカメラの横方向を「水平方向」、縦方向を「鉛直（垂直）方向」と呼ぶことがある。
【００１２】
［１−１．概要］
本実施の形態のデジタルビデオカメラ１００は、傾き補正機能および回転ブレ補正機能を有する。傾き補正機能とは、撮影時の自装置の水平な姿勢からの傾きが撮像画像に与える傾きを補正する機能である。デジタルビデオカメラ１００は、重力加速度を検出する加速度センサ（加速度検出部）２６０の出力に基づいて、自装置の鉛直方向が重力加速度方向に対してどの程度傾いているかを算出し、撮像画像の傾きを打ち消す方向に画像の座標を回転させることにより、画像の傾きを電子的に補正する機能を備えている。一方、回転ブレ補正機能とは、撮影時の自装置の振れが撮像画像に与える影響を低減する機能のことである。デジタルビデオカメラ１００は、角速度センサ（角速度検出部）２５０の出力に基づいて、撮像画像から切り出す画像の座標を、ロール方向（カメラの前後方向を軸方向とする回転の方向）の手振れを打ち消す方向に回転させることにより、画像の回転ブレを電子的に補正する機能を備えている。
【００１３】
以下、デジタルビデオカメラ１００の具体的な構成および動作を説明する。
【００１４】
［１−２．構成］
本実施の形態にかかるデジタルビデオカメラ１００の構成を説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図であり、構成要素間の電気的な接続関係を示している。デジタルビデオカメラ１００は、撮像部２７０、画像処理部１６０、バッファ１７０、コントローラ１８０、カードスロット１９０、メモリカード２００、操作部２１０、表示モニタ２２０、内部メモリ２４０、角速度センサ２５０、加速度センサ２６０を備えている。撮像部２７０は、光学系１１０、レンズ駆動部１２０、ＣＭＯＳイメージセンサ１４０、およびＡ／Ｄコンバータ（ＡＤＣ）１５０を有している。
【００１５】
デジタルビデオカメラ１００は、１又は複数のレンズを有する光学系１１０によって形成された被写体像をＣＭＯＳイメージセンサ１４０によって電気信号に変換（撮像）する。ＣＭＯＳイメージセンサ１４０で生成された電気信号は、画像処理部１６０で各種の処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成要素をより詳細に説明する。
【００１６】
光学系１１０は、ズームレンズ、手振れ補正レンズ、フォーカスレンズ、絞り等を有する。ズームレンズを光軸に沿って移動させることにより、ＣＭＯＳイメージセンサ１４０の撮像面上に形成される被写体像を拡大および縮小させることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。手振れ補正レンズは、光学系１１０の光軸に垂直な面内で移動できるように構成されている。デジタルビデオカメラ１００の振れを打ち消す方向に手振れ補正レンズを移動させることにより、デジタルビデオカメラ１００の振れが撮像画像に与える影響を低減できる。絞りは、使用者の設定に応じて、または自動で、開口部の大きさを調整し、透過する光の量を調整する。図１では、一例として３つのレンズが描かれているが、レンズの数はこの例に限定されず、要求される機能および性能に応じて好適に決定される。
【００１７】
光学系１１０は、さらにズームレンズを駆動するズームアクチュエータ、手振れ補正レンズを駆動する手振れ補正アクチュエータ、フォーカスレンズを駆動するフォーカスアクチュエータ、および絞りを駆動する絞りアクチュエータを含んでいてもよい。
【００１８】
レンズ駆動部１２０は、光学系１１０に含まれる各種のレンズ及び絞りを駆動する。レンズ駆動部１２０は、例えば、光学系１１０に含まれ得るズームアクチュエータ、フォーカスアクチュエータ、手振れ補正アクチュエータ、および絞りアクチュエータを制御する。
【００１９】
ＣＭＯＳイメージセンサ１４０は、光学系１１０によって形成された被写体像を電気信号に変換して、アナログの画像データを生成する。ＣＭＯＳイメージセンサ１４０は、例えば露光、転送、電子シャッタなどの各種の動作を行う。なお、ＣＭＯＳイメージセンサ１４０の代わりにＣＣＤイメージセンサやＮＭＯＳイメージセンサのような他の種類のイメージセンサを用いてもよい。
【００２０】
Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する回路である。Ａ／Ｄコンバータ１５０の出力は画像処理部１６０に送られる。
【００２１】
光学系１１０、ＣＭＯＳイメージセンサ１４０、およびＡ／Ｄコンバータ１５０を含む複数の要素は、撮像部２７０を構成している。撮像部２７０は、撮像によって時間的に連続する複数のフレームを含むデジタル画像データを順次生成して出力する。
【００２２】
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種の処理を施す回路である。画像処理部１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）やマイクロコントローラ(マイコン)によって実現され得る。画像処理部１６０は、表示モニタ２２０に表示するための画像データや、メモリカード２００に格納するための画像データを生成する。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種の処理を行う。また、画像処理部１６０は、撮像部２７０から出力された画像データを、例えばＨ．２６４規格やＭＰＥＧ２規格などの所定の規格に準拠した形式に圧縮する。
【００２３】
画像処理部１６０は、画像データに対して座標回転処理を施すことにより、撮影中の自装置の傾きや回転ブレがＣＭＯＳイメージセンサ１４０の撮像面上に形成される像に及ぼす回転方向（ロール方向）の傾きを低減できる。例えば、被写体を撮影しているときに、撮影者の手振れによってデジタルビデオカメラ１００が反時計回りにθ°回転したり、撮影者が初めからデジタルビデオカメラ１００を基準の姿勢から反時計回りにθ°だけ傾けた状態で撮影したとする。この場合、画像処理部１６０による傾きおよび回転ブレ補正機能により、画像全体が時計回りにθ°だけ回転した補正された画像が生成される。このとき、画像処理部１６０は、画像データの座標を時計回りにθ°だけ回転させた上で適切な範囲の画像データを切り出す。そうすることにより、回転方向に被写体が傾いていない画像データが切り出される。このように、画像処理部１６０は、回転方向の振れが低減された画像を生成する。
【００２４】
コントローラ１８０は、デジタルビデオカメラ全体を制御するプロセッサである。コントローラ１８０は、例えばマイコンなどの半導体集積回路によって実現可能である。コントローラ１８０は、中央演算処理装置（ＣＰＵ）とプログラム（ソフトウェア）との組み合わせにより、好適に実現され得る。あるいは、専用のハードウェアのみでコントローラ１８０を構成してもよい。コントローラ１８０は、例えば、６０ｆｐｓの垂直同期信号を生成する。角速度センサ２５０および加速度センサ２６０の出力に基づく傾き補正量の演算処理は、垂直同期信号の周期内で行なわれる。これにより、画像の傾きが適切に補正された画像を得ることができる。なお、垂直同期信号期間は、６０ｆｐｓに限らず、他の値に設定されていてもよい。
【００２５】
図１では、画像処理部１６０とコントローラ１８０とが分離して描かれているが、両者は物理的に統合された１つの集積回路によって実現されていてもよい。すなわち、画像処理部１６０およびコントローラ１８０は、別々の半導体チップで構成されている必要はなく、１つの半導体チップで構成されていてもよい。
【００２６】
バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００２７】
カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納することが可能である。なお、図１に示されているメモリカード２００は、デジタルビデオカメラ１００の構成要素ではなく、外部の要素である。
【００２８】
内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成され得る。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。
【００２９】
操作部２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。
【００３０】
表示モニタ２２０は、例えば液晶や有機ＥＬによって実現され得るディスプレイである。表示モニタ２２０は、撮像部２７０から出力され、画像処理部１６０によって処理された画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。
【００３１】
本実施の形態におけるデジタルビデオカメラ１００は、上述のように、加速度センサ２６０および角速度センサ２５０を備えている。以下、図２を参照して、加速度センサ２６０および角速度センサ２５０の検出軸を説明する。図２は、加速度センサ２６０および角速度センサ２５０の検出軸のイメージを示す図である。
【００３２】
加速度センサ２６０は、重力加速度方向に対するデジタルビデオカメラ１００の鉛直方向の傾きを検出するセンサである。加速度センサ２６０は、例えば、静電容量型、ピエゾ抵抗型、熱検知型といった半導体式加速度センサによって実現することができる。加速度センサ２６０は、半導体式に限らず、光学式や機械式のセンサでもよい。
【００３３】
図２（ａ）に示すように、本実施の形態における加速度センサ２６０は、デジタルビデオカメラ１００の光軸方向（Ｚ軸方向）の加速度成分を検出するセンサと、Ｚ軸に垂直な面内であってデジタルビデオカメラ１００の水平方向（Ｘ軸方向）の加速度成分を検出するセンサと、Ｚ軸に垂直な面内であってデジタルビデオカメラ１００の鉛直方向（Ｙ軸方向）の加速度成分を検出するセンサとを備えている。本明細書では、これらのセンサを総称して「加速度センサ２６０」と呼ぶことにする。Ｘ軸、Ｙ軸、Ｚ軸は、デジタルビデオカメラ１００に固定されているため、各軸方向の加速度成分の検出結果はデジタルビデオカメラ１００の姿勢に応じて変化する。
【００３４】
加速度センサ２６０が検出したＸ軸方向、Ｙ軸方向、Ｚ軸方向の加速度に関する情報はコントローラ１８０に通知される。コントローラ１８０は、加速度センサ２６０のＸ軸方向の出力信号、Ｙ軸方向の出力信号、Ｚ軸方向の出力信号を解析することにより、デジタルビデオカメラ１００の傾き角度「θ１」を補正するための第１の補正量（第１の補正角度）を算出することができる。ここで、検出されたＸ方向の加速度成分の値を「Ｘ」、Ｙ方向の加速度成分の値を「Ｙ」、Ｚ方向の加速度成分の値を「Ｚ」で表すとすると、デジタルビデオカメラ１００の重力加速度方向に対するＹ軸の傾き角度「θ１」は、次の式で算出することができる。
【数１】
2014068336.tif 000003
【００３５】
例えば、図２（ｂ）に示すように、加速度センサ２６０によって検出された各成分の加速度の値が、重力加速度の大きさを１Ｇ（約９．８０７ｍ／ｓ2）として、Ｘ＝Ｙ＝０．７０７Ｇ、Ｚ＝０であったとする。これは、デジタルビデオカメラ１００がロール（Ｒ）方向以外の方向に傾いていない状況を表している。このとき、コントローラ１８０は、式（１）に基づき、θ１＝４５°という演算結果を得る。また、図２（ｃ）に示すように、加速度センサ２６０によって検出された各成分の加速度の値が、Ｘ＝０．５００Ｇ、Ｙ＝０．８６６Ｇ、Ｚ＝０であった場合を考える。このとき、コントローラ１８０は、式（１）に基づき、θ１＝３０°という演算結果を得る。上記以外の場合でも、コントローラ１８０は、式（１）に基づいて傾き角度θ１を算出することができる。
【００３６】
なお、ピッチ方向（Ｘ軸回りの回転の方向）の傾きを考慮しない場合、加速度センサ２６０は、加速度のＺ軸方向の成分を検出するセンサを備えていなくてもよい。その場合、傾き角度θ１は、以下の式（２）に基づいて算出され得る。
【数２】
2014068336.tif 000004
【００３７】
角速度センサ２５０は、デジタルビデオカメラ１００の角速度を検出するセンサである。角速度センサ２５０は、例えば振動式のジャイロセンサであり得る。角速度センサ２５０は、回転する振動子に働くコリオリの力に起因する振動子の変位量を測定することによって角速度を検出することができる。角速度センサ２５０は、光学式などの他の種類のセンサであってもよい。
【００３８】
図２に示すように、本実施の形態における角速度センサ２５０は、手振れ等に起因して発生するデジタルビデオカメラ１００のロール（Ｒ）方向の角速度を検出するセンサを備えている。角速度センサ２５０は、ロール方向に加えて、ヨー方向（Ｙ軸回りの回転の方向）、ピッチ方向（Ｘ軸回りの回転の方向）の角速度を検出するセンサを備えていてもよい。コントローラ１８０は、角速度センサ２５０のロール方向に関する出力信号を積分することにより、撮影中のデジタルビデオカメラ１００のロール方向の回転ブレに起因する傾き角度「θ２」を補正するための第２の補正量（第２の補正角度）を算出することができる。
【００３９】
図３は、以上の動作を実現するためのコントローラ１８０の構成例を示す図である。図３において、矢印は信号の主な流れを示している。コントローラ１８０は、加速度センサ２６０および角速度センサ２６０のそれぞれの出力に応じた角度θ１、θ２を算出して出力する角度算出部１８６と、角度θ１、θ２を示す信号のそれぞれについて、直流成分および交流成分を抽出するフィルタ１８８と、角度θ１およびθ２の直流成分を比較する直流成分比較部１８４と、角度θ１およびθ２の交流成分を比較する交流成分比較部１８５と、直流成分比較部１８４および交流成分比較部１８５の出力に基づいて最終的な補正角度を決定する補正角度決定部１８７とを有している。角度算出部１８６は、加速度センサ２６０の出力に基づいて傾き角度θ１を算出するθ１算出部１８１ａと、角速度センサ２５０の出力に基づいて傾き角度θ２を算出するθ２算出部１８２ａとを有している。フィルタ１８８は、θ１算出部１８１ａおよびθ２算出部１８１ｂのそれぞれの出力から直流成分を抽出するローパスフィルタ１８２ａ、１８２ｂと、θ１算出部１８１ａおよびθ２算出部１８１ｂのそれぞれの出力から交流成分を抽出するハイパスフィルタ１８３ａ、１８３ｂとを有している。これらの機能ブロックの各々は、専用の回路、またはプログラムとプロセッサとの組み合わせによって実現され得る。これらの各部の動作の詳細は後述する。
【００４０】
なお、図１、３に示されている構成要素は一例であり、デジタルビデオカメラ１００は、後述する動作を実行できる限り、どのように構成されていてもよい。例えば、図１に示される要素の一部を含んでいなくてもよい。また、デジタルビデオカメラ１００は、電源、ハードディスクドライブなどの記録装置、フラッシュ、外部インターフェースのような他の要素を含み得る。
【００４１】
［１−３．動作］
本実施の形態のデジタルビデオカメラ１００は、画像データに対して座標回転処理を施すことにより、自装置の傾きがＣＭＯＳイメージセンサ１４０の撮像面上に形成された像に及ぼすロール方向の傾きの影響を低減できる。
【００４２】
デジタルビデオカメラ１００は、加速度センサ２６０の出力結果から算出される傾き角度θ１を示す第１の信号の直流成分と、角速度センサ２５０の出力結果から算出される傾き角度θ２を示す第２の信号の直流成分とが一致すると判断したときは、角速度センサ２５０の出力結果に基づいて、撮像画像の補正を行う。
【００４３】
また、デジタルビデオカメラ１００は、第１の信号の直流成分と、第２の信号の直流成分とが一致しないと判断したときにおいて、第１の信号の交流成分（以下、「位相」と称する場合がある。）と、第２の信号の交流成分とが対応しないと判断したとき、第１の信号の直流成分と、第２の信号とに基づいて、撮像画像の補正を行う。
【００４４】
また、デジタルビデオカメラ１００は、第１の信号の直流成分と、第２の信号の直流成分とが一致しないと判断したときにおいて、第１の信号の交流成分と、第２の信号の交流成分とが対応すると判断したとき、第１の信号に基づいて、撮像画像の補正を行う。この際、必要に応じて第２の信号も利用され得る。
【００４５】
以下、デジタルビデオカメラ１００における撮像画像の補正動作の詳細を説明する。
【００４６】
［１−３−１．加速度センサの出力のノイズについて］
本実施形態におけるデジタルビデオカメラ１００は、主に加速度センサ２６０の出力結果に基づいて傾き量を算出して、撮像画像の傾きを補正する。ただし、必要に応じて角速度センサ２５０の出力も利用して傾き量を算出する。
【００４７】
加速度センサ２６０の出力ノイズが大きい場合、コントローラ１８０は、出力ノイズ成分をデジタルビデオカメラ１００の傾きによるものであると誤判断して、デジタルビデオカメラ１００の実際の傾き量とは合致しない誤った傾き補正を行なってしまうおそれがある。つまり、出力ノイズによって傾きとして検出された角度の傾き補正を実行した結果、再生された画面が意図せず回転してしまう現象を引き起こす場合がある。そのため、加速度センサ２６０の出力ノイズはフィルタリング等を駆使し、十分に低減する必要がある。十分なフィルタリングを行えば、出力ノイズを低減できるため、誤った傾き補正を防ぐことができる。
【００４８】
一方で、フィルタリングを過剰に行なった場合、フィルタリングに起因して、補正自体の追従動作が遅れてしまう弊害が発生する。この時、デジタルビデオカメラ１００を傾ける動作を繰り返し行なうと、補正の追従が遅れ、ハンチング（ｈｕｎｔｉｎｇ）動作の様な見苦しい映像になる。
【００４９】
発明者らは、実験を通して、加速度センサ２６０の出力ノイズによる誤動作を低減しつつも、適切な傾き補正を実現する必要があるという課題を認識するに至った。
【００５０】
［１−３−２．２経路の角度算出値の比較］
本実施形態のデジタルビデオカメラ１００は、加速度センサ２６０の出力結果に基づく傾き角度θ１の算出、および角速度センサ２５０の出力結果に基づく傾き角度θ２の算出を行い、これらの２種類の処理の結果を比較することにより、自機のロール方向の最終的な補正角度を決定し、その補正角度に従って撮影画像を補正する。これらの２種類の処理によって算出される２つの傾き角度を示す信号の直流成分および交流成分をそれぞれ比較することにより、いずれの傾き角度をどの程度利用するかを決定する。これにより、補正の遅延が発生する恐れがあるフィルタリングを抑えながらも、加速度センサ２６０の出力ノイズによる傾き補正の誤動作を低減することができる。
【００５１】
以下、図４のフローチャート及び図５の波形例を参照しながら、本実施形態における傾き補正及び回転ブレ補正の具体的な動作を説明する。図４は、コントローラ１８０による補正角度を決定する動作を示すフローチャートである。図５は、直流成分および交流成分の比較がなされる傾き角度θ１およびθ２を表す信号波形のいくつかの例を示すイメージ図である。図５において、横軸（一点鎖線）は時間を表している。
【００５２】
図４は、１フレームの補正処理を示している。コントローラ１８０は、撮像部２７０から順次出力されるそれぞれのフレームについて、図４に示す処理を実行することによって傾きを補正するための回転角度（補正角度）を決定して画像処理部１６０に補正を指示する。まず、コントローラ１８０は、加速度センサ２６０および角速度センサ２５０から、それぞれの出力信号を取得する（ステップＳ３００）。続いて、加速度センサ２６０の出力に基づいて傾き角度θ１を算出し、角速度センサ２５０の出力に基づいて傾き角度θ２を算出する（ステップＳ３１０）。具体的には、コントローラ１８０におけるθ１算出部１８１ａは、加速度センサ２６０の出力から、式（１）に示す演算を行うことにより、角度θ１を算出する。また、コントローラ１８０におけるθ２算出部１８１ｂは、角速度センサ２５０のこれまでの出力を積分することによって角度θ２を算出する。続いて、コントローラ１８０は、ローパスフィルタ１８２ａ、ハイパスフィルタ１８３ａによって角度θ１を示す第１の信号の直流成分および交流成分をそれぞれ抽出し、ローパスフィルタ１８２ｂ、ハイパスフィルタ１８３ｂによって角度θ２を示す第２の信号の直流成分および交流成分をそれぞれ抽出する。（ステップＳ３２０）。
【００５３】
次に、コントローラ１８０は、加速度センサ２６０の出力から算出した傾き角度θ１の直流成分と、角速度センサ２５０から算出した回転ブレによる傾き角度θ２の直流成分とを比較し、両者が一致するか否かを判定する（ステップＳ３３０）。この比較は、直流成分比較部１８４によって行われる。実際には検出誤差などにより完全に一致するとは限らないため、コントローラ１８０における直流成分比較部１８４は、両者の差分が所定の許容範囲に含まれるか否かにより、両者の直流成分が一致するか否かを判断する。より具体的には、両者の直流成分の差分が、予め設定された閾値よりも小さい場合には、直流成分比較部１８４は、両者の直流成分がほぼ一致することを示す信号を補正角度決定部１８７に送出する。逆に、両者の直流成分の差分が、予め設定された閾値以上である場合には、直流成分比較部１８４は、両者の直流成分が異なることを示す信号を補正角度決定部１８７に送出する。
【００５４】
デジタルビデオカメラ１００が基準の姿勢（被写体に対してまっすぐ構えた姿勢）から傾いているとき、これに伴い、加速度センサ２６０の出力に基づく傾き角度θ１を示す第１の信号の直流成分は、当該傾きに応じた値をとる。一方、デジタルビデオカメラ１００に傾きがあっても、角速度センサ２５０の出力に基づく傾き角度θ２を示す信号の直流成分は、当該傾きに応じない。そのため、加速度センサ２６０の出力に基づく第１の信号の直流成分と、角速度センサ２５０の出力に基づく第２の信号の直流成分とが一致すると判断した場合（ステップＳ３３０におけるＹｅｓ）とは、デジタルビデオカメラ１００に傾きがない場合を意味する。このとき、コントローラ１８０における補正角度決定部１８７は、加速度センサ２６０の出力信号から算出された値θ１を無視して、角速度センサ２５０の出力信号から算出された値θ２に基づいて、回転ブレ補正のための補正角度を算出する。この場合の補正角度は、−θ２に決定される。補正角度決定部１８７は、算出した補正角度を画像処理部１６０に通知する（ステップＳ３４０）。これにより、画像処理部１６０は、撮像画像に対して、適切に回転ブレ補正を行うことができる（ステップＳ３８０）。
【００５５】
図５の（Ａ）（Ｂ）は、ステップＳ３４０に至る加速度センサ２６０の出力信号に基づく傾き角度θ１の信号波形と、角速度センサ２５０の出力信号に基づく傾き角度θ２の信号波形の例を示している。図５（Ａ）は、加速度センサ２６０の出力信号に基づく傾き角度θ１と、角速度センサ２５０の出力信号に基づく傾き角度θ２との間で、直流成分のみならず、交流成分（位相）も一致している場合の例を示している。図５（Ｂ）は、加速度センサ２６０の出力信号に基づく傾き角度θ１と、角速度センサ２５０の出力信号に基づく傾き角度θ２とで、直流成分は一致しているが、交流成分（位相）は一致していない場合の出力例である。図５（Ａ）、（Ｂ）のいずれの場合においても、両者の直流成分が一致しているため、デジタルビデオカメラ１００に傾きがないことを意味する。従って、加速度センサ２６０の出力結果に基づく撮像画像の傾き補正は実行されず、角速度センサ２５０の出力結果に基づく撮像画像の回転ブレ補正が実行される。
【００５６】
一方、直流成分比較部１８４が、加速度センサ２６０の出力信号に基づく傾き角度θ１の直流成分と、角速度センサ２５０の出力信号に基づく傾き角度θ２の直流成分とが一致しないと判断した場合（ステップＳ３３０におけるＮｏ）は、傾きがあることを意味する。そこで、コントローラ１８０は、加速度センサ２６０の出力から算出した角度θ１の交流成分と角速度センサ２５０の出力から算出した角度θ２の交流成分とを比較する（ステップＳ３５０）。この比較は、交流成分比較部１８５によって行われる。実際には検出誤差などにより完全に一致するとは限らないため、コントローラ１８０における交流成分比較部１８５は、両者の差分が所定の許容範囲に含まれるか否かにより、両者の交流成分が実質的に一致（対応）するか否かを判断する。より具体的には、両者の交流成分の値の差分が、予め設定された閾値よりも小さい場合には、交流成分比較部１８５は、両者の交流成分がほぼ一致することを示す信号を補正角度決定部１８７に送出する。本実施形態では、このように、２つの信号の交流成分の値の差分が、所定の閾値よりも小さい場合を、両者の交流成分が「対応する」と表現する。逆に、両者の交流成分の差分が、予め設定された閾値以上である場合には、交流成分比較部１８５は、両者の交流成分が異なることを示す信号を補正角度決定部１８７に送出する。
【００５７】
なお、コントローラ１８０は、２つの信号の交流成分が対応するか否かを、上記の方法とは異なる方法によって判定してもよい。例えば、比較を行う時点までの２つの信号の波形の類似度を算出し、その類似度が所定の閾値よりも小さい場合には、両者の交流成分が「対応する」と判定し、類似度が上記閾値以上である場合には、両者の交流成分が「対応していない」と判定してもよい。類似度Ｓは、例えば以下の式（３）または式（４）の演算によって算出することができる。
【数３】
2014068336.tif 000005
【数４】
2014068336.tif 000006
ここで、ｔは時間、θ１ａｃ（ｔ）は加速度センサ２６０の出力に基づく角度θ１の交流成分を示す信号、θ２ａｃ（ｔ）は角速度センサ２５０の出力に基づく角度θ２の交流成分を示す信号を表している。時間ｔは、個々のフレームに対応する時刻を示す離散的な値であり、式中の総和は、例えば数フレーム〜数百フレームに相当する時間について行われ得る。
【００５８】
両者の交流成分が対応する場合(ステップＳ３５０におけるＹｅｓ)、コントローラ１８０は、加速度センサ２６０の出力値が正しいと判断する。このため、補正角度決定部１８７は、加速度センサ２６０の出力値から算出された角度θ１を表す第１の信号の直流成分および交流成分の両方に基づいて、デジタルビデオカメラ１００の傾きを補正するための補正角度を算出する。この際、補正角度決定部１８７は、角速度センサ２５０の出力から算出された角度θ２も考慮して補正角度を決定してもよい。但し、加速度センサ２６０の出力に基づく傾き補正と角速度センサ２５０の出力に基づく回転ブレ補正との重畳補正を防ぐため、加速度センサ２６０の出力に基づいて補正できる交流成分については、角速度センサ２５０の出力に基づく補正動作を行なわない。具体的には、補正角度決定部１８７は、加速度センサ２６０の出力に基づく角度θ１（直流成分および交流成分）に基づいて第１の補正角度を決定し、第１の補正角度だけでは補正しきれない交流成分（高周波成分）について、角速度センサ２５０の出力値に基づいて、第２の補正角度を算出する。そして、第１の補正角度と第２の補正角度との合計を最終的な補正角度として決定する。補正角度決定部１８７は、算出した傾き補正のための第１の補正角度と、回転ブレ補正のための第２の補正角度とを画像処理部１６０に通知する。これにより、画像処理部１６０は、適切に回転ブレ補正を行うことができる（ステップＳ３８０）。
【００５９】
図５の（Ｃ）（Ｄ）は、ステップＳ３６０に至る加速度センサ２６０の出力信号に基づく傾き角度θ１の信号波形と、角速度センサ２５０の出力信号に基づく傾き角度θ２の信号波形の例を示している。図５（Ｃ）、（Ｄ）は、加速度センサ２６０の出力信号に基づく傾き角度θ１と、角速度センサ２５０の出力信号に基づく傾き角度θ２との間で、直流成分は一致していないが、交流成分は一致している場合の例を示している。図５（Ｃ）、（Ｄ）のいずれの場合においても、両者の直流成分が一致していないため、デジタルビデオカメラ１００が傾いていることを意味する。従って、加速度センサ２６０の出力結果に基づく撮像画像の傾き補正が実行される。そして、傾き補正では補正しきれない高周波成分について、更に角速度センサ２５０の出力結果に基づく撮像画像の回転ブレ補正が実行される。
【００６０】
一方、角度θ１の直流成分と角度θ２の直流成分とが異なり（ステップＳ３３０におけるＮｏ）、かつ、角度θ１の交流成分と角度θ２の交流成分とが異なる場合（ステップＳ３５０におけるＮｏ）、加速度センサ２６０の出力に基づく傾き角度θ１の交流成分は出力ノイズであると判断できる。このため、コントローラ１８０における補正角度決定部１８７は、加速度センサ２６０の出力に基づく角度θ１の交流成分を除去し、直流成分のみに基づいて、デジタルビデオカメラ１００の傾き補正のための第１の補正角度を算出する。この際、傾き補正のための第１の補正角度から交流成分が除去されているため、補正角度決定部１８７は、角速度センサ２５０の出力に基づいて、除去された交流成分を補う。すなわち、補正角度決定部１８７は、角速度センサ２５０の出力値に基づいてデジタルビデオカメラ１００の回転ブレを補正するための第２の補正角度を算出する。補正角度決定部１８７は、算出した傾き補正のための第１の補正角度と、回転ブレ補正のための第２の補正角度とを画像処理部１６０に通知する。これにより、画像処理部１６０は、撮像画像に対して、適切に回転ブレ補正を行うことができる（ステップＳ３８０）。
【００６１】
図５（Ｅ）は、ステップＳ３７０に至る加速度センサ２６０の出力信号に基づく傾き角度θ１の信号波形と、角速度センサ２５０の出力信号に基づく傾き角度θ２の信号波形の例を示している。図５（Ｅ）は、加速度センサ２６０の出力信号と、角速度センサ２５０の出力信号との間で、直流成分も交流成分（位相）も一致していない場合の例を示している。図５（Ｅ）の場合、両者の直流成分が一致していないため、デジタルビデオカメラ１００に傾きがあることを意味する。従って、加速度センサ２６０の出力結果に基づく撮像画像の傾き補正が実行される。この際、両者の交流成分が対応しないため、加速度センサ２６０の出力に基づく角度θ１の交流成分は信頼性が低いとして除去される。そして、角速度センサ２５０の出力結果に基づく撮像画像の回転ブレ補正が実行される。
【００６２】
画像処理部１６０は、コントローラ１８０から通知された補正角度の分だけ、画像の傾きを低減させる方向に当該画像を回転させることにより、傾きが補正された画像を生成する（ステップＳ３８０）。以下、図６を参照しながら、画像処理部１６０による傾き補正処理の例を説明する。
【００６３】
図６は、傾き補正処理のイメージを示す図である。図６では、顔や衣服等に装着して使用するウェアラブルカメラとしてデジタルビデオカメラ１００が使用されている例を示している。図６には、ＣＭＯＳイメージセンサ１４０におけるオプティカルブラック領域、有効画素領域、および実効画素領域に対応する画像領域が示されている。画像処理部１６０は、撮像部２７０から出力された画像を補正角度θだけ、画像の傾きを低減させる方向に回転させた後、ＣＭＯＳイメージセンサ１４０の有効画素領域内で画像の切出し処理を行う。そして、切り出した画像（実線の矩形で示されている実効画素領域の画像）を補正画像として出力する。これにより、撮像画像のロール方向の傾きを補正した場合でも、オプティカルブラック領域内の画素を含まない良好な画像を記録することができる。
【００６４】
なお、本実施形態における「交流成分」は、信号から直流成分（周波数０）を除去した全ての周波数成分を含むものとしているが、必ずしも全ての周波数成分を含んでいる必要はない。必要な周波数成分のみを通過させるように設計されたバンドパスフィルタをハイパスフィルタ１８３ａ、１８３ｂとして用いることにより、一部の周波数成分を除去した信号を「交流成分」としてもよい。
【００６５】
［１−４．効果等］
以上のように、本実施形態のデジタルビデオカメラ１００は、撮像によって画像を生成する撮像部２７０と、重力加速度を検出する加速度センサ２６０と、角速度を検出する角速度センサ２５０と、加速度センサ２６０の出力および角速度センサ２５０の出力に基づいて、画像の回転角度（補正角度）を決定するコントローラ１８０とを備えている。コントローラ１８０は、加速度センサ２６０の出力に基づく第１の信号の直流成分と角速度センサ２５０の出力に基づく第２の信号の直流成分との比較結果、および前記第１の信号の交流成分と前記第２の信号の交流成分との比較結果に基づいて、画像の回転角度を決定する。これにより、加速度センサ２６０の出力ノイズを低減するための過剰なフィルタリング処理に伴う応答遅延の発生を低減させた適切な傾き補正を実現し得る。
【００６６】
特に、コントローラ１８０は、第１の信号（θ１）の直流成分が示す値と第２の信号（θ２）の直流成分が示す値との差分が予め設定された閾値よりも小さいとき、第２の信号（θ２）に基づいて補正角度を決定する（図４のステップＳ３４０）。これにより、傾きが発生していないと考えられる状況下では、加速度センサ２６０よりも信頼性の高い角速度センサ２６０の出力が利用されるため、適切な補正角度を決定できる。
【００６７】
また、コントローラ１８０は、第１の信号（θ１）の直流成分が示す値と第２の信号（θ２）の直流成分が示す値との差分が上記閾値以上であり、かつ第１の信号（θ１）の交流成分と第２の信号（θ２）の交流成分とが対応しないとき、第１の信号（θ１）の直流成分および第２の信号（θ２）に基づいて回転角度を決定する（図４のステップＳ３７０）。これにより、加速度センサ２６０の出力に基づく第１の信号（θ１）の交流成分の信頼性が低い場合には、より信頼性の高い角速度センサ２５０の出力が利用されるため、より適切な補正角度を決定できる。
【００６８】
また、コントローラ１８０は、第１の信号（θ１）の直流成分が示す値と前記第２の信号（θ２）の直流成分が示す値との差分が上記閾値以上であり、かつ第１の信号（θ１）の交流成分と第２の信号（θ２）の交流成分とが対応するとき、第１の信号（θ１）に基づいて、回転角度を決定する（図４のステップＳ３６０の変形例）。これにより、加速度センサ２６０の出力が信頼できる場合には、加速度センサ２６０の出力が利用されるため、より適切な補正角度を決定できる。
【００６９】
また、コントローラ１８０は、第１の信号（θ１）の直流成分が示す値と第２の信号（θ２）の直流成分が示す値との差分が上記閾値以上であり、かつ第１の信号（θ１）の交流成分と第２の信号（θ２）の交流成分とが対応するとき、第１の信号（θ１）の直流成分および交流成分と、第２の信号（θ２）の交流成分のうち、第１の信号（θ１）の交流成分と重複しない成分とに基づいて、回転角度を決定する（図４のステップＳ３６０）。これにより、加速度センサ２６０の出力に基づいて決定される補正角度だけでは不十分な高周波成分についても補正が可能になるため、より精度の高い回転ブレ補正が可能となる。
【００７０】
また、デジタルビデオカメラ１００は、コントローラ１８０によって決定された回転角度に従って、画像の座標を回転させることによって画像を補正する画像処理部１６０をさらに備えている。これにより、適切に決定された回転角度に基づいて、画像の傾き（回転ブレを含む）を補正することができる。
【００７１】
このように、本実施の形態にかかるデジタルビデオカメラ１００は、加速度センサ２６０の出力から算出した傾き補正のための角度θ１を表す信号の直流成分と角速度センサ２５０の出力から算出した回転ブレ補正のための角度θ２を表す信号の直流成分とを比較する。そして、これらの直流成分が異なると判定したときは、さらに、角度θ１を表す信号の交流成分と角度θ２を表す信号の交流成分とを比較する。このような比較処理によって加速度センサ２６０の出力から算出される角度θ１の信号のノイズが大きいか否かを判断し、比較結果に応じて適切な補正角度を決定するため、算出する補正角度の信頼性を上げることができる。これにより、過剰なフィルタリング（出力ノイズを低減するためのフィルタリング）に伴う応答遅延の発生を低減させて適切な応答性を確保しつつ、適切な傾き補正を実現することができる。
【００７２】
（実施の形態２）
続いて、第２の実施の形態を説明する。本実施形態では、コントローラ１８０による傾き補正のための回転角度の決定処理の手順が実施の形態１の手順とは異なっている。それ以外の構成については実施の形態における構成と同様である。以下、実施の形態１と異なる点を中心に説明する。
【００７３】
上記の実施の形態１では、コントローラ１８０は、加速度センサ２６０の出力結果に基づく角度θ１の信号の直流成分と、角速度センサ２５０の出力結果に基づく角度θ２の信号の直流成分とが一致するか否かを先に判断し（ステップＳ３３０）、続いて、両者の交流成分が対応するか否かを判断する（ステップＳ３５０）。しかしながら、傾き補正のための回転角度の決定手順はこの順序に限定されない。
【００７４】
図７は、本実施の形態におけるコントローラ１８０による補正角度を決定する動作を示すフローチャートである。ステップＳ３００〜Ｓ３２０の処理は実施の形態１における対応する処理と同一であるため、説明を省略する。図７に示すように、コントローラ１８０は、加速度センサ２６０の出力結果に基づいて算出した角度θ１の信号の交流成分と、角速度センサ２５０の出力結果に基づいて算出した角度θ２の信号の交流成分とが対応するか否かを先に判断する（ステップＳ５００）。ステップＳ５００において、Ｙｅｓと判定した場合、続いて、両者の直流成分が一致するか否かを判断する（ステップＳ５２０）。コントローラ１８０は、ステップＳ５２０においてＹｅｓと判定した場合、ステップＳ５３０の処理を実行し、Ｎｏと判定した場合、ステップＳ５４０の処理を実行する。図７におけるステップＳ５００においてＮｏと判定した場合、コントローラ１８０は、ステップＳ５１０を実行する。ここで、ステップＳ５１０、Ｓ５３０、Ｓ５４０は、図４におけるステップＳ３７０、Ｓ３４０、Ｓ３６０にそれぞれ対応する。
【００７５】
これにより、本実施形態においても、過剰なフィルタリング（出力ノイズを低減するためのフィルタリング）に伴う応答遅延の発生を低減させて適切な応答性を確保しつつ、適切な傾き補正を実現することができる。
【００７６】
以上のように、本実施形態におけるデジタルビデオカメラ１００におけるコントローラ１８０は、第１の信号（θ１）の交流成分と第２の信号（θ２）の交流成分とが対応しないとき、第１の信号（θ１）の直流成分および第２の信号（θ２）に基づいて補正角度を決定する（図７のステップＳ５１０）。これにより、加速度センサ２６０の出力に基づく第１の信号（θ１）の交流成分に信頼性がない場合であっても、適切な補正角度を決定できる。
【００７７】
また、コントローラ１８０は、第１の信号（θ１）の交流成分と第２の信号（θ２）の交流成分とが対応し、かつ第１の信号（θ１）の直流成分が示す値と第２の信号（θ２）の直流成分が示す値との差分が予め定められた閾値以上であるとき、第１の信号（θ１）に基づいて補正角度を決定する（図７のステップＳ５４０）。これにより、加速度センサ２６０の出力が信頼できる場合には、加速度センサ２６０の出力が利用されるため、より適切な補正角度を決定できる。
【００７８】
また、コントローラ１８０は、第１の信号（θ１）の交流成分と第２の信号（θ２）の交流成分とが対応し、かつ第１の信号（θ１）の直流成分が示す値と第２の信号（θ２）の直流成分が示す値との差分が予め定められた閾値以上であるとき、第１の信号（θ１）の直流成分および交流成分と、第２の信号（θ２）の交流成分のうち、第１の信号（θ１）の交流成分と重複しない成分とに基づいて、補正角度を決定する。これにより、加速度センサ２６０の出力に基づいて決定される補正角度だけでは不十分な高周波成分についても補正が可能になるため、より精度の高い回転ブレ補正が可能となる。
【００７９】
また、コントローラ１８０は、第１の信号（θ１）の交流成分と第２の信号（θ２）の交流成分とが対応し、かつ第１の信号（θ１）の直流成分が示す値と第２の信号（θ２）の直流成分が示す値との差分が上記閾値よりも小さいとき、第２の信号（θ２）に基づいて回転角度を決定する。これにより、傾きが発生していないと考えられる状況下では、加速度センサ２６０よりも信頼性の高い角速度センサ２６０の出力が利用されるため、適切な補正角度を決定できる。
【００８０】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００８１】
そこで、以下、他の実施の形態を例示する。
【００８２】
実施の形態１では、図４のステップＳ３４０、Ｓ３６０、Ｓ３７０に示す３通りの方法で補正角度が決定される。同様に、実施の形態２では、図７のステップＳ５１０、Ｓ５３０、Ｓ５４０に示す３通りの方法で補正角度で決定される。しかし、コントローラ１８０は、これらの例に限らず、第１の信号（θ１）の直流成分と第２の信号（θ２）の直流成分との比較結果、および第１の信号（θ１）の交流成分と第２の信号の交流成分（θ２）との比較結果の少なくとも一方に基づいて、画像の傾きを補正するための回転角度を決定するように構成されていればよい。例えば、図４のステップＳ３４０、Ｓ３６０、Ｓ３７０の少なくとも１つ、または図７のステップＳ５１０、Ｓ５３０、Ｓ５４０の少なくとも１つの処理を実行するように構成されていてもよい。
【００８３】
上記の実施形態では、デジタルビデオカメラ（撮像装置）１００自身が画像の傾き補正処理を行うように構成されているが、傾き補正処理を撮像装置とは異なる他の装置（画像処理装置）に実行させてもよい。図８は、そのような画像処理装置３００を備えたシステムの構成例を示す図である。このシステムは、撮像装置２９０と、画像処理装置３００と、表示モニタ４００とを備えている。画像処理装置３００は、撮像装置２９０によって生成された画像を取得し、実施の形態１または２で説明した処理と同様の処理によって当該画像の傾きを補正する。
【００８４】
撮像装置２９０は、光学系１１０、ＣＭＯＳセンサ１４０、Ａ／Ｄコンバータ１５０、角速度センサ２５０および加速度センサ２６０を備える。これらの要素は、いずれも実施の形態１、２における対応する要素と同様のものである。Ａ／Ｄコンバータ１５０から出力される画像情報、加速度センサ２６０から出力される加速度情報、および角速度センサ２５０から出力される角速度情報は、直接または不図示のネットワークや記録媒体を介して画像処理装置３００のインターフェース３１０に送られる。
【００８５】
画像処理装置３００は、画像処理部１６０、コントローラ１８０、バッファ１７０、内部メモリ２４０、およびインターフェース３１０を備える。画像処理部１６０、コントローラ１８０、バッファ１７０、内部メモリ２４０は、いずれも実施形態１における対応する要素と同様のものである。画像処理装置３００は、インターフェース３１０を介して、撮像装置２９０から出力された画像情報、加速度情報、および角速度情報を取得する。画像処理部１６０およびコントローラ１８０は、実施形態１または２において説明した処理（図４または図７）と同様の処理により、画像の傾きを補正して表示モニタ４００や不図示の記録媒体に記録する。
【００８６】
このような構成により、画像処理装置３００は、撮影画像の傾きを補正することができる。このように、実施の形態１または２で説明した画像の傾きを補正する機能は、必ずしも撮像装置に設けられている必要はない。図８のような構成により、例えばデジタルビデオカメラ（撮像装置）が生成した画像情報、加速度情報、および角速度情報を遠隔地のサーバコンピュータ（画像処理装置）にネットワークを介して送信し、当該サーバコンピュータが画像の傾きを補正して結果を返すといったシステムが可能になる。
【００８７】
このように、本開示における画像処理装置３００は、撮像によって画像を生成する撮像部１１０と、重力加速度を検出する加速度センサ２６０と、角速度を検出する角速度センサ２５０とを備える撮像装置２９０から出力される信号を処理する。画像処理装置３００は、当該画像を示す信号、加速度センサ２６０の出力を示す信号、角速度センサ２５０の出力を示す信号を取得するインターフェース３１０と、加速度センサ２６０の出力に基づく第１の信号（θ１）の直流成分と角速度センサ２５０の出力に基づく第２の信号（θ２）の直流成分との比較結果、および第１の信号（θ１）の交流成分と第２の信号（θ２）の交流成分との比較結果の少なくとも一方に基づいて、画像の回転角度を決定する。これにより、実施の形態１、２と同様に、画像の傾きを適切に補正することができる。
【００８８】
上記の例の他、画像の角度を決定する処理までを撮像装置２９０が行い、その角度に基づいて画像の傾きを補正する処理を画像処理装置３００が行う構成も可能である。そのような構成では、コントローラ１８０は、画像処理装置３００ではなく、撮像装置２９０に設けられる。
【００８９】
上記の実施形態では、デジタルビデオカメラ１００または撮像装置２９０は、ロール方向の手振れを角速度センサ２５０を用いて検出することとした。すなわち、角速度センサ２５０が「角速度検出部」として機能する。しかしながら、必ずしもこのような構成である必要はない。例えば、画像の解析によってロール方向の手振れを検出してもよい。具体的には、撮像画像に含まれる被写体の回転方向の動きベクトルを算出することによって、ロール方向の角速度を検出してもよい。要するに、自装置の回転ブレが撮像素子の撮像面上に形成される像に及ぼす回転の影響を検出できればよい。このような例では、コントローラ１８０または画像処理部１６０が「角速度検出部」としても機能する。
【００９０】
また、以上の実施形態では、動画像を記録するビデオカメラを例に説明を行ったが、静止画像のみを生成するデジタルカメラに本開示の技術を適用してもよい。
【００９１】
また、本開示の技術はさらに、上述の傾き補正処理を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図４、７に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作を実現することができる。
【００９２】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００９３】
従って、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００９４】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９５】
本開示の技術は、例えば、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付携帯電話、カメラ機能付スマートフォン等の撮像装置に適用できる。また、パーソナルコンピュータ、サーバコンピュータ、携帯情報端末等のコンピュータにも適用できる。
【符号の説明】
【００９６】
１００    デジタルビデオカメラ
１１０    光学系
１２０    レンズ駆動部
１４０    ＣＭＯＳイメージセンサ
１５０    Ａ／Ｄコンバータ
１６０    画像処理部
１７０    バッファ
１８０    コントローラ
１９０    カードスロット
２００    メモリカード
２１０    操作部材
２２０    表示モニタ
２４０    内部メモリ
２５０    角速度センサ
２６０    加速度センサ
２９０  撮像装置
３００  画像処理装置
４００  表示モニタ
【図１】
2014068336.tif 000007
【図２】
2014068336.tif 000008
【図３】
2014068336.tif 000009
【図４】
2014068336.tif 000010
【図５】
2014068336.tif 000011
【図６】
2014068336.tif 000012
【図７】
2014068336.tif 000013
【図８】
2014068336.tif 000014