(57)【要約】【課題】本開示は、より適切な傾き補正を行う撮像装置を提供する。【解決手段】デジタルビデオカメラ１００は、被写体を撮像し、画像を生成する撮像部２７０と、加速度を検出する加速度センサ２６０と、角速度を検出する角速度センサ２５０と、加速度センサ２６０の検出結果に基づく第１の補正角度と角速度センサ２５０の検出結果に基づく第２の補正角度とを、角速度センサ２５０の検出結果に応じて決定するコントローラ１８０と、第１の補正角度と第２の補正角度とを合算した角度に基づいて、撮像部２７０が生成した画像を回転させる画像処理部１６０とを備える。【選択図】図１
2014066995.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像を生成する撮像部と、
加速度を検出する加速度センサと、
角速度を検出する角速度センサと、
前記加速度センサの検出結果に基づく第１の補正角度と前記角速度センサの検出結果に基づく第２の補正角度とを、前記角速度センサの検出結果に応じて決定するコントローラと、
前記第１の補正角度と前記第２の補正角度とを合算した角度に基づいて、前記撮像部が生成した画像を回転させる画像処理部と
を備えた撮像装置。
【請求項２】
前記コントローラは、前記角速度センサから出力される信号の振幅または周波数に応じて、前記第１の補正角度の上限となる第１の上限角度と、前記第２の補正角度の上限となる第２の上限角度とを決定する、請求項１に記載の撮像装置。
【請求項３】
前記コントローラは、前記加速度センサの検出結果から算出される第１の算出角度と前記第１の上限角度とを比較することにより前記第１の補正角度を決定し、前記角速度センサの検出結果から算出される第２の算出角度と前記第２の上限角度とを比較することにより前記第２の補正角度を決定する、請求項２に記載の撮像装置。
【請求項４】
前記コントローラは、前記第１の算出角度が前記第１の上限角度よりも大きいときは、前記第１の上限角度を前記第１の補正角度として決定し、前記第１の算出角度が前記第１の上限角度以下のときは、前記第１の算出角度を前記第１の補正角度として決定する、請求項３に記載の撮像装置。
【請求項５】
前記コントローラは、前記第２の算出角度が前記第２の上限角度よりも大きいときは、前記第２の上限角度を前記第２の補正角度として決定し、前記第２の算出角度が前記第２の上限角度以下のときは、前記第２の算出角度を前記第２の補正角度として決定する、請求項３に記載の撮像装置。
【請求項６】
加速度を検出する加速度センサと、角速度を検出する角速度センサとを有する撮像部から出力される画像を処理する画像処理装置であって、
前記加速度センサの検出結果に基づく第１の補正角度と前記角速度センサの検出結果に基づく第２の補正角度とを、前記角速度センサの検出結果に応じて決定するコントローラと、
前記第１の補正角度と前記第２の補正角度とを合算した角度に基づいて、前記撮像部が生成した画像を回転させる画像処理部と
を備えた画像処理装置。
【請求項７】
加速度を検出する加速度センサと、角速度を検出する角速度センサとを有する撮像部から出力される画像を処理する画像処理方法であって、
前記加速度センサの検出結果に基づく第１の補正角度と前記角速度センサの検出結果に基づく第２の補正角度とを、前記角速度センサの検出結果に応じて決定するステップと、
前記第１の補正角度と前記第２の補正角度とを合算した角度に基づいて、前記撮像部が生成した画像を回転させるステップと
を包含する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、電子カメラを開示する。この電子カメラは、撮像画像の一部を切り出した画像を示す画像データを記憶媒体に書き込む。この電子カメラは、撮像画像の切り出し座標を、画面の傾き方向の揺れを打ち消す方向に回転させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−９４８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、より適切な傾き補正を行う撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示の一実施形態による撮像装置は、被写体を撮像し、画像を生成する撮像部と、加速度を検出する加速度センサと、角速度を検出する角速度センサと、加速度センサの検出結果に基づく第１の補正角度と角速度センサの検出結果に基づく第２の補正角度とを、角速度センサの検出結果に応じて決定するコントローラと、第１の補正角度と第２の補正角度とを合算した角度に基づいて、撮像部が生成した画像を回転させる画像処理部とを備える。
【発明の効果】
【０００６】
本開示の技術によれば、より適切な傾き補正を行う撮像装置を提供できる。
【図面の簡単な説明】
【０００７】
【図１】例示的な実施の形態１によるデジタルビデオカメラ１００の構成を示すブロック図である。
【図２】加速度センサおよび角速度センサの検出軸のイメージ図である。
【図３】傾きオフセット補正動作を説明するためのフローチャートである。
【図４】傾きオフセット補正動作を説明するためイメージ図である。
【図５】撮影状況に基づいて決定される傾き補正および回転補正のクリップ角度と、補正角度の算出を説明するためのフローチャートである。
【図６】角速度センサの出力のイメージ図である。
【図７】撮影状況に基づいて決定される傾き補正および回転補正のクリップ角度を説明するためのイメージ図である。
【図８】加速度センサの出力のイメージ図である。
【図９】例示的な実施の形態２による画像処理装置３００の構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（実施の形態１）
［１−１．概要］
本実施の形態によるデジタルビデオカメラ１００は、傾き補正機能および回転ブレ補正機能を有する。傾き補正機能とは、自装置の重力加速度方向に対する傾きに起因する撮像画像の傾きを補正する機能である。デジタルビデオカメラ１００は、加速度センサ２６０の出力に基づいて、重力加速度方向に対する自装置の傾きを算出して、撮影画像の傾きを打ち消す方向に撮像画像を回転させることにより映像の傾きを電子的に補正する。一方、回転ブレ補正機能とは、ロール方向における自装置の振れが撮像画像に与える影響を低減する機能のことである。
【００１１】
デジタルビデオカメラ１００は、角速度センサ２５０の出力に基づいて、撮像画像の切り出し座標を、ロール方向の傾きおよび／または回転ブレを打ち消す方向に回転させることによって撮像画像を電子的に補正する。
【００１２】
以下、図面を参照しながら、本実施の形態によるデジタルビデオカメラ１００の構成および動作を説明する。
【００１３】
［１−２．構成］
まずは、図１を参照して、本実施の形態によるデジタルビデオカメラ１００の構成を説明する。
【００１４】
図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、光学系１１０、レンズ駆動部１２０、ＣＭＯＳイメージセンサ１４０、Ａ／Ｄコンバータ１５０、画像処理部１６０、バッファ１７０、コントローラ１８０、カードスロット１９０、メモリカード２００、操作部２１０、表示モニタ２２０、内部メモリ２４０、角速度センサ２５０、加速度センサ２６０を備える。デジタルビデオカメラ１００では、１または複数のレンズ、または複数のレンズ群からなる光学系１１０により形成された被写体像がＣＭＯＳイメージセンサ１４０によって検出される。画像処理部１６０はＣＭＯＳイメージセンサ１４０により生成された画像データに各種処理を施して、メモリカード２００に処理後の画像データを書き込む。
【００１５】
以下、デジタルビデオカメラ１００の構成を詳細に説明する。
【００１６】
光学系１１０は、絞り、手振れ補正レンズ、および、ズームレンズやフォーカスレンズを含む複数のレンズ群を有する。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像の合焦位置を調整することができる。なお、図１には３つのレンズが例示されているが、光学系１１０を構成するレンズの数は要求される機能に応じて適宜決定される。
【００１７】
手振れ補正レンズは、光学系１１０の光軸に垂直な面内において移動可能である。デジタルビデオカメラ１００の振れを打ち消す方向に手振れ補正レンズを移動させることにより、デジタルビデオカメラ１００の振れが撮像画像に与える影響を低減できる。
【００１８】
絞りは、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、透過する光の量を調整する。
【００１９】
また、光学系１１０は、例えば、ズームレンズを駆動するズームアクチュエータ、手振れ補正レンズを駆動する手振れ補正アクチュエータ、フォーカスレンズを駆動するフォーカスアクチュエータ、絞りを駆動する絞りアクチュエータを含む。
【００２０】
レンズ駆動部１２０は、光学系１１０に含まれるズームアクチュエータ、フォーカスアクチュエータ、手振れ補正アクチュエータ、絞りアクチュエータを制御することにより、光学系１１０に含まれる各種レンズ及び絞りが駆動する。
【００２１】
ＣＭＯＳイメージセンサ１４０は、光学系１１０によって形成された被写体像を検出して、アナログ画像データを生成する。ＣＭＯＳイメージセンサ１４０は、例えば露光、転送、電子シャッタの各種動作を行う。
【００２２】
Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０により生成されたアナログ画像データをデジタル画像データに変換する。
【００２３】
本実施の形態では、光学系１１０、ＣＭＯＳセンサ１４０、Ａ／Ｄコンバータ１５０を含む複数の要素が撮像部２７０を構成している。撮像部２７０は連続する複数のフレームを含むデジタル画像データを生成して出力する。
【００２４】
画像処理部１６０は、ＣＭＯＳイメージセンサ１４０によって生成された画像データに各種処理を施し、表示モニタ２２０に表示するための画像データや、メモリーカード２００に書き込むための画像データを生成する。例えば、画像処理部１６０は、撮像部２７０により生成された画像データに、ガンマ補正、ホワイトバランス補正、傷補正の各種処理を施す。また、画像処理部１６０は、撮像部２７０により生成された画像データを、例えばＨ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式により圧縮する。画像処理部１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）やマイクロコンピュータ（マイコン）により実現可能である。
【００２５】
画像処理部１６０は、画像データに回転処理を施す。これにより、自装置の傾きや回転ブレがＣＭＯＳイメージセンサ１４０上に形成された像に与える回転方向（ロール方向）における影響を低減できる。例えば、撮影者がデジタルビデオカメラ１００を反時計回り方向にθ°だけ振った状態（および／または傾けた状態）で、被写体を撮影したとする。この場合には、被写体は時計回り方向にθ°傾いた状態で撮像される。このとき、画像処理部１６０は、画像データの切り出し位置の座標を時計回り方向にθ°だけ回転させて画像データを切り出す。なお、この切り出し処理の詳細は後述する。画像処理部１６０は自装置の傾きや振れによる影響を低減した画像データを生成する。
【００２６】
コントローラ１８０は、デジタルビデオカメラ１００全体を制御する。コントローラ１８０は、半導体素子などにより構成される。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０はマイコンなどにより実現できる。
【００２７】
バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリにより実現できる。
【００２８】
カードスロット１９０は、メモリカード２００を着脱することが可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０により生成された画像ファイル等のデータを格納することが可能である。
【００２９】
内部メモリ２４０は、例えばフラッシュメモリや強誘電体メモリである。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。
【００３０】
操作部２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部２１０は、例えば、使用者からの操作を受け付ける十字キー、決定釦、傾き補正の設定釦を含む。
【００３１】
表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０によって生成された画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示することが可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示することが可能である。
【００３２】
次に、図２を参照して、本実施の形態によるデジタルビデオカメラ１００に備わる加速度センサ２６０および角速度センサ２５０の検出軸を説明する。図２は、加速度センサ２６０および角速度センサ２５０の検出軸のイメージ図である。
【００３３】
加速度センサ２６０は、重力加速度方向に対するデジタルビデオカメラ１００の傾きを検出する。図２に示すように、本実施の形態による加速度センサ２６０は、デジタルビデオカメラ１００の光軸方向（Ｚ軸）における加速度成分を検出するセンサ、Ｚ軸に垂直な面内であってデジタルビデオカメラ１００の水平方向（Ｘ軸）における加速度成分を検出するセンサ、Ｚ軸に垂直な面内であってデジタルビデオカメラ１００の鉛直方向（Ｙ軸）における加速度成分を検出するセンサを有する。以下、これらのセンサを総称して加速度センサ２６０と呼ぶことにする。なお、Ｘ軸、Ｙ軸の２軸はデジタルビデオカメラ１００の光軸をＺ軸とする、デジタルビデオカメラ１００に固定の２軸であり、デジタルビデオカメラ１００が重力加速度方向に対して傾いた場合でも、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向はデジタルビデオカメラ１００に対して固定される。
【００３４】
加速度センサ２６０は、自身が検出したＸ軸方向、Ｙ軸方向、Ｚ軸方向の加速度成分を示す信号をコントローラ１８０に出力する。コントローラ１８０は、加速度センサ２６０のＸ軸方向の出力信号、Ｙ軸方向の出力信号、Ｚ軸方向の出力信号を解析することにより、デジタルビデオカメラ１００の重力加速度方向に対する傾きを補正するための第１の補正量（第１の補正角度）を決定する。このとき、Ｘ方向の加速度値を「Ｘ」、Ｙ方向の加速度値を「Ｙ」、Ｚ方向の加速度値を「Ｚ」で表すとすると、重力加速度方向に対するデジタルビデオカメラ１００の傾き角度「θ0」は、次の式を用いて算出することができる。
【数１】
2014066995.tif 000003
【００３５】
また、ピッチ方向（Ｐ方向）へのデジタルビデオカメラ１００の傾きが存在しない場合、Ｚ方向の加速度値「Ｚ」はゼロとなる。その結果、ロール方向（Ｒ方向）の回転のみを考慮した傾き角度「θ0」はＸ軸およびＹ軸の２軸における加速度値から数式２を用いて算出される。
【数２】
2014066995.tif 000004
【００３６】
例えば、図２（ｂ）に示すように、デジタルビデオカメラ１００が重力加速度の方向に対して４５°傾いている場合、重力加速度の大きさを１Ｇとすると、加速度センサ２６０は「Ｘ」および「Ｙ」の値として０．７０７Ｇを検出する。また、図２（ｃ）に示すように、自装置が重力加速度の方向に対して３０°傾いている場合、加速度センサ２６０は「Ｘ」の値として０．５００Ｇ、「Ｙ」の値として０．８６６Ｇを検出する。
【００３７】
角速度センサ２５０は、デジタルビデオカメラ１００の角速度を検出する。図２に示すように、本実施の形態による角速度センサ２５０は、手振れ等に応じて発生する、デジタルビデオカメラ１００のロール方向（Ｒ方向）の角速度を検出するセンサを備える。角速度センサ２５０は、ロール方向に加えて、ヨー方向、ピッチ方向の角速度を検出するセンサを含んでいてもよい。コントローラ１８０は、角速度センサ２５０（ロール方向）の出力信号を解析することにより、ロール方向の振れを補正するための第２の補正量（第２の補正角度）を算出する。
【００３８】
［１−３．傾き補正動作］
デジタルビデオカメラ１００は、ロール方向における傾きオフセット補正機能を有する。また、デジタルビデオカメラ１００は、ロール方向における撮影画像の傾きと回転ブレを補正する機能を有する。
【００３９】
以下、ロール方向へのデジタルビデオカメラ１００の傾きオフセット補正および、ロール方向における撮影画像の傾きと回転ブレの補正動作の詳細を説明する。
【００４０】
［１−３−１．傾きオフセット補正動作］
最初に、図３および４を参照して傾きオフセット補正動作（機能）の詳細を説明する。
図３は傾きオフセット補正動作を説明するためのフローチャートである。図４は傾きオフセット補正動作を説明するためのイメージ図である。
【００４１】
デジタルビデオカメラ１００の用途の一つとして、図４に示すように、顔や衣服等に装着して使用する、ウェアラブルカメラとしての用途がある。ウェアラブルカメラとしてデジタルビデオカメラ１００を使用した場合、装着者が実際に体感している状況、例えばスキーを滑っている状況を静止画像や動画像として記録することができる。そして、視聴者は、装着者が記録した臨場感溢れる映像を楽しむことができる。
【００４２】
使用者がデジタルビデオカメラ１００を装着したときに、図４（ｂ）に示すように、装着の状態によってはデジタルビデオカメラ１００が重力加速度方向に対して傾き、撮影画像にロール方向の傾きが発生してしまうことがある。例えば、デジタルビデオカメラ１００を顔に装着した場合、デジタルビデオカメラ１００を水平に取り付けることができず、デジタルビデオカメラ１００が重力加速度方向に対して傾いてしまうことがある。この結果、ロール方向に傾きがある状態で、そのまま撮影を行ってしまうことにより、見づらい画像が記録されてしまう場合がある。
【００４３】
この現象を回避するために、画像処理部１６０は、所定の補正指示を受け付けて、加速度センサ２６０の出力信号から算出した基準角度「θ0」（オフセット角度）を傾き補正処理の基準として、画像の傾斜を打ち消す方向に撮像部２７０から出力された画像を回転させる。デジタルビデオカメラ１００が水平に取り付けられていない場合でも、基準角度「θ0」を傾き補正処理の基準として、画像を回転させることにより、傾いた姿勢で取り付けられているデジタルビデオカメラ１００の撮影画像の傾きを、水平姿勢で撮影した画像であるかのように補正することができる。これにより、デジタルビデオカメラ１００が水平に取り付けられていない場合であっても、水平姿勢の適切な映像を記録することができ、傾いた姿勢で撮影した画像を良好に視認することができる。
【００４４】
まず、使用者はデジタルビデオカメラ１００を顔や衣服等に装着する。続いて、使用者はデジタルビデオカメラ１００の電源をＯＮに入れる。デジタルビデオカメラ１００の電源がＯＮになると、コントローラ１８０は、デジタルビデオカメラ１００を構成する各部に電力を供給するよう電源部（不図示）に指示する。これにより、ＣＭＯＳイメージセンサ１４０が撮像を開始し、画像処理部１６０が画像処理を開始する。また、加速度センサ２６０はＸ軸方向、Ｙ軸方向、Ｚ軸方向の加速度成分の検出を開始し、コントローラ１８０は３軸の加速度検出結果を解析することにより、重力加速度方向に対するデジタルビデオカメラ１００の傾きを把握することができる。
【００４５】
コントローラ１８０は、デジタルビデオカメラ１００の装着時の傾き補正指示を使用者から受け付けたか否かを監視する（Ｓ２００）。なお、電源ＯＮの後にコントローラ１８０自身が傾き補正指示を行ってもよいし、あるいは、使用者による動画記録釦の押下（動画記録指示）や、操作部２１０に含まれる傾き補正の設定釦等の操作に応じてコントローラ１８０が傾き補正指示を行ってもよい。更には、傾き補正指示はスマートフォンなどからの遠隔指示であってもよい。本実施の形態では、操作部２１０の操作により傾き補正指示がコントローラ１８０に通知される。
【００４６】
次に、コントローラ１８０が使用者からの傾き補正指示を操作部２１０を介して受け付けた場合（Ｓ２００におけるＹｅｓ）、コントローラ１８０は加速度センサ２６０の出力を解析する（Ｓ２１０）。コントローラ１８０は、使用者による傾き補正指示のタイミングに同期して、加速度センサ２６０から出力された出力値に基づいて（数式１）の演算を行う。そして、コントローラ１８０はデジタルビデオカメラ１００の重力加速度方向に対するロール方向の傾き角度「θ0」を決定する（Ｓ２１０）。
【００４７】
上述したように、コントローラ１８０は（数式１）を用いて３軸方向における各加速度成分から重力加速度方向に対するロール方向の傾き角度「θ0」を決定するが、本開示はこれに限定されない。ピッチ方向（Ｐ方向）へのデジタルビデオカメラ１００の傾きが存在しない場合、コントローラ１８０は（数式２）を用いて２軸方向における各加速度成分から傾き角度「θ0」を決定してもよい。すなわち、コントローラ１８０は３軸方向における各加速度成分のうち少なくとも２軸方向における各加速度成分から傾き角度「θ0」を算出できる。
【００４８】
次に、コントローラ１８０は、傾き角度「θ0」を、映像の傾きを打ち消す方向への角度「−θ0」（オフセット角度「−θ0」）として設定する（Ｓ２２０）。
【００４９】
次に、コントローラ１８０は、オフセット角度「−θ0」を画像処理部１６０に通知する（Ｓ２３０）。
【００５０】
最後に、画像処理部１６０は、傾き角度「θ0」を傾き補正処理の基準として、撮像部２７０により生成された画像を回転させる。
【００５１】
本実施の形態では「傾き補正処理の基準として画像を回転させる」とは以下のことを意味する。上述のとおり、コントローラ１８０は傾き補正指示を受け付け、重力加速度方向に対するロール方向の自機の傾き角度「θ0」を決定する。
【００５２】
（１）傾き角度の決定の後、重力加速度方向に対する自機の傾き角度が「θ0」のままの場合、画像処理部１６０は、傾き補正角度「θ0」だけ撮像部２７０により生成された画像を回転させる。
【００５３】
一方、（２）傾き角度の決定の後、自機が傾き角度「θ0」に対してさらに角度「θ01」だけ傾いていた場合、コントローラ１８０は、加速度センサ２６０の出力結果に基づき、傾き角度「θ0」に対するさらなる傾き角度「θ01」を算出する。画像処理部１６０は、傾き角度「θ0」を基準として、傾き補正角度「θ01」だけ撮像部２７０により生成された画像を回転させる。
【００５４】
この一連の処理により、画像処理部１６０にて、傾きを補正した画像が出力され、傾きが抑制された安定した映像を記録することができる。
【００５５】
ここで再び図４（ａ）を参照する。図４（ａ）はＣＭＯＳイメージセンサ１４０の各画素領域を示す。画像処理部１６０は、撮像画像をオフセット角度「−θ0」だけロール方向に回転させた後、ＣＭＯＳイメージセンサ１４０の有効画素領域において画像の切出し処理を行い、切り出した画像（実線の矩形で示した実効画素領域の画像）を出力する。これにより、撮像画像のロール方向の傾きを補正した場合でも、オプティカルブラック領域内の画素を排除した良好な画像を記録することができる。
【００５６】
コントローラ１８０は、例えば６０ｆｐｓの垂直同期信号を生成している。コントローラ１８０はこの６０ｆｐｓの垂直同期信号期間内にＳ２００からＳ２３０の一連のステップを実行する。この結果、適切な傾き補正がリアルタイムに実行される。
【００５７】
［１−３−２．撮影状況による傾き補正と回転ブレ補正の処理配分］
次に、図５のフローチャートを参照して、傾き補正と回転ブレ補正との撮影状況に応じた処理配分を説明する。
【００５８】
デジタルビデオカメラ１００は角速度センサ２５０の出力結果に基づいて撮影状況の判断を行う。デジタルビデオカメラ１００は傾き補正および回転ブレ補正を撮影状況に応じて行う。具体的には、コントローラ１８０は、撮影状況に応じて、傾き補正と回転ブレ補正との処理配分を決定する。
【００５９】
以下、処理配分の決定の詳細を説明する。
【００６０】
まず、デジタルビデオカメラ１００のモードが撮影モードであるとき、コントローラ１８０は、角速度センサ２５０の出力結果に基づいて撮影状況判断を行う（Ｓ３００）。
【００６１】
ここで、図６を参照しながらコントローラ１８０による撮影状況判断（Ｓ３００）の詳細を説明する。図６は各撮影状況での角速度センサ２５０の出力を疑似的に示す。図６の縦軸は角速度センサ２５０の出力値（ｄｅｇ／ｓｅｃ）を、図６の横軸は時間軸を示す。
【００６２】
図６の時間軸において、Ａ区間は三脚などによりデジタルビデオカメラ１００が固定されている状態（状態Ａ）、Ｂ区間はデジタルビデオカメラ１００を手持ちで固定撮影している状態（状態Ｂ）、Ｃ区間は歩行によりカメラが大きく動く状況下で撮影している状態（状態Ｃ）をそれぞれ示している。コントローラ１８０は、角速度センサ２５０からの入力信号の振幅や周波数に応じて撮影状況を決定する。コントローラ１８０は、図６に示すような第１の閾値および第２の閾値を参照する。第１の閾値および第２の閾値は、例えば内部メモリー２４０に予め保持されている。第１の閾値は、デジタルビデオカメラ１００が状態Ａにあるか否かを判断するための閾値である。第２の閾値は、デジタルビデオカメラ１００が状態Ｂにあるのか、それとも状態Ｃにあるのかを判断するための閾値である。コントローラ１８０は、角速度センサ２５０の出力値が第１の閾値以下であると判断したとき、デジタルビデオカメラ１００は三脚固定されている（状態Ａ）と判断する。コントローラ１８０は、角速度センサ２５０の出力値が第１の閾値よりも大きく、第２の閾値未満であるとき、デジタルビデオカメラ１００は手持ち固定の状態（状態Ｂ）であると判断する。コントローラ１８０は、角速度センサ２５０の出力値が第２の閾値以上であるとき、デジタルビデオカメラ１００は歩行撮影されている状態（状態Ｃ）であると判断する。
【００６３】
上記の説明では、第１の閾値と第２の閾値とを設け、撮影状況を３段階で評価したが、本開示はこれに限定されない。すなわち、閾値を１個だけ設けて２段階による評価を行ってもよいし、閾値をより多く設けて多段階による評価を行うようにしてもよい。
【００６４】
次に、コントローラ１８０は、傾き補正のクリップ量と回転ブレ補正のクリップ量とをＳ３００にて求めた撮影状況に応じて決定する（Ｓ３１０）。
【００６５】
ここで、図７を参照して傾き補正のクリップ量と回転ブレ補正のクリップ量を説明する。図７は、撮影状況応じて決定される、傾き補正および回転ブレ補正のクリップ量を説明するためのイメージ図である。
【００６６】
本実施の形態では、図７に示すように、傾き補正に関するクリップ量（以降、「第１の上限角度」と称する。）と回転ブレ補正に関するクリップ量（以降、「第２の上限角度」と称する。）とを足し合わせた、光軸周りのロール方向の最大補正量（最大補正角度）はＸ（３  ｄｅｇ．）とする。最大補正角度とは画像を回転させるときに許容される回転角度の限度を示す。
【００６７】
なお、本開示において最大補正角度は３°に限定されない。最大補正角度は製品仕様等により適宜変更される。主に、最大補正角度は上述したＣＭＯＳイメージセンサ１４０の有効画素領域の大きさに依存する。有効画素領域が大きい程、最大補正角度を大きくすることができる。
【００６８】
図７に示すように、第１の上限角度と第２の上限角度とをそれぞれ、Ａ区間ではａおよびｂ、Ｂ区間ではｃおよびｄ、Ｃ区間ではｅおよびｆとする。いずれの撮影状況においても、第１の上限角度と第２の上限角度との合算角度は、Ｘ（３  ｄｅｇ．）＝ａ＋ｂ＝ｃ＋ｄ＝ｅ＋ｆの関係となる。
【００６９】
Ａ区間では、デジタルビデオカメラ１００が三脚に固定されているため、傾きは定常的に発生するが、回転ブレは発生しない。そのため、コントローラ１８０は、第１の上限角度ａを、第２の上限角度ｂよりも大きく設定する。また、Ｃ区間では使用者は歩行しながら撮影しているため、デジタルビデオカメラ１００の移動により重力加速度以外の加速度が発生し得る。
【００７０】
図８を参照しながら、各撮影状況での加速度センサ２６０の出力値を説明する。図８は、加速度センサ２６０の出力値のイメージ図を示す。図８の縦軸は加速度センサ２６０の出力値を示し、図８の横軸は時間軸を示す。図８に示すように、撮影状況が変化するに従って重力加速度以外の加速度（デジタルビデオカメラ１００の移動に伴い発生する加速度）が大きくなり、加速度センサ２６０の出力信号が大きく振幅する。この結果、加速度センサ２６０の出力結果の信頼性が低くなる。
【００７１】
再び図７を参照する。歩行撮影の状況下（Ｃ区間）では、第１の上限角度ｅよりも第２の上限角度ｆを大きく設定することにより、効果的な傾き補正および回転ブレ補正を実現することが可能となる。Ｂ区間では効果的な傾き補正および回転ブレ補正が行えるよう第１の上限角度ｃおよび第２の上限角度ｄを配分する。
【００７２】
コントローラ１８０は、クリップ量の切り替えによりフレーム間の画像の不連続が発生しないように、クリップ量の配分を連続的に変化させる。
【００７３】
例えば内部メモリ２４０には、図７に示すような、撮影状況に応じた第１の上限角度と第２の上限角度との配分の変化を示す曲線に関する情報が予め格納されている。コントローラ１８０は、内部メモリ２４０に格納されている曲線の情報を参照することにより、フレーム間の画像の不連続が発生しないようにクリップ量（第１の上限角度および第２の上限角度）を決定する。
【００７４】
例えば、あるタイミングにおいて、撮影状況が手持ち固定（Ｂ区間）であったとする。このとき、第１の上限角度と第２の上限角度との配分はｃ：ｄとなる。配分がｃ：ｄに設定されているときに、次のタイミングで撮影状況が歩行撮影に変化した場合、コントローラ１８０は第１の上限角度と第２の上限角度との配分をｅ：ｆにその変化したタイミングで即座には変化させない。コントローラ１８０は、メモリに格納された配分の変化を示す曲線の情報に従って、第１の上限角度と第２の上限角度との配分をｃ：ｄの配分からｅ：ｆの配分に連続的に変化させる。撮影状況が歩行撮影のまま変化がなく、配分を連続的に変化させ、配分がｅ：ｆに到達すると、コントローラ１８０は、次に撮影状況が変化するまで配分をｅ：ｆに固定する。
【００７５】
一方、ｃ：ｄの配分からｅ：ｆの配分へと連続的に配分を変化させる途中で撮影状況が変化したときは、コントローラ１８０は連続的に変化させる配分の比率を撮影状況に応じて変更する。
【００７６】
このように、コントローラ１８０は、クリップ量の切り替えによりフレーム間の画像の不連続が発生しないよう、クリップ量の配分を連続的に変化させる。
【００７７】
なお、上記の説明では、撮影状況を３段階（三脚固定、手持ち固定、歩行撮影）としたが、撮影状況には、例えば走行撮影がさらに含まれていてもよく、撮影状況は必ずしも３段階である必要はない。このように、撮影状況に応じて、傾き補正と回転ブレ補正とを適切に配分することができる。
【００７８】
ここで再び図５を参照する。
【００７９】
次に、コントローラ１８０は、傾き補正角度θ1（第１の算出角度）を加速度センサ２６０の出力結果に基づいて算出し、回転ブレ補正角度θ2（第２の算出角度）を角速度センサ２５０の出力の積分結果に基づいて算出する（Ｓ３２０）。
【００８０】
コントローラ１８０は、Ｓ３１０から得られた第１の上限角度および第２の上限角度と傾き補正角度θ1および回転ブレ補正角度θ2とをそれぞれ比較することにより、コントローラ１８０は傾き補正角度θ1および回転ブレ補正角度θ2を必要に応じてクリップして、最終補正角度θ3を決定する（Ｓ３３０）。
【００８１】
以下、第１の上限角度と第２の上限角度との配分がｃ：ｄである場合の具体例を説明する。
【００８２】
Ｓ３２０で算出した傾き補正角度θ1が、第１の上限角度ｃよりも小さいときは、傾き補正に関する最終的な補正角度（第１の補正角度）はθ1と決定される。一方、傾き補正角度θ1が第１の上限角度ｃよりも大きいときは、傾き補正に関する最終的な補正角度（第１の補正角度）は第１の上限角度にクリップされて第１の上限角度ｃと決定される。
【００８３】
同様に、Ｓ３２０で算出した回転ブレ補正角度θ2が第２の上限角度ｄよりも小さいときは、回転ブレ補正に関する最終的な補正角度はθ2と決定される。一方、回転ブレ補正角度２が第２の上限角度ｄよりも大きいときは、回転ブレ補正に関する最終的な補正角度（第２の補正角度）は第２の上限角度にクリップされて第２の上限角度ｄと決定される。
【００８４】
コントローラ１８０は、第１の上限角度および第２の上限角度を参照して決定した第１の補正角度および第２の補正角度とを足し合わせて、最終補正角度θ3を算出する。
【００８５】
次に、コントローラ１８０はＳ３３０で決定した最終補正角度θ3を画像処理部１６０に通知する（Ｓ３４０）。
【００８６】
最後に、画像処理部１６０は、撮像部２７０が生成した画像を最終補正角度θ3に基づき回転させる。
【００８７】
上述のとおり、コントローラ１８０は、角速度センサ２５０からの入力信号の振幅や周波数に応じて撮影状況を決定する。Ｓ３００からＳ３４０までの一連の処理により、固定撮影の状況下（Ａ区間）では、デジタルビデオカメラ１００の傾きによる画像への影響をより効果的に低減できるよう、傾き補正の処理配分が大きくなる。また、歩行撮影の状況下（Ｃ区間）では、回転ブレによる画像への影響をより効果的に低減できるよう、回転ブレ補正の処理配分が大きくなる。
【００８８】
光軸周りのロール方向の最大補正角度により定まる角度の範囲で傾き補正と回転ブレ補正の処理配分が角速度センサ２５０の出力信号の振幅や周波数（撮影状況）に応じて決定される。この結果、傾きが抑制された安定した映像を記録することができる。
【００８９】
コントローラ１８０は、例えば６０ｆｐｓの垂直同期信号を生成している。コントローラ１８０はこの６０ｆｐｓの垂直同期信号期間内にＳ３００からＳ３４０の一連のステップを実行する。この結果、適切な傾き補正および回転ブレ補正が撮影状況に応じてリアルタイムに実行される。
【００９０】
なお、本実施の形態において、「傾きオフセット補正動作」と「傾き補正および回転ブレ補正の動作」とが一連の動作として機能してもよい。この場合、画像処理部１６０は、基準角度「θ0」を傾き補正処理の基準として、最終補正角度θ3だけ画像を回転させる。
【００９１】
［１−４．効果等］
以上のように、本実施の形態においては、デジタルビデオカメラ１００は、被写体を撮像し、画像を生成する撮像部２７０と、加速度を検出する加速度センサ２６０と、角速度を検出する角速度センサ２５０と、加速度センサ２６０の検出結果に基づく第１の補正角度と角速度センサ２５０の検出結果に基づく第２の補正角度とを、角速度センサ２５０の検出結果に応じて決定するコントローラ１８０と、第１の補正角度と第２の補正角度とを合算した補正角度θ3に基づいて、撮像部２７０が生成した画像を回転させる画像処理部１６０とを備える。
【００９２】
この結果、光軸周りのロール方向の最大補正角度により定まる角度の範囲で傾き補正と回転ブレ補正の処理配分が角速度センサ２５０の出力信号の振幅や周波数（撮影状況）に応じて決定され、傾きが抑制された安定した映像を記録することができる。
【００９３】
また、コントローラ１８０は、角速度センサ２５０から出力される信号の振幅または周波数に応じて、第１の補正角度の上限となる第１の上限角度と、第２の補正角度の上限となる第２の上限角度とを決定する。
【００９４】
また、コントローラ１８０は、加速度センサ２６０の検出結果から算出される第１の算出角度と第１の上限角度とを比較することにより第１の補正角度を決定し、角速度センサ２５０の検出結果から算出される第２の算出角度と第２の上限角度とを比較することにより第２の補正角度を決定する。
【００９５】
また、コントローラ１８０は、第１の算出角度が第１の上限角度よりも大きいときは、第１の上限角度を第１の補正角度として決定し、第１の算出角度が第１の上限角度以下のときは、第１の算出角度を第１の補正角度として決定する。
【００９６】
また、コントローラ１８０は、第２の算出角度が第２の上限角度よりも大きいときは、第２の上限角度を第２の補正角度として決定し、第２の算出角度が第２の上限角度以下のときは、第２の算出角度を第２の補正角度として決定する。
【００９７】
（２．実施の形態２）
図９を参照して、本実施の形態を説明する。
【００９８】
［２−１．構成］
図９は本実施の形態による画像処理装置３００の構成を示す。
【００９９】
本実施の形態による画像処理装置３００は、画像処理部３１０およびコントローラ３２０を備える。画像処理装置３００は外部インターフェースを有し、例えば、バッファ１７０は外部インターフェースを介して画像処理装置３００に接続可能である。
【０１００】
撮像部２９０は、光学系１１０、ＣＭＯＳセンサ１４０、Ａ／Ｄコンバータ１５０、角速度センサ２５０および加速度センサ２６０を含む。画像処理装置３００は撮像部２９０で生成された画像データに各種処理を施す。
【０１０１】
撮像部２９０のＡ／Ｄコンバータ１５０は画像処理装置３００の画像処理部３１０と電気的に接続されている。画像処理部３１０の構成は実施の形態１による画像処理部１６０の構成と同一であり、詳細な説明は省略する。
【０１０２】
撮像部２９０の角速度センサ２５０および加速度センサ２６０は画像処理装置３００のコントローラ３２０に電気的に接続されている。コントローラ３２０の構成は実施の形態１によるコントローラ１８０の構成と同一であり、詳細な説明は省略する。
【０１０３】
［２−２．動作］
画像処理部３１０およびコントローラ３２０の動作は実施の形態１による画像処理部１６０およびコントローラ１８０の動作と同一である。したがって、画像処理装置３００においても、図３および図５に示す傾き補正動作を実行できる。本実施の形態による各動作は実施の形態１による動作と同一であるため、詳細な説明は省略する。
【０１０４】
［２−３．効果等］
以上のように、本実施の形態においては、画像処理装置３００は、加速度を検出する加速度センサ２６０と、角速度を検出する角速度センサ２５０とを有する撮像部２９０から出力される画像を処理する。画像処理装置３００は、加速度センサ２６０の検出結果に基づく第１の補正角度と角速度センサ２５０の検出結果に基づく第２の補正角度を、角速度センサ２５０の検出結果に応じて決定するコントローラ３２０と、第１の補正角度と第２の補正角度とを合算した補正角度θ3に基づいて、撮像部２９０が生成した画像を回転させる画像処理部３１０とを備える。
【０１０５】
この結果、光軸周りのロール方向の最大補正角度により定まる角度の範囲で傾き補正と回転ブレ補正の処理配分を撮影状況に応じて効果的に決定することができ、傾きが抑制され安定した画像の撮影を実現できる。
【０１０６】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１０７】
そこで、以下、他の実施の形態を例示する。
【０１０８】
実施の形態１にかかるデジタルビデオカメラ１００は角速度センサ２５０を備えていなくてもよい。その他の構成に関しては、デジタルビデオカメラ１００は実施の形態１によるデジタルビデオカメラ１００と同様の構成を有する。実施の形態１の変形例によるデジタルビデオカメラ１００は、角速度センサ２５０を備えていないため、実施の形態１による撮影状況による傾き補正と回転ブレ補正の処理配分を行うことはないが、加速度センサ２６０を有しているため傾きオフセット補正動作を行うことができる。
【０１０９】
なお、実施の形態１の変形例によるデジタルビデオカメラ１００は角速度センサ２５０を備えていないとしたが、角速度センサ２５０と加速度センサ２６０とを共に備える構成であってもよい。このとき、デジタルビデオカメラ１００は両センサを備えるが、撮影状況による傾き補正と回転ブレ補正の処理配分を行なわない一方、傾きオフセット補正動作を行うようにしても構わない。
【０１１０】
また、本開示の技術はさらに、上述の傾きオフセット補正動作および撮影状況による傾き補正と回転ブレ補正の処理配分を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図３および図５に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作を実現することができる。
【０１１１】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１１２】
従って、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１１３】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１４】
本開示は、デジタルビデオカメラへの適用に限定されず、デジタルスチルカメラ、カメラ機能付携帯電話、カメラ機能付スマートフォン等の電子機器に適用できる。
【符号の説明】
【０１１５】
１００        デジタルビデオカメラ
１１０        光学系
１２０        レンズ駆動部
１４０        ＣＭＯＳイメージセンサ
１５０        Ａ／Ｄコンバータ
１６０        画像処理部
１７０        バッファ
１８０        コントローラ
１９０        カードスロット
２００        メモリカード
２１０        操作部
２２０        表示モニタ
２４０        内部メモリ
２５０        角速度センサ
２６０        加速度センサ
２７０        撮像部
２９０        撮像部
３００        画像処理装置
３１０        画像処理部
３２０        コントローラ
【図１】
2014066995.tif 000005
【図２】
2014066995.tif 000006
【図３】
2014066995.tif 000007
【図４】
2014066995.tif 000008
【図５】
2014066995.tif 000009
【図６】
2014066995.tif 000010
【図７】
2014066995.tif 000011
【図８】
2014066995.tif 000012
【図９】
2014066995.tif 000013