(57)【要約】【課題】筐体の安定状態に応じて撮像画像の傾きを補正することで、手軽に、傾きが補正された画像の取得が可能な、画像処理装置を提供する。【解決手段】画像を撮像する撮像部を設ける筐体の安定状態を検出する状態検出部と、前記状態検出部の検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正部と、を備える、画像処理装置が提供される。画像処理装置は、かかる構成により、筐体の安定状態に応じて撮像画像の傾きを補正することができ、手軽に、傾きが補正された画像が取得できる。【選択図】図１
2014050039.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部を設ける筐体の安定状態を検出する状態検出部と、
前記状態検出部の検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正部と、
を備える、画像処理装置。
【請求項２】
前記画像補正部は、前記状態検出部が検出した前記筐体の安定状態に応じて前記撮像部で撮像された画像の傾きを自動的に補正する、請求項１に記載の画像処理装置。
【請求項３】
前記状態検出部は、前記撮像部で撮像される画像の水平方向に対する前記筐体の傾きを検出し、
前記画像補正部は、前記状態検出部の検出結果に応じて、前記撮像部で撮像された画像を回転させることで該画像の傾きを補正する、請求項１に記載の画像処理装置。
【請求項４】
前記画像補正部は、前記撮像部で撮像された画像を回転させることで該画像が水平となるよう傾きを補正する、請求項３に記載の画像処理装置。
【請求項５】
前記画像補正部は、前記撮像部で撮像された画像が水平となるように傾きを補正できる角度を超えて前記筐体が傾いていることを前記状態検出部が検出した場合は、前記撮像部で撮像された画像を補正しない、請求項３に記載の画像処理装置。
【請求項６】
前記画像補正部は、前記撮像部で撮像された画像が水平となるように傾きを補正できる角度を超えて前記筐体が傾いていることを前記状態検出部が検出した場合は、該画像の傾きを可能な範囲で補正する、請求項３に記載の画像処理装置。
【請求項７】
前記画像補正部は、アフィン変換により前記撮像部で撮像された画像を回転させることで該画像の傾きを補正する、請求項３に記載の画像処理装置
【請求項８】
前記画像補正部は、前記状態検出部が検出した前記筐体の傾きが所定範囲内である場合に限り、前記撮像部で撮像された画像の傾きを補正する、請求項３に記載の画像処理装置。
【請求項９】
前記画像補正部は、前記状態検出部が検出した前記筐体の傾きが補正可能範囲を超えた場合にメッセージを生成する、請求項３に記載の画像処理装置。
【請求項１０】
前記筐体の傾きの状態を取得するセンサ部をさらに備え、
前記状態検出部は、前記センサ部が取得した前記筐体の状態の時間軸変動によって前記筐体の状態を検出する、請求項３に記載の画像処理装置。
【請求項１１】
前記状態検出部が検出した前記筐体の安定状態に関する情報を保持する状態情報保持部をさらに備え、
前記画像補正部は、前記状態情報保持部が保持した前記情報を用いて、前記筐体の安定状態に応じて、前記撮像部で撮像された画像の傾きを補正する、請求項１に記載の画像処理装置。
【請求項１２】
前記画像補正部は、前記撮像部で撮像された動画像の傾きを補正する、請求項１に記載の画像処理装置。
【請求項１３】
前記画像補正部は、前記撮像部で撮像された静止画像の傾きを補正する、請求項１に記載の画像処理装置。
【請求項１４】
前記画像補正部は、ユーザ操作に基づき、前記状態検出部の検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する、請求項１に記載の画像処理装置。
【請求項１５】
前記状態検出部は、前記安定状態として前記筐体の静置状態を検出する、請求項１に記載の画像処理装置。
【請求項１６】
画像を撮像する撮像部を設ける筐体の安定状態を検出する状態検出ステップと、
前記状態検出ステップの検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正ステップと、
を備える、画像処理方法。
【請求項１７】
コンピュータに、
画像を撮像する撮像部を設ける筐体の安定状態を検出する状態検出ステップと、
前記状態検出ステップの検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正ステップと、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子からなるイメージ・センサで捕捉した画像をデジタル符号化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。
【０００３】
デジタルカメラは、撮影者による手持ち撮影時に生じる撮像画像の振れ（手振れ）を補正するための画像処理機能を有しているものが殆どであり、手振れ補正に関する技術も多数開示されている（例えば特許文献１参照）。また、手振れなどによって被写体が水平方向に対して傾いて撮像されてしまうことを防ぐために、画像の傾きを補正して画像の水平が維持された撮像画像を得る技術も開示されている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１１４６８２号公報
【特許文献２】特開２０１０−０４５７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
最初から画像の傾きの無い画像を撮像するためには、水準器などを用いてデジタルカメラで撮像される画像が水平となるように微妙な調整を行う必要がある。水準器がなければ、水平線や建築物のラインなどを使ってデジタルカメラで撮像される画像が水平となるように調整を行う必要がある。しかし、デジタルカメラに設けられるモニタの画面サイズは小さいので、僅かな傾きであれば撮像者はなかなか気づきにくい。従って、撮像者が水平に合わせたつもりでも、実際の撮像画像に傾きが残ってしまう場合がある。また、わずかな傾きであっても、傾きの残る撮像画像を大型のディスプレイに表示させると、傾きが目立ってしまう。
【０００６】
また、三脚にデジタルカメラを載せて、デジタルカメラで撮像される画像が水平となるように三脚を調整することで傾きのない画像を撮像することができる。しかし、三脚を調整することで傾きのない画像を撮像する場合、三脚にデジタルカメラを載せる手間と、水平に合わせる調整の時間とがかかり、撮像者はすぐに撮像を開始することができず、撮像機会を逃してしまう可能性が高まってしまう。
【０００７】
そこで、本開示は、筐体の状態に応じて撮像画像の傾きを補正することで、手軽に、傾きが補正された画像の取得が可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供する。
【課題を解決するための手段】
【０００８】
本開示によれば、画像を撮像する撮像部を設ける筐体の状態を検出する状態検出部と、前記状態検出部が検出した、前記撮像部で撮像される画像の水平方向に対する前記筐体の状態に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正部と、を備える、画像処理装置が提供される。
【０００９】
また、本開示によれば、画像を撮像する撮像部を設ける筐体の状態を検出する状態検出ステップと、前記状態検出ステップで検出された、前記撮像部で撮像される画像の水平方向に対する前記筐体の状態に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正ステップと、を備える、画像処理方法が提供される。
【００１０】
また、本開示によれば、コンピュータに、画像を撮像する撮像部を設ける筐体の状態を検出する状態検出ステップと、前記状態検出ステップで検出された、前記撮像部で撮像される画像の水平方向に対する前記筐体の状態に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正ステップと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、筐体の状態に応じて撮像画像の傾きを補正することで、手軽に、傾きが補正された画像の取得が可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係る撮像装置１００の外観例を示す説明図である。
【図２】本開示の一実施形態に係る撮像装置１００の機能構成例を示す説明図である。
【図３】本開示の一実施形態に係る撮像装置１００の機能構成例を示す説明図である。
【図４】本開示の一実施形態に係る撮像装置１００の筐体１０１の鉛直状態からのずれの検出方法を示す説明図である。
【図５】本開示の一実施形態に係る撮像装置１００を用いた撮像画像の傾き補正例を示す説明図である。
【図６】本開示の一実施形態に係る撮像装置１００の動作例を示す流れ図である。
【図７】本開示の一実施形態に係る撮像装置１００の動作例を示す流れ図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［撮像装置の外観例］
［撮像装置の機能構成例（１）］
［撮像装置の機能構成例（２）］
［鉛直状態からのずれの検出方法］
［撮像装置の動作例］
＜２．まとめ＞
【００１５】
＜１．本開示の一実施形態＞
［撮像装置の外観例］
まず、図面を参照しながら、本開示の画像処理装置の一例である、本開示の一実施形態に係る撮像装置の外観例を説明する。図１は、本開示の一実施形態に係る撮像装置１００の外観例を示す説明図である。以下、図１を用いて本開示の一実施形態に係る撮像装置１００について説明する。
【００１６】
図１には、撮像装置１００を背面側から見た状態が図示されている。本開示の一実施形態に係る撮像装置１００は、例えば図１に示すような外観を有し、撮像者の操作によって電子的に画像（静止画像または動画像）を撮像することの出来る装置である。本開示の一実施形態に係る撮像装置１００は、その筐体１０１の状態に応じて、撮像画像の傾きを補正する機能を有する。筐体１０１の状態に応じて、撮像画像の傾きを補正する機能を有することで、本開示の一実施形態に係る撮像装置１００は、傾きが補正された画像を、撮像者に容易に取得させることが出来る。
【００１７】
本開示の一実施形態に係る撮像装置１００は、撮像中の、または撮像した画像を表示部１１０に表示させることが出来る。撮像者は、表示部１１０に表示される画像を見ながら、撮像装置１００で撮像する画像が水平になるように、撮像装置１００を持って、または撮像装置１００を三脚等に固定させて撮像することができる。しかし、上述したように、手動によって撮像装置１００で撮像する画像が水平になるように調整するのは非常に手間と時間がかかるので、撮像機会を逃してしまう可能性が高まってしまう。
【００１８】
そこで、本開示の一実施形態に係る撮像装置１００は、筐体１０１の状態に応じて、撮像している画像が傾いていれば、その傾きを補正する画像処理を実行する。筐体１０１の状態に応じて傾きを補正する画像処理を実行することで、本開示の一実施形態に係る撮像装置１００は、上述したように、傾きが補正された画像を撮像者に容易に取得させることが出来る。
【００１９】
本開示の一実施形態に係る撮像装置１００は、静止画像又は動画像をファイルとして記録する撮像処理を実行している際に、筐体１０１の状態として、筐体１０１の安定状態と、筐体１０１の鉛直状態からのずれの状態とを取得する。そして、本開示の一実施形態に係る撮像装置１００は、撮像処理を実行している際に筐体１０１が安定した状態にあることを取得すると、筐体１０１の鉛直状態からのずれを打ち消すような画像処理を実行する。本開示の一実施形態に係る撮像装置１００は、筐体１０１の状態として、筐体１０１の安定状態と、筐体１０１の鉛直状態からのずれの状態とを取得することで、手軽に、傾きが補正された撮像画像の取得が可能となる。
【００２０】
なお以下の説明では、画像処理を実行する基準の一例として、筐体１０１が安定した状態にあるかどうかで画像処理を実行するかどうかを判断する。筐体１０１が安定した状態にあるかどうかは、例えば、筐体１０１が所定の加速度以下の状態にあるかどうかで判断する。この、筐体１０１が所定の加速度以下の状態のことを、以下の説明では筐体１０１の静置状態とも称する。すなわち本開示の一実施形態に係る撮像装置１００は、筐体１０１が静置状態であれば、筐体１０１が所定の加速度以下で安定した状態であり、筐体１０１が安定して三脚等に設置されているものと考えられるので、撮像画像に対して傾きを補正する画像処理を実行する。また、以下の説明では、筐体１０１が静置状態であることを静置モードＯＮであるとも称し、筐体１０１が静置状態でないことを静置モードＯＦＦであるとも称する。
【００２１】
以上、図１を用いて本開示の一実施形態に係る撮像装置１００について説明した。次に、本開示の一実施形態に係る撮像装置１００の機能構成例について説明する。
【００２２】
［撮像装置の機能構成例（１）］
図２は、本開示の一実施形態に係る撮像装置１００の機能構成例を示す説明図である。以下、図２を用いて本開示の一実施形態に係る撮像装置１００の機能構成例について説明する。
【００２３】
図２に示したように、本開示の一実施形態に係る撮像装置１００は、撮像部１０２と、現像部１０４と、回転処理部１０６と、表示処理部１０８と、表示部１１０と、記録処理部１１２と、記録メディア１１４と、操作部１１６と、ＣＰＵ１１８と、ＲＯＭ１２０と、ＲＡＭ１２２と、静置検出センサ１３２と、鉛直検出センサ１３４と、ＡＤ変換器１３６、１３８と、を含んで構成される。図２に示した撮像装置１００の各ブロックは、筐体１０１の表面または内部に設けられる。
【００２４】
撮像部１０２は、レンズ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子からなるイメージャ、イメージ・センサへの露光タイミング等を制御するタイミングジェネレータ、サンプルホールド回路、イメージャへの露光により得られる画像の元データを後段の回路に提供するためのインタフェース部などで構成される。撮像部１０２で得られる画像の元データは、現像部１０４に供給される。
【００２５】
現像部１０４は、撮像部１０２で得られる画像の元データに対する現像処理を実行する。ここで、現像部１０４が実行する現像処理とは、例えば、撮像部１０２で得られるベイヤー配列の画像データを補間することで輝度信号と色差信号とからなるＹＣデータを生成したり、ＹＣデータに対して解像度の変換や輪郭の強調等の所定の画像処理を実行したりする処理である。現像部１０４で現像処理されたデータは回転処理部１０６に供給される。
【００２６】
回転処理部１０６は、現像部１０４から供給されるＹＣデータを回転させる処理を実行する。ここで回転処理部１０６は、ＣＰＵ１１８からの回転処理命令に基づき、ＣＰＵ１１８から指定された回転角度だけ、現像部１０４から供給されるＹＣデータを回転させる処理を実行する。回転処理部１０６は、ＣＰＵ１１８からの回転処理命令があった場合に限って、現像部１０４から供給されるＹＣデータを回転させる処理を実行する。回転処理部１０６は、回転処理の実行の有無に関わらず、ＹＣデータを表示処理部１０８および記録処理部１１２に供給する。
【００２７】
回転処理部１０６は、現像部１０４から供給されるＹＣデータを回転させる処理に際して、例えば平行移動と線形変換を組み合わせた変換であるアフィン変換を用いても良い。また回転処理部１０６は、撮像部１０２で得られる画像を後述の表示部１１０にリアルタイムで表示するいわゆるライブビュー表示用の画像のためのＹＣデータと、撮像部１０２で得られる画像を後述の記録メディア１１４に記録するための画像のためのＹＣデータとの両方に回転処理を実行しても良く、いずれか一方のＹＣデータにのみ回転処理を実行しても良い。
【００２８】
また回転処理部１０６は、撮像部１０２で得られている画像データに対しては回転処理を実行せず、ＣＰＵ１１８から供給される回転角度の情報を、例えば画像データと同期させて記録メディア１１４に記録してもよい。ＣＰＵ１１８から供給される回転角度の情報を画像データと同期させて記録メディア１１４に記録しておくことで、回転処理部１０６は、撮像部１０２で得られた画像データに対して、記録メディア１１４への記録後であっても回転処理を実行することができる。
【００２９】
表示処理部１０８は、回転処理部１０６から供給されるＹＣデータを、表示部１１０に規定された形式に変換して表示部１１０に供給する。表示部１１０は、表示処理部１０８から供給されるデータに基づいて画像を表示する。なお表示部１１０には、撮像部１０２が撮像した画像の他、各種設定情報が表示される。表示部１１０は、例えば液晶ディスプレイパネルや有機ＥＬパネルなどで構成される。なお、表示部１１０の表示面にはタッチパネルが設けられていても良い。
【００３０】
記録処理部１１２は、ＦＡＴ（Ｆｉｌｅ  Ａｌｌｏｃａｔｉｏｎ  Ｔａｂｌｅｓ）などのファイルシステムを含む。記録処理部１１２は、回転処理部１０６から供給されるＹＣデータを、例えばＭＰＥＧ等の記録形式に変換し、ファイルシステムを通して記録メディア１１４に記録する。なお記録処理部１１２は、回転角度の情報が回転処理部１０６から供給されてくると、その回転角度の情報を、画像データと同期するように記録メディア１１４に記録する。
【００３１】
記録メディア１１４は、例えば撮像装置１００に内蔵された、または撮像装置１００から着脱可能な記録メディアであり、例えばハードディスクドライブ、フラッシュメモリを内蔵したメモリカードなどで構成される。記録メディア１１４は、本開示の状態情報保持部の一例であり、後述の鉛直検出センサ１３４が検出した筐体１０１の鉛直状態からのずれの情報を保持していても良い。
【００３２】
操作部１１６は、撮像装置１００を操作するための各種スイッチやボタンで構成される。撮像装置１００を操作するためのスイッチやボタンには、例えば、電源ボタン、シャッタボタン、ズームボタン（またはズームキー）、各種設定を行わせるためのボタン等が含まれる。なお、表示部１１０の表示面にタッチパネルが設けられている場合は、そのタッチパネルも操作部１１６に含まれる。
【００３３】
ＣＰＵ１１８は、撮像装置１００の動作を制御するための各種処理を実行する。ＣＰＵ１１８は、例えば、ＲＯＭ１２０に格納されているコンピュータプログラムを読み出して順次実行することで、撮像装置１００の動作を制御する。本実施形態では、ＣＰＵ１１８は、後述の静置検出センサ１３２や鉛直検出センサ１３４から供給されるデータに基づいて、回転処理部１０６に対してＹＣデータの回転処理を指示する。またＣＰＵ１１８は、後述する静置検出センサ１３２や鉛直検出センサ１３４からの情報に基づいて、筐体１０１の静置状態や、筐体１０１の水平方向からの傾きを算出する。従ってＣＰＵ１１８は、本開示の状態検出部の一例としての役割を果たす。
【００３４】
ＲＯＭ１２０は、ＣＰＵ１１８の処理に必要な各種コンピュータプログラムや、各種データが記憶される不揮発性メモリである。またＲＡＭ１２２は、ＣＰＵ１１８の処理の際に用いられるワーキングメモリであり、揮発性メモリである。
【００３５】
静置検出センサ１３２は、撮像装置１００の筐体の静置状態を検出するためのセンサである。静置検出センサ１３２は、例えばＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）の１軸〜３軸のジャイロセンサまたは１軸〜３軸の加速度センサで構成される。静置検出センサ１３２の検出値はＡＤ変換器１３６でＡＤ変換された後に、シリアル通信などでＣＰＵ１１８に供給される。本開示の一実施形態にかかる撮像装置１００のＣＰＵ１１８は、静置検出センサ１３２が検出した筐体１０１の静置状態の時間軸変動によって、筐体１０１の静置状態を検出するようにしてもよい。
【００３６】
鉛直検出センサ１３４は、撮像装置１００の筐体１０１の鉛直状態からのずれを検出するためのセンサである。鉛直検出センサ１３４の検出値により、ＣＰＵ１１８は、回転処理部１０６に渡す回転角度を決定することができる。鉛直検出センサ１３４は、例えばＭＥＭＳの加速度センサで構成される。鉛直検出センサ１３４が加速度センサで構成されている場合は、加速度センサは、撮像装置１００の光軸に直交する面の水平方向および垂直方向に設けられる。撮像装置１００の光軸に直交する面の水平方向および垂直方向に加速度センサが設けられることで、鉛直検出センサ１３４は、撮像装置１００の筐体１０１が鉛直状態からどの程度ずれているかを得ることが出来る。鉛直検出センサ１３４の検出値はＡＤ変換器１３８でＡＤ変換された後に、シリアル通信などでＣＰＵ１１８に供給される。
【００３７】
本開示の一実施形態に係る撮像装置１００は、静置検出センサ１３２によって撮像装置１００が静置状態にあることが検出された場合に、鉛直検出センサ１３４によって検出された鉛直状態からのずれを補正するような画像処理を実行する。撮像装置１００が静置状態にあるということは、すなわち三脚等で撮像装置１００が固定されている状態であり、撮像装置１００が静置状態にあるということは、画像をなるべく水平の状態で撮像することが望まれている状態である可能性が高いからである。
【００３８】
以上、図２を用いて本開示の一実施形態に係る撮像装置１００の機能構成例について説明した。なお、図２では、撮像装置１００の筐体１０１の静置状態を検出するためのセンサと、撮像装置１００の筐体１０１の鉛直状態からのずれを検出するためのセンサとを別のものとして示していたが、本開示は係る例に限定されない。撮像装置１００の筐体１０１の静置状態を検出するためのセンサと、撮像装置１００の筐体１０１の鉛直状態からのずれを検出するためのセンサとを１つにまとめても良い。
【００３９】
［撮像装置の機能構成例（２）］
図３は、本開示の一実施形態に係る撮像装置１００の別の機能構成例を示す説明図である。以下、図３を用いて本開示の一実施形態に係る撮像装置１００の別の機能構成例について説明する。
【００４０】
図３に示した撮像装置１００は、図２に示した撮像装置１００の機能構成における静置検出センサ１３２および鉛直検出センサ１３４を１つにまとめた、鉛直検出／静置検出センサ１４２が設けられている。鉛直検出／静置検出センサ１４２は、撮像装置１００の筐体１０１の静置状態および撮像装置１００の筐体１０１の鉛直状態からのずれを検出するためのセンサである。鉛直検出／静置検出センサ１４２は、例えばＭＥＭＳの加速度センサで構成される。鉛直検出／静置検出センサ１４２の検出値はＡＤ変換器１４４でＡＤ変換された後に、シリアル通信などでＣＰＵ１１８に供給される。また、加速度センサの値の変動の様子から、撮像装置１００の筐体１０１の静置状態が判断可能である。例えば、加速度センサの値の変動が少なければ、ＣＰＵ１１８は、撮像装置１００の筐体１０１が静置状態にあると判定することができる。
【００４１】
以上、図３を用いて本開示の一実施形態に係る撮像装置１００の別の機能構成例について説明した。次に、本開示の一実施形態に係る撮像装置１００の筐体１０１の鉛直状態からのずれの検出方法について説明する。
【００４２】
［鉛直状態からのずれの検出方法］
図４は、本開示の一実施形態に係る撮像装置１００の筐体１０１の鉛直状態からのずれの検出方法を示す説明図である。図４では、撮像装置１００の光軸に直交する面の水平方向がＸ軸、垂直方向がＺ軸と規定されるものとする。
【００４３】
本開示の一実施形態に係る撮像装置１００は、筐体１０１の鉛直状態からのずれ角θを、Ｘ軸方向の加速度ｘとＺ軸方向の加速度ｚとを用いて検出する。筐体１０１の鉛直状態からのずれ角θは、Ｘ軸方向の加速度ｘとＺ軸方向の加速度ｚとを用いて
θ＝ａｔａｎ２（ｚ，ｘ）
で求めることができる。ＣＰＵ１１８は、上記数式によって筐体１０１の鉛直状態からのずれ角θを求め、回転処理部１０６に回転角度としてずれ角θの情報を渡す。
【００４４】
回転処理部１０６は、筐体１０１が静置状態にあることをＣＰＵ１１８から通知されると、ＣＰＵ１１８から供給される回転角度を用いて、ＹＣデータの回転処理を実行する。筐体１０１が静置状態にある場合に、ＣＰＵ１１８から供給される回転角度を用いて、ＹＣデータの回転処理を実行することで、本開示の一実施形態に係る撮像装置１００は、筐体１０１が静置状態にあれば速やかに撮像画像の傾き補正を実行することが出来る。
【００４５】
以上、本開示の一実施形態に係る撮像装置１００の筐体１０１の鉛直状態からのずれの検出方法について説明した。次に、本開示の一実施形態に係る撮像装置１００を用いた撮像画像の傾き補正例について説明する。
【００４６】
［撮像画像の傾き補正例］
図５は、本開示の一実施形態に係る撮像装置１００を用いた撮像画像の傾き補正例を示す説明図である。図５の左側は、撮像部１０２で撮像された画像の例であり、図５の右側は撮像部１０２で撮像された画像に対して回転処理部１０６で補正した後の画像の例である。
【００４７】
本実施形態では、回転処理部１０６は、撮像部１０２で撮像された画像の一部を切り取り、切り取った部分を、ＣＰＵ１１８から供給される回転角度を用いて回転する。これにより、回転処理部１０６は、傾きが補正された画像を生成することができる。
【００４８】
なお本実施形態では、図５に示したように、回転処理部１０６は、撮像部１０２で撮像された画像の一部を切り取り、切り取った部分を、ＣＰＵ１１８から供給される回転角度を用いて回転するが、切り取る部分のサイズによっては、ＣＰＵ１１８から供給される回転角度を用いても完全に傾きを補正できない場合がある。そのような場合は様々な対応方法が考えられる。
【００４９】
撮像部１０２で撮像された画像が水平となるように傾きを補正できる角度を超えて、撮像画像の水平方向に対して筐体１０１が傾いている場合、つまり、ＣＰＵ１１８から供給される回転角度を用いても完全に傾きを補正できない場合は、回転処理部１０６は、例えば、傾きを補正できない旨のメッセージ、またはそのメッセージの基となるデータを生成し、表示処理部１０８に出力しても良い。表示処理部１０８は、回転処理部１０６が生成した上記メッセージ又はデータに基づいて、傾きを補正できない旨のメッセージを表示部１１０に表示させても良い。
【００５０】
また、ＣＰＵ１１８から供給される回転角度を用いても完全に傾きを補正できない場合は、回転処理部１０６は、補正可能な範囲で撮像画像の傾きを補正しても良い。その際、回転処理部１０６は、補正可能な範囲で撮像画像の傾きを補正することに加え、傾きを完全に補正できない旨のメッセージ、またはそのメッセージの基となるデータを生成してもよい。
【００５１】
なお回転処理部１０６は、筐体１０１の鉛直状態からのずれ角θが、補正可能な範囲内にある場合に限って、撮像画像の傾きを補正してもよい。補正可能な範囲は、回転処理部１０６での回転処理の際に、撮像部１０２で撮像された画像をどの程度切り取るかに応じて変化するので、筐体１０１の鉛直状態からのずれ角θが、補正可能な範囲内にあるかどうかの判定は、回転処理の際の設定に応じて変化する。
【００５２】
以上、本開示の一実施形態に係る撮像装置１００を用いた撮像画像の傾き補正例について説明した。次に、本開示の一実施形態に係る撮像装置１００の動作例について説明する。
【００５３】
［撮像装置の動作例］
図６は、本開示の一実施形態に係る撮像装置１００の動作例を示す流れ図である。図６に示した流れ図は、撮像装置１００の筐体１０１が静置状態にあるかどうかを検出する、すなわち、撮像装置１００の静置モードがＯＮであるかＯＦＦであるかを判断するための処理を示した流れ図である。図６に示した処理は、特に断りがなければＣＰＵ１１８が実行するものとして説明する。なお、初期状態では、撮像装置１００の静置モードはＯＦＦである。
【００５４】
ＣＰＵ１１８は、筐体１０１が静置状態にあるかどうかを検出するため、図２の静置検出センサ１３２または図３の鉛直検出／静置検出センサ１４２が取得した値を所定の間隔で読み出し、ＲＡＭ１２２に記憶する。さらにＣＰＵ１１８は、直近で読み出した値と、その前に読み出した値との差分を計算する（ステップＳ１０１）。図２の静置検出センサ１３２または図３の鉛直検出／静置検出センサ１４２が加速度センサである場合は、ＣＰＵ１１８は、加速度値を読み出してＲＡＭ１２２に記憶し、加速度値の差分を計算する。
【００５５】
上記ステップＳ１０１で、直近で読み出した値と、その前に読み出した値との差分を計算すると、続いてＣＰＵ１１８は、その値の差分が規定値より小さいかどうかを判断する（ステップＳ１０２）。
【００５６】
上記ステップＳ１０２の判断の結果、直近で読み出した値と、その前に読み出した値との差分が規定値より大きければ、ＣＰＵ１１８は、筐体１０１が静置状態にあるかどうかを検出するためのカウンタの値を０にリセットする（ステップＳ１０３）。
【００５７】
一方、上記ステップＳ１０２の判断の結果、直近で読み出した値と、その前に読み出した値との差分が規定値以上であれば、ＣＰＵ１１８は、続いて、撮像装置１００の静置モードがＯＦＦであるかどうかを判断する（ステップＳ１０４）。
【００５８】
上記ステップＳ１０４の判断の結果、撮像装置１００の静置モードがＯＦＦであれば、ＣＰＵ１１８は、筐体１０１が静置状態にあるかどうかを検出するためのカウンタの値を１つ増やす（ステップＳ１０５）。一方、上記ステップＳ１０４の判断の結果、撮像装置１００の静置モードがＯＮであれば、ＣＰＵ１１８はステップＳ１０５の処理をスキップする。
【００５９】
上記ステップＳ１０３、またはステップＳ１０５でカウンタの値を設定すると、続いてＣＰＵ１１８は、カウンタの値が規定値に達したかどうかを判断する（ステップＳ１０６）。
【００６０】
上記ステップＳ１０６の判断の結果、カウンタの値が規定値に達していなければ、ＣＰＵ１１８は、撮像装置１００の静置モードがＯＦＦであると判定する（ステップＳ１０７）。一方、上記ステップＳ１０６の判断の結果、カウンタの値が規定値に達していれば、ＣＰＵ１１８は、撮像装置１００の静置モードがＯＮであると判定する（ステップＳ１０８）。
【００６１】
このように、ＣＰＵ１１８は、図２の静置検出センサ１３２または図３の鉛直検出／静置検出センサ１４２が取得した値を所定の間隔で読み出し、直近で読み出した値とその前に読み出した値との差分が規定値より小さいかどうか、またカウンタの値が規定値に達しかどうか（すなわち、差分が規定値より小さい状態が所定の時間続いたかどうか）で、撮像装置１００の静置モードを決定する。そしてＣＰＵ１１８は、撮像装置１００の静置モードがＯＮである場合に、回転処理部１０６に対して撮像画像の傾き補正を指示する。
【００６２】
図７は、本開示の一実施形態に係る撮像装置１００の動作例を示す流れ図である。図７に示した流れ図は、撮像画像に対する回転処理を行なう際の撮像装置１００の動作である。以下、図７を用いて本開示の一実施形態に係る撮像装置１００の動作例について説明する。
【００６３】
撮像装置１００では、撮像部１０２のイメージャからのデータの読み出しが、例えばＣＰＵ１１８の制御によって行われ（ステップＳ１１１）、撮像部１０２のイメージャから読み出されたデータに対する現像部１０４での現像処理が行われる（ステップＳ１１２）。
【００６４】
続いて撮像装置１００は、筐体１０１の静置状態の検出をＣＰＵ１１８で実行する（ステップＳ１１３）。筐体１０１の静置状態の検出は、上述したように、図６に示したような処理によって実行される。
【００６５】
続いて撮像装置１００は、ＣＰＵ１１８による筐体１０１の静置状態の検出の結果、静置モードがＯＮかどうかをＣＰＵ１１８で判断する（ステップＳ１１４）。
【００６６】
上記ステップＳ１１４の判断の結果、静置モードがＯＮであれば、ＣＰＵ１１８は、上記ステップＳ１１２での現像処理で得られるＹＣデータに対する回転処理を回転処理部１０６に指示する。回転処理部１０６は、ＣＰＵ１１８からの指示に基づいて、上記ステップＳ１１２での現像処理で得られるＹＣデータに対する回転処理を実行して、撮像画像の傾きを補正する（ステップＳ１１５）。このステップＳ１１５における回転処理の際の回転角は、ＣＰＵ１１８が求めた、筐体１０１の鉛直状態からのずれ角θである。すなわち回転処理部１０６は、このずれ角θを打ち消すようにＹＣデータに対する回転処理を実行する。
【００６７】
一方、上記ステップＳ１１４の判断の結果、静置モードがＯＦＦであれば、ＣＰＵ１１８は、回転処理部１０６に対して回転処理は指示しない。従って、静置モードがＯＦＦであれば、上記ステップＳ１１２での現像処理で得られるＹＣデータに水平状態からの傾きがあっても無くても、回転処理部１０６にＹＣデータに対して何も行わない。
【００６８】
そして撮像装置１００は、傾き補正された、またはされていない画像データを表示部１１０に表示したり、記録メディア１１４に記録したりする（ステップＳ１１６）。
【００６９】
本開示の一実施形態に係る撮像装置１００は、上述したような処理を実行することで、筐体１０１の静置状態を検出し、筐体１０１が静置状態にあれば（静置モードがＯＮであれば）、筐体１０１の鉛直状態からのずれ角θを打ち消すように撮像画像に対する回転処理を実行することができる。本開示の一実施形態に係る撮像装置１００は、上述したような処理によって、手軽に、傾きが補正された画像を取得することが出来る。
【００７０】
なお、上述の説明では、筐体１０１の静置状態を検出し、筐体１０１が静置状態にあれば（静置モードがＯＮであれば）、筐体１０１の鉛直状態からのずれ角θを打ち消すように撮像画像に対する回転処理を実行するようにしていたが、撮像者が、わざと筐体１０１をある程度傾かせて撮像する場合もあり、そのような場合に勝手に傾きが補正されてしまうと、かえって不都合を生じる。
【００７１】
従って、例えば撮像者が明示的に傾き補正の機能を有効にするか無効にするかを設定できるようにしても良い。例えば、撮像者が操作部１１６の操作によって傾き補正の機能を有効に設定していれば、ＣＰＵ１１８は、回転処理部１０６に対して回転処理を指示し、撮像者が操作部１１６の操作によって傾き補正の機能を無効に設定していれば、ＣＰＵ１１８は、回転処理部１０６に対して回転処理を指示しないようにしてもよい。
【００７２】
このように、撮像者が明示的に傾き補正の機能を有効にするか無効にするかを設定することで、ＣＰＵ１１８は、撮像者が意図的に筐体１０１をある程度傾かせて撮像しているのかどうかを判断することができる。
【００７３】
また、上述の説明では、撮像画像の傾きを、回転処理によって補正する場合を示したが、本開示は係る例に限定されない。例えば、回転によらない座標変換によって、撮像画像の傾きを補正しても良い。
【００７４】
＜２．まとめ＞
以上説明したように本開示の一実施形態に係る撮像装置１００は、筐体１０１の鉛直状態からのずれ角θを打ち消すように撮像画像に対して傾きを補正する画像処理を実行する。本開示の一実施形態に係る撮像装置１００は、傾きを補正する際に、筐体１０１の静置状態を検出し、筐体１０１が静置状態にあれば（静置モードがＯＮであれば）、筐体１０１は三脚等に固定された状態であると判断して傾きを補正する画像処理を実行する。
【００７５】
本開示の一実施形態に係る撮像装置１００は、撮像者が筐体１０１を三脚等に固定させると、速やかに筐体１０１の鉛直状態からのずれ角θを計算し、ずれ角θを打ち消すように撮像画像に対して傾きを補正する画像処理を実行することができる。
【００７６】
なお、本実施形態では、本開示の画像処理装置の一例として撮像装置１００を例示したが、本開示の画像処理装置は撮像装置に限定されないことは言うまでもない。画像の撮像を行い得る装置であれば、例えば、パーソナルコンピュータ、タブレット端末、携帯電話、スマートフォン、携帯型音楽プレイヤー、携帯型テレビジョン受像機等にも本技術は同様に適用可能である。
【００７７】
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７８】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【００７９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８０】
例えば、上述の実施形態では、撮像装置１００が静置状態かどうかを判定するために、加速度センサ等で構成される静置検出センサ１３２を用いていたが、本開示は係る例に限定されない。例えば、三脚に固定されたことを検知することができるセンサを撮像装置１００に設け、三脚に固定されたことの検知によって、撮像装置１００が静置状態かどうかを判定してもよい。例えば、撮像装置１００の筐体１０１の底部から赤外線等を発光させて、三脚の雲台で反射された赤外線を、撮像装置１００の筐体１０１の底部でセンサ等によって検知することで、三脚に固定されたことが検知されるようにしても良い。
【００８１】
また例えば、上述の実施形態では、撮像装置１００の筐体１０１の内部に、画像を撮像する撮像部１０２と、撮像された画像を回転させて補正する回転処理部１０６との両方が含まれている構成を示したが、本開示は係る例に限定されるものではない。撮像部１０２を備えた筐体１０１の静置状態を検出する構成及び撮像部１０２で撮像される画像の水平方向に対する撮像部１０２の傾きを検出する構成と、撮像された画像を回転させて補正する構成とが、別々の装置であってもよい。
【００８２】
なお、本技術は以下のような構成も取ることができる。
（１）
画像を撮像する撮像部を設ける筐体の安定状態を検出する状態検出部と、
前記状態検出部の検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正部と、
を備える、画像処理装置。
（２）
前記画像補正部は、前記状態検出部が検出した前記筐体の安定状態に応じて前記撮像部像された画像の傾きを自動的に補正する、前記（１）に記載の画像処理装置。
（３）
前記状態検出部は、前記撮像部で撮像される画像の水平方向に対する前記筐体の傾きを検出し、
前記画像補正部は、前記状態検出部の検出結果に応じて、前記撮像部で撮像された画像を回転させることで該画像の傾きを補正する、前記（１）または（２）に記載の画像処理装置。
（４）
前記画像補正部は、前記撮像部で撮像された画像を回転させることで該画像が水平となるよう傾きを補正する、前記（３）に記載の画像処理装置。
（５）
前記画像補正部は、前記撮像部で撮像された画像が水平となるように傾きを補正できる角度を超えて前記筐体が傾いていることを前記状態検出部が検出した場合は、前記撮像部で撮像された画像を補正しない、前記（３）に記載の画像処理装置。
（６）
前記画像補正部は、前記撮像部で撮像された画像が水平となるように傾きを補正できる角度を超えて前記筐体が傾いていることを前記状態検出部が検出した場合は、該画像の傾きを可能な範囲で補正する、前記（３）に記載の画像処理装置。
（７）
前記画像補正部は、アフィン変換により前記撮像部で撮像された画像を回転させることで該画像の傾きを補正する、前記（３）記載の画像処理装置
（８）
前記画像補正部は、前記状態検出部が検出した前記筐体の傾きが所定範囲内である場合に限り、前記撮像部で撮像された画像の傾きを補正する、前記（３）〜（７）のいずれかに記載の画像処理装置。
（９）
前記画像補正部は、前記状態検出部が検出した前記筐体の傾きが補正可能範囲を超えた場合にメッセージを生成する、前記（３）〜（８）のいずれかに記載の画像処理装置。
（１０）
前記筐体の傾きの状態を取得するセンサ部をさらに備え、
前記状態検出部は、前記センサ部が取得した前記筐体の傾きの状態の時間軸変動によって前記筐体の状態を検出する、前記（３）〜（９）のいずれかに記載の画像処理装置。
（１１）
前記状態検出部が検出した前記筐体の安定状態に関する情報を保持する状態情報保持部をさらに備え、
前記画像補正部は、前記状態情報保持部が保持した前記情報を用いて、前記筐体の安定状態に応じて、前記撮像部で撮像された画像の傾きを補正する、前記（１）〜（１０）のいずれかに記載の画像処理装置。
（１２）
前記画像補正部は、前記撮像部で撮像された動画像の傾きを補正する、前記（１）〜（１１）のいずれかに記載の画像処理装置。
（１３）
前記画像補正部は、前記撮像部で撮像された静止画像の傾きを補正する、前記（１）〜（１１）のいずれかに記載の画像処理装置。
（１４）
前記画像補正部は、ユーザ操作に基づき、前記状態検出部の検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する、前記（１）〜（１３）のいずれかに記載の画像処理装置。
（１５）
前記状態検出部は、前記安定状態として前記筐体の静置状態を検出する、前記（１）〜（１４）に記載の画像処理装置。
（１６）
画像を撮像する撮像部を設ける筐体の安定状態を検出する状態検出ステップと、
前記状態検出ステップの検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正ステップと、
を備える、画像処理方法。
（１７）
コンピュータに、
画像を撮像する撮像部を設ける筐体の安定状態を検出する状態検出ステップと、
前記状態検出ステップの検出結果に応じて、前記撮像部で撮像された画像の傾きを補正する画像補正ステップと、
を実行させる、コンピュータプログラム。
【符号の説明】
【００８３】
１００    撮像装置
１０１    筐体
１０２    撮像部
１０４    現像部
１０６    回転処理部
１０８    表示処理部
１１０    表示部
１１２    記録処理部
１１４    記録メディア
１１６    操作部
１１８    ＣＰＵ
１２０    ＲＯＭ
１２２    ＲＡＭ
１３２    静置検出センサ
１３４    鉛直検出センサ
１３６、１３８    ＡＤ変換器
【図１】
2014050039.tif 000003
【図２】
2014050039.tif 000004
【図３】
2014050039.tif 000005
【図４】
2014050039.tif 000006
【図５】
2014050039.tif 000007
【図６】
2014050039.tif 000008
【図７】
2014050039.tif 000009