(57)【要約】【課題】表示装置（又は表示制御部）の機能及び能力に係る制約を意識せずに、被写体の天地方向のずれを補正した撮像画像を表示する。【解決手段】制御装置１は、被写体を撮像する撮像部１０と、撮像時の重力方向を検出するセンサ２０と、撮像部１０が出力する撮像データから画像を生成する画像生成部４０とを備える。画像生成部４０は、撮像時の重力方向に基づいて被写体の天地方向を補正した画像を生成する。【選択図】図１
2012244250.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
撮像時の重力方向を検出するセンサと、
前記撮像部が出力する撮像データから画像を生成する画像生成部と
を備え、
前記画像生成部は、
前記撮像時の重力方向に基づいて被写体の天地方向を補正した画像を生成することを特徴とする電子機器。
【請求項２】
請求項１に記載の電子機器において、
前記画像生成部は、
前記撮像データを、前記撮像時の重力方向に応じて回転させる回転処理部と、
回転処理後の前記撮像データを、所定の画像形式に変換する変換処理部と
を有することを特徴とする電子機器。
【請求項３】
請求項１に記載の電子機器において、
前記画像生成部は、
前記撮像データを、所定の形式の画像に変換する変換処理部と、
変換処理後の画像を、前記撮像時の重力方向に応じて回転させる回転処理部と
を有することを特徴とする電子機器。
【請求項４】
重力方向を検出するセンサを有する撮像装置が出力する、撮像データと撮像時の重力方向を示す重力方向データとを入力する入力部と、
前記撮像データと前記重力方向データとから、被写体の天地方向を補正した画像を生成する画像生成部と
を備えることを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器に関するものである。
【背景技術】
【０００２】
現在、画像の撮像時に、天地方向の情報を付加情報として撮像画像に付加し、撮像画像の表示時（再生時）に、付加情報に基づいて撮像画像を回転させて、撮像時の撮像装置の筐体の向きによる被写体の天地方向のずれを補正する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−８６８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、引用文献１の技術の場合、被写体の天地方向のずれを補正した撮像画像を表示するためには、引用文献１に記載の装置の如く、撮像画像に付加されている付加情報を解析し回転処理を実行する機能を具備していなければならないという問題がある。また、表示装置が、上記機能を具備していたとしても、表示装置に大きな処理負荷を与えてしまうという問題がある。
本発明は、表示装置（又は表示制御部）の機能及び能力に係る制約を意識せずに、被写体の天地方向のずれを補正した撮像画像を表示する技術を提供する。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、本発明の一態様である電子機器は、被写体を撮像する撮像部と、撮像時の重力方向を検出するセンサと、前記撮像部が出力する撮像データから画像を生成する画像生成部とを備え、前記画像生成部は、前記撮像時の重力方向に基づいて被写体の天地方向を補正した画像を生成することを特徴とする。
【０００６】
上記電子機器において、前記画像生成部は、前記撮像データを、前記撮像時の重力方向に応じて回転させる回転処理部と、回転処理後の前記撮像データを、所定の画像形式に変換する変換処理部とを有していてもよい。
【０００７】
上記電子機器において、前記画像生成部は、前記撮像データを、所定の形式の画像に変換する変換処理部と、変換処理後の画像を、前記撮像時の重力方向に応じて回転させる回転処理部とを有していてもよい。
【０００８】
上記問題を解決するために、本発明の他の態様である電子機器は、重力方向を検出するセンサを有する撮像装置が出力する、撮像データと撮像時の重力方向を示す重力方向データとを入力する入力部と、前記撮像データと前記重力方向データとから、被写体の天地方向を補正した画像を生成する画像生成部とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、表示装置（又は表示制御部）の機能及び能力に係る制約を意識することなく、被写体の天地方向のずれを補正した撮像画像を表示することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態による電子機器１の機能ブロック図の一例である。
【図２】画像データ及び重力方向データを説明するための説明図である。
【図３】画像生成部４０の処理を説明するための説明図である。
【図４】電子機器１の処理の流れを説明するフローチャート等である。
【図５】本発明の第２の実施形態による電子機器２の機能ブロック図の一例である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）  
以下、図面を参照しながら本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態による電子機器１の機能ブロック図の一例である。図２は、画像データ及び重力方向データを説明するための説明図である。図３は、画像生成部４０の処理を説明するための説明図である。
【００１２】
電子機器１は、図１に示すように、撮像部１０、センサ２０、画像生成部４０、記憶部９０、表示制御部５０及びディスプレイ６０を備える。画像生成部４０は、回転処理部４２と変換処理部とから構成されている。
【００１３】
撮像部１０は、被写体を撮像し、撮像データ（ＲＡＷデータ）を画像生成部４０（回転処理部４２）に出力する。センサ２０は、加速度センサであって、電子機器１の筐体に加わる加速度を検出する。具体的には、撮像部１０による撮像時の重力加速度を検出し、撮像時の重力方向を示す重力方向データ（撮像時回転量データ）を画像生成部４０（回転処理部４２）に出力する。
【００１４】
画像生成部４０は、撮像時の重力方向に基づいて被写体の天地方向を補正した画像を生成する。具体的には、画像生成部４０を構成する回転処理部４２は、撮像部１０から撮像データを取得し、センサ２０から重力方向データを取得する。回転処理部４２が取得する撮像データ及び重力方向データは、電子機器１の撮像時の姿勢に依存するため、図２を用いて、電子機器１の撮像時の姿勢と、回転処理部４２が取得する撮像データ及び重力方向データとの関係を説明する。
【００１５】
図２（ａ）は、基準姿勢における電子機器１の概略図である。電子機器１の基準姿勢とは、電子機器１の軸方向と電子機器１に加わる重力方向とが一致したときの電子機器１の姿勢である。電子機器１の軸方向とは、電子機器１の回転を把握するために予め定めた方向であって、図２（ａ）では側面Ａ→側面Ｃとしている。なお、電子機器１のディスプレイ６０及びディスプレイ６０を配した面は正方形（若しくは略正方形）であって、かつ、符号Ａ〜Ｄは説明の便宜上付した符号であって側面Ａ〜Ｄには構造的な差異は存在しない（若しくは殆ど存在しない）ため、電子機器１のユーザは、電子機器の外観から、電子機器１の軸方向及び基準姿勢を認識し得ない。なお、センサ２０は筐体内に内蔵されているため外観から視認し得ない。
【００１６】
図２（ｂ）は、図２（ｂ）に示す基準姿勢で被写体を撮像したときに回転処理部４２が取得する画像データ及び重力方向データの一例である。即ち、基本姿勢の撮像時には、撮像部１０は、被写体の天地方向が正しい撮像データを生成し、回転処理部４２に出力する。また、基本姿勢の撮像時には、センサ２０は、側面Ａ→側面Ｃ（軸方向）が重力方向である旨の重力方向データを回転処理部４２に出力する。なお、軸方向が重力方向であることと、軸が無回転であることとは同義であるため、センサ２０は、軸が無回転である旨の撮影時回転量データを回転処理部４２に出力しているとも言える。
【００１７】
図２（ｃ）は、基準姿勢を基準に右に（被写体に対し時計回りに）９０度回転した姿勢における電子機器１の概略図である。図２（ｄ）は、図２（ｃ）に示す姿勢で被写体を撮像したときに回転処理部４２が取得する画像データ及び重力方向データの一例である。この場合、センサ２０は、側面Ｄ→側面Ｂが重力方向である旨の重力方向データを回転処理部４２に出力する。なお、側面Ｄ→側面Ｂが重力方向であることと、軸が右に９０度回転したこととは同義であるため、センサ２０は、軸が右に９０度回転した旨の撮影時回転量データを回転処理部４２に出力しているとも言える。
【００１８】
図２（ｅ）は、基準姿勢を基準に１８０度回転した姿勢における電子機器１の概略図である。図２（ｆ）は、図２（ｅ）に示す姿勢で被写体を撮像したときに回転処理部４２が取得する画像データ及び重力方向データの一例である。この場合、センサ２０は、側面Ｃ→側面Ａが重力方向である旨の重力方向データを回転処理部４２に出力する。なお、側面Ｃ→側面Ａが重力方向であることと、軸が１８０度回転したこととは同義であるため、センサ２０は、軸が１８０度回転した旨の撮影時回転量データを回転処理部４２に出力しているとも言える。
【００１９】
図１に戻り、撮像データ及び重力方向データを取得した回転処理部４２は、当該撮像データを、当該重力方向データによって示される撮像時の重力方向に応じて回転させる。つまり、回転処理部４２は、撮像時の重力方向（軸の回転量）に基づいて、撮像データの天地方向を回転処理によって補正する。回転処理部４２は、回転処理後の撮像データを変換処理部４４に出力する。例えば、回転処理部４２は、図３に示す撮像データ及び重力方向データを取得した場合、軸の回転に撮像データの回転を合わせる方向、即ち、軸の回転方向と同一方向に、撮像部１０から取得した撮像データを所定量に回転させて（図３の場合、右方向に９０度回転させて）、回転処理後の撮像データを変換処理部４４に出力する。
なお、回転処理部４２は、撮像時の重力方向から回転（天地方向の補正）を要しないと判断したときは（詳細はフローチャートにて説明）、撮像部１０から取得した撮像データをそのまま変換処理部４４に出力する。
【００２０】
変換処理部４４は、回転処理部４２から撮像データ（撮像部１０が出力したままの撮像データ、又は、撮像部１０が出力した撮像データを回転処理した回転処理後の撮像データ）を取得する。変換処理部４４は、図３に示すように、回転処理部４２から取得した撮像データを所定の画像形式に変換し（エンコード）、画像データを生成する。例えば、変換処理部４４は、撮像データをＪＰＥＧ形式に圧縮する圧縮処理を行って、ＪＰＥＧファイルを生成する。変換処理部４４は、撮像データから生成した画像データを記憶部９０に記憶する。
【００２１】
記憶部９０は、画像生成部４０（変換処理部４４）によって生成された画像データを記憶する。なお、記憶部９０に記憶されている画像データは、天地方向が補正された画像データ、又は、初めから天地方向の補正を要しない画像データの何れかである。
【００２２】
表示制御部５０は、記憶部９０に記憶されている画像データを読み出して、ディスプレイ６０に出力する制御を行う。なお、上述の如く、記憶部９０に記憶されている画像データは、天地方向が補正された画像データ、又は、初めから天地方向の補正を要しない画像データの何れかであるため、表示制御部５０は、ディスプレイに出力する際に、記憶部９０から読み出した画像データを回転させる必要はない。
【００２３】
以下、図４を用いて、電子機器１の処理の流れを説明する。図４（ａ）は、電子機器１の画像生成部４０の処理の流れの一例を示すフローチャートである。図４（ｂ）〜図４（ｄ）は、図４（ａ）に示すステップＳ２０、Ｓ３０、Ｓ４０の各処理を説明するための説明図である。
【００２４】
回転処理部４２は、撮像部１０から撮像データを取得し、センサ２０から重力方向データを取得する（ステップＳ１０）。回転処理部４２は、センサ２０から取得した重力方向データに基づいて、重力方向からの軸の回転が、右０度〜右４５度の範囲、又は、左０度〜左４５度の範囲であるか否かを判断する（ステップＳ２０）。即ち、回転処理部４２は、撮像時の重力方向から回転（天地方向の補正）を要するか否かを判断する。
【００２５】
ステップＳ２０において、回転処理部４２は、重力方向からの軸の回転が、右０度〜右４５の範囲、又は、左０度〜左４５度の範囲であると判断した場合（ステップＳ２０：Ｙｅｓ）、即ち、回転（天地方向の補正）を要しないと判断した場合、撮像部１０から取得した映像データをそのまま変換処理部４４に出力する。例えば、図４（ｂ）に示すように、回転処理部４２は、重力方向からの軸の回転が、右３０度であると判断した場合、撮像部１０から取得した映像データをそのまま変換処理部４４に出力する。そして、ステップＳ６０に進む。
【００２６】
一方、ステップＳ２０において、回転処理部４２は、重力方向からの軸の回転が、右０度〜右４５の範囲、又は、左０度〜左４５度の範囲でないと判断した場合（ステップＳ２０：Ｎｏ）、重力方向からの軸の回転が、右４５度〜右１３５度の範囲であるか否かを判断する（ステップＳ３０）。
【００２７】
ステップＳ３０において、回転処理部４２は、重力方向からの軸の回転が、右４５度〜右１３５度の範囲であると判断した場合（ステップＳ３０：Ｙｅｓ）、撮像部１０から取得した撮像データを右に９０度回転させる（ステップＳ５０）。例えば、図４（ｃ）に示すように、回転処理部４２は、重力方向からの軸の回転が、右９０度であると判断した場合、撮像部１０から取得した映像データを右に９０度回転させる。そして、回転処理部４２は、回転処理後の撮像データを変換処理部４４に出力し、ステップＳ６０に進む。
【００２８】
一方、ステップＳ３０において、回転処理部４２は、重力方向からの軸の回転が、右４５度〜右１３５の範囲でないと判断した場合（ステップＳ３０：Ｎｏ）、重力方向からの軸の回転が、右１３５度〜右２２５度の範囲であるか否かを判断する（ステップＳ４０）。
【００２９】
ステップＳ４０において、回転処理部４２は、重力方向からの軸の回転が、右１３５度〜右２２５度の範囲であると判断した場合（ステップＳ４０：Ｙｅｓ）、撮像部１０から取得した撮像データを１８０度回転させる（ステップＳ６０）。例えば、図４（ｄ）に示すように、回転処理部４２は、重力方向からの軸の回転が、右１５０度であると判断した場合、撮像部１０から取得した映像データを右（又は左）に１８０度回転させる。そして、回転処理部４２は、回転処理後の撮像データを変換処理部４４に出力し、ステップＳ６０に進む。
【００３０】
一方、ステップＳ４０において、回転処理部４２は、重力方向からの軸の回転が、右１３５度〜右２２５度の範囲でないと判断した場合（ステップＳ４０：Ｎｏ）、撮像部１０から取得した撮像データを左に９０度（又は右に２７０度）回転させる（ステップＳ７０）。そして、回転処理部４２は、回転処理後の撮像データを変換処理部４４に出力し、ステップＳ６０に進む。
【００３１】
回転処理部４２から撮像データを取得した変換処理部４４は、当該撮像データをＪＰＥＧ形式に圧縮する圧縮処理を行って、ＪＰＥＧファイルを生成する（ステップＳ８０）。そして、図４（ａ）に示すフローチャートは終了する。
【００３２】
以上、第１の実施形態による電子機器１によれば、画像生成部４０（変換処理部４４）によって生成され、記憶部９０に記憶される画像データは、天地方向が補正された画像データ、又は、初めから天地方向の補正を要しない画像データの何れかであるため、表示制御部５０は、ディスプレイに出力する際に、記憶部９０から読み出した画像データを回転させる必要はない。即ち、電子機器１によれば、表示装置（又は表示制御部）の機能及び能力に係る制約を意識することなく、被写体の天地方向のずれを補正した撮像画像を表示することができる。
【００３３】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態による電子機器２の機能ブロック図の一例である。
【００３４】
電子機器２は、図５に示すように、入力部３０、画像生成部４０、記憶部９０及び出力部７０を備える。なお、画像生成部４０及び記憶部９０は、図１に示す第１の実施形態による電子機器１が備える画像生成部４０及び記憶部９０と同一である。従って、画像生成部４０及び記憶部９０の説明は省略する。
【００３５】
入力部３０は、撮像データ（ＲＡＷデータ）及び重力方向データ（撮像時回転量データ）を入力する。例えば、入力部３０は、重力方向を検出するセンサを有する撮像装置が出力した撮像データ及び重力方向データを、有線若しくは無線ネットワークを介して、又は、記憶媒体を介して、入力する。入力部３０は、撮像データ及び重力方向データを画像生成部４０（回転処理部４２）に出力する。
【００３６】
出力部７０は、記憶部９０に記憶されている画像データを読み出して、外部に出力する。例えば、出力部７０は、読み出した画像データを、有線若しくは無線ネットワークを介して、画像表示装置（非図示）に出力する。また例えば、出力部７０は、読み出した画像データを、記憶媒体に出力する。なお、電子機器２が、図１に示す電子機器１と同様、ディスプレイ６０を備える構成の場合には、出力部７０は、図１に示す電子機器１の表示制御部５０と同様の動作を行ってもよい。
【００３７】
以上、電子機器２によれば、電子機器１と同様、表示装置（又は表示制御部）の機能及び能力に係る制約を意識することなく、被写体の天地方向のずれを補正した撮像画像を表示することができる。
【００３８】
なお、第１の実施形態による電子機器１、及び、第２の実施形態による電子機器２において、画像生成部４０は、まず、撮像データを回転させる回転処理を実行し、次に、回転処理後の撮像データを所定の画像形式に変換する変換処理を実行しているが、回転処理と変換処理の順番を逆にしてもよい。
【００３９】
即ち、画像生成部４０は、撮像データを撮像時の重力方向に応じて回転させる回転処理部４２、及び、回転処理後の撮像データを所定の画像形式に変換する変換処理部４４に代えて、撮像データを所定の形式の画像に変換する変換処理部、及び、変換処理後の画像を撮像時の重力方向に応じて回転させる回転処理部を備えるようにしてもよい。
【００４０】
また、第１の実施形態による電子機器１、及び、第２の実施形態による電子機器２において、変換処理部４４の処理として、静止画像をＪＰＥＧ形式に圧縮する処理を説明したが、変換処理部４４は、動画像を所定の形式（例えば、Ｈ２６４形式）に圧縮してもよい。
【００４１】
また、１の実施形態による電子機器１が備えるセンサ2０は加速度センサであると説明したが、重力方向を検出するセンサは加速度センサに限定されるものではない。例えば、撮像時の重力方向を検出するセンサとして、ジャイロセンサを用いてもよい。なお、ジャイロセンサを用いる場合には、初期位置（基準角度）をゼロクリアしておく必要がある。
【００４２】
なお、本発明の実施形態による電子機器１、２の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の実施形態による電子機器１、２の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００４３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４５】
１、２…電子機器  １０…撮像部  ２０…センサ  ３０…入力部  ４０…画像生成部  ４２…回転処理部  ４４…変換処理部  ５０…表示制御部  ６０…ディスプレイ  ７０…出力部  ９０…記憶部  
【図１】
2012244250.tif 000003
【図２】
2012244250.tif 000004
【図３】
2012244250.tif 000005
【図４】
2012244250.tif 000006
【図５】
2012244250.tif 000007