(57)【要約】【課題】画像撮像装置を使用して撮影した画像の一部を切り出すためには、多くの作業を必要としており、ユーザに対して煩雑な操作を強いる結果となっている。そのため、簡単な操作により特定の領域を切り出すことが可能な画像撮像装置が、望まれる。【解決手段】画像撮像装置は、画像の撮影を行う画像撮像部と、画像撮像装置の移動を検出する移動検出部と、画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成部と、画像撮像装置の移動に基づき、合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出部と、トリミング範囲に基づいて、合成画像から画像を切り出す画像切り出し部と、を備える。【選択図】図１
2013168822.tif 000002
【特許請求の範囲】
【請求項１】
画像の撮影を行う画像撮像部を備える画像撮像装置であって、
前記画像撮像装置の移動を検出する移動検出部と、
前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成部と、
前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出部と、
前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し部と、
を備えることを特徴とする画像撮像装置。
【請求項２】
さらに、前記画像撮像部が撮像した画像を表示する表示部を備え、
前記トリミング範囲算出部は、前記表示部が表示する画像上の座標であって、前記移動検出部が検出した前記画像撮像装置の移動に基づき算出した複数の座標を結んで形成される軌跡情報に基づき、前記トリミング範囲を算出する請求項１の画像撮像装置。
【請求項３】
前記表示部は、前記画像撮像部が撮像した画像に、前記軌跡情報を重ねて表示する請求項２の画像撮像装置。
【請求項４】
前記トリミング範囲算出部は、前記表示部が表示する画像上の座標であって、前記画像撮像装置が移動を開始した始点座標と、前記画像撮像装置が移動した際の中間座標と、前記画像撮像装置が移動を終了した終点座標と、を結んで形成される閉領域を前記トリミング範囲として算出する請求項２又は３の画像撮像装置。
【請求項５】
前記トリミング範囲算出部は、前記始点座標と前記中間座標との間の距離が予め定めた閾値を超えた場合に、前記軌跡情報の算出を開始する請求項４の画像撮像装置。
【請求項６】
前記トリミング範囲算出部は、前記始点座標と前記終点座標との間の距離が予め定めた閾値より小さくなった場合に、前記軌跡情報を確定する請求項４又は５の画像撮像装置。
【請求項７】
さらに、前記トリミング範囲内に含まれる画像の画素が未確定である空白領域を判定する空白領域判定部と、
前記空白領域が存在する場合には、ユーザに対し、前記空白領域に相当する画像の取得を指示する空白領域取得部と、
を備える請求項１乃至６のいずれか一に記載の画像撮像装置。
【請求項８】
さらに、画像を記憶する記憶部を備え、
前記画像切り出し部は、前記合成画像と前記合成画像から前記トリミング範囲に基づいて切り出した画像をそれぞれ、前記記憶部に保存する請求項１乃至７のいずれか一に記載の画像撮像装置。
【請求項９】
画像の撮影を行う画像撮像部を備える画像撮像装置の制御方法であって、
前記画像撮像装置の移動を検出する移動検出工程と、
前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成工程と、
前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出工程と、
前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し工程と、
を含むことを特徴とする画像撮像装置の制御方法。
【請求項１０】
画像の撮影を行う画像撮像部を備える画像撮像装置を制御するコンピュータに実行させるプログラムであって、
前記画像撮像装置の移動を検出する移動検出処理と、
前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成処理と、
前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出処理と、
前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し処理と、
を実行するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ、携帯電話、スマートフォン、タブレットＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノートＰＣ等を初めとした多くの電子機器において、カメラを搭載した機器が増加している。そのため、これらの電子機器を所有するユーザが、画像を取り扱う機会が増加している。
【０００３】
ここで、特許文献１において、複数枚の部分画像を入力し、これらの画像を貼り合わせることで１枚の画像に統合する画像統合方法が開示されている。
【０００４】
また、特許文献２において、複数のキャプチャされた静止写真やビデオ・フレームからパノラマ画像出力を生成する技術が開示されている。
【０００５】
さらに、特許文献３において、撮影画像をトリミングして用いることを予定している場合等において、当初からトリミングされた画像をイメージできるようにするための技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４３４０７２２号公報
【特許文献２】特開２０１０−２５２３１２号公報
【特許文献３】特許第３９９３４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。
【０００８】
上述のように、カメラを搭載する電子機器の増加と共に、ユーザが画像を取り扱う機会が増加している。さらに、近年では、ネットワーク技術の発達に伴い、撮影した画像を不特定多数の者に公開することも多い。その際、撮影した画像を公開するにはふさわしくない情報が含まれている場合がある。若しくは、撮影した画像の一部を強調した画像を公開したいといった場合も存在する。
【０００９】
このような場合、撮影した画像から必要な画像のみを切り出すといった作業が必要になる。つまり、必要な画像を切り出せば、不要な画像が公開されることはない。また、画像を星型やハート型のように切り出せば、画像の一部を強調することもできる。
【００１０】
しかし、このような作業は必ずしも容易に（気軽に）行える訳ではない。例えば、カメラを備えたコンピュータであれば、撮影した画像を記憶装置に保存する。その後、画像変換が可能なアプリケーションに読み込ませ、撮影した画像を加工することになる。さらに、カメラを備えた電子機器が、このようなアプリケーションを利用できるとは限らない。このような場合は、撮影した画像をリムーバブルメディアに保存し、撮影した画像をコンピュータに移動するといった追加の作業が必要になる。
【００１１】
このように、撮影した画像の一部を切り出すためには、多くの作業を必要としており、ユーザに対して煩雑な操作を強いる結果となっている。そのため、簡単な操作により特定の領域を切り出すことが可能な画像撮像装置、その制御方法及びプログラムが、望まれる。
【００１２】
なお、特許文献１及び２は、単に画像の合成方法を開示するに過ぎない。さらに、特許文献３が開示するのは、ユーザがトリミング形態を選び、そのトリミング形態の範囲に画像が収まるように信号処理を施す技術である。従って、特許文献３の技術を用いても、トリミング後の画像を自動的に取得することはできない。
【課題を解決するための手段】
【００１３】
本発明の第１の視点によれば、画像の撮影を行う画像撮像部を備える画像撮像装置であって、前記画像撮像装置の移動を検出する移動検出部と、前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成部と、前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出部と、前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し部と、を備える画像撮像装置が提供される。
【００１４】
本発明の第２の視点によれば、画像の撮影を行う画像撮像部を備える画像撮像装置の制御方法であって、前記画像撮像装置の移動を検出する移動検出工程と、前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出工程と、前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成工程と、前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し工程と、を含む画像撮像装置の制御方法が提供される。
【００１５】
本発明の第３の視点によれば、画像の撮影を行う画像撮像部を備える画像撮像装置を制御するコンピュータに実行させるプログラムであって、前記画像撮像装置の移動を検出する移動検出処理と、前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出処理と、前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成処理と、前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し処理と、を実行するプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【００１６】
本発明の各視点によれば、簡単な操作により特定の領域を切り出すことが可能な画像撮像装置、その制御方法及びプログラムが、提供される。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態の概要を説明するための図である。
【図２】本発明の第１の実施形態に係る画像撮像装置１の全体構成の一例を示す平面図である。
【図３】本発明の第１の実施形態に係る画像撮像装置１の内部構成の一例を示す図である。
【図４】ユーザが画像撮像装置１を用いて撮影を行おうとする背景の一例を示す図である。
【図５】ユーザによる画像撮像装置１の操作を説明するための図である。
【図６】表示部２０に映し出される画像を説明するための図である。
【図７】画像撮像装置１に表示する軌跡情報を説明するための図である。
【図８】画像撮像装置１の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
【００１９】
上述のように、撮影した画像の一部を切り出すためには、多くの作業を必要としており、ユーザに対して煩雑な操作を強いる結果となっている。そのため、簡単な操作により特定の領域を切り出すことが可能な画像撮像装置が、望まれる。
【００２０】
そこで、一例として図１に示す画像撮像装置２００を提供する。画像撮像装置２００は、画像の撮影を行う画像撮像部２０１と、画像撮像装置の移動を検出する移動検出部２０２と、画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成部２０３と、画像撮像装置の移動に基づき、合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出部２０４と、トリミング範囲に基づいて、合成画像から画像を切り出す画像切り出し部２０５と、を備える。
【００２１】
画像撮像装置２００を使用するユーザは、静止画の連続撮影を開始する際に、画像撮像装置２００の液晶パネル等に表示された画像の中から切り出したい対象物を取り囲むように画像撮像装置２００を操作する。この場合の操作には、画像撮像装置２００を若干傾けたり、多少上下左右に動かしたりする操作が考えられる。つまり、画像撮像装置２００は、液晶パネル等に表示された画像の中から切り出したい対象物を取り囲むように、ユーザにより移動されるといえる。その際、トリミング範囲算出部２０４は、画像撮像装置２００が操作されることによって形成される範囲をトリミング範囲として算出する。一方、画像合成部２０３は、画像撮像部２０１から得られた複数の画像から合成画像を生成する。さらに、画像切り出し部２０５が、合成画像からトリミング範囲に含まれている画像を切り出す。
【００２２】
このように、画像撮像装置２００は、複数の画像を取得すると同時に、合成画像の一部を切り出す際のトリミング範囲を算出する。その後、複数の画像から合成画像を生成し、合成画像であって、トリミング範囲に含まれている画像を切り出す。この間、ユーザは、液晶パネル等が映し出す対象物を取り囲むように、画像撮像装置２００を操作するのみである。従って、簡単な操作により特定の領域を切り出すことが可能な画像撮像装置が、提供できる。
【００２３】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。
【００２４】
［第１の実施形態］
本発明の第１の実施形態について、図面を用いてより詳細に説明する。
【００２５】
図２は、本実施形態に係る画像撮像装置１の全体構成の一例を示す平面図である。
【００２６】
画像撮像装置１は、操作釦１０と、表示部２０と、を備えている。ユーザは、操作釦１０を使用し、画像撮像装置１を操作する。表示部２０は、ユーザが画像撮像装置１を操作する際に必要な情報や撮影した画像等を表示する。表示部２０は、液晶パネルや有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等のデバイスである。なお、図２では図示していないが、タッチパネル等のデバイスにより、画像撮像装置１を操作することも可能である。さらに、画像撮像装置１は、カメラ（レンズ）を備えるが、レンズは表示部２０と対向する側に取り付けられるため、図２では図示していない。
【００２７】
次に、画像撮像装置１の内部構成について説明する。
【００２８】
図３は、本実施形態に係る画像撮像装置１の内部構成の一例を示す図である。
【００２９】
画像撮像装置１は、操作釦１０と、表示部２０と、表示制御部３０と、カメラモジュール４０と、加速度センサ５０と、ジャイロセンサ６０と、制御部７０と、記憶部８０と、メモリ９０と、から構成されている。なお、図３には、簡単のため、本実施形態に係る画像撮像装置１に関係するモジュールのみを記載する。操作釦１０及び表示部２０は上述のとおりであるので、さらなる説明を省略する。
【００３０】
表示制御部３０は、表示部２０と接続されており、表示部２０の設定・駆動を行うドライバとして役割を担う。表示制御部３０は、制御部７０が送信する画面表示情報から表示部２０を駆動するための信号を生成する。
【００３１】
カメラモジュール４０は、レンズ、光学センサ及びセンサからの情報を伝達するバスから構成されている。カメラモジュール４０は、制御部７０、記憶部８０及びメモリ９０とデータの送受信を行うことができる。
【００３２】
加速度センサ５０は、画像撮像装置１の加速度を検出し、加速度データを速度データに変換後、制御部７０に速度データを出力する。ジャイロセンサ６０は、画像撮像装置１の角速度を計測し、制御部７０にその情報を出力する。加速度センサ５０及びジャイロセンサ６０が、上述の移動検出部に相当する。
【００３３】
制御部７０は、画像撮像装置１に含まれる各モジュールとバス接続されており、これらのモジュールを制御することで、画像撮像装置１が持つ機能を実現する。制御部７０は、ＣＰＵ（中央演算装置）により実現する。さらに、制御部７０は、トリミング範囲算出部７１と、画像合成部７２と、画像切り出し部７３と、を含んでいる。
【００３４】
記憶部８０は、制御部７０において実行するプログラム等の固定的なデータを記憶するデバイスである。メモリ９０は、制御部７０がプログラムを実行する際に、一時的にデータを保存する領域である。また、カメラモジュール４０によって撮影した画像を保存する領域も、メモリ９０である。
【００３５】
次に、画像撮像装置１の動作について説明する。
【００３６】
図４は、ユーザが画像撮像装置１を用いて撮影を行おうとする背景の一例を示す図である。ここでは、図４に示す背景のうち、四角形の切り出し領域１００を切り出す動作について説明する。ユーザは、表示部２０に映し出されている画像であって、切り出したい画像に沿って画像撮像装置１を操作する。その際の操作は、上述のとおり、画像撮像装置１を若干傾けたり、多少上下左右に動かしたりする操作が考えられる。
【００３７】
図５は、ユーザによる画像撮像装置１の操作を説明するための図である。例えば、当初、ユーザは画像撮像装置１を地面に対して垂直に保持し、対象物にレンズを向けているものとする。その際、表示部２０に映し出されている画像の一例が図４である。その後、ユーザは、画像撮像装置１を若干上に傾けるように操作したとする。すると、画像撮像装置１の表示部２０に映し出される画像は、図５の距離Ｌ１の相当する距離の上方に移動する。なお、この距離Ｌ１は、画像撮像装置１と対象物との間の距離Ｌ２と、傾けた角度θに依存して定まる（図５参照）。同様に、ユーザが、画像撮像装置１を若干左右に振れば、表示部２０に映し出される画像は、振り角に応じて移動する。さらに、ユーザが、画像撮像装置１を上下左右に移動した場合にも、表示部２０に表示される画像は移動することになる。但し、この場合の表示部２０に映し出される画像の移動距離とユーザが画像撮像装置１を移動した距離は一致する。即ち、ユーザが画像撮像装置１を、距離Ｌ３（図５では図示せず）上下左右のいずれかに移動すれば、表示部２０に映し出される画像も距離Ｌ３に相当する距離、移動する。
【００３８】
図６は、表示部２０に映し出される画像を説明するための図である。図６の各点線で囲まれている領域は、ユーザが画像撮像装置１を移動した際の各ポイントにおける表示部２０に映し出される表示領域を示している。図６では、６個の領域を示している。また、各表示領域の中心点をそれぞれ、Ｃ０１〜Ｃ０６と示す。
【００３９】
ユーザは、初めに、表示部２０に映し出される中心点Ｃ０１が中心点Ｃ０２に向けて移動するように画像撮像装置１を操作する。その後、表示部２０に映る中心点Ｃ０２〜Ｃ０６が順次移動するように操作する。最終的には、中心点Ｃ０６から中心点Ｃ０１に向けて移動するように画像撮像装置１を操作する。このように、ユーザは、画像撮像装置１が映し出す画像の中心点を結ぶと閉領域となるように、画像撮像装置１を操作する。また、表示部２０は、ユーザによる画像撮像装置１の移動を補助するための軌跡情報を表示する。
【００４０】
図７は、画像撮像装置１に表示する軌跡情報を説明するための図である。ユーザは、当初、図７（ａ）に示すように、表示部２０に映し出される画像が上から下に向けて移動するように、画像撮像装置１を操作したとする。その場合に移動前後の中心点を結ぶ軌跡を、軌跡情報１０１として表示する。その後、ユーザは、図７（ｂ）に示すように、表示部２０に映し出される画像が左から右に向けて移動するように、画像撮像装置１を操作したとする。その場合には、図７（ａ）の軌跡情報１０１を右側に延長するように更新する。このように、画像撮像装置１は、表示部２０に軌跡情報を表示することで、ユーザによる画像切り出し操作を補助する。なお、上述のように、ユーザは切り出したい画像を取り囲むように画像撮像装置１を操作するため、軌跡情報は閉領域を描くことになる。
【００４１】
図８は、画像撮像装置１の動作の一例を示すフローチャートである。
【００４２】
ステップＳ０１において、制御部７０は、カメラモジュール４０を起動し、カメラモジュール４０に含まれる光学センサから得られる画像を表示部２０に表示する。その際、制御部７０は、表示部２０にユーザが画像撮像装置１を操作する際の軌跡を決定するために利用する画素位置として、十字や丸形のポイントを表示する。例えば、図６の示す中心点Ｃ０１〜Ｃ０６のように、画面中央に画素位置を表示する。
【００４３】
ステップＳ０２において、制御部７０は、ユーザによる画像撮影の開始指示に相当する操作を取得する。例えば、操作釦１０をシャッターとして機能させるのであれば、操作釦１０が押された際に画像撮影を開始する。
【００４４】
ステップＳ０３において、制御部７０は、軌跡情報の始点座標をメモリ９０に記憶する。より具体的には、表示部２０上の座標であって、ユーザが操作釦１０を押した際の画素位置（例えば、画面の中央）を始点座標として記憶する。なお、上述の閉領域は、始点座標と、画像撮像装置１の移動が終了した終点座標と、始点座標と終点座標を計測するまでの中間座標とから、形成される。
【００４５】
なお、以降の説明において、複数の画像を取得し、メモリ９０に保存することを説明する。その際、各画像を取得するタイミングを、整数ｉ（ｉは０以上の整数）による表現する。例えば、ユーザが操作釦１０を押した際に静止画を取得するタイミングは、ｉ＝０とし、次に静止画を取得するタイミングをｉ＝１とする。なお、静止画を取得するタイミングは、予め定めたサンプリング時間によって定まる。即ち、静止画を取得して、一定時間が経過した後、制御部７０は整数ｉをインクリメントすることで、静止画を取得するタイミングを作り出す。さらに、その際の座標や静止画等は括弧の中に整数ｉを付すことで表現する。例えば、ｉ＝０の際に取得した静止画は、静止画（０）と表記し、その際の画素位置に関する座標は座標（０）と表記する。
【００４６】
また、本ステップでは、制御部７０が判定フラグを０にセットする。判定フラグとは、軌跡情報の始点座標と終点座標との間の距離が、予め設定した閾値を一度超えたか否かを判定するためのフラグである。即ち、これらの座標間の距離が、あまりに短い場合には、それはユーザの手ぶれ等の影響とみるのが妥当である。従って、軌跡情報の始点座標と終点座標との間の距離が、閾値を超えた時に初めて、ユーザの意思によって画像撮像装置１を操作したと判断すべきである。同時に、判定フラグを使用することで、画像撮像装置１の移動を表現する軌跡情報が、極端に狭い領域となるのを防止できる。制御部７０は、軌跡情報の始点座標と終点座標との間の距離が、閾値を超えた時に判定フラグを１にセットし、軌跡情報が閉領域となるか否かの判断に利用する。
【００４７】
ステップＳ０４において、制御部７０は、静止画（ｉ）を取得し、メモリ９０に保存する。
【００４８】
ステップＳ０５において、制御部７０は、加速度センサ５０及びジャイロセンサ６０から得られる情報（以下、センサ情報と呼ぶ）を取得し、メモリ９０に保存する。取得したセンサ情報は、軌跡情報を生成するために利用する。即ち、ジャイロセンサ６０から得られる回転角度によって、画像撮像装置１が移動した方向を特定し、加速度センサ５０から加速度を検出し、加速度データから速度データに変換された速度値によって、画像撮像装置１が移動した距離を特定する。
【００４９】
ステップＳ０６において、制御部７０は、整数ｉが０であるか否かを判断する。整数ｉが０であれば、ユーザによる表示部２０に映し出された画像を移動させる操作は開始されていないと判断できるので、軌跡情報が閉領域となっているか否か等を判断する必要はない。従って、整数ｉが０でなければ、ステップＳ０７に遷移する。しかし、整数ｉが０であれば、本ステップを繰り返し、整数ｉが更新されるまで待機する。
【００５０】
ステップＳ０７において、トリミング範囲算出部７１は、座標（ｉ）の算出を行う。具体的には、センサ情報（ｉ）、その直前のセンサ情報（ｉ−１）及び直前の座標（ｉ−１）から、現時点での座標（ｉ）を算出する。
【００５１】
ステップＳ０８において、トリミング範囲算出部７１が、判定フラグが０か否かを判定する。さらに、トリミング範囲算出部７１は、軌跡情報の始点座標と終点座標との間の距離と予め定めた閾値とを比較する（ステップＳ０９）。ステップＳ０８及びＳ０９の判断が共にＹＥＳであれば、判定フラグを１にセットする（ステップＳ１０）。ステップＳ０８及びＳ０９の判断のうち、いずれかがＮＯであれば、判定フラグの変更をせず、ステップＳ１１に遷移する。
【００５２】
ステップＳ１１では、トリミング範囲算出部７１が、静止画（ｉ）上での座標（０）〜座標（ｉ）に該当する画素（軌跡情報）を算出する。例えば、図７に示す軌跡情報１０１を算出する。
【００５３】
ステップＳ１２では、制御部７０が、表示部２０に静止画（ｉ）及び軌跡情報（ｉ）を表示する。
【００５４】
ステップＳ１３では、制御部７０が、画像をトリミングするために必要な条件を満たすか否かを判断する。第１の条件は、判定フラグが１であって、かつ、軌跡情報の始点座標と終点座標との間の距離が閾値より小さい場合である。第２の条件は、ユーザが操作釦１０を押してから一定時間経過した場合である。これらの条件のうち、いずれかの条件を満たす場合には、制御部７０は、ステップＳ１４に遷移する。いずれの条件も満たさない場合には、制御部７０は、ステップＳ０４に遷移し、処理を継続する。
【００５５】
以上のように、表示部２０に映し出された画像を移動させる操作の手助けとなる軌跡情報を表示部２０に表示させると共に、その軌跡情報が閉領域を形成するまでの間、複数の画像を取得する。なお、複数の画像を取得した後の軌跡情報の始点座標と終点座標は一致していない場合が多い。このことは、軌跡情報が閉領域を形成したか否かを決定する閾値を大きくした場合に多くみられる現象である。このような場合には、取得後の軌跡情報を直線等で補間することが望ましい。若しくは、ラグランジュ補間やスプライン補間などの多次数曲線の補間を用いることが考えられる。制御部７０は、この軌跡情報をメモリ９０に保存し、合成画像をトリミングする際に使用する。
【００５６】
ステップＳ１４において、制御部７０は、空白領域の判定及びその対処を実施する。ここで、ユーザが画像撮像装置１を操作し、複数枚の画像を取得したとしても、必要な画像が全て取得できていない場合が考えられる。画像の切り出しを行おうとした範囲があまりに大きいと、その中央近辺の画像は取得できていない恐れがある。つまり、画像の撮影範囲に対して、ユーザが巨大な軌跡を描いた場合、画像合成時にドーナツ型の空白領域が発生する可能性がある。
【００５７】
このようなことを防止するために、制御部７０は、トリミングを予定する範囲内に取得できていない画像（未確定の画素情報）が存在する場合には、軌跡情報が閉領域を形成した段階で、そのような画像を取得する操作を促す処理をする。具体的には、制御部７０は、空白領域の存在する方向に矢印等を表示部２０に表示することで、ユーザがその矢印の方向に画像撮像装置１を向けるように促す。
【００５８】
なお、本ステップにおける処理は、下記のとおり行う。初めに、制御部７０は、空白領域の有無を次のように判定する。なお、画像撮像装置１における表示領域の上下、左右など垂直な２軸を取り、双方の軸画角の１／２を超えて、撮影範囲が変動した場合に空白領域が存在する可能性がある。そのため、制御部７０が、トリミング範囲の中に空白領域が存在すると判断した場合には、ステップＳ０４〜Ｓ１３で計測したセンサ情報と、画角の情報に基づき空白領域の範囲及び方向を推定する。さらに、制御部７０は、ユーザに対し、画像撮像装置１が向いている方向の変更を促す表示を表示部２０にする。ユーザが空白領域に向けて画像撮像装置１を操作した後、画像を追加して取得する。このような処理を繰り返し、空白領域が消滅した段階で、本ステップにおける処理を終了する。
【００５９】
ステップＳ１５では、画像合成部７２が、前ステップまでに取得した複数の画像を用いて、合成画像を取得する。画像を合成する際には、前後の画像の移動情報を参考にし、重なる領域を判定し、合成画像を生成する。なお、このような画像合成方法は一例であって、画像合成方法を限定する趣旨ではない。合成画像の生成に対し、他の方法の適用が可能であることは勿論である。さらに、被写体が動いていた場合には、画像を合成する際に残像が発生する可能性がある。そのような場合には、優先して画像を取得するかといった規則を予め定めておき、合成画像に残像が残らないようにする。
【００６０】
ステップＳ１６では、画像合成部７２が、合成画像上において、ステップＳ１３までに得られた軌跡情報を再構成する。その際、合成時に使用した最初の１枚目の画像中心点とトリミング用の軌跡情報の始点座標に基づき、合成画像と軌跡情報の同期を行う。即ち、複数の画像から生成された合成画像に対し、制御部７０が生成した軌跡情報を反映する（合成画像上で閉領域を形成する）。また、最初の１枚目の画像を使用した判定では、誤差が大きくなる可能性があるため、始点座標、終点座標及びこれらの中間点での座標を基準とし、画像全体に対して補正を行っても良い。
【００６１】
ステップＳ１７では、画像切り出し部７３が、合成画像におけるトリミング範囲が確定した後、合成画像のトリミングを実行し、トリミング後の画像を保存後、処理を終了する。
【００６２】
以上のように、本実施形態に係る画像撮像装置１では、複数の画像を取得すると共に、トリミング範囲を確定するための軌跡情報を収集する。その後、トリミング範囲内の空白領域の存在を判定し、空白領域が存在する場合には、ユーザに対して空白領域を充足する操作を促す処理を行う。さらに、複数の画像から合成画像を生成し、合成画像上において軌跡情報を再構成することで、トリミングする範囲を確定する。トリミング範囲が確定すれば、合成画像からその範囲を切り出し、保存する。
【００６３】
なお、トリミング範囲が滑らかでない場合には、トリミング範囲算出部７１が、近似曲線の計算を行うことで滑らかな形状に変換することが望ましい。また、トリミング範囲算出部７１が、予め設定された軌跡と得られたトリミング範囲が形成する曲線を比較し、両者のマッチングを行うことで、予め定めた軌跡をテンプレートとして用いることも可能である。取得したトリミング範囲全体が含まれるようにした上で、予め設定された形状でトリミングを行うようにしても良い。例えば、選択したラインを含む四辺形、選択した範囲を含む楕円、選択したラインを含むハート型などである。
【００６４】
画像合成部７２が、合成画像のトリミング範囲から外れる領域に対し、ぼかし処理を行い、トリミング範囲のみを強調する形で合成画像を保存することも考えられる。画像合成部７２が、トリミングされた曲線ラインに最も近い特徴量に基づいて、合成画像から画像の切り出しても良い。例えば、軌跡情報が、５本の直線と５点の角度変位点から構成されていれば、合成画像から五角形の画像を切り出し、曲線のみで構成されていれば、合成画像から円形状の画像を切り出す。若しくは、軌跡情報の特徴量が近い順に候補をソートしてユーザが選択可能としても良い。画像合成部７２が、複数の画像を使用した画像合成を行う際に、超解像処理を同時に行い、視認性を向上させても良い。
【００６５】
さらに、画像合成部７２が、トリミング後の合成画像を保存する際に、画像撮像装置１の移動により得られた大画像も保存可能としても良い。また、画像切り出し部７３が、合成画像にトリミング範囲に関する情報を付加した状態で保存を行っても良い。制御部７０の処理の負荷を下げるため、トリミング時の移動範囲を制限しても良い。
【００６６】
また、画像合成部７２における画像合成処理を省略し、最初に撮影した画像に対して、擬似的にトリミング範囲の指定が行える仕様としても良い。トリミングされた画像が四辺形以外の場合、トリミング範囲算出部７１は、トリミング画像を、設定した画像サイズの特定色の四辺形内に重ね合わせて保存しても良い。若しくは、画像切り出し部７３が、トリミング範囲外を透過色に設定しても良い。
【００６７】
以上のように、本実施形態に係る画像撮像装置１は、複数の画像を取得する共に、ユーザがトリミングを望む範囲を軌跡情報として取得する。取得した複数の画像から合成画像を生成し、合成画像と軌跡情報を対応付けることで、トリミング範囲を確定する。その後、合成画像からトリミング範囲を切り出す。
【００６８】
その結果、ユーザは撮影時の簡単な操作によって、特定領域のみを切り出すことが可能であり、専用のアプリケーションを用いた作業（トリミング操作）を行う必要がなくなる。さらに、画像の撮影段階で必要な領域のみを取得可能することができるため、ネットワーク上に画像を公開する際に、特別な作業を必要しない。従って、画像撮影から公開までの時間を短縮することができる。さらに、簡単な操作によって、星型やハート型などの形状に画像を保存することが可能になり、ユーザの画像利用機会を増やすことができる。
【００６９】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【００７０】
（付記１）画像の撮影を行う画像撮像部を備える画像撮像装置であって、前記画像撮像装置の移動を検出する移動検出部と、前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成部と、前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出部と、前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し部と、を備える画像撮像装置。
【００７１】
（付記２）さらに、前記画像撮像装置は、前記画像撮像部が撮像した画像を表示する表示部を備え、前記トリミング範囲算出部は、前記表示部が表示する画像上の座標であって、前記移動検出部が検出した前記画像撮像装置の移動に基づき算出した複数の座標を結んで形成される軌跡情報に基づき、前記トリミング範囲を算出する画像撮像装置。
【００７２】
（付記３）前記表示部は、前記画像撮像部が撮像した画像に、前記軌跡情報を重ねて表示する画像撮像装置。
【００７３】
（付記４）前記トリミング範囲算出部は、前記表示部が表示する画像上の座標であって、前記画像撮像装置が移動を開始した始点座標と、前記画像撮像装置が移動した際の中間座標と、前記画像撮像装置が移動を終了した終点座標と、を結んで形成される閉領域を前記トリミング範囲として算出する画像撮像装置。
【００７４】
（付記５）前記トリミング範囲算出部は、前記始点座標と前記中間座標との間の距離が予め定めた閾値を超えた場合に、前記軌跡情報の算出を開始する画像撮像装置。
【００７５】
（付記６）前記トリミング範囲算出部は、前記始点座標と前記終点座標との間の距離が予め定めた閾値より小さくなった場合に、前記軌跡情報を確定する画像撮像装置。
【００７６】
（付記７）前記画像撮像装置は、さらに、前記トリミング範囲内に含まれる画像の画素が未確定である空白領域を判定する空白領域判定部と、前記空白領域が存在する場合には、ユーザに対し、前記空白領域に相当する画像の取得を指示する空白領域取得部と、を備える画像撮像装置。
【００７７】
（付記８）前記画像撮像装置は、さらに、画像を記憶する記憶部を備え、前記画像切り出し部は、前記合成画像と前記合成画像から前記トリミング範囲に基づいて切り出した画像をそれぞれ、前記記憶部に保存する画像撮像装置。
【００７８】
（付記９）画像の撮影を行う画像撮像部を備える画像撮像装置の制御方法であって、前記画像撮像装置の移動を検出する移動検出工程と、前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成工程と、前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出工程と、前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し工程と、を含む画像撮像装置の制御方法。
【００７９】
（付記１０）前記画像撮像装置は前記画像撮像部が撮像した画像を表示する表示部を備え、前記トリミング範囲算出工程は、前記表示部が表示する画像上の座標であって、前記移動検出工程が検出した前記画像撮像装置の移動に基づき算出した複数の座標を結んで形成される軌跡情報に基づき、前記トリミング範囲を算出する画像撮像装置の制御方法。
【００８０】
（付記１１）前記画像撮像装置の制御方法は、さらに、前記画像撮像部が撮像した画像に、前記軌跡情報を重ねて表示する工程を含む画像撮像装置の制御方法。
【００８１】
（付記１２）前記トリミング範囲算出工程は、前記表示部が表示する画像上の座標であって、前記画像撮像装置が移動を開始した始点座標と、前記画像撮像装置が移動した際の中間座標と、前記画像撮像装置が移動を終了した終点座標と、を結んで形成される閉領域を前記トリミング範囲として算出する画像撮像装置の制御方法。
【００８２】
（付記１３）前記トリミング範囲算出工程は、前記始点座標と前記中間座標との間の距離が予め定めた閾値を超えた場合に、前記軌跡情報の算出を開始する画像撮像装置の制御方法。
【００８３】
（付記１４）前記トリミング範囲算出工程は、前記始点座標と前記終点座標との間の距離が予め定めた閾値より小さくなった場合に、前記軌跡情報を確定する画像撮像装置の制御方法。
【００８４】
（付記１５）前記画像撮像装置の制御方法は、さらに、前記トリミング範囲内に含まれる画像の画素が未確定である空白領域を判定する空白領域判定工程と、前記空白領域が存在する場合には、ユーザに対し、前記空白領域に相当する画像の取得を指示する空白領域取得工程と、を含む画像撮像装置の制御方法。
【００８５】
（付記１６）画像の撮影を行う画像撮像部を備える画像撮像装置を制御するコンピュータに実行させるプログラムであって、前記画像撮像装置の移動を検出する移動検出処理と、前記画像撮像部により撮影した複数の撮影画像から合成画像を生成する画像合成処理と、前記画像撮像装置の移動に基づき、前記合成画像の一部を切り出す際のトリミング範囲を算出するトリミング範囲算出処理と、前記トリミング範囲に基づいて、前記合成画像から画像を切り出す画像切り出し処理と、を実行するプログラム。
【００８６】
（付記１７）前記画像撮像装置は前記画像撮像部が撮像した画像を表示する表示部を備え、前記トリミング範囲算出処理は、前記表示部が表示する画像上の座標であって、前記移動検出処理が検出した前記画像撮像装置の移動に基づき算出した複数の座標を結んで形成される軌跡情報に基づき、前記トリミング範囲を算出するプログラム。
【００８７】
（付記１８）前記プログラムは、さらに、前記画像撮像部が撮像した画像に、前記軌跡情報を重ねて表示する処理を実行するプログラム。
【００８８】
（付記１９）前記トリミング範囲算出処理は、前記表示部が表示する画像上の座標であって、前記画像撮像装置が移動を開始した始点座標と、前記画像撮像装置が移動した際の中間座標と、前記画像撮像装置が移動を終了した終点座標と、を結んで形成される閉領域を前記トリミング範囲として算出するプログラム。
【００８９】
（付記２０）前記トリミング範囲算出処理は、前記始点座標と前記中間座標との間の距離が予め定めた閾値を超えた場合に、前記軌跡情報の算出を開始するプログラム。
【００９０】
（付記２１）前記トリミング範囲算出処理は、前記始点座標と前記終点座標との間の距離が予め定めた閾値より小さくなった場合に、前記軌跡情報を確定するプログラム。
【００９１】
（付記２２）前記プログラムは、さらに、前記トリミング範囲内に含まれる画像の画素が未確定である空白領域を判定する空白領域判定処理と、前記空白領域が存在する場合には、ユーザに対し、前記空白領域に相当する画像の取得を指示する空白領域取得処理と、を実行するプログラム。
【００９２】
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。例えば、加速度センサ等を利用した座標位置特定のアルゴリズムや、画像合成のためのアルゴリズムはどのようなものであっても良い。
【符号の説明】
【００９３】
１、２００  画像撮像装置
１０  操作釦
２０  表示部
３０  表示制御部
４０  カメラモジュール
５０  加速度センサ
６０  ジャイロセンサ
７０  制御部
７１、２０４  トリミング範囲算出部
７２、２０３  画像合成部
７３、２０５  画像切り出し部
８０  記憶部
９０  メモリ
１００  切り出し領域
１０１  軌跡情報
２０１  画像撮像部
２０２  移動検出部
【図１】
2013168822.tif 000003
【図２】
2013168822.tif 000004
【図３】
2013168822.tif 000005
【図４】
2013168822.tif 000006
【図５】
2013168822.tif 000007
【図６】
2013168822.tif 000008
【図７】
2013168822.tif 000009
【図８】
2013168822.tif 000010