(57)【特許請求の範囲】
【請求項１】
外部の撮像部から入力される所定の視野領域を連続的に撮像した複数の画像データに基づいて、前記撮像部の視野領域が変化したか否かを判定する判定部と、
前記判定部によって前記撮像部の視野領域が変化したと判定された場合、前記撮像部の視野領域が変化する変化方向に沿って前記複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する画像合成部と、
前記画像合成部が生成した前記合成画像データに対応する合成画像を外部の表示部に表示させる表示制御部と、
を備え、
前記画像合成部は、前記合成画像を生成した後に、前記判定部によって前記撮像部の視野領域が変化していないと判定された場合、前記合成画像に合成した最新の前記画像データに対応する最新画像の領域に、前記判定部が判定した直後に前記撮像部が生成した前記画像データに対応する画像を合成して前記合成画像を更新することを特徴とする画像処理装置。
【請求項２】
前記表示制御部は、前記判定部によって前記撮像部の視野領域が変化していないと判定された場合、時間の経過とともに、前記画像合成部によって合成された前記複数の画像データの中で時間的に古い前記画像データに対応する前記合成画像の領域を徐々に削除して前記表示部に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御部は、前記合成画像のアスペクト比または表示領域を徐々に縮小して前記表示部に表示させることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記判定部は、２つの前記画像データに対応する２つの画像の撮像領域の変化率に基づいて、前記撮像部の視野領域が変化したか否かを判定することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
当該画像処理装置に生じる加速度を検出する加速度検出部をさらに備え、
前記判定部は、前記加速度検出部が検出した前記加速度の変化量に基づいて、前記撮像部の視野領域が変化したか否かを判定することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項６】
請求項１〜５のいずれか一つの前記画像処理装置と、
前記撮像部と、
前記表示部と、
を備えたことを特徴とする表示装置。
【請求項７】
画像処理装置が実行する画像処理方法であって、
外部の撮像部から入力される所定の視野領域を連続的に撮像した複数の画像データに基づいて、前記撮像部の視野領域が変化したか否かを判定する判定ステップと、
前記判定ステップにおいて前記撮像部の視野領域が変化したと判定された場合、前記撮像部の視野領域が変化する変化方向に沿って前記複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する画像合成ステップと、
前記画像合成ステップにおいて生成した前記合成画像データに対応する合成画像を外部の表示部に表示させる表示制御ステップと、
を含み、
前記画像合成ステップは、前記合成画像を生成した後に、前記判定ステップにおいて前記撮像部の視野領域が変化していないと判定された場合、前記合成画像に合成した最新の前記画像データに対応する最新画像の領域に、前記判定ステップにおいて判定した直後に前記撮像部が生成した前記画像データに対応する画像を合成して前記合成画像を更新することを特徴とする画像処理方法。
【請求項８】
画像処理装置に、
外部の撮像部から入力される所定の視野領域を連続的に撮像した複数の画像データに基づいて、前記撮像部の視野領域が変化したか否かを判定する判定ステップと、
前記判定ステップにおいて前記撮像部の視野領域が変化したと判定された場合、前記撮像部の視野領域が変化する変化方向に沿って前記複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する画像合成ステップと、
前記画像合成ステップにおいて生成した前記合成画像データに対応する合成画像を外部の表示部に表示させる表示制御ステップと、
を実行させ、
前記画像合成ステップは、前記合成画像を生成した後に、前記判定ステップにおいて前記撮像部の視野領域が変化していないと判定された場合、前記合成画像に合成した最新の前記画像データに対応する最新画像の領域に、前記判定ステップにおいて判定した直後に前記撮像部が生成した前記画像データに対応する画像を合成して前記合成画像を更新することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを生成可能な画像処理装置、画像データに対応する画像を表示可能な表示装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ等の撮像装置では、動画撮影を行っている場合において、ユーザがパンニング操作を行ったとき、手ブレ補正を禁止する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３２９１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の技術では、動画撮影時にパンニング操作やチルト操作があった動画データを再生する場合、パンニング操作やチルト操作によって撮像装置の視野領域が急激に変化したり、雑多な被写体がちらついたりすることで、動画を見ているユーザに不快感や困惑を生じさせる問題点があった。【０００５】
本発明は、上記に鑑みてなされたものであって、動画撮影時にパンニング操作やチルト操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる画像処理装置、表示装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、外部の撮像部から入力される所定の視野領域を連続的に撮像した複数の画像データに基づいて、前記撮像部の視野領域が変化したか否かを判定する判定部と、前記判定部によって前記撮像部の視野領域が変化したと判定された場合、前記撮像部の視野領域が変化する変化方向に沿って前記複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する画像合成部と、前記画像合成部が生成した前記合成画像データに対応する合成画像を外部の表示部に表示させる表示制御部と、を備え、前記画像合成部は、前記合成画像を生成した後に、前記判定部によって前記撮像部の視野領域が変化していないと判定された場合、前記合成画像に合成した最新の前記画像データに対応する最新画像の領域に、前記判定部が判定した直後に前記撮像部が生成した前記画像データに対応する画像を合成して前記合成画像を更新することを特徴とする。【０００７】
また、本発明に係る画像処理装置は、上記発明において、前記表示制御部は、前記判定部によって前記撮像部の視野領域が変化していないと判定された場合、時間の経過とともに、前記画像合成部によって合成された前記複数の画像データの中で時間的に古い前記画像データに対応する前記合成画像の領域を徐々に削除して前記表示部に表示させることを特徴とする。【０００８】
また、本発明に係る画像処理装置は、上記発明において、前記表示制御部は、前記合成画像のアスペクト比または表示領域を徐々に縮小して前記表示部に表示させることを特徴とする。【０００９】
また、本発明に係る画像処理装置は、上記発明において、前記判定部は、２つの前記画像データに対応する２つの画像の撮像領域の変化率に基づいて、前記撮像部の視野領域が変化したか否かを判定することを特徴とする。【００１０】
また、本発明に係る画像処理装置は、上記発明において、当該画像処理装置に生じる加速度を検出する加速度検出部をさらに備え、前記判定部は、前記加速度検出部が検出した前記加速度の変化量に基づいて、前記撮像部の視野領域が変化したか否かを判定することを特徴とする。【００１１】
また、本発明に係る撮像装置は、上記の前記画像処理装置と、前記撮像部と、前記表示部と、を備えたことを特徴とする。【００１２】
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、外部の撮像部から入力される所定の視野領域を連続的に撮像した複数の画像データに基づいて、前記撮像部の視野領域が変化したか否かを判定する判定ステップと、前記判定ステップにおいて前記撮像部の視野領域が変化したと判定された場合、前記撮像部の視野領域が変化する変化方向に沿って前記複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する画像合成ステップと、前記画像合成ステップにおいて生成した前記合成画像データに対応する合成画像を外部の表示部に表示させる表示制御ステップと、を含み、前記画像合成ステップは、前記合成画像を生成した後に、前記判定ステップにおいて前記撮像部の視野領域が変化していないと判定された場合、前記合成画像に合成した最新の前記画像データに対応する最新画像の領域に、前記判定ステップにおいて判定した直後に前記撮像部が生成した前記画像データに対応する画像を合成して前記合成画像を更新することを特徴とする。【００１３】
また、本発明に係るプログラムは、画像処理装置に、外部の撮像部から入力される所定の視野領域を連続的に撮像した複数の画像データに基づいて、前記撮像部の視野領域が変化したか否かを判定する判定ステップと、前記判定ステップにおいて前記撮像部の視野領域が変化したと判定された場合、前記撮像部の視野領域が変化する変化方向に沿って前記複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する画像合成ステップと、前記画像合成ステップにおいて生成した前記合成画像データに対応する合成画像を外部の表示部に表示させる表示制御ステップと、を実行させ、前記画像合成ステップは、前記合成画像を生成した後に、前記判定ステップにおいて前記撮像部の視野領域が変化していないと判定された場合、前記合成画像に合成した最新の前記画像データに対応する最新画像の領域に、前記判定ステップにおいて判定した直後に前記撮像部が生成した前記画像データに対応する画像を合成して前記合成画像を更新することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明に係る撮像装置の機能構成を示すブロック図である。
【図２】図２は、本発明に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図３】図３は、本発明に係る撮像装置がユーザによってパンニング操作される際の状況を示す図である。
【図４】図４は、図３の状況下で撮像装置が撮像する視野領域を模式的に示す図である。
【図５】図５は、本発明に係る撮像装置が備える画像合成部が生成する合成画像データに対応する合成画像の一例を示す図である。
【図６】図６は、本発明に係る撮像装置が備える画像合成部が直前の合成画像データに、最新の画像データを合成して生成した合成画像データに対応する合成画像の一例を示す図である。
【図７】図７は、ユーザによる撮像装置に対するパンニング操作が停止した際に画像合成部が生成する合成画像データに対応する合成画像の一例を示す図である。
【図８】図８は、本発明に係る撮像装置が備える表示部が表示する合成画像が所定時間経過していない際に画像合成部が生成する合成画像データに対応する合成画像の一例を示す図である。
【図９】図９は、本発明の実施の形態２に係る撮像装置の機能構成を示すブロック図である。
【図１０】図１０は、本発明の実施の形態２に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態２に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
【図１２】図１２は、本発明の実施の形態２の変形例１に係る撮像装置がユーザによってチルト操作される際の状況を示す図である。
【図１３】図１３は、図１２に示す状況下で撮像装置の視野領域の変化を模式的に示す図である。
【図１４】図１４は、従来の撮像装置によって撮影された動画を再生した際に表示される動画の一例を示す図である。
【図１５】図１５は、本発明の実施の形態２の変形例１に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
【図１６】図１６は、本発明の実施の形態２の変形例１に係る撮像装置が備える表示部が表示する画像の別の一例を示す図である。
【図１７】図１７は、本発明の実施の形態２の変形例１に係る撮像装置が備える表示部が表示する画像の別の一例を示す図である。
【図１８】図１８は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。
【図１９】図１９は、本発明の実施の形態３に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図２０】図２０は、図１９の再生表示処理の概要を示すフローチャートである。
【図２１】図２１は、本発明の実施の形態１〜３の変形例に係る撮像システムの概略構成図を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。また、以下においては、画像処理装置および表示装置を搭載した撮像装置を例に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。
【００１７】
（実施の形態１）
図１は、本発明に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、撮像部１０と、動き検出部１１と、表示部１２と、記録部１３と、記録媒体１４と、入力部１５と、制御部１６と、を備える。
【００１８】
撮像部１０は、制御部１６の制御のもと、所定の視野領域を連続的に撮像して、時間的に連続する複数の画像データ（動画データ）を生成する。撮像部１０は、複数のレンズから構成され、被写体像を結像する光学系と、光学系の光量を調整する絞りと、光学系が結像した被写体像を受光して光電変換を行うことによって画像データを生成するＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子と、撮像素子の状態を露光状態または遮光状態に設定するシャッタと、撮像素子が生成した画像データに対して所定のアナログ処理を行う信号処理部と、信号処理部から入力されるアナログの画像データに対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成して制御部１６へ出力するＡ／Ｄ変換部と、撮像素子の撮像タイミングを発生するタイミングジェネレータと、を用いて構成される。
【００１９】
動き検出部１１は、撮像装置１に生じる動きを検出し、この検出結果を移動情報として制御部１６へ出力する。具体的には、動き検出部１１は、撮像装置１に生じる加速度および角速度をそれぞれ検出し、この検出結果を移動情報として制御部１６へ出力する。動き検出部１１は、加速度センサおよびジャイロセンサ等を用いて構成される。
【００２０】
表示部１２は、制御部１６の制御のもと、撮像部１０が生成した画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒間）だけ表示するレックビュー表示、記録媒体１４に記録された画像データを再生する再生表示、および撮像部１０が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。表示部１２は、液晶または有機ＥＬ（Electro  Luminescence）からなる表示パネルおよび駆動ドライバ等を用いて構成される。また、表示部１２は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。
【００２１】
記録部１３は、制御部１６を介して入力される画像データ、撮像装置１の処理中の情報、撮像装置１を動作させるための各種プログラムや本実施の形態１に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部１３は、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）およびＦｌａｓｈメモリ等を用いて構成される。
【００２２】
記録媒体１４は、制御部１６を介して入力される画像データを記録する。記録媒体１４は、撮像装置１の外部から装着されるメモリカード等を用いて構成され、図示しないメモリＩ／Ｆを介して撮像装置１に着脱自在に装着される。記録媒体１４は、後述する制御部１６が処理を施した画像データまたは動画データが書き込まれる。また、記録媒体１４は、制御部１６によって記録された画像データまたは動画データが読み出される。
【００２３】
入力部１５は、撮像装置１に関する各種の動作を指示する指示信号の入力を受け付ける。入力部１５は、撮像装置１の電源状態をオン状態またはオフ状態に切り換える電源スイッチ、撮像装置１に静止画撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチおよび撮像装置１に動画撮影を指示する指示信号の入力を受け付ける動画スイッチ等を用いて構成される。
【００２４】
制御部１６は、撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部１６は、ＣＰＵ（Central  Processing  Unit）を用いて構成される。なお、本実施の形態１では、制御部１６が画像処理装置として機能する。
【００２５】
ここで、制御部１６の詳細な構成について説明する。制御部１６は、画像処理部１６１と、動き判定部１６２と、画像合成部１６３と、撮像制御部１６４と、表示制御部１６５と、を有する。
【００２６】
画像処理部１６１は、撮像部１０から入力される画像データに対して、各種の画像処理を行って記録部１３に出力する。具体的には、画像処理部１６１は、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。たとえば、画像処理部１６１は、予め設定された各画像処理のパラメータに基づいて、画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。また、画像処理部１６１は、画像処理を施した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データを記録媒体１４に記録する。ここで、所定の形式としては、ＪＰＥＧ（Joint  Photographic  Experts  Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像処理部１６１は、記録媒体１４に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）して記録部１３へ出力する。
【００２７】
動き判定部１６２は、撮像部１０の視野領域が変化したか否かを判定する。具体的には、動き判定部１６２は、動き検出部１１から入力される移動情報に基づいて、撮像装置１が移動（撮像部１０の視野領域の変化）しているか否かを判定する。たとえば、動き判定部１６２は、撮像装置１がユーザによってパンニング操作やチルト操作が行われた場合、動き検出部１１から入力される移動情報の変化に基づいて、撮像装置１が水平方向または垂直方向に移動しているか否かを判定する。なお、本実施の形態１では、動き判定部１６２が判定部として機能する。
【００２８】
画像合成部１６３は、動き判定部１６２によって撮像部１０の視野領域が変化した判定された場合、撮像部１０の視野領域の変化方向に沿って撮像部１０が生成した複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する。たとえば、画像合成部１６３は、時間的に前後する２つの画像の左右端部同士が重なりを有する２つの画像データを合成して合成画像データを生成する。
【００２９】
撮像制御部１６４は、入力部１５からレリーズ信号が入力された場合、撮像装置１における撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、撮像部１０が生成した画像データに対し、画像処理部１６１が所定の画像処理を施す動作をいう（現像処理）。このように処理が施された画像データは、撮像制御部１６４の制御のもと、画像処理部１６１で圧縮されて記録媒体１４に記録される。また、撮像制御部１６４は、入力部１５から動画撮影を指示する指示信号が入力された場合、記録媒体１４に動画ファイルを作成し、この動画ファイルに、撮像部１０が順次生成した画像データに対して画像処理部１６１が所定の画像処理を施した動画データを順次記録（格納）する。
【００３０】
表示制御部１６５は、画像データに対応する画像を表示部１２に表示させる。具体的には、表示制御部１６５は、画像処理部１６１が画像処理を施した画像データに対応するライブビュー画像または画像合成部１６３が生成した合成画像データに対応する合成画像を表示部１２に表示させる。また、表示制御部１６５は、動き判定部１６２によって撮像部１０の視野領域が変化したと判定された場合、撮像部１０の視野領域が変化する前と変化した後それぞれの画像データに対応する画像を、撮像部１０の視野領域が変化する変化方向に沿って表示部１２に表示させる。
【００３１】
以上の構成を有する撮像装置１が実行する処理について説明する。図２は、撮像装置１が実行する処理の概要を示すフローチャートである。
【００３２】
図２に示すように、まず、撮像装置１に撮影モードが設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合、撮像制御部１６４は、撮像部１０に撮像を実行させる（ステップＳ１０２）。
【００３３】
続いて、動き判定部１６２は、撮像装置１が水平方向へ移動したか否かを判定する（ステップＳ１０３）。
【００３４】
図３は、撮像装置１がユーザによってパンニング操作される際の状況を示す図である。図４は、図３の状況下で撮像装置１が撮像する視野領域を模式的に示す図である。なお、図３および図４では、撮像装置１がユーザのパンニング操作によって撮像装置１が略水平方向（矢印ａ１）へ移動することで、被写体Ｏ1が含まれる視野領域から被写体Ｏ2が含まれる視野領域までを連続的に撮像する際の状況を示す。また、図４の画像ＬＶ1が最初の撮像装置１の視野領域の画像に相当し、画像ＬＶ2〜ＬＶ4が撮像装置１の移動によって撮像された視野領域の画像に相当する。
【００３５】
図３および図４に示すように、動き判定部１６２は、ユーザによって撮像装置１がパンニング操作を行った際に、動き検出部１１が検出した移動情報に基づいて、撮像装置１が略水平方向（パン方向）へ移動したか否かを判定する。なお、図３および図４では、動き判定部１６２は、動き検出部１１が検出した移動情報に基づいて、撮像装置１が略垂直方向（チルト方向）へ移動したか否かを判定してもよい。動き判定部１６２によって撮像装置１が水平方向へ移動したと判定された場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０４へ移行する。これに対して、動き判定部１６２によって撮像装置１が水平方向へ移動していないと判定された場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、後述するステップＳ１１８へ移行する。
【００３６】
ステップＳ１０４において、制御部１６は、記録部１３に合成画像データがあるか否かを判断する。制御部１６が記録部１３に合成画像データがあると判断した場合（ステップＳ１０４：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０６へ移行する。これに対して、制御部１６が記録部１３に合成画像データがないと判断した場合（ステップＳ１０４：Ｎｏ）、撮像装置１は、後述するステップＳ１０５へ移行する。
【００３７】
ステップＳ１０５において、画像合成部１６３は、記録部１３に記録された直前の画像データと、撮像部１０によって生成された最新の画像データとを合成した合成画像データを生成する。
【００３８】
図５は、画像合成部１６３が生成する合成画像データに対応する合成画像の一例を示す図である。図５においては、撮影者から見て撮像装置１が左側から右側に向けて水平方向（矢印ａ１）へ移動した際の合成画像の例を説明する。
【００３９】
図５に示すように、画像合成部１６３は、撮像装置１の移動方向（撮像部１０の視野領域の変化方向）に沿って、記録部１３が記録する撮像部１０によって生成された直前の画像データに対応する画像ＬＶ1と、撮像部１０が生成した最新の画像データに対応する画像ＬＶ2とを合成して合成画像データに対応する合成画像Ｃ1を生成する（図５（Ａ）→図５（Ｂ））。この場合において、画像合成部１６３は、互いの撮像領域（視野領域）の左右方向の一端部同士の撮像領域で重複する領域が重なるように、画像ＬＶ1の端部Ｒ1と画像ＬＶ2の端部Ｌ1とを重ねて合成して合成画像データに対応する合成画像Ｃ1を生成する。このとき、画像合成部１６３は、画像ＬＶ1と画像ＬＶ2との画素の一致度に基づいて、画像ＬＶ1の端部Ｒ1および画像ＬＶ2の端部Ｌ1それぞれの領域を決定して合成するようにしてもよい。なお、図５においては、画像ＬＶ1の端部Ｒ1および画像ＬＶ2の端部Ｌ1それぞれの領域が均等である必要はなく、画像合成部１６３が２つの画像ＬＶ1および画像ＬＶ2を合成できればよく、画像ＬＶ1の端部Ｒ1および画像ＬＶ2の端部Ｌ1それぞれの領域は適宜変更することができ、たとえばフレームレート等により変更することができる。
【００４０】
ステップＳ１０６において、画像合成部１６３は、記録部１３が記録する画像合成部１６３によって生成された直前の合成画像データに、撮像部１０が生成した最新の画像データを合成した合成画像データを生成する。
【００４１】
図６は、画像合成部１６３が直前の合成画像データに、最新の画像データを合成して生成した合成画像データに対応する合成画像の一例を示す図である。図６においては、撮影者から見て撮像装置１が左側から右側に向けて水平方向へ移動した際の合成画像の例を説明する。
【００４２】
図６に示すように、画像合成部１６３は、記録部１３が記録する直前の合成画像データに対応する合成画像Ｃ1に、撮像部１０が生成した最新の画像データに対応する画像ＬＶ3を合成して合成画像データに対応する合成画像Ｃ2を生成する（図６（Ａ）→図６（Ｂ））。この場合において、画像合成部１６３は、互いの撮像領域で重複する領域の左右方向の一端部同士が重なるように、合成画像Ｃ1の端部と画像ＬＶ3の端部とを重ねて合成して合成画像データに対応する合成画像Ｃ2を生成する。このとき、画像合成部１６３は、合成画像Ｃ1と画像ＬＶ3との画素の一致度に基づいて、合成画像Ｃ1の端部および画像ＬＶ3の端部それぞれの領域を決定して合成する。さらに、画像合成部１６３は、撮像装置１の移動に伴って、撮像部１０によって連続的に生成された最新の画像データに対応する画像ＬＶ4を時系列に沿って合成画像に順次合成して合成画像データに対応する合成画像Ｃ3を生成する（図６（Ａ）→図６（Ｂ）→図６（Ｃ））。なお、図６においては、合成画像の端部および画像の端部それぞれの領域が均等である必要はなく、画像合成部１６３が合成画像に最新の画像を合成できればよく、互いに重なる領域の画素の一致度に基づいて適宜変更することができる。
【００４３】
続いて、表示制御部１６５は、画像合成部１６３が生成した合成画像データに対応する合成画像を表示部１２に表示させる（ステップＳ１０７）。たとえば、図５（Ｂ）に示すように、表示制御部１６５は、画像合成部１６３が生成した合成画像データに対応する合成画像Ｃ1を表示部１２に表示させる。この場合、表示制御部１６５は、合成画像Ｃ1が表示部１２の表示領域内で表示されるように縮小またはアスペクト比を変更して表示部１２に表示させる。このとき、表示制御部１６５は、撮像装置１の移動方向（撮像装置１の視野領域の変化方向）に関する情報を表示部１２に表示させてもよい。具体的には、図５（Ｂ）に示すように、表示制御部１６５は、撮像装置１の移動方向に関する情報として矢印ａ１を表示部１２に表示させる。なお、図５（Ｂ）の２つの画像は、重なりを作って表示し、上書きするだけで合成されなくとも良い。本当につなぎ目無く繋がっているかどうかは、パンニング時に確認が困難でもあり、厳密な合成は要求しない。重なり部の上書きを含め、合成と考えている。
【００４４】
これにより、ユーザは、動画撮影を再生して確認する際に、撮像装置１の移動方向を直感的に把握することができる。さらに、ユーザは、動画撮影を再生して視認する際に、撮像装置１の移動によって視野領域が変更された場合であっても、画像が撮像装置１の移動方向に沿って徐々に表示されるので（たとえば図６（Ａ）の合成画像Ｃ1→図６（Ｂ）の合成画像Ｃ2→図６（Ｃ）の合成画像Ｃ3）、撮像装置１の視野領域が唐突に変化することなく、雑多な被写体が表示されないので、快適に視認することができる。さらに、ユーザは、撮像装置１の移動によって視野領域が変更された場合であっても、画像が撮像装置１の移動方向（撮像部１０の視野領域の変化方向）に沿って徐々に表示されるので、目や脳の判断が追いつくので、目がちらつくことなく、快適に視認することができる。
【００４５】
ステップＳ１０７の後、入力部１５から静止画撮影を指示する指示信号が入力された場合（ステップＳ１０８：Ｙｅｓ）、撮像制御部１６４は、撮像装置１に撮影を実行させ（ステップＳ１０９）、記録媒体１４に撮像部１０によって生成された静止画画像データを記録媒体１４に記録させる（ステップＳ１１０）。この場合において、撮像制御部１６４は、画像合成部１６３が合成画像データを生成しているとき、合成画像データ（たとえば、図５（Ｂ）の合成画像Ｃ1や図６（Ｃ）の合成画像Ｃ3）を静止画画像データとして記録媒体１４に記録する。このとき、撮像制御部１６４は、静止画画像データと、合成画像データとを一つの画像ファイルに格納して記録媒体１４に記録してもよい。
【００４６】
続いて、入力部１５を介して撮像装置１の電源がオフになった場合（ステップＳ１１１：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、入力部１５を介して撮像装置１の電源がオフになっていない場合（ステップＳ１１１：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。
【００４７】
ステップＳ１０８において、入力部１５から静止画撮影を指示する指示信号が入力されていない場合（ステップＳ１０８：Ｎｏ）において、撮像装置１が動画撮影中のとき（ステップＳ１１２：Ｙｅｓ）、撮像制御部１６４は、撮像部１０によって生成された画像データを記録媒体１４の動画ファイルに記録する（ステップＳ１１３）。この場合において、画像合成部１６３が合成画像データを生成しているとき、撮像制御部１６４は、画像データに換えて、合成画像データ（たとえば、図６（Ａ）の合成画像Ｃ1や図６（Ｃ）の合成画像Ｃ3）を記録媒体１４の動画ファイルに記録する。この際、撮像制御部１６４は、撮像部１０が生成した画像データを、動画ファイルに静止画画像データとして記録させてもよい。
【００４８】
続いて、入力部１５から動画撮影を終了する指示信号が入力された場合（ステップＳ１１４：Ｙｅｓ）、撮像制御部１６４は、記録媒体１４に生成された動画ファイルのヘッダ情報に、所定の情報、たとえば、合成の有無、動画の撮影時間および圧縮方式等の情報を書き込む動画終了処理を実行する（ステップＳ１１５）。ステップＳ１１５の後、撮像装置１は、ステップＳ１１１へ移行する。これに対して、入力部１５から動画撮影を終了する指示信号が入力されていない場合（ステップＳ１１４：Ｎｏ）、撮像装置１は、ステップＳ１１１へ移行する。
【００４９】
ステップＳ１０８において、入力部１５から静止画撮影を指示する指示信号が入力されていない場合（ステップＳ１０８：Ｎｏ）において、撮像装置１が動画撮影中でないとき（ステップＳ１１２：Ｎｏ）、撮像装置１は、ステップＳ１１６へ移行する。
【００５０】
続いて、入力部１５から動画撮影の開始を指示する指示信号が入力された場合（ステップＳ１１６：Ｙｅｓ）、撮像制御部１６４は、撮像装置１の動画撮影を開始する（ステップＳ１１７）。この際、撮像制御部１６４は、撮像部１０が順次生成した画像データを、動画データとして時系列に沿って順次記録する動画ファイルを記録媒体１４に生成する。ステップＳ１１７の後、撮像装置１は、ステップＳ１１１へ移行する。これに対して、入力部１５から動画撮影の開始を指示する指示信号が入力されていない場合（ステップＳ１１６：Ｎｏ）、撮像装置１は、ステップＳ１１１へ移行する。
【００５１】
ステップＳ１１８において、画像合成部１６３が合成中である場合（ステップＳ１１８：Ｙｅｓ）において、表示部１２が表示する合成画像の時間が所定時間、たとえば５秒間経過したとき（ステップＳ１１９：Ｙｅｓ）、画像合成部１６３は、表示部１２が表示する合成画像データの中で最も古い画像データ（最初の画像データ）に対応する画像の領域を削除するとともに、合成画像データに合成した直前の画像データに対応する画像の領域に対して、最新の画像データに対応する画像に更新する（ステップＳ１２０）。ステップＳ１２０の後、撮像装置１は、ステップＳ１０７へ移行する。
【００５２】
図７は、ユーザによる撮像装置１に対するパンニング操作が停止した際に画像合成部１６３が生成する合成画像データに対応する合成画像の一例を示す図である。図７においては、図７の左側から右側に向けて合成時間が最新のものになる。
【００５３】
図７に示すように、画像合成部１６３は、表示部１２が表示する合成画像Ｃ11の中で最も古い画像データの領域Ｐ1を削除するとともに、合成画像Ｃ11に合成した最新の画像データに対応する領域Ｑ1に対して、最新の画像データに対応する画像ＬＶ11に更新する（図７（Ａ）→図７（Ｂ））。その後、画像合成部１６３は、表示部１２が表示する合成画像Ｃ12の時間が所定時間した場合、表示部１２が表示する合成画像Ｃ12の中で最も古い画像データの領域Ｐ2を削除するとともに、合成画像Ｃ12に合成した最新の画像データに対応する領域Ｑ1に対して、最新の画像データに対応する画像ＬＶ12に更新する（図７（Ｂ）→図７（Ｃ））。続いて、画像合成部１６３は、表示部１２が表示する合成画像Ｃ13の時間が所定時間した場合、表示部１２が表示する合成画像Ｃ13の中で最も古い画像データの領域Ｐ3を削除するとともに、合成画像Ｃ13に合成した最新の画像データに対応する領域Ｑ1に対して、最新の画像データに対応する画像ＬＶ13に更新する（図７（Ｃ）→図７（Ｄ））。このように、撮像装置１が水平方向への移動を停止した場合、合成画像データに対応する合成画像の表示領域が時間の経過とともに徐々に少なくなることによって、通常のライブビュー画像が表示または動画が再生表示される（図７（Ａ）→図７（Ｂ）→図７（Ｃ）→図７（Ｄ））。この結果、ユーザは、動画ファイルを再生した際に、撮影者のパンニング操作が終わったことを直感的に把握することができるとともに、滑らかに表示領域が遷移するので、快適に動画を視認することができる。
【００５４】
ステップＳ１１８において、画像合成部１６３が合成中である場合（ステップＳ１１８：Ｙｅｓ）において、表示部１２が表示する合成画像の時間が所定時間、たとえば５秒間経過していないとき（ステップＳ１１９：Ｎｏ）、画像合成部１６３は、表示部１２が表示する合成画像に合成した直前の画像データに対応する画像の領域に対して、最新の画像データに対応する画像に更新する（ステップＳ１２１）。ステップＳ１２１の後、撮像装置１は、ステップＳ１０７へ移行する。
【００５５】
図８は、表示部１２が表示する合成画像が所定時間経過していない際に画像合成部１６３が生成する合成画像データに対応する合成画像の一例を示す図である。
【００５６】
図８に示すように、画像合成部１６３は、表示部１２が表示する合成画像Ｃ21に合成した直前の画像データに対応する画像ＬＶ21の領域Ｑ1に対して、撮像部１０が生成した最新の画像データに対応する画像ＬＶ22を合成することによって合成画像データに対応する合成画像Ｃ22に更新する（図８（Ａ）→図８（Ｂ））。その後、画像合成部１６３は、表示部１２が表示する合成画像Ｃ22に合成した直前の画像データに対応する画像ＬＶ22の領域Ｑ1に対して、撮像部１０が生成した最新の画像データに対応する画像ＬＶ23を合成することによって合成画像データに対応する合成画像Ｃ23に更新する（図８（Ｂ）→図８（Ｃ））。これにより、撮像装置１が水平方向への移動を停止した場合において、表示部１２が表示する合成画像の時間が所定時間経過していないとき、撮像部１０によって生成された最新の画像データに対応する画像に更新された合成画像がライブビュー画像として表示される。この結果、ユーザは、リアルタイムで変化する被写体の状態を、周囲の環境と合わせて把握することができる。
【００５７】
ステップＳ１１８において、画像合成部１６３が合成中でない場合（ステップＳ１１８：Ｎｏ）、表示制御部１６５は、撮像部１０が生成した画像データに対応するライブビュー画像を表示部１２に表示させる（ステップＳ１２３）。ステップＳ１２０の後、撮像装置１は、ステップＳ１０８へ移行する。
【００５８】
ステップＳ１０１において、撮像装置１に撮影モードが設定されていない場合（ステップＳ１０１：Ｎｏ）において、撮像装置１に再生モードが設定されているとき（ステップＳ１２４：Ｙｅｓ）、撮像装置１は、記録媒体１４に記録された静止画画像データや動画ファイルを表示部１２に再生表示させる再生表示処理を実行する（ステップＳ１２５）。この場合において、動画ファイルの動画データが再生表示されるとき、動画撮影時にパンニング操作やチルト操作がされた場合であっても、図６、図７および図８のように合成画像が表示されるので、ユーザに快適に視認させることができる。ステップＳ１２５の後、撮像装置１は、ステップＳ１１１へ移行する。これに対して、撮像装置１に再生モードが設定されていないとき（ステップＳ１２４：Ｎｏ）、撮像装置１は、ステップＳ１１１へ移行する。
【００５９】
以上説明した本発明の実施の形態１によれば、動き判定部１６２によって撮像部１０の視野領域が変化したと判定された場合、表示制御部１６５が画像合成部１６３によって生成された合成画像データに対応する合成画像をライブビュー画像として表示部１２に表示させるので、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
【００６０】
また、本発明の実施の形態１によれば、表示制御部１６５が画像合成部１６３によって生成された合成画像データに対応する合成画像を縮小して表示部１２に表示させるので、画像合成部１６３が生成する合成画像の表示領域が大きくなった場合であっても、全画面で表示させることができる。
【００６１】
また、本発明の実施の形態１によれば、動き判定部１６２によって撮像部１０の視野領域が変化していないと判定されるまで、画像合成部１６３が撮像部１０の視野領域が変化する変化方向に沿って複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成するので、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができるとともに、動画撮影時のパンニング方向を直感的に把握することができる。
【００６２】
また、本発明の実施の形態１によれば、画像合成部１６３が合成画像データを生成した後に、動き判定部１６２によって撮像部１０の視野領域が変化していないと判定された場合、画像合成部１６３が合成画像に合成した直前の画像データに対応する直前画像の領域に、撮像部１０が生成した最新の画像データに対応する最新画像を合成して合成画像を更新する。これにより、動画撮影時に視野領域が急激に変化した場合であっても、画像が途切れることなく、現在の撮像部１０の視野領域に対応する画像が更新して表示部１２で表示されるので、所望の被写体をリアルタイムで視認することができる。
【００６３】
また、本発明の実施の形態１によれば、動き判定部１６２によって撮像部１０の視野領域が変化していないと判定された場合、表示制御部１６５は、時間の経過とともに、画像合成部１６３によって合成された複数の画像データの中で時間的に古い画像データに対応する合成画像の領域を徐々に削除して表示部１２に表示させるので、撮像装置１の移動が止まったとしても、滑らかに画像の表示領域を縮小しながら遷移させることができ、ユーザに快適に視認させることができる。
【００６４】
なお、本発明の実施の形態１では、ユーザによって撮像装置１がパンニング操作された場合であったが、ユーザによって撮像装置１がチルト操作された場合であっても適用することができる。この場合、動き判定部１６２は、動き検出部１１から入力される加速度に基づいて、撮像装置１が略垂直方向に移動したか否かを判定するようにすればよい。
【００６５】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１に係る撮像装置１と構成が異なるうえ、実行する処理が異なる。このため、以下においては、本実施の形態２に係る撮像装置の構成を説明後、本実施の形態２に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同様の構成には同一の符号を付して説明を省略する。
【００６６】
図９は、本実施の形態２に係る撮像装置の機能構成を示すブロック図である。図９に示すように、撮像装置２は、表示部１２と、記録媒体１４と、入力部１５と、レンズ部２０と、撮像素子２１と、仮記録部２２と、加速度検出部２３と、タッチパネル２４と、通信部２５と、制御部２６と、を備える。
【００６７】
レンズ部２０は、所定の視野領域から光を集光して被写体像を撮像素子２１に結像する。レンズ部２０は、光軸Ｌに沿って移動可能なズームレンズやフォーカスレンズおよび絞り等を用いて構成される。
【００６８】
撮像素子２１は、レンズ部２０が結像した被写体像を受光して光電変換を行うことによって画像データを生成する。撮像素子２１は、ＣＣＤやＣＭＯＳ、シャッタ、信号処理部およびＡ／Ｄ変換部等を用いて構成される。なお、本実施の形態２では、レンズ部２０および撮像素子２１が撮像部として機能する。
【００６９】
仮記録部２２は、撮像素子２１が生成した画像データ、撮像装置２の処理中の情報、撮像。撮像装置２を動作させるための各種プログラムおよび本実施の形態２に係るプログラム等を記録する。仮記録部２２は、ＳＤＲＡＭやＦｌａｓｈメモリ等を用いて構成される。
【００７０】
加速度検出部２３は、撮像装置２に生じる加速度や角速度をそれぞれ検出し、この検出結果を制御部２６へ出力する。加速度検出部２３は、加速度センサおよびジャイロセンサ等を用いて構成される。
【００７１】
タッチパネル２４は、表示部１２の表示画面上に重畳して設けられる。タッチパネル２４は、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号を制御部２６へ出力する。また、タッチパネル２４は、ユーザが表示部１２で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて撮像装置２が行う動作を指示する指示信号や画像を選択する選択信号の入力を受け付けてもよい。一般に、タッチパネル２４としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態２では、いずれの方式のタッチパネルであっても適用可能である。
【００７２】
通信部２５は、所定の無線通信規格に従って、外部の機器と無線通信を行って画像データを含む画像ファイルを送信または受信する。ここで、所定の無線通信規格は、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｎ等である。なお、本実施の形態２では、いずれの無線通信規格であっても適用可能である。また、通信部２５は、ネットワークを介して外部の機器と画像ファイルやコンテンツデータ等の各種情報を双方向に通信を行うための通信デバイスを用いて構成される。通信デバイスは、他の機器との間で電波信号を送受信するアンテナと、アンテナが受信した信号を復調処理するとともに、送信する信号を変調処理する送受信回路等で構成される。また、通信部２５は、撮像装置２の起動時において、その存在を報知する識別情報（機器ＩＤ）を含む通信信号を定期的に送信する。なお、通信部２５は、撮像装置２の外部から装着されるメモリカード等の記録媒体に設けられていてもよい。さらに、通信部２５は、ホットシューを介して撮像装置２に装着されるアクセサリに設けられていてもよい。
【００７３】
制御部２６は、撮像装置２を構成する各部に対応する指示がデータの転送等を行って撮像装置２の動作を統括的に制御する。制御部２６は、ＣＰＵ等を用いて構成される。
【００７４】
ここで、制御部２６の詳細な構成について説明する。制御部２６は、画像処理部２６１と、動き判定部２６２と、画像合成部２６３と、撮像制御部２６４と、表示制御部２６５と、を有する。
【００７５】
画像処理部２６１は、撮像素子２１から入力される画像データに対して、各種の画像処理を行って仮記録部２２または記録媒体１４へ出力する。
【００７６】
動き判定部２６２は、撮像装置２の動きを判定する。具体的には、動き判定部２６２は、加速度検出部２３から入力される加速度に基づいて、撮像装置２が移動しているか否かを判定する。たとえば、動き判定部２６２は、撮像装置２がユーザによってパンニング操作やチルト操作が行われた場合、加速度検出部２３から入力される加速度の変化に基づいて、撮像装置１が水平方向または垂直方向に移動しているか否かを判定する。なお、本実施の形態２では、動き判定部２６２が判定部として機能する。
【００７７】
画像合成部２６３は、動き判定部２６２によって撮像装置２の視野領域が変化した判定された場合、撮像装置２の視野領域の変化方向に沿って撮像素子２１が生成した複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する。たとえば、画像合成部２６３は、時間的に前後する２つの画像の左右端部同士が重なりを有する２つの画像データを合成して合成画像データを生成する。
【００７８】
撮像制御部２６４は、入力部１５からレリーズ信号が入力された場合、撮像装置２における撮影動作を開始する制御を行う。
【００７９】
表示制御部２６５は、画像データに対応する画像を表示部１２に表示させる。具体的には、表示制御部２６５は、画像処理部２６１が画像処理を施した画像データに対応するライブビュー画像または画像合成部２６３が生成した合成画像データに対応する合成画像を表示部１２に表示させる。
【００８０】
以上の構成を有する撮像装置２が実行する処理について説明する。図１０は、撮像装置２が実行する処理の概要を示すフローチャートである。
【００８１】
図１０に示すように、まず、撮像装置２が撮影モードに設定されている場合（ステップＳ２０１：Ｙｅｓ）について説明する。この場合、撮像制御部２６４は、撮像素子２１に撮像を実行させる（ステップＳ２０２）。
【００８２】
続いて、撮像装置２がパンニング撮影モードに設定されている場合（ステップＳ２０３：Ｙｅｓ）、撮像装置２は、後述するステップＳ２０４へ移行する。この場合、撮像制御部２６４は、撮像素子２１のフレームレートを高速フレームレート（たとえば３０ｆｐｓ）から低速フレームレート（たとえば１５ｆｐｓ）に変更するようにしてもよい。これに対して、撮像装置２がパンニング撮影モードに設定されていない場合（ステップＳ２０３：Ｎｏ）、撮像装置２は、後述するステップＳ２２８へ移行する。
【００８３】
ステップＳ２０４において、動き判定部２６２は、加速度検出部２３から入力される加速度情報に基づいて、撮像装置２の視野領域が水平方向へ移動したか否かを判定する。動き判定部２６２が撮像装置２の視野領域が水平方向へ移動したと判定した場合（ステップＳ２０４：Ｙｅｓ）、撮像装置２は、後述するステップＳ２０５へ移行する。これに対して、動き判定部２６２が撮像装置２の視野領域が水平方向へ移動していないと判定した場合（ステップＳ２０４：Ｎｏ）、撮像装置２は、後述するステップＳ２２３へ移行する。
【００８４】
ステップＳ２０５において、動き判定部２６２は、撮像装置２の移動によって撮像素子２１が生成する画像データに対応する画像の移動方向に対する画像の変化量が１／３以上であるか否かを判定する。具体的には、動き判定部２６２は、撮像装置２が移動する直前に、撮像素子２１が生成した直前の画像データに対応する画像と、撮像素子２１が生成した最新の画像データに対応する画像とを比較し、この２つの画像同士の変化量が１／３以上であるか否かを判定する。動き判定部２６２が撮像装置２の移動によって撮像素子２１が生成する画像データに対応する画像の移動方向に対する画像の変化量が１／３以上であると判定した場合（ステップＳ２０５：Ｙｅｓ）、撮像装置２は、後述するステップＳ２０６へ移行する。これに対して、動き判定部２６２が撮像装置２の移動によって撮像素子２１が生成する画像データに対応する画像の移動方向に対する画像の変化量が１／３以上でないと判定した場合（ステップＳ２０５：Ｎｏ）、撮像装置２は、後述するステップＳ２２１へ移行する。
【００８５】
ステップＳ２０６において、仮記録部２２に記録された直前の画像データに対応する直前画像の移動方向の端部と、撮像素子２１が生成した最新の画像データに対応する最新画像の移動方向と反対をなす反対端部とが合成可能である場合（ステップＳ２０６：Ｙｅｓ）において、仮記録部２２に画像合成部２６３によって生成された合成画像データがあるとき（ステップＳ２０７：Ｙｅｓ）、撮像装置２は、後述するステップＳ２０９へ移行する。
【００８６】
ステップＳ２０６において、仮記録部２２に記録された直前の画像データに対応する直前画像の移動方向の端部と、撮像素子２１が生成した最新の画像データに対応する最新画像の移動方向と反対をなす反対端部とが合成可能である場合（ステップＳ２０６：Ｙｅｓ）において、仮記録部２２に画像合成部２６３によって生成された合成画像データがないとき（ステップＳ２０７：Ｎｏ）、撮像装置２は、ステップＳ２０８へ移行する。
【００８７】
ステップＳ２０８およびステップＳ２０９は、図２のステップＳ１０５およびステップＳ１０６にそれぞれ対応する。
【００８８】
ステップＳ２０８またはステップＳ２０９の後、表示制御部２６５は、画像合成部２６３が生成した合成画像データに対応する合成画像を表示部１２に表示させる（ステップＳ２１０）。具体的には、図１１に示すように、表示制御部２６５は、表示部１２がライブビュー画像ＬＶ31を表示した後に、画像合成部２６３が生成した合成画像データに対応する合成画像Ｃ31を表示させる（図１１（Ａ）→図１１（Ｂ））。この場合、表示制御部２６５は、合成画像Ｃ31が表示部１２の表示領域内で表示されるように縮小またはアスペクト比を変更して表示部１２に表示させる。このとき、表示制御部２６５は、撮像装置２の移動方向に関する情報を表示部１２に表示させる。具体的には、図１１（Ｂ）に示すように、表示制御部２６５は、撮像装置２の移動方向に関する情報として矢印のアイコンａ２を表示部１２に表示させる。また、表示制御部２６５は、表示部１２が合成画像Ｃ31を表示した後に、画像合成部２６３が生成した合成画像データに対応する合成画像Ｃ32を表示させる（図１１（Ｂ）→図１１（Ｃ））。
【００８９】
これにより、ユーザは、動画撮影を再生して確認する際に、撮像装置２の移動方向を直感的に把握することができる。さらに、ユーザは、動画撮影を再生して視聴する際に、撮像装置２の移動によって視野領域が変更された場合であっても、画像が撮像装置２の移動方向に沿って徐々に表示されるので（たとえば図１１（Ａ）→図１１（Ｂ）→図１１（Ｃ））、撮像装置２の視野領域が唐突に変化することなく、雑多な被写体が表示されないので、快適に視聴することができる。さらに、ユーザは、撮像装置２の移動によって視野領域が変更された場合であっても、画像が撮像装置２の移動方向に沿って徐々に表示されるので、目や脳の判断が追いつくので、目がちらつくことなく、快適に視認することができる。
【００９０】
ステップＳ２１１〜ステップＳ２２０は、上述した図２のステップＳ１０８〜ステップＳ１１７にそれぞれ対応する。
【００９１】
ステップＳ２０６において、仮記録部２２に記録された直前の画像データに対応する画像の移動方向の端部と、撮像素子２１が生成した最新の画像データに対応する画像の移動方向と反対をなす反対端部とが合成可能でない場合（ステップＳ２０６：Ｎｏ）、撮像装置２は、ステップＳ２２１へ移行する。
【００９２】
続いて、表示制御部２６５は、画像合成部２６３が画像合成を生成できない旨の警告を表示部１２に表示させる（ステップＳ２２１）。たとえば、表示制御部２６５は、表示部１２が表示するライブビュー画像上に、合成不可の文字や図形等を重畳して表示部１２に表示させる。
【００９３】
その後、表示制御部２６５は、撮像素子２１が生成した画像データに対応するライブビュー画像を表示部１２に表示させる（ステップＳ２２２）。たとえば、図１１（Ｄ）に示すように、表示制御部２６５は、撮像素子２１が生成した画像データに対応するライブビュー画像ＬＶ32を表示部１２に表示させる。
【００９４】
ステップＳ２２３〜ステップＳ２２６は、上述した図２のステップＳ１１８〜ステップＳ１２１にそれぞれ対応する。
【００９５】
ステップ２２７において、表示制御部２６５は、画像合成部２６３が生成した合成画像データに対応する合成画像を表示部１２に表示させる。たとえば、図７または図８で説明した合成画像を表示部１２に表示させる。ステップＳ２２７の後、撮像装置２は、ステップＳ２１１へ移行する。
【００９６】
ステップＳ２２８〜ステップＳ２３０は、上述した図２のステップＳ１２３〜ステップＳ１２５にそれぞれ対応する。
【００９７】
以上説明した本発明の実施の形態２によれば、動き判定部２６２によって撮像装置２の視野領域が変化したと判定された場合、表示制御部２６５が画像合成部２６３によって生成された合成画像データに対応する合成画像をライブビュー画像として表示部１２に表示させるので、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
【００９８】
また、本発明の実施の形態２によれば、表示制御部２６５が画像合成部２６３によって生成された合成画像データに対応する合成画像を縮小して表示部１２に表示させるので、画像合成部２６３が生成する合成画像の表示領域が大きくなった場合であっても、全画面で表示させることができる。
【００９９】
また、本発明の実施の形態２によれば、動き判定部２６２によって撮像装置２の視野領域が変化していないと判定されるまで、画像合成部２６３が撮像装置２の視野領域が変化する変化方向に沿って複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成するので、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができるとともに、動画撮影時のパンニング方向を直感的に把握することができる。
【０１００】
また、本発明の実施の形態２によれば、画像合成部２６３が合成画像データを生成した後に、動き判定部２６２によって撮像装置２の視野領域が変化していないと判定された場合、画像合成部２６３が合成画像に合成した直前の画像データに対応する直前画像の領域に、撮像素子２１が生成した最新の画像データに対応する最新画像を合成して合成画像を更新する。これにより、動画撮影時に視野領域が急激に変化した場合であっても、画像が途切れることなく、撮像装置２の視野領域に対応する画像が更新して表示部１２で表示されるので、所望の被写体をリアルタイムで視認することができる。
【０１０１】
また、本発明の実施の形態２によれば、動き判定部２６２によって撮像装置２の視野領域が変化していないと判定された場合、表示制御部２６５は、時間の経過とともに、画像合成部２６３によって合成された複数の画像データの中で時間的に古い画像データに対応する合成画像の領域を徐々に削除して表示部１２に表示させるので、撮像装置２の移動が止まったとしても、滑らかに画像の表示領域を縮小しながら遷移させることができ、ユーザに快適に視認させることができる。
【０１０２】
（実施の形態２の変形例１）
次に、本発明の実施の形態２の変形例１について説明する。上述した実施の形態２では、撮像装置２を略水平方向へ移動させるパンニング操作を説明していたが、撮像装置２を略垂直方向へ移動させるチルト操作であっても適用することができる。
【０１０３】
図１２は、撮像装置２がユーザによってチルト操作される際の状況を示す図である。図１３は、図１２に示す状況下で撮像装置２の視野領域の変化を模式的に示す図である。図１３は、従来の撮像装置によって撮影された動画を再生した際に表示される動画の一例を示す図である。図１４は、撮像装置２が動画撮影を行った際に表示される動画の一例を示す図である。なお、図１２においては、被写体Ｏ1から被写体Ｏ3を撮影する場合において、撮像装置２を略垂直方向（矢印ｂ１）に移動させる際の状況を示す。また、図１３において、枠Ｗ1〜枠Ｗ4が撮像装置２の視野領域（撮影領域）を示す。
【０１０４】
図１２に示すように、ユーザが撮像装置２を矢印ｂ１方向に移動させた場合、撮像装置２の視野領域が徐々に変化する（図１３の枠Ｗ1〜Ｗ4を参照）。この場合において、従来の撮像装置では、図１４に示すように、時系列に沿ってライブビュー画像ＬＶ41〜ＬＶ44が表示部１２で順次表示される（図１４（Ａ）→図１４（Ｂ）→図１４（Ｃ）→図１４（Ｄ））。このため、従来の撮像装置で動画撮影を行った場合、撮像装置の視野領域が急激に変化することで、動画を見ているユーザは、不快感を生じさせる。
【０１０５】
これに対して、図１５に示すように、表示部１２がライブビュー画像ＬＶ51を表示している場合において、ユーザによって撮像装置２が略垂直方向に移動させられたとき、画像合成部２６３は、時間的に前後する画像を順次合成して合成画像データを生成し、表示制御部２６５は、画像合成部２６３が順次生成した合成画像データに対応する合成画像Ｃ51、合成画像Ｃ52を時系列に沿って表示部１２に表示させる（図１５（Ａ）→図１５（Ｂ）→図１５（Ｃ））。この際、表示制御部２６５は、画像合成部２６３が生成した合成画像データに対応する合成画像が表示部１２の表示領域内で表示されるように表示部１２に表示させる。その後、表示制御部２６５は、撮像装置２の移動が停止した場合、撮像素子２１によって生成された画像データに対応するライブビュー画像ＬＶ52を表示部１２に表示させる（図１５（Ｃ）→図１５（Ｄ））。
【０１０６】
以上説明した本発明の実施の形態２の変形例１によれば、動き判定部２６２によって撮像装置２の視野領域が変化したと判定された場合、表示制御部２６５が画像合成部２６３によって生成された合成画像データに対応する合成画像をライブビュー画像として表示部１２に表示させるので、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
【０１０７】
なお、本発明の実施の形態２の変形例１では、画像合成部２６３が合成画像データに、撮像素子２１によって生成された最新の画像データを合成した合成画像データを生成していたが、たとえば画像合成部２６３は、時間的に前後する２つの画像データを合成した合成画像データを生成し、表示制御部２６５が画像合成部２６３によって時間的に前後する２つの画像データを合成して生成された合成画像データに対応する合成画像を表示部１２に表示させてもよい。
【０１０８】
具体的には、図１６に示すように、表示制御部２６５は、画像合成部２６３によって時間的に前後する２つの画像データを合成して生成された合成画像データに対応する合成画像Ｃ61および合成画像Ｃ62を表示部１２に順次表示させる（図１６（Ａ）→図１６（Ｂ）→図１６（Ｃ））。その後、表示制御部２６５は、撮像装置２の移動が停止した場合、撮像素子２１によって生成された画像データに対応するライブビュー画像ＬＶ52を表示部１２に表示させる（図１６（Ｃ）→図１６（Ｄ））。これにより、動画撮影時に撮像装置２の視野領域が変化した場合であっても、ユーザに快適に視聴させることができる。さらに、表示部１２で表示される合成画像が撮像装置２の移動方向に沿って表示されるので、ユーザは直感的に撮像装置２の移動方向を把握することができる。
【０１０９】
また、本発明の実施の形態２の変形例１では、動き判定部２６２の判定結果に応じて画像合成部２６３が合成画像データを生成していたが、たとえば、表示制御部２６５は、動き判定部２６２によって撮像装置２が移動していると判定された場合、撮像素子２１によって連続的に生成された画像データに対応する画像を縮小して順次表示部１２に表示させてもよい。
【０１１０】
具体的には、図１７に示すように、表示制御部２６５は、撮像素子２１によって生成された画像データに対応する画像ＬＶ61、画像ＬＶ62、画像ＬＶ63および画像ＬＶ64を表示部１２に一覧表示させる。この場合、表示制御部２６５は、動き判定部２６２の判定結果に応じた撮像装置２の移動方向に画像を時系列に沿って表示部１２に表示させる。これにより、動画撮影時に撮像装置２の視野領域が変化した場合であっても、ユーザに快適に視聴させることができる。
【０１１１】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態２に係る撮像装置２と構成が異なるうえ、実行する処理が異なる。具体的には、具体的には、上述した実施の形態２では、撮影時に撮影者が撮像装置２に対してパンニング操作した際に、移動方向に応じて順次合成された合成画像をライブビュー画像として表示していたが、本実施の形態３では、画像データの再生時に、撮影時の撮影状況を反映させた合成画像を表示する。このため、以下においては、本実施の形態３に係る撮像装置の構成を説明後、本実施の形態３に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態２に係る撮像装置２と同一の構成には同一の符号を付して説明を省略する。
【０１１２】
図１８は、本実施の形態３に係る撮像装置の機能構成を示すブロック図である。図１８に示す撮像装置３は、表示部１２と、記録媒体１４と、入力部１５と、レンズ部２０と、撮像素子２１と、仮記録部２２と、加速度検出部２３と、タッチパネル２４と、通信部２５と、制御部３１と、を備える。
【０１１３】
制御部３１は、撮像装置３を構成する各部に対応する指示がデータの転送等を行って撮像装置３の動作を統括的に制御する。制御部３１は、ＣＰＵ等を用いて構成される。
【０１１４】
ここで、制御部３１の詳細な構成について説明する。制御部３１は、画像処理部２６１と、画像合成部２６３と、撮像制御部２６４と、表示制御部２６５と、動き判定部３１１と、を有する。
【０１１５】
動き判定部３１１は、時間的に前後する２つの画像データに対応する２つの画像の変化率に基づいて、撮像装置３の視野領域が変化したか否かを判定する。
【０１１６】
以上の構成を有する撮像装置３が実行する処理について説明する。図１９は、撮像装置３が実行する処理の概要を示すフローチャートである。
【０１１７】
図１９に示すように、まず、撮像装置３が撮影モードに設定されている場合（ステップＳ３０１：Ｙｅｓ）について説明する。この場合、撮像制御部２６４は、撮像素子２１に撮像を実行させる（ステップＳ３０２）。
【０１１８】
続いて、撮像装置３が動画撮影中である場合（ステップＳ３０３：Ｙｅｓ）において、撮像装置３がパンニング操作されたとき（ステップＳ３０４：Ｙｅｓ）、撮像制御部２６４は、撮像素子２１が生成した画像データをリサイズ処理して記録媒体１４の動画ファイルに記録する（ステップＳ３０５）。この場合、撮像制御部２６４は、撮像素子２１が生成した画像データが動画データにおいてキーフレームに該当するとき、データ量をリサイズするリサイズ処理を行う一方、撮像素子２１が生成した画像データが動画データにおいてキーフレームに該当しないとき、時間圧縮（フレーム間圧縮）や空間圧縮（フレーム内圧縮）等によってデータ量をリサイズするリサイズ処理を行う。
【０１１９】
ステップＳ３０３において、撮像装置３が動画撮影中である場合（ステップＳ３０３：Ｙｅｓ）において、撮像装置３がパンニング操作されていないとき（ステップＳ３０４：Ｎｏ）、撮像制御部２６４は、撮像素子２１が生成した画像データを、時間圧縮や空間圧縮等のフレーム間圧縮を施して記録媒体１４の動画ファイルに記録する（ステップＳ３０６）。
【０１２０】
ステップＳ３０５またはステップＳ３０６の後、入力部１５から動画撮影の終了を指示する指示信号が入力された場合（ステップＳ３０７：Ｙｅｓ）、撮像装置３は、記録媒体１４に生成された動画ファイルに対して所定の処理を行う動画終了処理を実行する（ステップＳ３０８）。
【０１２１】
続いて、入力部１５を介して撮像装置３の電源がオフになった場合（ステップＳ３０９：Ｙｅｓ）、撮像装置３は、本処理を終了する。これに対して、入力部１５を介して撮像装置３の電源がオフになっていない場合（ステップＳ３０９：Ｎｏ）、撮像装置３は、ステップＳ３０１へ移行する。
【０１２２】
ステップＳ３０７において、入力部１５を介して動画撮影を終了する指示信号が入力されていない場合（ステップＳ３０７：Ｎｏ）、撮像装置３は、ステップＳ３０１へ戻る。
【０１２３】
ステップＳ３０３において、撮像装置３が動画撮影中でない場合（ステップＳ３０３：Ｎｏ）において、入力部１５から動画撮影の開始を指示する指示信号が入力されたとき（ステップＳ３１０：Ｙｅｓ）、撮像装置３は、動画撮影を開始する（ステップＳ３１１）。この場合、撮像制御部２６４は、撮像素子２１が順次生成する画像データを時系列に沿って記録するための動画ファイルを記録媒体１４に生成する。ステップＳ３１１の後、撮像装置３は、ステップＳ３０９へ移行する。
【０１２４】
ステップＳ３０３において、撮像装置３が動画撮影中でない場合（ステップＳ３０３：Ｎｏ）において、入力部１５から動画撮影の開始を指示する指示信号が入力されてないとき（ステップＳ３１０：Ｎｏ）、表示制御部２６５は、撮像素子２１が生成した画像データに対応するライブビュー画像を表示部１２に表示させる（ステップＳ３１２）。ステップＳ３１１の後、撮像装置３は、ステップＳ３０９へ移行する。
【０１２５】
ステップＳ３０１において、撮像装置３が撮影モードに設定されていない場合（ステップＳ３０１：Ｎｏ）について説明する。この場合において、撮像装置３が再生モードに設定されているとき（ステップＳ３１３：Ｙｅｓ）、撮像装置３は、記録媒体１４に記録されたファイルを再生する再生表示処理を実行する（ステップＳ３１４）。なお、再生表示処理の詳細は後述する。ステップＳ３１４の後、撮像装置３は、ステップＳ３０９へ移行する。
【０１２６】
ステップＳ３０１において、撮像装置３が撮影モードに設定されていない場合（ステップＳ３０１：Ｎｏ）について説明する。この場合において、撮像装置３が再生モードに設定されていないとき（ステップＳ３１３：Ｎｏ）、撮像装置３は、ステップＳ３０９へ移行する。
【０１２７】
次に、図１９のステップＳ３１３で説明した再生表示処理の詳細について説明する。図２０は、再生表示処理の概要を示すフローチャートである。
【０１２８】
図２０に示すように、まず、表示制御部２６５は、記録媒体１４に記録された複数の画像ファイルを表示部１２に一覧表示させる（ステップＳ４０１）。
【０１２９】
続いて、入力部１５を介して表示部１２が表示する画像ファイルの一覧から画像ファイルが選択された場合（ステップＳ４０２：Ｙｅｓ）、撮像装置３は、後述するステップＳ４０３へ移行する。これに対して、入力部１５を介して表示部１２が表示する画像ファイルの一覧から画像ファイルが選択されていない場合（ステップＳ４０２：Ｎｏ）、撮像装置３は、図１９のメインルーチンへ戻る。
【０１３０】
ステップＳ４０３において、選択された画像ファイルが動画データの場合（ステップＳ４０３：Ｙｅｓ）、表示制御部２６５は、動画データに対応する動画を再生して表示部１２に表示させる（ステップＳ４０４）。
【０１３１】
続いて、動き判定部３１１は、時間的に前後する２つの画像データに基づいて、撮影時に撮像装置３の視野領域が変化したか否かを判定する（ステップＳ４０５）。具体的には、動き判定部３１１は、時間的に前後する２つの画像データ、たとえばキーフレームや時間的に隣接する２つの画像データそれぞれに対応する２つの画像内において、被写体が変化した場合、または背景が所定の変化量を超えた場合、撮影時に撮像装置３の視野領域が変化したと判定する。動き判定部３１１が撮影時に撮像装置３の視野領域が変化したと判定した場合（ステップＳ４０５：Ｙｅｓ）、撮像装置３は、後述するステップＳ４０６へ移行する。これに対して、動き判定部３１１が撮影時に撮像装置３の視野領域が変化していないと判定した場合（ステップＳ４０５：Ｎｏ）、撮像装置３は、後述するステップＳ４１２へ移行する。
【０１３２】
ステップＳ４０６において、動き判定部３１１は、時間的に前後する画像データに基づいて、撮影時における撮像装置３の移動方向に対する画像の変化量が１／４以上であるか否かを判定する。動き判定部３１１が撮影時における撮像装置３の移動方向に対する画像の変化量が１／４以上であると判定した場合（ステップ４０６：Ｙｅｓ）、撮像装置３は、後述するステップＳ４０７へ移行する。これに対して、動き判定部３１１が撮影時における撮像装置３の移動方向に対する画像の変化量が１／４以上でないと判定した場合（ステップＳ４０６：Ｎｏ）、撮像装置３は、後述するステップＳ４１２へ移行する。
【０１３３】
ステップＳ４０７〜ステップＳ４１１は、上述した図１０のステップＳ２０６〜ステップＳ２１０にそれぞれ対応する。
【０１３４】
ステップＳ４１２において、動画データが終了した場合（ステップＳ４１２：Ｙｅｓ）において、入力部１５を介して再生画像の切換操作が行われた場合（ステップＳ４１３：Ｙｅｓ）、撮像装置３は、ステップＳ４０１へ戻る。
【０１３５】
ステップＳ４１２において、動画データが終了した場合（ステップＳ４１２：Ｙｅｓ）において、入力部１５を介して再生画像の切換操作が行われていない場合（ステップＳ４１３：Ｎｏ）、撮像装置３は、図１９メインルーチンへ戻る。
【０１３６】
ステップＳ４１２において、動画データが終了していない場合（ステップＳ４１２：Ｎｏ）、撮像装置３は、ステップＳ４０４へ戻る。
【０１３７】
ステップＳ４０３において、記録媒体１４に記録された複数のファイルのうち選択されたファイルが動画データでない場合（ステップＳ４０３：Ｎｏ）、撮像装置３は、ステップＳ４１４へ移行する。
【０１３８】
続いて、表示制御部２６５は、画像データに対応する画像を表示部１２に再生表示させる（ステップＳ４１４）。ステップＳ４１４の後、撮像装置３は、ステップＳ４１３へ移行する。
【０１３９】
以上説明した本発明の実施の形態３によれば、動き判定部３１１によって撮像装置３の視野領域が変化したと判定された場合、表示制御部２６５が画像合成部２６３によって生成された合成画像データに対応する合成画像をライブビュー画像として表示部１２に表示させるので、動画撮影時に視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる。
【０１４０】
以上説明した本発明では、合成を前提としたが、迅速な動きに間に合わせる高速合成技術を、必ずしも前提とする必要はない。つまり、パノラマ合成のように、厳密に繋げ合わせる必要は必ずしもなく、撮影するときにパンニングの様子が分かったり、見た目の不快感がなければ独自の効果があったと考えられ、たとえば、縮小して並べるだけでも、本発明は十分、他の技術に比べ、優れた効果があると考えられる。図１５（Ｃ）の３つの画像は、重なり無く並べられても良く、あるいは、重なりを作っても、上書きするだけで合成されなくとも良い。
【０１４１】
（その他の実施の形態）
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、たとえデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器、動画撮影時に視野領域を変更可能な顕微鏡および内視鏡にも適用することができる。
【０１４２】
また、本発明に係る撮像装置は、表示部の構成は必須でなく、撮像部が生成した画像データを外部の機器、例えば携帯電話や電子機器へ無線送信することによって表示させてもよい。具体的には、図２１に示すように、撮像システム１００は、無線通信または有線通信により互いの情報の送受信を可能に接続する撮像装置２ａおよび携帯機器４と、撮像装置２と携帯機器４に接続するためのアタッチメント５とを備え、撮像装置２ａが生成した画像データを携帯機器４の表示部（表示モニタ）で表示すればよい。もちろん、撮像装置２ａは、画像データのみを携帯機器４へ送信してもよく、この場合、携帯機器４に、本発明の画像処理装置を設け、この画像処理装置が撮像装置２ａから送信された時間的に連続する複数の画像データに対して画像処理を行うことによって携帯機器４の表示部に表示させてもよい。
【０１４３】
また、本発明に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１４４】
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１４５】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１４６】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０１４７】
１，２，３  撮像装置
１０  撮像部
１１  動き検出部
１２  表示部
１３  記録部
１４  記録媒体
１５  入力部
１６，２６，３１  制御部
２０  レンズ部
２１  撮像素子
２２  仮記録部
２３  加速度検出部
２４  タッチパネル
２５  通信部
１６１，２６１  画像処理部
１６２，２６２，３１１  動き判定部
１６３，２６３  画像合成部
１６４，２６４  撮像制御部
１６５，２６５  表示制御部
【要約】
動画撮影時にパンニング操作やチルト操作によって視野領域が急激に変化した場合であっても、ユーザに快適に視認させることができる画像処理装置、表示装置、画像処理方法およびプログラムを提供する。撮像装置１は、動き判定部１６２によって撮像部１０の視野領域が変化したと判定された場合、撮像部の視野領域が変化する変化方向に沿って前記複数の画像データに対応する複数の画像それぞれの撮像領域で重複する領域を重ねて合成した合成画像データを生成する画像合成部１６３と、画像合成部１６３が生成した合成画像データに対応する合成画像を表示部１２に表示させる表示制御部１６４と、を備える。【図１】
0005731087.tif 000002
【図２】
0005731087.tif 000003
【図３】
0005731087.tif 000004
【図４】
0005731087.tif 000005
【図５】
0005731087.tif 000006
【図６】
0005731087.tif 000007
【図７】
0005731087.tif 000008
【図８】
0005731087.tif 000009
【図９】
0005731087.tif 000010
【図１０】
0005731087.tif 000011
【図１１】
0005731087.tif 000012
【図１２】
0005731087.tif 000013
【図１３】
0005731087.tif 000014
【図１４】
0005731087.tif 000015
【図１５】
0005731087.tif 000016
【図１６】
0005731087.tif 000017
【図１７】
0005731087.tif 000018
【図１８】
0005731087.tif 000019
【図１９】
0005731087.tif 000020
【図２０】
0005731087.tif 000021
【図２１】
0005731087.tif 000022