(57)【要約】【課題】フレーム画像のみに依存したり、フレーム画像の被写体により左右されてしまうことなく、撮影された画像を精度よく結合してパノラマ画像を合成する。【解決手段】ＤＲＡＭから記憶された順序でフレーム画像を選択し（Ｓ２０１）、この選択したフレーム画像の特徴量を算出する（Ｓ２０２）。この算出した特徴量を有するブロックを次フレーム画像Ｘ＋１内にて探索し（Ｓ２０３）、移動ベクトルを算出する（Ｓ２０４）。抽出する部分画像の幅である抽出幅を設定し（Ｓ２０５）、今フレーム画像Ｘにおいて、中心線から前記抽出幅で画像を抽出する（Ｓ２０６）。この抽出した部分画像をこの時点までに合成されているパノラマ合成画像の移動ベクトルとは逆方向の端部、つまり電子カメラの回動方向の端部に結合させて合成する（Ｓ２０７）。【選択図】図４
2008167092.tif 000002
【特許請求の範囲】
【請求項１】
撮像して複数のフレーム画像を順次取得する取得手段と、
この取得手段により順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、
この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、
この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、
この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、
この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段とを備え、
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする画像合成装置。
【請求項２】
前記特徴量算出手段が前記所定領域にて特徴量を算出することが可能であるか否かを判断する判断手段を更に備え、
前記移動ベクトル算出手段は、前記判断手段により、前記特徴量算出手段が前記所定領域にて特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出手段により最後に算出された特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする請求項１記載の画像合成装置。
【請求項３】
撮像して複数のフレーム画像を順次取得する取得手段と、
この取得手段により順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、
この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、
この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、
この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、
この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段と、
前記特徴量算出手段が前記所定領域にて特徴量を算出することが可能であるか否かを判断する判断手段を備え、
前記移動ベクトル算出手段は、前記判断手段により、前記特徴量算出手段が前記所定領域にて特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出手段が最後に算出した特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする画像合成装置。
【請求項４】
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする請求項３記載の画像合成装置。
【請求項５】
前記基準線は、フレーム画像の中心部付近に設定されることを特徴とする請求項１、２又は４記載の画像合成装置。
【請求項６】
前記移動ベクトル算出手段により最初の移動ベクトルが算出されたことを条件として、前記画像合成手段の動作を開始させる開始動作制御手段を備えることを特徴とする請求項１から５にいずれか記載の画像合成装置。
【請求項７】
前記移動ベクトル算出手段により移動ベクトルが最初に算出された移動ベクトルを記憶する記憶手段と、
その後前記移動ベクトル算出手段により算出された移動ベクトルが前記記憶手段に記憶された最初の移動ベクトルとは異なる方向である場合、前記画像合成手段の動作を終了させる終了動作制御手段を備えることを特徴とする請求項１から６にいずれか記載の画像合成装置。
【請求項８】
前記特徴量算出手段が特徴量を算出する所定領域は、フレーム画像における中央部の領域であることを特徴とする請求項１から７にいずか記載の画像合成装置。
【請求項９】
前記特徴量算出手段が特徴量を算出する所定領域は、優先順位に対応して区分された複数の区分領域から構成され、
前記判断手段は、前記優先順位が高い区分領域にて特徴量の算出が可能であるか否かを判断し、
前記特徴量算出手段は、前記判断手段により前記優先順位が高い区分領域にて特徴量の算出が不可能であると判断された場合には、より優先順位の低い区分領域から特徴量を算出することを特徴とする請求項１から７にいずか記載の画像合成装置。
【請求項１０】
前記移動ベクトル積算手段は、前記判断手段により、前記特徴量算出手段が前記いずれの区分領域からも特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出手段により最後に算出された特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする請求項９記載の画像合成装置。
【請求項１１】
前記取得手段は、操作に応答して一定の時間間隔で撮像を実行する撮像手段を備えることを特徴とする請求項１から１０にいずれか記載の画像合成装置。
【請求項１２】
画像合成装置が備えるコンピュータを、
撮像して複数のフレーム画像を順次取得する取得手段と、
この取得手段により順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、
この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、
この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、
この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、
この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段として機能させるとともに、
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする画像合成プログラム。
【請求項１３】
画像合成装置が備えるコンピュータを、
撮像して複数のフレーム画像を順次取得する取得手段と、
この取得手段により順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、
この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、
この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、
この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、
この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段と、
前記特徴量算出手段が前記所定領域にて特徴量を算出することが可能であるか否かを判断する判断手段として機能させるとともに、
前記移動ベクトル算出手段は、前記判断手段により、前記特徴量算出手段が前記所定領域にて特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出手段が最後に算出した特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする画像合成プログラム。
【請求項１４】
撮像して複数のフレーム画像を順次取得する取得ステップと、
この取得ステップにより順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出ステップと、
この特徴量算出ステップにより算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出ステップと、
この移動ベクトル算出ステップにより算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定ステップと、
この設定ステップにより設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出ステップと、
この画像抽出ステップにより抽出された部分画像を順次結合して合成する画像合成ステップとを備え、
前記画像抽出ステップは、前記設定ステップにより設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする画像合成方法。
【請求項１５】
撮像して複数のフレーム画像を順次取得する取得ステップと、
この取得ステップにより順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出ステップと、
この特徴量算出ステップにより算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出ステップと、
この移動ベクトル算出ステップにより算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定ステップと、
この設定ステップにより設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出ステップと、
この画像抽出ステップにより抽出された部分画像を順次結合して合成する画像合成ステップと、
前記特徴量算出ステップが前記所定領域にて特徴量を算出することが可能であるか否かを判断する判断ステップとを含み、
前記移動ベクトル算出ステップは、前記判断ステップにより、前記特徴量算出ステップで前記所定領域にて特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出ステップが最後に算出した特徴量に基づいて、前記算出不可能時間内において前記取得ステップにより最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする画像合成方法。
【請求項１６】
少なくとも時間的に隣接するフレーム画像間で、被写体画像の一部が重複するように撮影された複数のフレーム画像に基づいてパノラマ画像を生成する画像合成方法であって、
フレーム画像の予め設定されている所定の領域が特徴量抽出領域として不適格となる画像であったときに当該フレーム画像をパノラマ合成される画像から省きながら、順次、第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像との間で算出される移動ベクトルに基づいて部分画像を抽出するとともに、前記抽出した各部分画像を結合することでパノラマ画像を生成することを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により順次得られる複数のフレーム画像を結合して合成したパノラマ画像を生成する画像合成装置、画像合成プログラム及び画像合成方法に関する。
【背景技術】
【０００２】
従来、１つの撮影フレームで撮影可能な画角以上の画角を得るために複数の撮影フレームの各画像を合成してパノラマ画像を合成する撮像装置が提案されている。このパノラマ画像を合成するに際しては、撮影した画像の特徴点を抽出してその座標を検出し、次に撮影した隣接する画像の同じ特徴点の座標を検出し、これらの特徴点が一致するように隣接する画像を結合合成してパノラマ画像を得るようにしている（特許文献１参照）。
【特許文献１】特開平１１−２８２１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように従来の撮像装置においては、画像の特徴点を抽出し、この特徴点を隣接する画像で一致させることによりパノラマ画像を得るようにしている。このとき、撮像装置においては、光学系により結像される画像の両側に不可避的な歪みが生ずることから、精度よく特徴点を検出するためには、各フレーム画像において歪みのないフレーム画像の中央部付近において特徴点を検出することが必要となる。
【０００４】
しかし、フレーム画像の中央部付近のみを特徴点抽出領域として設定すると、フレーム画像の中央部付近において被写体から特徴点を抽出することが困難な場合には、隣接する画像を正確に合成したパノラマ画像を得ることも困難となってしまう。すなわち、隣接した一方のフレーム画像の中央部付近に、例えば白の壁や柱等が含まれており特徴点を抽出することが困難な場合には、隣接する画像を正確に合成することが困難となる。
【０００５】
つまり、従来の撮像装置においては、撮像した一方のフレーム画像の構図のみに依存して、パノラマ合成を行うことから、隣接する他の画像を正確に合成することができるか否かが、当該フレーム画像の構図により左右されてしまうこととなる。
【０００６】
本発明は、かかる従来の課題に鑑みなされたものであり、フレーム画像の構図に左右されることなく、撮影された画像を精度よく結合してパノラマ画像を合成することのできる画像合成装置、画像合成プログラム及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために請求項１の発明に係る画像合成装置にあっては、撮像して複数のフレーム画像を順次取得する取得手段と、この取得手段により順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段とを備え、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。
【０００８】
また、請求項２記載の発明に係る画像合成装置にあっては、前記特徴量算出手段が前記所定領域にて特徴量を算出することが可能であるか否かを判断する判断手段を更に備え、前記移動ベクトル算出手段は、前記判断手段により、前記特徴量算出手段が前記所定領域にて特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出手段により最後に算出された特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする。
【０００９】
また、請求項３記載の発明に係る画像合成装置にあっては、撮像して複数のフレーム画像を順次取得する取得手段と、この取得手段により順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段と、前記特徴量算出手段が前記所定領域にて特徴量を算出することが可能であるか否かを判断する判断手段を備え、前記移動ベクトル算出手段は、前記判断手段により、前記特徴量算出手段が前記所定領域にて特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出手段が最後に算出した特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする。
【００１０】
また、請求項４記載の発明に係る画像合成装置にあっては、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。
【００１１】
また、請求項５記載の発明に係る画像合成装置にあっては、前記基準線は、フレーム画像の中心部付近に設定されることを特徴とする。
【００１２】
また、請求項６記載の発明に係る画像合成装置にあっては、前記移動ベクトル算出手段により最初の移動ベクトルが算出されたことを条件として、前記画像合成手段の動作を開始させる開始動作制御手段を備えることを特徴とする。
【００１３】
また、請求項７記載の発明に係る画像合成装置にあっては、前記移動ベクトル算出手段により移動ベクトルが最初に算出された移動ベクトルを記憶する記憶手段と、その後前記移動ベクトル算出手段により算出された移動ベクトルが前記記憶手段に記憶された最初の移動ベクトルとは異なる方向である場合、前記画像合成手段の動作を終了させる終了動作制御手段を備えることを特徴とする。
【００１４】
また、請求項８記載の発明に係る画像合成装置にあっては、前記特徴量算出手段が特徴量を算出する所定領域は、フレーム画像における中央部の領域であることを特徴とする。
【００１５】
また、請求項２記載の発明に係る画像合成装置にあっては、前記特徴量算出手段が特徴量を算出する所定領域は、優先順位に対応して区分された複数の区分領域から構成され、前記判断手段は、前記優先順位が高い区分領域にて特徴量の算出が可能であるか否かを判断し、前記特徴量算出手段は、前記判断手段により前記優先順位が高い区分領域にて特徴量の算出が不可能であると判断された場合には、より優先順位の低い区分領域から特徴量を算出することを特徴とする。
【００１６】
また、請求項１０記載の発明に係る画像合成装置にあっては、前記移動ベクトル積算手段は、前記判断手段により、前記特徴量算出手段が前記いずれの区分領域からも特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出手段により最後に算出された特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする。
【００１７】
また、請求項１１記載の発明に係る画像合成プログラムにあっては、前記取得手段は、操作に応答して一定の時間間隔で撮像を実行する撮像手段を備えることを特徴とする。
【００１８】
また、請求項１２記載の発明に係る画像合成装置にあっては、画像合成装置が備えるコンピュータを、撮像して複数のフレーム画像を順次取得する取得手段と、この取得手段により順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段として機能させるとともに、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。
【００１９】
また、請求項１３記載の発明に係る画像合成プログラムにあっては、画像合成装置が備えるコンピュータを、撮像して複数のフレーム画像を順次取得する取得手段と、この取得手段により順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段と、前記特徴量算出手段が前記所定領域にて特徴量を算出することが可能であるか否かを判断する判断手段として機能させるとともに、前記移動ベクトル算出手段は、前記判断手段により、前記特徴量算出手段が前記所定領域にて特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出手段が最後に算出した特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする。
【００２０】
また、請求項１４記載の発明に係る画像合成方法にあっては、撮像して複数のフレーム画像を順次取得する取得ステップと、この取得ステップにより順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出ステップと、この特徴量算出ステップにより算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出ステップと、この移動ベクトル算出ステップにより算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定ステップと、この設定ステップにより設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出ステップと、この画像抽出ステップにより抽出された部分画像を順次結合して合成する画像合成ステップとを備え、前記画像抽出ステップは、前記設定ステップにより設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。
【００２１】
また、請求項１５記載の発明に係る画像合成方法にあっては、撮像して複数のフレーム画像を順次取得する取得ステップと、この取得ステップにより順次取得される各フレーム画像における所定領域の特徴量を算出する特徴量算出ステップと、この特徴量算出ステップにより算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出ステップと、この移動ベクトル算出ステップにより算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定ステップと、この設定ステップにより設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出ステップと、この画像抽出ステップにより抽出された部分画像を順次結合して合成する画像合成ステップと、前記特徴量算出ステップが前記所定領域にて特徴量を算出することが可能であるか否かを判断する判断ステップとを含み、前記移動ベクトル算出ステップは、前記判断ステップにより、前記特徴量算出ステップで前記所定領域にて特徴量を算出することが不可能であると判断されている算出不可能時間内においては、前記特徴量算出ステップが最後に算出した特徴量に基づいて、前記算出不可能時間内において前記取得ステップにより最後に取得されたフレーム画像の移動ベクトルを算出することを特徴とする。
【００２２】
また、請求項１６記載の発明に係る画像合成方法にあっては、少なくとも時間的に隣接するフレーム画像間で、被写体画像の一部が重複するように撮影された複数のフレーム画像に基づいてパノラマ画像を生成する画像合成方法であって、フレーム画像の予め設定されている所定の領域が特徴量抽出領域として不適格となる画像であったときに当該フレーム画像をパノラマ合成される画像から省きながら、順次、第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像との間で算出される移動ベクトルに基づいて部分画像を抽出するとともに、前記抽出した各部分画像を結合することでパノラマ画像を生成することを特徴とする。
【発明の効果】
【００２３】
請求項１に係る発明によれば、設定した抽出幅の部分画像をフレーム画像における所定の基準線から移動ベクトルに応じた方向に抽出し、この抽出した部分画像を順次結合して合成することから、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【００２４】
また、請求項３に係る発明によれば、所定領域にて特徴量を算出することが可能であると判断されている算出不可能時間内においては、特徴量算出手段により最後に算出された特徴量に基づいて、前記算出不可能時間内において前記取得手段により最後に取得されたフレーム画像の移動ベクトルを算出することから、定領域において特徴量を算出することが不可能なフレーム画像が取得された場合であっても、支障なくパノラマ合成を行うことができる。よって、フレーム画像の構図に左右されてしまうことなく、撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、本発明の各実施の形態に共通する電子カメラ１の概略構成を示すブロック図である。この電子カメラ１は、所定の画角からなるフレーム画像を撮影する機能を有するのみならず、複数のフレーム画像の各画像部分を合成してパノラマ画像を合成するパノラマ撮影機能を備えたものであって、図示しない光学系の光軸上に配置されたＣＣＤ２と、ＤＳＰ／ＣＰＵ３とを有している。ＤＳＰ／ＣＰＵ３は、ＪＰＥＧ方式による画像のデータの圧縮・伸張を含む各種デジタル信号処理機能を有するとともに電子カメラ１の各部を制御するワンチップマイコンである。ＤＳＰ／ＣＰＵ３には、ＣＣＤ２を駆動するＴＧ（Timing Generator）４が接続されており、ＴＧ４には、ＣＣＤ２から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路５が接続されている。ユニット回路５は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＤＳＰ／ＣＰＵ３に送られる。
【００２６】
また、ＤＳＰ／ＣＰＵ３には、表示装置６、キー入力部７、時計部８が接続されるとともに、アドレス・データバス９を介してＤＲＡＭ１０、内蔵フラッシュメモリ１１、カード・インターフェイス１２が接続されている。カード・インターフェイス１２には、図示しないカメラ本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。
【００２７】
ＤＲＡＭ１０は、撮影待機モードの設定時にＣＣＤ２によって撮像され、デジタル化された被写体の画像データを一時保存するバッファであるとともに、ＤＳＰ／ＣＰＵ３のワーキングメモリとしても使用される。ＤＲＡＭ１０に一時保存された画像データは圧縮され、最終的にはメモリ・カード１３に記録される。内蔵フラッシュメモリ１１には、ＤＳＰ／ＣＰＵ３の動作プログラムや各部の制御に使用する各種データが記憶されており、ＤＳＰ／ＣＰＵ３は、前記動作プログラムに従い動作することにより本発明の取得手段、特徴量算出手段、移動ベクトル算出手段、画像抽出手段、画像合成手段、判断手段、移動ベクトル積算手段等として機能する。
【００２８】
表示装置６はカラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時にはメモリ・カード１３から読み出され伸張された記録画像を表示する。キー入力部７は、シャッターキー、電源キー、モード選択キー、十字キー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ３に出力する。時計部８は日付及び時刻をカウントするカレンダー機能と時計機能とを有しており、撮影動作時等に必要に応じて日付データ及び時刻データをＤＳＰ／ＣＰＵ３へ送る。
【００２９】
以上の構成からなる電子カメラ１において、ＤＳＰ／ＣＰＵ３は、前記プログラムに従って、図２に示すフローチャートに示すように処理を実行する。すなわち、ユーザによるキー入力部７における前記モード選択キーの操作により、パノラマ撮影モードが選択されると、撮影処理を実行した後（ステップＳ１）、画像合成処理を実行する（ステップＳ１）。
【００３０】
図３は、前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１０１）、このステップＳ１０１での処理により、表示装置６にはスルー画像が表示される。次に、シャッターキーが押下されたか否かを判断する（ステップＳ１０２）。シャッターキーが押下されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１０３）。
【００３１】
次に、前記シャッターキーの押下が解除されたか否かを判断する（ステップＳ１０４）。シャッターキーの押下が解除されない場合には、所定時間（本実施の形態においていては、１／１６秒）が経過したか否かを判断し（ステップＳ１０５）、所定時間が経過した時点で、ステップＳ１０３からの処理を繰り返す。したがって、前記シャッターキーの押下が解除されない状態においては、所定時間（１／１６秒）間隔でステップＳ１０５からの処理が繰り返されることとなる。
【００３２】
よって、ユーザが繰り返しシャッターキーを操作することなく、シャッターキーの押下を継続すれば、ＤＲＡＭ１０に所定時間をフレームレートとする複数枚分のフレーム画像が記憶させることができる。
【００３３】
そして、ユーザが押下しているシャッターキーを解除するとステップＳ１０４がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザがシャッターキーを押下してから解除するまでに所定時間（１／１６秒）間隔で撮影された複数枚のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。
【００３４】
図４は、前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。
【００３５】
先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２０１）。つまり、フレーム画像を撮影された順に従って選択する。
【００３６】
次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２０２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２０１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定以上であるブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。
【００３７】
次に、この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２０３）。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２０４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。
【００３８】
次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２０５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。
【００３９】
本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。
【００４０】
引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２０６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。
【００４１】
しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２０７）。
【００４２】
引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２０８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２０１からの処理を繰り返す。
【００４３】
このようなパノラマ画像合成を行うことにより、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。その結果、パノラマ合成画像ＸＳを全域に亙って歪みのないものにすることができる。
【００４４】
また、各フレーム画像から基準となる同一の中心線Ｃから移動ベクトルの大きさに応じた抽出幅で抽出すれば、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、時間的に隣接して撮影された画像を精度よく結合してパノラマ画像を合成することができる。
【００４５】
なお、ステップＳ２０７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７に示すように上下にずれた部分画像の結合体となる。
【００４６】
そして、最後−１のフレーム画像までステップＳ２０１〜２０７が実行されることによりステップＳ２０８の判断がＹＥＳとなると、このステップＳ２０８に続くステップＳ２０９において、切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７に示すように、最後のステップＳ２０７の処理までに結合合成されたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥとして、メモリ・カード１３に記録する。
【００４７】
つまり、前述のように、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずることから、パノラマ合成画像ＸＳは図７に示すように上下にずれた部分画像の結合体となる。したがって、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥとして、メモリ・カード１３に記録することにより、周部に凹凸のないパノラマ合成画像ＸＥを記録保存することができる。
【００４８】
なお、本実施の形態においては、フレームの中心点を通る直線である中心線Ｃを基準に合成する部分画像の抽出を行うようにしたが、基準線は中心線Ｃに限ることなく、中心部付近であれば、側部に若干ずれた位置であってもよい。特に、ユーザに電子カメラを回動させる方向を予め定めていて、更に、上述したように、今フレーム画像における特徴量を用いて次フレーム内を探索した移動ベクトルに基づいて今フレーム画像内から部分画像を抽出するような場合には、基準線は、電子カメラの回動方向とは逆方向にずれた位置に予め設定しておくことが好ましい。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出するため、基準線を電子カメラの回動方向とは逆方向にずれた位置に予め設定しておけば、フレーム画像の中心領域を部分画像に含むように抽出することができる。
なお、ユーザに電子カメラを回動させる方向は、ユーザがキー入力部７により予め任意に設定できる構成としていてもよい。
【００４９】
また、本実施の形態においては、今フレーム画像Ｘから合成する部分画像の抽出を行うようにしたが、次フレーム画像Ｘ＋１から前記抽出幅で抽出してもよい。なお、次フレーム画像Ｘ＋１から前記抽出幅で抽出する場合には、次フレーム画像Ｘ＋１の所定の中心線を基準として、次フレーム画像Ｘ＋１から前記抽出幅で画像を抽出するが、このとき、次フレーム画像Ｘ＋１において前記中心線Ｃから、移動ベクトルの方向、即ち、電子カメラ１の回動方向とは逆方向（ここでは左方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。そして、特に、ユーザに電子カメラを回動させる方向を予め定めている場合には、基準線は、電子カメラの回動方向にずれた位置に予め設定しておくことが好ましい。つまり、次フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルの方向（電子カメラ１の回動方向とは逆方向）に部分画像ＸＰを抽出するため、基準線を電子カメラの回動方向にずれた位置に予め設定しておけば、フレーム画像の中心領域を部分画像に含むように抽出することができる。なお、ユーザに電子カメラを回動させる方向は、ユーザがキー入力部７により予め任意に設定できる構成としていてもよい。
【００５０】
（第２の実施の形態）
図８は、本発明の第２の実施の形態において、前記プログラム等とともに内蔵フラッシュメモリ１１に記憶されている優先順位テーブル１１１を示す図である。そして、本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、この優先順位テーブル１１１には、後述する移動ベクトルが左方向である（移動ベクトルに左方向の成分を含む）パノラマ撮影の場合のデータ（Ａ）と、移動ベクトルが右方向である（移動ベクトルに右方向の成分を含む）パノラマ撮影の場合のデータ（Ｂ）とで構成されている。
【００５１】
データ（Ａ）としては、検出予測される移動ベクトルが左方向である場合の、つまり、電子カメラの回動方向が右方向である場合の、今回選択された今フレームＸにおいて特徴量を抽出するための優先順位１〜４となる領域（特徴量抽出領域）が記憶されている。この優先順位１〜４は、中央領域が優先順位１である。また、この中央領域から左に行くに従って優先順位が低下するように設定され、優先順位４の領域は、前記光学系により結像される画像の歪みがあるため、本来は特徴量抽出に用いたくない領域である。
【００５２】
そして、本実施の形態においては、後述するステップＳ３０２で説明するように、優先順位１である中央領域を最優先にして、可能である限り中央領域から特徴量の抽出を行うようにしている。よって、光学系により結像される画像の歪みない部分の画像領域を特徴量算出のための優先的な領域とすることができ、これにより、特徴量の算出を適正に行うことができる。
【００５３】
また、データ（Ｂ）としては、検出予測される移動ベクトルが右方向である場合の、つまり、電子カメラの回動方向が左方向である場合の、今回選択された今フレームＰＸにおいて特徴量を抽出するための優先順位１〜４となる領域（特徴量抽出領域）が記憶されている。この優先順位１〜４は、中央領域が優先順位１であり、この中央領域から右に行くに従って優先順位が低下するように設定され、優先順位４の領域は、前記光学系により結像される画像の歪みがあるため、本来は特徴量抽出に用いたくない領域である。
【００５４】
なお、本実施の形態においては、移動ベクトルが左方向である場合と右方向である場合のデータ（Ａ）（Ｂ）のみを記憶させておくようにしたが、上方向である場合と下方向である場合の同様のデータを記憶させておくようにしてもよい。
【００５５】
図９は、第２の実施の形態における前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、電子カメラの回動方向が左右方向のうち特に右方向である場合について説明する。先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ３０１）。次に、この選択したフレーム画像において、上述の優先順位に従って特徴量を算出する（ステップＳ３０２）。
【００５６】
このステップＳ３の処理においては、優先順位を規定するためのカウンタＮの値に初期値「１」を設定し、前フレームにおける優先順位Ｎ領域で特徴量を算出可能であるか否かを判断する。すなわち、Ｎ＝１であるならば、図８（Ａ）に示したように、今フレーム画像Ｘにおける中央領域である優先順位１領域を、前述したステップＳ２０２での処理と同様に、複数のブロックに区分する。そして、この複数のブロックにおいて各々特徴量の算出を実行した結果に基づき、特徴量を算出することが可能であるか（又は、特徴量が所定以上であるブロックがあるか否か）を判断する。
【００５７】
このとき、今フレーム画像Ｘにおける優先順位１領域に、例えば白色の幅広い柱や壁が撮影されている場合には、当該優先順位１領域内のいずれのブロックでも特徴量を算出することが不可能となる。したがって、この場合には、カウンタＮの値をインクリメントして優先順位２領域に対して同様の処理を行う。また、当該優先順位２領域内のいずれのブロックでも特徴量を算出することが不可能である場合には、順次優先順位３、４領域に対して同様の処理を行う。
【００５８】
したがって、優先順位１領域内のいずれのブロックでも特徴量を算出することが不可能である場合であっても、他の領域を用いて特徴量の算出を行うことができる。
【００５９】
次に、優先順位１〜４のいずれかの領域で所定以上の特徴量が算出できたか否かを判断する（ステップＳ３０３）。算出できた場合には、後述する更新移動ベクトルが記憶されているか否かを判断する（ステップＳ３０３）。記憶されていない場合には、ステップＳ３０５〜Ｓ３１０において、前述した第１の実施の形態におけるステップＳ２０３〜２０８と同様の処理を実行する。
【００６０】
すなわち、ステップＳ３０３で算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを図１０（ロ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ３０５）。つまり、図１０（イ）において今フレーム画像Ｘが「（１）」であり特徴量が「ａ」であるならば、図１０（ロ）の次フレームＸ＋１においてフレーム画像（２）内にて特徴量「ａ」を探索する。
【００６１】
そして、今フレーム画像Ｘ（１）と次フレーム画像Ｘ＋１（２）において、各共通の特徴量ａを有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトル（Ａ）を算出する（ステップＳ３０６）。
【００６２】
次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ３０７）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。
【００６３】
本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。
【００６４】
引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ３０８）。すなわち、図１０（ハ）に示すように、先ずフレームの中心付近を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る基準線Ｌを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記基準線Ｌから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、基準線Ｌを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。
【００６５】
しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ３０９）。
【００６６】
引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像−１まで以上の処理を行ったか否かを判断し（ステップＳ３１０）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ３０１からの処理を繰り返す。
【００６７】
すなわち、図１０（イ）の（１）〜（６）に示すように、優先順位１〜４領域のいずれかに「特徴量の抽出不適格被写体」以外の被写体が撮影されている場合には、ステップＳ３０３の判断がＹＥＳとなり、かつ、ステップＳ３０４の判断がＮＯとなる。したがって、ステップＳ３０１〜Ｓ３１０のループが繰り返されることとなり、ステップＳ２０５での処理により、今フレーム画像（１）〜（６）に対応する図１０（ロ）の次フレーム画像（２）〜（７）内にて特徴量ａ，ｂ，ｃ，ｄ，ｅ，ｆが各々探索されて、ステップＳ２０６での処理により、移動ベクトルＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆが算出される。
【００６８】
そして、ステップＳ３０７及びステップＳ３０８での処理により、図１０（ハ）に示すように、今フレーム画像（１）〜（６）から、各々移動ベクトルＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに応じた抽出幅で基準線Ｌより部分画像ＷＡ，ＷＢ，ＷＣ，ＷＤ，ＷＥ，ＷＦが抽出される。また、ステップＳ３０９での処理により、これら部分画像ＷＡ，ＷＢ，ＷＣ，ＷＤ，ＷＥが結合合成されることとなり、また後述する部分画像ＷＦもこの時点においては結合合成される。
【００６９】
しかし、図１０（イ）の今フレーム画像（７）のように、優先順位１〜４領域の全てに「特徴量の抽出不適格被写体」が撮影されている場合には、優先順位１〜４領域のいずれにおいても所定以上の特徴量の算出ができず、ステップＳ３０３の判断はＮＯとなる。したがって、ステップＳ３０３からステップＳ３１１に進み、最後に算出された特徴量に基づき、次フレーム画像Ｘ＋１（ステップＳ３０１で選択された今フレーム画像Ｘの次のフレーム画像）内を探索する（ステップＳ３１１）。
【００７０】
つまり、最後に算出された特徴量は、図１０（イ）のフレーム画像（６）であることから、このフレーム画像（６）の特徴量ｆに基づき、次フレーム画像Ｘ＋１である図１０（ロ）のフレーム画像（８）内を探索する。そして、前述のステップＳ３０６と同様に、次フレーム画像Ｘ＋１（フレーム画像（８））全体の移動ベクトルを算出する（ステップＳ３０６）。また、この算出した移動ベクトルをＤＲＡＭ１０に更新しつつ記憶し（ステップＳ３１３）、ステップＳ３０１に戻る。したがって、このとき算出された移動ベクトルが図１０（ロ）の（８）に示すように、「Ｇ」であったとすると、ステップＳ３１３での処理により、「移動ベクトルＧ」がＤＲＡＭ１０に記憶されることとなる。
【００７１】
また、再度ステップＳ３０１からの処理が実行されると、該ステップＳ３０１で図１０（イ）のフレーム画像（７）に続くフレーム画像（８）が今フレーム画像Ｘとして選択されることとなる。しかし、このフレーム画像Ｘ（８）も優先順位１〜４領域の全てに「特徴量の抽出不適格被写体」が撮影されていることから、優先順位１〜４領域のいずれにおいても所定以上の特徴量の算出ができず、ステップＳ３０３の判断はＮＯとなる。
【００７２】
したがって、ステップＳ３０３からステップＳ３１１に進み、最後に算出された特徴量に基づき、次フレーム画像Ｘ＋１（ステップＳ３０１で選択された今フレーム画像Ｘの次のフレーム画像）内を探索する（ステップＳ３１１）。このとき、最後に算出された特徴量は、前述と同様に図１０（イ）のフレーム画像（６）からであることから、このフレーム画像（６）の特徴量ｆに基づき、次フレーム画像Ｘ＋１である図１０（ロ）のフレーム画像（９）内を探索する。そして、前述のステップＳ３０６と同様に、次フレーム画像Ｘ＋１（フレーム画像（９））全体の移動ベクトルを算出する（ステップＳ３０６）。また、この算出した移動ベクトルをＤＲＡＭ１０に更新しつつ記憶し（ステップＳ３１３）、ステップＳ３０１に戻る。したがって、このとき算出された移動ベクトルが図１０（ロ）の（９）に示すように、「Ｈ」であったとすると、ステップＳ３１３での処理により、前記「移動ベクトルＧ」に代わって「移動ベクトルＨ」がＤＲＡＭ１０に記憶されることとなる。
【００７３】
また、再度ステップＳ３０１からの処理が実行されると、該ステップＳ３０１で図１０（イ）のフレーム画像（８）に続くフレーム画像（９）が今フレーム画像Ｘとして選択されることとなる。このフレーム画像Ｘ（９）は優先順位４領域において「特徴量ｇ」が算出可能であることから、ステップＳ３０３の判断はＹＥＳとなる。よって、ステップＳ３０３からステップＳ３０４に進み、更新移動ベクトルがあるか否か、つまり前記ステップＳ３１３でＤＲＡＭ１０に記憶された移動ベクトルである、更新移動ベクトルがあるか否かを判断する。
【００７４】
本例においては、ステップＳ３０３の処理が２回行われ、ＤＲＡＭ１０には２回目の更新移動ベクトルＨが記憶されている。したがって、ステップＳ３０４の判断がＹＥＳとなり、ステップＳ３０４からステップＳ３１４に進み、記憶されている更新移動ベクトルＨを読み出す（ステップＳ３１４）。次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ３１５）。この抽出幅の設定は、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から、前記更新移動ベクトルＨの移動方向成分の大きさ（本例の場合、左方向成分の大きさ）に対応する抽出幅Ｗを読み出すことにより行う。
【００７５】
引き続き、最後に部分画像が抽出されたフレーム画像において、基準線Ｌから前記抽出幅で画像を抽出する（ステップＳ３１６）。すなわち、本例においては図１０（ハ）に示すように、最後に部分画像が抽出されたフレーム画像は、部分画像Ｆが抽出されたフレーム画像（６）である。よって、図１０（ニ）に示すように、先ずフレームの中心付近を通る直線であって、前記移動ベクトルと直交する方向の基準線Ｌをフレーム画像（６）上に設定する。そして、フレーム画像（６）において前記基準線Ｌから、移動ベクトルとは逆方向である電子カメラ１の回動方向に前記抽出幅Ｗ分の画像の部分画像ＷＨを抽出する。
【００７６】
しかる後に、この部分画像ＷＨをこの時点までに合成されているパノラマ合成画像の最後に合成された部分画像上に上書き合成する（ステップＳ３１７）。すなわち、前述のように、図１０（イ）のフレーム画像（１）〜（６）の場合には、今フレーム画像（１）〜（６）から、各々移動ベクトルＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに応じた抽出幅で基準線Ｌより部分画像ＷＡ，ＷＢ，ＷＣ，ＷＤ，ＷＥ，ＷＦが抽出されて、ステップＳ３０９での処理により、これら部分画像ＷＡ，ＷＢ，ＷＣ，ＷＤ，ＷＥ，ＷＦが結合合成されている。これら部分画像ＷＡ，ＷＢ，ＷＣ，ＷＤ，ＷＥ，ＷＦからなる合成済画像において、最後に合成された部分画像は部分画像ＷＦである。したがって、部分画像ＷＦに部分画像ＷＨが上書き合成されることにより、図１０（ホ）に示すように、部分画像ＷＥに部分画像ＷＨが結合された状態となる。
【００７７】
しかる後に、ステップＳ３１７からステップＳ３０５に進み、前述したステップＳ３０５以降の処理を実行する。したがって、ステップＳ３０５では、図１０（イ）のフレーム画像（９）の特徴量ｇに基づいて、次フレーム画像Ｘ＋１である図１０（ロ）のフレーム画像（１０）が探索され、ステップＳ３０６でその移動ベクトルＩが算出され、ステップＳ３０７で移動ベクトルに応じた幅Ｗが設定され、ステップＳ３０８で今フレーム画像Ｘである図１０（ロ）のフレーム画像（９）において基準線Ｌから部分画像ＷＩが抽出され、ステップＳ３０９で、端部に部分画像ＷＨを有する合成済画像に部分画像ＷＩが結合合成されることとなる。
【００７８】
また、図１０（イ）の（１０）〜（１４）に示すように、優先順位１〜４領域のいずれかに「特徴量の抽出不適格被写体」以外の被写体が撮影されている場合には、ステップＳ３０３の判断がＹＥＳとなり、かつ、ステップＳ３０４の判断がＮＯとなる。したがって、ステップＳ３０１〜Ｓ３１０のループが繰り返される。
【００７９】
そして、ＤＲＡＭ１０に図１０（イ）に示す１５枚のフレーム画像（１）〜（１５）が記憶されている場合、最後−１であるフレーム画像（１４）がステップＳ３０１で選択されると、ステップＳ３１０の判断がＹＥＳとなる。よって、ステップＳ３１０からステップＳ３１８に進み、前述したステップＳ２０９と同一の処理である切り出し・記憶処理を実行する。これにより、図１０（ホ）に示すように、「ＷＡ−ＷＢ−ＷＣ−ＷＤ−ＷＥ−ＷＨ−ＷＩ−ＷＪ−ＷＫ−ＷＬ−ＷＭ−ＷＮ」の部分画像を合成した最終的に得られるパノラマ画像がメモリ・カード１３に格納されることとなる。
【００８０】
つまり、本実施の形態では、少なくとも時間的に隣接するフレーム画像間で、被写体画像の一部が重複するように撮影された複数のフレーム画像に基づいてパノラマ画像を生成する場合に、フレーム画像の予め設定されている所定の領域が特徴量抽出領域として不適格となる画像であったときに当該フレーム画像をパノラマ合成される画像から省きながら、順次、第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像との間で算出される移動ベクトルに基づいて部分画像を抽出するとともに、前記抽出した各部分画像を結合することでパノラマ画像を生成している。
【００８１】
なお、本実施の形態においては、今フレーム画像Ｘから部分画像を抽出するようにしたが、図１１に示すように、次フレーム画像Ｘ＋１から部分画像を抽出するようにしてもよい。この場合、図１１（ハ）に示すように、各部分画像ＷＡ，ＷＢ，ＷＣ，ＷＤ・・・は、次フレーム画像（２）（３）（４）（５）・・・において、移動ベクトル方向（電子カメラ１の移動方向とは逆方向）に切り出せばよい。
【００８２】
また、本実施の形態においては、部分画像を抽出した直後にこの部分画像を合成済画像に合成するようにしたが、抽出した部分画像を保存しておき、次の特徴量が検出された時点で、保存しておいた部分画像を合成済画像に合成するようにしてもよい。このようにすれば、ステップＳ３１７に示したように、部分画像をこの時点までに合成されているパノラマ合成画像の最後に合成された部分画像上に上書きすることなく、結合合成することにより、パノラマ合成画像を得ることができる。
【００８３】
また、上述の各実施の形態においては、左右方向のパノラマ合成画像を生成するものとして説明したが、上下方向のパノラマ合成画像を生成する場合にも適用できる。
【００８４】
また、各実施の形態においては、図４及び図９のフローチャートに示したように、ＤＲＡＭ１０に記憶された最初のフレーム画像から合成対象として画像合成処理を開始するようにした。しかし、画像合成処理の冒頭において特徴量の算出及び移動ベクトルの算出を実行し、所定以上の移動ベクトルが最初に算出されたことを条件として、ステップＳ２０１以降の処理、あるいはステップＳ３０１からの処理を実行するようにしてもよい。
【００８５】
これにより、ユーザが電子カメラ１を回動させたか否か、つまりユーザがパノラマ撮影を開始する意図を持って電子カメラ１を回動し始めたか検出することができる。よって、ユーザがパノラマ撮影を開始する意図を持って電子カメラ１を回動し始める前の不要な画像を用いてパノラマ画像合成処理等が実行される不都合を未然に防止することができる。
【００８６】
なお、このとき、検出された所定以上の移動ベクトルの方向に基づいて、電子カメラの回動方向が、上下左右方向の何れであるかを検出し、この検出された電子カメラの回動方向に応じたパノラマ合成画像の生成処理を行う構成としてもよい。つまり、例えば、電子カメラの回動方向が左方向または右方向であったときには、左右方向のパノラマ合成画像を生成し、上方向または下方向であったときには、上下方向のパノラマ合成画像を生成する構成としてもよい。また、例えば、電子カメラの回動方向が右方向であると検出されたときには、例えば特徴量の抽出領域の優先順位を上述した図８（Ａ）に設定し、左方向であると検出されたときには、例えば特徴量の抽出領域の優先順位を上述した図８（Ｂ）に設定する構成とすればよい。
【００８７】
また、各実施の形態においては、図４及び図９のフローチャートに示したように、最後−１のフレーム画像を選択した時点で画像合成処理を終了するようした。しかし、前記最初に算出された移動ベクトルを記憶しておき、この移動ベクトルとは異なる方向（例えば、反対方向）の移動ベクトルが検出された時点で、画像合成処理を終了するようにしてもよい。
【００８８】
これにより、前記ステップＳ１０４で説明したシャッターキーの押下を解除せずとも、パノラマ撮影を行うべく回動させた電子カメラ１を当該回動方向とは異なる方向に回動させる簡単な操作により、実質的にパノラマ撮影を終了させることができる。
【００８９】
さらに、各実施の形態においては、撮影処理を実行してＤＲＡＭに複数のフレーム画像を記憶させた後、画像合成処理を実行するようにしたが、撮影処理によりフレーム画像が取得される都度、順次画像合成処理を実行するようにしてもよい。
【図面の簡単な説明】
【００９０】
【図１】本発明の一実施の形態に係る電子カメラのブロック図である。
【図２】本発明の第１及び第２の実施の形態に共通するゼネラルフローチャートである。
【図３】撮影処理の処理手順を示すフローチャートである。
【図４】第１の実施の形態における画像合成処理の処理手順を示すフローチャートである。
【図５】移動ベクトルの算出手順を示す説明図である。
【図６】今フレーム画像から合成する部分画像を抽出する処理と、合成処理の手順を示す説明図である。
【図７】パノラマ合成画像のトリミング領域を示す説明図である。
【図８】優先順位テーブルの記憶内容を示す説明図である。
【図９】第２の実施の形態における画像合成処理の処理手順を示すフローチャートである。
【図１０】同実施の形態における画像合成処理の処理手順を示す説明図である。
【図１１】次フレーム画像から部分画像を抽出する場合の説明図である。
【符号の説明】
【００９１】
１        電子カメラ
２        ＣＣＤ
３        ＤＳＰ／ＣＰＵ
４        ＴＧ
５        ユニット回路
６        表示装置
７        キー入力部
９        データバス
１０      ＤＲＡＭ
１１      内蔵フラッシュメモリ
１１１    優先順位テーブル
１１２    変換テーブル
【図１】
2008167092.tif 000003
【図２】
2008167092.tif 000004
【図３】
2008167092.tif 000005
【図４】
2008167092.tif 000006
【図５】
2008167092.tif 000007
【図６】
2008167092.tif 000008
【図７】
2008167092.tif 000009
【図８】
2008167092.tif 000010
【図９】
2008167092.tif 000011
【図１０】
2008167092.tif 000012
【図１１】
2008167092.tif 000013