(57)【特許請求の範囲】
【請求項１】
連続する画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出するベクトル検出部と、
前記ベクトルの大きさに基づいて、前記第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するサイズ変更部と、
前記第１のフレーム全体の少なくとも一部を構成する第１のテクスチャに対して、前記ベクトルに対応する分の位置をずらして、前記大きさを変更した第２のテクスチャを上書きするテクスチャ上書部と
を備え、
前記サイズ変更部は、前記ベクトルの大きさが所定の閾値より小さい場合には、前記第２のテクスチャの大きさを変更しない
画像接合装置。
【請求項２】
連続する画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出するベクトル検出部と、
前記ベクトルの大きさに基づいて、前記第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するサイズ変更部と、
前記第１のフレーム全体の少なくとも一部を構成する第１のテクスチャに対して、前記ベクトルに対応する分の位置をずらして、前記大きさを変更した第２のテクスチャを上書きするテクスチャ上書部と
を備え、
前記サイズ変更部は、
前記ベクトルの水平成分に基づいて、前記第２のテクスチャの垂直方向の大きさを変更し、
前記ベクトルの垂直成分に基づいて、前記第２のテクスチャの水平方向の大きさを変更する
画像接合装置。
【請求項３】
前記サイズ変更部は、前記第２のテクスチャの端部を削除することによって、前記第２のテクスチャの大きさを変更する
請求項１又は請求項２に記載の画像接合装置。
【請求項４】
連続する画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出するステップと、
前記ベクトルの大きさに基づいて、前記第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するステップと、
前記第１のフレーム全体の少なくとも一部を構成する第１のテクスチャに対して、前記ベクトルに対応する分の位置をずらして、前記大きさを変更した第２のテクスチャを上書きするステップと
を有し、
前記第２のテクスチャの大きさを変更するステップでは、
前記ベクトルの大きさが所定の閾値より小さい場合には、前記第２のテクスチャの大きさを変更しない
画像接合方法。
【請求項５】
連続する画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出するステップと、
前記ベクトルの大きさに基づいて、前記第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するステップと、
前記第１のフレーム全体の少なくとも一部を構成する第１のテクスチャに対して、前記ベクトルに対応する分の位置をずらして、前記大きさを変更した第２のテクスチャを上書きするステップと
を有し、
前記第２のテクスチャの大きさを変更するステップでは、
前記ベクトルの水平成分に基づいて、前記第２のテクスチャの垂直方向の大きさを変更し、
前記ベクトルの垂直成分に基づいて、前記第２のテクスチャの水平方向の大きさを変更する
画像接合方法。
【請求項６】
連続する画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出するステップと、
前記ベクトルの大きさに基づいて、前記第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するステップと、
前記第１のフレーム全体の少なくとも一部を構成する第１のテクスチャに対して、前記ベクトルに対応する分の位置をずらして、前記大きさを変更した第２のテクスチャを上書きするステップと
をコンピュータに実行させる画像接合プログラムであって、
前記第２のテクスチャの大きさを変更するステップでは、
前記ベクトルの水平成分に基づいて、前記第２のテクスチャの垂直方向の大きさを変更し、
前記ベクトルの垂直成分に基づいて、前記第２のテクスチャの水平方向の大きさを変更する
画像接合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像接合装置、画像接合方法及び画像接合プログラムに関する。
【背景技術】
【０００２】
近年、長大な被写体をカバーするようにカメラを手で移動させて動画を撮影し、この動画を構成する複数のフレームを接合して静止画のパノラマ画像を作成する手法が実用化され、例えば、デジタルカメラの付加機能などの形で一般化している。特許文献１には、カメラをパン又はチルトして被写体を撮像しパノラマ画像を作成するときに、第２フィールド以降はそれぞれ前のフィールドに対して、画像の動きベクトルに対応する位置だけずらして上書きすることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０６−２８４３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景技術に係るパノラマ画像では、パノラマ画像の高さは接合する各フレームの高さなどに固定されていた。このため、カメラの動きの緩急がパノラマ画像に反映されることもなく、特徴のないパノラマ画像となっていた。
本発明は、このような問題を解決するためになされたものであり、カメラの動きの緩急や軌跡を反映した、特徴あるパノラマ画像を作成することができる画像接合装置、画像接合方法及び画像接合プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
そこで、本発明は、連続する画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出するベクトル検出部と、ベクトルの大きさに基づいて、第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するサイズ変更部と、第１のフレーム全体の少なくとも一部を構成する第１のテクスチャに対して、ベクトルに対応する分の位置をずらして、大きさを変更した第２のテクスチャを上書きするテクスチャ上書部とを備えた画像接合装置を提供する。
【０００６】
また、本発明は、連続する画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出するステップと、ベクトルの大きさに基づいて、第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するステップと、第１のフレーム全体の少なくとも一部を構成する第１のテクスチャに対して、ベクトルに対応する分の位置をずらして、大きさを変更した第２のテクスチャを上書きするステップとを有する画像接合方法を提供する。
【０００７】
また、本発明は、連続する画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出するステップと、ベクトルの大きさに基づいて、第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するステップと、第１のフレーム全体の少なくとも一部を構成する第１のテクスチャに対して、ベクトルに対応する分の位置をずらして、大きさを変更した第２のテクスチャを上書きするステップとをコンピュータに実行させる画像接合プログラムを提供する。
【発明の効果】
【０００８】
本発明により、カメラの動きの緩急や軌跡を反映した、特徴あるパノラマ画像を作成する画像接合装置、画像接合方法及び画像接合プログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係る画像接合装置１の概略構成を示すブロック図である。
【図２】実施の形態に係るサイズ変更部３０の動作を説明するための図である。
【図３】実施の形態に係るサイズ変更部３０の動作を説明するための別の図である。
【図４】実施の形態に係るテクスチャ上書部４０の動作を説明するための図である。
【図５】実施の形態に係る完成したパノラマ画像を示す図である。
【図６】実施の形態に係る画像接合方法の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本実施の形態に係る画像接合装置及び画像接合方法について説明する。
まず、本実施の形態に係る画像接合装置について説明する。
図１は、本実施の形態に係る画像接合装置１の概略構成を示すブロック図である。
画像接合装置１は、画像入力部１０、ベクトル検出部２０、サイズ変更部３０、テクスチャ上書部４０、画像出力部５０などを備える。
【００１１】
画像入力部１０は、ユーザがカメラを手で自由に２次元的に移動させて、又はカメラレンズの中心軸に対して直交する軸まわりでカメラを回転させて撮影した動画像を入力する。
ベクトル検出部２０は、画像入力部１０が入力した動画像を構成する第１のフレームと第２のフレームとの間の大域動きベクトルを検出する。大域動きベクトルの検出には公知のマッチング評価方法を用いる。また、第１のフレーム及び第２のフレームは連続するフレームであっても良いし、間に所定数のフレームを有する２つのフレームであっても良い。つまり、第１のフレームと第２のフレームは、画像が撮影された順序に基づき、先に撮影された画像を第１のフレーム、後に撮影された画像を第２のフレームとすればよく、第１のフレームと第２のフレームは連続せずに複数のフレームおきに設定してもよい。
【００１２】
サイズ変更部３０は、ベクトル検出部２０が検出した大域動きベクトルの大きさに基づいて、第２のフレームを構成するテクスチャの大きさを変更する。サイズ変更部３０が大きさを変更するテクスチャは、第２のフレーム全体を構成するものであっても良いし、第２のフレームの一部を構成するものであっても良い。ここで、一例としてテクスチャとは、フレームの画像の一部を指し、一例としてフレーム内の一部の画像を切り出した円形の画像、三角形やその他多角形の画像を指す。本実施の形態では、テクスチャは第２のフレーム全体を構成するものとし、テクスチャの大きさ、すなわち、フレーム全体の大きさは高さＨ，幅Ｗであるとする。
【００１３】
このとき、サイズ変更部３０は、検出した大域動きベクトルＶ＝（ｕ，ｖ）の水平成分ｕの大きさに基づいて、テクスチャの垂直方向の大きさ、すなわち、高さＨを変更する。
図２は、本実施の形態に係るサイズ変更部３０の動作を説明するための図である。
本実施の形態では、サイズ変更部３０は、水平成分ｕとフレームの水平方向の大きさ、すなわち、フレームの幅Ｗとを比較する。そして、変更規則に従い、ｕが例えばＷ／４以上、Ｗ／２未満のときに、テクスチャの高さＨを０．８Ｈに変更する。変更規則は次の通りである。
【００１４】
０≦ｕ＜Ｗ／４  のとき        Ｈ→Ｈ  （変更なし）
Ｗ／４≦ｕ＜Ｗ／２  のとき    Ｈ→０．８Ｈ
Ｗ／２≦ｕ  のとき            Ｈ→０．７Ｈ
【００１５】
この変更規則によれば、水平成分ｕが大きいとき、つまり、水平方向の動きが大きいときはテクスチャの高さが小さくなるという結果を得る。
なお、サイズ変更部３０は、テクスチャの高さを変更するときに、テクスチャの垂直方向の端部、すなわち、テクスチャの上端、下端を削除する。
【００１６】
また、サイズ変更部３０は、検出した大域動きベクトルＶ＝（ｕ，ｖ）の垂直成分ｖの大きさに基づいて、テクスチャの水平方向の大きさ、すなわち、幅Ｗを変更する。
図３は、本実施の形態に係るサイズ変更部３０の動作を説明するための別の図である。
本実施の形態では、サイズ変更部３０は、垂直成分ｖとフレームの垂直方向の大きさ、すなわち、フレームの高さＨとを比較する。そして、変更規則に従い、ｖが例えばＨ／２以上のときに、テクスチャの幅Ｗを０．７Ｗに変更する。変更規則は次の通りである。
【００１７】
０≦ｖ＜Ｈ／４  のとき        Ｗ→Ｗ  （変更なし）
Ｈ／４≦ｖ＜Ｈ／２  のとき    Ｗ→０．８Ｗ
Ｈ／２≦ｖ  のとき            Ｗ→０．７Ｗ
この変更規則によると、垂直成分ｖが大きいとき、つまり、垂直方向の動きが大きいときはテクスチャの幅が小さくなるという結果を得る。
なお、サイズ変更部３０は、テクスチャの幅を変更するときに、テクスチャの水平方向の端部、すなわち、テクスチャの左端、右端を削除する。
【００１８】
テクスチャ上書部４０は、第１のフレームに対して、ベクトル検出部２０が検出した大域動きベクトルの分だけ位置をずらして、サイズ変更部３０が大きさを変更した第２のフレームに係るテクスチャを上書きする。
図４は、本実施の形態に係るテクスチャ上書部４０の動作を説明するための図である。
ここでは、第１のフレーム１００と第２のフレーム（図示せず）との間の大域動きベクトルＶ＝（ｕ，ｖ）＝（Ｗ／４，Ｈ／２）であったとする。
【００１９】
テクスチャ上書部４０は、第１のフレーム１００に対して、大域動きベクトルの分、つまり、（Ｗ／４，Ｈ／２）の分だけ水平及び垂直方向に移動させ、高さ０．８Ｈ、幅０．７Ｗの第２のフレームに係るテクスチャ２１０を上書きする。
このとき、第２のフレームに係るテクスチャ２１０は、縮小して大きさを変更したのではなく、上下左右の端部を削除して大きさを変更しているので、第１のフレーム１００に係るテクスチャと第２のフレームに係るテクスチャとは重なりあって一致する。つまり、第１のフレーム１００に係るテクスチャと、第２のフレームに係るテクスチャとは、それぞれの画素間の対応関係にずれを生じさせることなく動きベクトルを用いた接合をすることができる。
【００２０】
テクスチャ上書部４０は、同様に、第２のフレームに係るテクスチャに対して、ベクトル検出部２０が検出した第２のフレームと第３のフレームとの間の大域動きベクトルの分だけ位置をずらして、サイズ変更部３０が大きさを変更した第３のフレームに係るテクスチャを上書きする。
また、テクスチャ上書部４０は、第４フレーム以降についても同様に動作して、パノラマ画像を完成させる。もちろん、テクスチャ上書部４０は２フレーム以上あればパノラマ画像を作成することができる。
【００２１】
画像出力部５０は、テクスチャ上書部４０が作成したパノラマ画像を外部に出力する。
図５は、本実施の形態に係る完成したパノラマ画像を示す図である。図５は、完成したパノラマ画像が、カメラの動きの緩急や軌跡を反映した、特徴ある画像であることを示すためのもので、水平及び垂直方向の寸法は必ずしも正確なものではない。
１３フレームを用いて作成したパノラマ画像は、カメラの動きが大きいところでテクスチャの高さ又は幅が小さくなっており、まるでカメラで描かれた毛筆画のようになっていることが分かる。
【００２２】
なお、画像接合装置１が実現する各構成要素は、例えば、コンピュータである画像接合装置１が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現できる。より具体的には、画像接合装置１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い
【００２３】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００２４】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２５】
次に本実施の形態に係る画像接合方法について説明する。
図６は、本実施の形態に係る画像接合方法の処理手順を示すフローチャートである。
画像接合装置１は処理を開始すると、画像入力部１０が、ユーザがカメラを手で自由に２次元的に移動させて、又はカメラレンズの中心軸に対して直交する軸まわりでカメラを回転させて撮影した動画像の各フレームを入力する（ステップＳ１０）。
【００２６】
次に、ベクトル検出部２０が、入力した動画像を構成する各フレームの内の第ｍのフレームと第ｎのフレーム（ｍとｎとは連続又は不連続）との間の大域動きベクトルＶ＝（ｕ，ｖ）を検出する（ステップＳ２０）。
次に、サイズ変更部３０が、大域動きベクトルＶの各成分ｕ，ｖの大きさに基づいて、第ｎのフレームの少なくとも一部を構成するテクスチャの大きさ（Ｈ，Ｗ）を変更する（ステップＳ３０）。なお、テクスチャの大きさの変更は、上述したように、大域動きベクトルＶの水平成分又は垂直成分と所定の変更規則とに基づいて、テクスチャの上端及び下端、またはテクスチャの左端及び右端を削除する。
【００２７】
次に、テクスチャ上書部４０は、第ｍのフレームに対して、大域動きベクトルＶの分だけ位置をずらして、大きさを変更した第ｎのフレームに係るテクスチャを上書きする（ステップＳ４０）。
最後に、テクスチャ上書部４０は、第ｎのフレームが最終フレームであるか判断する（ステップＳ５０）。第ｎのフレームが最終フレームであったとき（ステップＳ５０のＹｅｓ）は、画像出力部５０が上書きした画像、そなわち、パノラマ画像を出力して処理を終了する。
また、第ｎのフレームが最終フレームでなかったとき（ステップＳ５０のＮｏ）は、ステップＳ２０に戻って、ベクトル検出部２０が、入力した動画像を構成する各フレームの内の第ｎのフレームと第ｏのフレーム（ｎとｏとは連続又は不連続）との間の大域動きベクトルＶを検出し、処理を継続する。
【００２８】
なお、本実施の形態に係る画像接合装置又は画像接合方法では、大域動きベクトルＶの各成分ｕ，ｖの大きさと変更後のテクスチャの大きさとを比例の関係にする、又は、閾値により必要以上の大きさの変更を制限する、などの設定を行っても良い。また、これらの設定は、完成したパノラマ画像を参照しながら調整しても良い。
【００２９】
上述したように、本実施の形態に係る画像接合装置１は、連続する画像を構成する第１のフレーム１００と第２のフレームとの間の大域動きベクトルＶを検出するベクトル検出部２０と、ベクトルＶの大きさに基づいて、第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するサイズ変更部３０と、第１のフレーム１００全体の少なくとも一部を構成する第１のテクスチャ１００に対して、ベクトルＶに対応する分の位置をずらして、大きさを変更した第２のテクスチャ２１０を上書きするテクスチャ上書部４０とを備えるものである。
【００３０】
このような構成により、カメラの動きの緩急や軌跡を反映した、特徴あるパノラマ画像を作成することができる。
また、本実施の形態に係る画像接合装置１は、サイズ変更部３０が、ベクトルＶの大きさが所定の閾値より小さい場合には、第２のテクスチャの大きさを変更しないことが好ましい。
また、本実施の形態に係る画像接合装置１は、サイズ変更部３０が、ベクトルＶの水平成分ｕに基づいて、第２のテクスチャの垂直方向の大きさを変更し、ベクトルの垂直成分ｖに基づいて、第２のテクスチャの水平方向の大きさを変更することが好ましい。
また、本実施の形態に係る画像接合装置１は、サイズ変更部３０が、第２のテクスチャの端部を削除することによって、第２のテクスチャの大きさを変更することが好ましい。
【００３１】
また、本実施の形態に係る画像接合方法は、連続する画像を構成する第１のフレーム１００と第２のフレームとの間の大域動きベクトルＶを検出するステップＳ２０と、ベクトルＶの大きさに基づいて、第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するステップＳ３０と、第１のフレーム１００全体の少なくとも一部を構成する第１のテクスチャ１００に対して、ベクトルＶに対応する分の位置をずらして、大きさを変更した第２のテクスチャ２１０を上書きするステップＳ４０とを有するものである。
このような構成により、カメラの動きの緩急や軌跡を反映した、特徴あるパノラマ画像を作成することができる。
【００３２】
また、本実施の形態に係る画像接合プログラムは、連続する画像を構成する第１のフレーム１００と第２のフレームとの間の大域動きベクトルＶを検出するステップＳ２０と、ベクトルＶの大きさに基づいて、第２のフレーム全体の少なくとも一部を構成する第２のテクスチャの大きさを変更するステップＳ３０と、第１のフレーム１００全体の少なくとも一部を構成する第１のテクスチャ１００に対して、ベクトルＶに対応する分の位置をずらして、大きさを変更した第２のテクスチャ２１０を上書きするステップＳ４０とをコンピュータに実行させるものである。
このような構成により、カメラの動きの緩急や軌跡を反映した、特徴あるパノラマ画像を作成することができる。
【符号の説明】
【００３３】
１    画像接合装置
２０    ベクトル検出部
３０    サイズ変更部
４０    テクスチャ上書部
【図１】
0006350357.tif 000002
【図２】
0006350357.tif 000003
【図３】
0006350357.tif 000004
【図４】
0006350357.tif 000005
【図５】
0006350357.tif 000006
【図６】
0006350357.tif 000007