(57)【要約】【課題】一般ユーザが所有するカメラでコマ撮り撮影された一連の複数画像から容易にアニメーション作成を可能にする。【解決手段】撮影装置１は、コマ撮り撮影された一連の複数の画像の中から、着目画像（画像Ａ）を指定し、指定された着目画像と、当該着目画像に隣接する画像フレーム（画像Ｂ）の重なり具合が最大になる場合の画像Ｂに対する画像Ａの移動方向（移動ベクトルＶ）を算出し、算出された移動ベクトルＶによって、画像Ａを平行移動させることにより、画像Ａと画像Ｂの出力位置を揃える。【選択図】図２
2005267005.tif 000002
【特許請求の範囲】
【請求項１】
撮影された一連の複数画像を記録する記録手段と、
前記一連の複数画像の各々について、隣接する２つの画像フレームの重なり具合が最大となる画像位置を判別する判別手段と、
前記判別手段により判別された画像位置に基づいて、前記複数画像の各々の出力位置を揃える処理を行う出力処理手段と、
を備えることを特徴とする画像データ処理装置。
【請求項２】
前記判別手段は、前記隣接する２つの画像フレームの重なり具合が最大となる場合の、一方の画像フレームに対する他方の画像フレームの移動方向を算出することによって、重なり具合が最大となる画像位置を判別し、
前記出力処理手段は、前記算出された移動方向に基づいて、前記複数画像の各々の出力位置を揃えることを特徴とする請求項１に記載の画像データ処理装置。
【請求項３】
前記隣接する２つの画像フレームの一方を複数の部分領域に分割し、前記分割された複数の部分領域の各々について、他方の画像フレームの各領域との類似度を算出する第１の算出手段を備え、
前記判別手段は、前記一方の画像フレームの各部分領域について前記第１の算出手段により算出された類似度に基づいて、重なり具合が最大となる画像位置を判別することを特徴とする請求項２に記載の画像データ処理装置。
【請求項４】
前記他方の画像フレームの各領域のうち、前記第１の算出手段により算出された類似度が最大になる領域の画像位置を算出する第２の算出手段と、
前記第２の算出手段により算出された画像位置と、前記一方の画像フレームの部分領域の画像位置との位置関係を示すベクトルを算出する第３の算出手段と、を備え、
前記判別手段は、前記複数の部分領域の各々について前記第３の算出手段により算出されたベクトルに基づいて、重なり具合が最大となる画像位置を判別することを特徴とする請求項３に記載の画像データ処理装置。
【請求項５】
前記複数の部分領域の各々について前記第３の算出手段により算出されたベクトルの平均を算出する第４の算出手段を備え、
前記判別手段は、前記第４の算出手段により算出された平均ベクトルに基づいて、重なり具合が最大となる画像位置を判別することを特徴とする請求項４に記載の画像データ処理装置。
【請求項６】
前記第１の算出手段は、前記類似度として正規化相関を算出することを特徴とする請求項３〜５の何れか一項に記載の画像データ処理装置。
【請求項７】
コンピュータに、
撮影された一連の複数画像を記録する記録機能と、
前記一連の複数画像の各々について、隣接する２つの画像フレームの重なり具合が最大となる画像位置を判別する判別機能と、
前記判別機能により判別された画像位置に基づいて、前記複数画像の各々の出力位置を揃える処理を行う出力処理機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、セル画によるアニメーション、クレイアニメーション等を作成する際、被写体を少しずつ動かしながらカメラの位置と方向を固定して撮影が行われ、撮影により得られた一連の複数画像からアニメーションが作成されていた（例えば、特許文献１参照。）。
【特許文献１】特開２００３−２９９００９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来は、アニメーション作成のために、上述のようにカメラの位置と方向を固定して被写体の撮影が行われていたため、撮影専用のスタジオを用意したり、三脚を用意したりして慎重に撮影しなければならなかった。従って、一般ユーザが手持ちのデジタルカメラで被写体をコマ撮りした場合、カメラ位置や撮影方向のずれにより、撮影された画像からアニメーションを作成するのは困難であった。
【０００４】
本発明の課題は、一般ユーザが所有するカメラでコマ撮り撮影された一連の複数画像から容易にアニメーション作成を可能にすることである。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、請求項１に記載の発明は、撮影された一連の複数画像を記録する記録手段と、前記一連の複数画像の各々について、隣接する２つの画像フレームの重なり具合が最大となる画像位置を判別する判別手段と、前記判別手段により判別された画像位置に基づいて、前記複数画像の各々の出力位置を揃える処理を行う出力処理手段と、を備えることを特徴としている。
【０００６】
請求項７に記載のプログラムは、コンピュータに、撮影された一連の複数画像を記録する記録機能と、前記一連の複数画像の各々について、隣接する２つの画像フレームの重なり具合が最大となる画像位置を判別する判別機能と、前記判別機能により判別された画像位置に基づいて、前記複数画像の各々の出力位置を揃える処理を行う出力処理機能と、を実現させる。
【発明の効果】
【０００７】
請求項１及び７に記載の発明によれば、撮影された一連の複数画像の各々について、隣接する２つの画像フレームの重なり具合が最大となるように、各画像の出力位置を揃える処理を行うことにより、撮影の過程で、カメラ位置や撮影方向に多少のずれがあっても、容易にアニメーションを作成することができる。
【０００８】
請求項２に記載の発明によれば、隣接する一方の画像フレームに対する他方の画像フレームの移動方向を算出することにより、算出された移動方向に従って容易に各画像の出力位置を揃えることができる。
【０００９】
請求項３に記載の発明によれば、隣接する２つの画像フレームの一方を複数の部分領域に分割し、各部分領域毎に、他方の画像フレームの各領域との類似度を算出することにより、重なり具合が最大となる画像位置を容易に判別することが可能になる。
【００１０】
請求項４に記載の発明によれば、他方の画像フレームの各領域のうち、一方の画像フレームの部分領域との類似度が最大になる領域の画像位置と、当該部分領域の画像位置との位置関係を示すベクトルを算出することにより、この算出されたベクトルによって、重なり具合が最大となる画像位置を一層容易に判別することが可能になる。
【００１１】
請求項５に記載の発明によれば、類似度が最大になる領域の画像位置に基づいて算出されたベクトルの平均を算出することにより、この算出された平均ベクトルによって、重なり具合が最大となる画像位置を一層容易に判別することが可能になる。
【００１２】
請求項６に記載の発明によれば、類似度として正規化相関を用いることにより、簡易な計算で類似度を求めることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図を参照して、本発明の実施形態について詳細に説明する。
まず、本実施形態における構成について説明する。
【００１４】
図１に、本発明の画像データ処理装置を適用した実施形態に係る撮影装置１の主要部構成を示す。撮影装置１は、コマ撮り撮影が可能なデジタルカメラであり、図１に示すように、撮影レンズ２、ＣＣＤ（Charge Coupled Device）３、Ａ／Ｄ変換器４、画像信号処理回路５、表示部６、操作部７、ＲＡＭ（Random Access Memory）８、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）９、メモリーカード１１が装着可能なカード装着部１０、制御部１２により構成されている。
【００１５】
撮影レンズ２は、その光路上において被写体の光学像を結像する。ＣＣＤ３は、撮影レンズ２を介して入射された撮影画像を電気信号（アナログ信号）に光電変換する。Ａ／Ｄ変換器４は、ＣＣＤ３で得られた電気信号（アナログ信号）をデジタル信号に変換する。
【００１６】
画像信号処理回路５は、Ａ／Ｄ変換器４から入力された画像データに対して圧縮処理を施す。また、画像信号処理回路５は、メモリーカード１１に記録されている画像データに対して伸長処理を施す。
【００１７】
表示部６は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等の表示画面により構成され、制御部１２から入力された表示制御信号に従って表示処理を行う。
【００１８】
操作部７は、主電源ボタン、撮影動作の開始を指定するためのレリーズボタン、メモリーカード１１に記録された画像の再生を指定するための再生ボタン、表示部６に表示された画像を切り換えるための切換ボタン等により構成され、ボタンの押下による操作信号を制御部１２に出力する。
【００１９】
ＲＡＭ８は、例えば、揮発性の半導体メモリであり、制御部１２により実行される各種制御プログラムをプログラム格納エリアに展開する。また、ＲＡＭ８は、入力データ及び制御処理プログラムの実行時に生じる処理結果等のデータを、ワークエリアに一時的に格納する。
【００２０】
ＥＥＰＲＯＭ９は、電気的に書き換え可能な読み出し専用のメモリで、制御部１２により実行される各種制御プログラム及びこれらのプログラムで利用されるデータ等を記憶する。
【００２１】
カード装着部１０は、装着されたメモリーカード１１を保持するとともに、接続端子（図示略）を介して、メモリーカード１１と制御部１２とを電気的に接続する。
【００２２】
制御部１２は、例えば、ＣＰＵ（Central Processing Unit）等から構成され、ＥＥＰＲＯＭ９に格納された各種制御プログラムに従って、撮影装置１の各部を統括的に制御する。以下、制御部１２による制御動作について説明する。
【００２３】
制御部１２は、アニメーション作成のためにコマ撮り撮影された一連の複数画像の各々について、隣接する２つの画像フレームの重なり具合が最大となる画像位置を判別し、その判別された画像位置に基づいて、一連の複数画像の各々の出力位置を揃える処理を行う（図４及び図５参照）。
【００２４】
以下、図２及び図３を参照して、隣接する２つの画像を重ね合わせる処理の概要を説明する。図２に示すように、隣接する２つの画像を、それぞれ、画像Ａ、画像Ｂとする。この２つの画像を重ね合わせるとは、例えば、画像Ａを着目画像とし、図２（ａ）に示すように、画像Ａを平行移動して、画像Ｂと一致する部分が最大となるようにすることである。
【００２５】
画像Ａと画像Ｂと一致する部分が最大となる（重なり具合が最大となる）ように画像Ａを平行移動させるためには、図２（ｂ）に示すように、この平行移動を表す移動ベクトルＶ＝（ＶＸ、ＶＹ）を算出する必要がある。移動ベクトルＶを求めるためには、画像Ａの一部分をとり、その部分に最も類似する部分を画像Ｂから見つければよい。そのためには、図３に示すように、画像Ａの一部分の領域αを、画像Ｂの同一部分（同一座標）の領域β１及びその周辺領域の画像と比較し、類似度が最大の領域を、画像Ａに対応する領域として探査する。画像Ｂにおいて、画像Ａの領域αと類似度が最大の領域が領域β２であった場合、領域β１の中心点を始点とした領域β２の中心点の方向を示すベクトルＶ２が、画像Ａの領域αに対応する移動ベクトルである。画像Ａの各部分について、このような移動ベクトルを求め、得られた複数の移動ベクトルから、分布の集中しているベクトル（又は移動ベクトルの平均）を算出し、その算出されたベクトルが、画像Ａと画像Ｂの重なり具合を最大にさせる移動ベクトルとなる。移動ベクトルの算出方法は、後に、図５の重ね合わせ処理において詳細に説明する。
【００２６】
次に、本実施形態における動作について説明する。
まず、図４のフローチャートを参照して、本実施形態の撮影装置１により実行される画像データ処理について説明する。
【００２７】
アニメーション作成のためにコマ撮り撮影が行われと、撮影により得られた一連の複数画像がメモリーカード１１に記録される。操作部７により、アニメーション作成用の画像データ処理が指示されると、メモリーカード１１に記録された一連の複数画像が読み出され（ステップＳ１）、操作部７の切換ボタンの操作により、読み出された画像が表示部６に切換表示される（ステップＳ２）。
【００２８】
次いで、切換表示された画像の中から、操作部７の操作により着目画像が指定され（ステップＳ３）、指定された着目画像が基準画像として設定される（ステップＳ４）。ステップＳ４では、基準画像のフレーム番号がＲＡＭ８に一時記憶される。
【００２９】
次いで、着目画像の前に画像があるか否かが判定される（ステップＳ５）。ステップＳ５において、着目画像の前に画像があると判定された場合（ステップＳ５；ＹＥＳ）、着目画像の１つ前の画像（前画像）がメモリーカード１１から読み出され（ステップＳ６）、着目画像と前画像に対する重ね合わせ処理（図５参照）が行われる（ステップＳ７）。
【００３０】
ステップＳ７の重ね合わせ処理が終了すると、ステップＳ６で読み出された前画像が最終画像であるか否か、即ち、当該前画像の前に画像があるか否かが判定される（ステップＳ８）。ステップＳ８において、ステップＳ６で読み出された前画像が最終画像でないと判定された場合（ステップＳ８；ＮＯ）、当該前画像が着目画像として設定（指定）され（ステップＳ９）、その着目画像の１つ前の画像がメモリーカード１１から読み出され（ステップＳ６）、重ね合わせ処理が行われる（ステップＳ７）。
【００３１】
ステップＳ８において、ステップＳ６で読み出された前画像が最終画像であると判定された場合（ステップＳ８；ＹＥＳ）、ステップＳ４で設定された基準画像の後に画像があるか否かが判定される（ステップＳ１０）。ステップＳ１０において、基準画像の後に画像がないと判定された場合（ステップＳ１０；ＮＯ）、ステップＳ７の重ね合わせ処理によって出力位置が揃えられた一連の複数画像にファイル名が付与され、１つのファイルとしてメモリーカード１１に保存され（ステップＳ１５）、本画像データ処理が終了する。
【００３２】
ステップＳ１０において、基準画像の後に画像があると判定された場合（ステップＳ１０；ＹＥＳ）、その基準画像が着目画像として設定（指定）され（ステップＳ１１）、その着目画像の１つ後の画像（後画像）がメモリーカード１１から読み出され（ステップＳ１２）、着目画像と後画像に対する重ね合わせ処理（図５参照）が行われる（ステップＳ１３）。
【００３３】
ステップＳ１３の重ね合わせ処理が終了すると、ステップＳ１２で読み出された後画像が最終画像であるか否か、即ち、当該後画像の後に画像があるか否かが判定される（ステップＳ１４）。ステップＳ１４において、ステップＳ１２で読み出された後画像が最終画像でないと判定された場合（ステップＳ１４；ＮＯ）、当該後画像が着目画像として設定され、その着目画像の１つ後の画像（後画像）がメモリーカード１１から読み出され（ステップＳ１２）、重ね合わせ処理が行われる（ステップＳ１３）。
【００３４】
ステップＳ１４において、ステップＳ１２で読み出された後画像が最終画像であると判定された場合（ステップＳ１４；ＹＥＳ）、ステップＳ１３の重ね合わせ処理によって出力位置が揃えられた一連の複数画像にファイル名が付与され、１つのファイルとしてメモリーカード１１に保存され（ステップＳ１５）、本画像データ処理が終了する。
【００３５】
ステップＳ５において、着目画像の前に画像がないと判定された場合（ステップＳ５；ＮＯ）、着目画像の後に画像があるか否かが判定される（ステップＳ１６）。ステップＳ１６において、着目画像の後に画像がないと判定された場合（ステップＳ１６；ＮＯ）、着目画像の前にも後にも画像が存在しないため、表示部６に、エラーを報知するメッセージが表示され（ステップＳ２０）、本画像データ処理が終了する。
【００３６】
ステップＳ１６において、着目画像の後に画像があると判定された場合（ステップＳ１６；ＹＥＳ）、着目画像の１つ後の画像（後画像）がメモリーカード１１から読み出され（ステップＳ１７）、着目画像と後画像に対する重ね合わせ処理（図５参照）が行われる（ステップＳ１８）。
【００３７】
ステップＳ１８の重ね合わせ処理が終了すると、ステップＳ１７で読み出された後画像が最終画像であるか否か、即ち、当該後画像の後に画像があるか否かが判定される（ステップＳ１９）。ステップＳ１９において、ステップＳ１７で読み出された後画像が最終画像でないと判定された場合（ステップＳ１９；ＮＯ）、当該後画像が着目画像として設定され（ステップＳ２１）、その着目画像の１つ後の画像（後画像）がメモリーカード１１から読み出され（ステップＳ１７）、重ね合わせ処理が行われる（ステップＳ１８）。
【００３８】
ステップＳ１９において、ステップＳ１７で読み出された後画像が最終画像であると判定された場合（ステップＳ１９；ＹＥＳ）、ステップＳ１８の重ね合わせ処理によって出力位置が揃えられた一連の複数画像にファイル名が付与され、１つのファイルとしてメモリーカード１１に保存され（ステップＳ１５）、本画像データ処理が終了する。
【００３９】
次に、図５のフローチャート、図６〜図８を参照して、図４に示した重ね合わせ処理の詳細について説明する。以下では、着目画像を画像Ａとし、着目画像に隣接する画像（前画像又は後画像）を画像Ｂとする。
【００４０】
まず、図６を参照して、画像Ｂとの類似度を調べるための、画像Ａ中の複数の領域について説明する。以下では、画像中の座標をピクセル単位で示す。また、画像Ａと画像Ｂの大きさ（縦、横）は同一であるものとする。画像Ｐ（Ｐ＝Ａ又はＢ）中の点（ｘ、ｙ）を中心として、幅及び高さが２ｄ＋１の領域、即ち、点（ｘ−ｄ、ｙ−ｄ）と点（ｘ＋ｄ、ｙ＋ｄ）を対角線とする正方形領域をＲ（Ｐ、ｘ、ｙ、ｄ）と表記する。例えば、Ｒ（Ａ、３０、３０、１０）は、画像Ａ中の点（２０、２０）と点（４０、４０）を対角線とする２１×２１ピクセルの正方形領域である。
【００４１】
また、Ｒａ＝Ｒ（Ａ、ｘ、ｙ、ｄ）、Ｒｂ＝Ｒ（Ｂ、ｘ'、ｙ'、ｄ）が、それぞれ、画像Ａ、画像Ｂの同じ大きさの矩形領域（正方形領域）のとき、これらの領域間の類似度を以下のように定義する。この矩形領域の大きさをｗ×ｈとすると、当該矩形領域の全てのピクセルのＲＧＢ値を並べたものは、ｗ×ｈ×３次元のベクトルになる。本実施形態では、領域Ｒａ、Ｒｂから定まるこのベクトルの正規化相関Ｃ（Ｒａ、Ｒｂ）を、領域Ｒａ、Ｒｂの類似度とする。
【００４２】
類似度としての正規化相関Ｃを調べるための正方形領域の大きさを（２ｄ＋１）×（２ｄ＋１）とし、この正方形領域を画像Ａから（Ｎｘ＋１）×（Ｎｙ＋１）個とる。図６に示すように、画像Ａ中の各正方形領域の中心のうち、ｘ座標、ｙ座標が最小の座標を（ｘ０、ｙ０）とし、隣接する領域の中心のｘ方向の隔たりをＷｘ、ｙ方向の隔たりをＷｙとする。即ち、画像Ａ中で、類似度を調べる正方形領域Ｒijは、下記の式（１）で表すことができる。
【数１】
2005267005.tif 000003
また、ｘ＝ｘ０＋Ｗｘ×ｉ、ｙ＝ｙ０＋Ｗｙ×ｊとすると、画像Ａ中の類似度を調べる各正方形領域を、Ｒ（Ａ、ｘ、ｙ、ｄ）と表すことができる。ここで、ｉは、領域Ｒijの中心のｘ座標を指定するためのカウンタ値であり、ｊは、領域Ｒijの中心のｙ座標を指定するためのカウンタ値である。
【００４３】
図５のフローチャートに示す重ね合わせ処理では、まず、カウンタ値ｉが０に設定され（ステップＳ３０）、カウンタ値ｊが０に設定される（ステップＳ３１）。次いで、図７に示すように、カウンタ値ｉ、ｊに対応する画像Ａ中の領域Ｒij＝Ｒ（Ａ、ｘ、ｙ、ｄ）に対する画像Ｂ中の近辺領域Ｒ（Ｂ、ｘ'、ｙ'、ｄ）が設定される（ステップＳ３２）。ここで、ｘ−Ｗｄ≦ｘ'≦ｘ＋Ｗｄ、ｙ−Ｗｄ≦ｙ'≦ｙ＋Ｗｄである。Ｗｄは、画像Ｂ中の領域Ｒ（Ｂ、ｘ'、ｙ'、ｄ）を探査する幅である。図７に示すように、ステップＳ３２で設定される画像Ｂ中の近辺領域Ｒ（Ｂ、ｘ'、ｙ'、ｄ）は、画像Ａの領域Ｒij＝Ｒ（Ａ、ｘ、ｙ、ｄ）と同位置の領域Ｒ（Ｂ、ｘ、ｙ、ｄ）及びその周辺領域が含まれ、一辺Ｗｄ×２＋１の正方形の領域内に中心を有する領域である。
【００４４】
次いで、画像Ａ中の領域Ｒ（Ａ、ｘ、ｙ、ｄ）と、画像Ｂ中の領域Ｒ（Ｂ、ｘ'、ｙ'、ｄ）の正規化相関Ｃ（Ｒ（Ａ、ｘ、ｙ、ｄ）、Ｒ（Ｂ、ｘ'、ｙ'、ｄ））が算出され（ステップＳ３３）、正規化相関Ｃが最大となるｘ'、ｙ'が求められる（ステップＳ３４）。このとき、ｘ、ｙの値によっては、Ｒ（Ｂ、ｘ'、ｙ'、ｄ）が、画像Ｂからはみ出してしまう。そのような場合は、Ｃ（Ｒ（Ａ、ｘ、ｙ、ｄ）、Ｒ（Ｂ、ｘ'、ｙ'、ｄ））＝０と定義する。正規化相関Ｃを最大にするｘ'、ｙ'が求められると、画像Ａ中の領域Ｒ（Ａ、ｘ、ｙ、ｄ）に対応する移動ベクトルＶ＝（Ｖｘ、Ｖｙ）＝（ｘ'−ｘ、ｙ'−ｙ）が算出される（ステップＳ３５）。
【００４５】
正規化相関Ｃが最大になったときの値を、ステップＳ３４で求められたｘ'、ｙ'を用いてｃ＝Ｃ（Ｒ（Ａ、ｘ、ｙ、ｄ）、Ｒ（Ｂ、ｘ'、ｙ'、ｄ））とし、任意のｘ、ｙに対して、関数Ｚ（ｘ、ｙ）＝（Ｖｘ、Ｖｙ、ｃ）を定義する。この関数Ｚ（ｘ、ｙ）は、画像Ａ中の領域Ｒ（Ａ、ｘ、ｙ、ｄ）の、画像Ｂ中の対応する領域に対する移動ベクトルと、その対応する領域との正規化相関を表すものである。
【００４６】
次いで、カウンタ値ｉがインクリメントされ（ステップＳ３６）、現在のカウンタ値ｉが、ｘ方向のカウンタ値の最大値Ｎｘより大きいか否かが判定される（ステップＳ３７）。ステップＳ３７において、カウンタ値ｉがＮｘ以下であると判定された場合（ステップＳ３７；ＮＯ）、ステップＳ３２に戻り、画像Ａの領域Ｒij＝Ｒ（Ａ、ｘ、ｙ、ｄ）について、ステップＳ３２〜Ｓ３６の処理が繰り返される。
【００４７】
ステップＳ３７において、カウンタ値ｉがＮｘより大きいと判定された場合（ステップＳ３７；ＹＥＳ）、カウンタ値ｊがインクリメントされ（ステップＳ３８）、現在のカウンタ値ｊが、ｙ方向のカウンタ値の最大値Ｎｙより大きいか否かが判定される（ステップＳ３９）。ステップＳ３９において、カウンタ値ｊがＮｙ以下であると判定された場合（ステップＳ３９；ＮＯ）、ステップＳ３１に戻って、ｘ方向のカウンタ値ｉが再度０に設定され、ステップＳ３２〜Ｓ３８の処理が繰り返される。
【００４８】
ステップＳ３９において、カウンタ値ｊがＮｙより大きいと判定された場合（ステップＳ３９；ＹＥＳ）、即ち、画像Ａ中の全ての領域Ｒijについて、移動ベクトルが算出されると、画像Ａの各領域Ｒij＝Ｒ（Ａ、ｘ０＋Ｗｘ×ｉ、ｙ０＋Ｗｙ×ｊ、ｄ）に対する関数Ｚ（ｘ０＋Ｗｘ×ｉ、ｙ０＋Ｗｙ×ｊ）＝（Ｖｘ、Ｖｙ、ｃ）のうち、正規化相関ｃが所定の閾値以上の移動ベクトルの平均値ｍ（Ｖ）が算出される（ステップＳ４０）。ステップＳ４０で算出された平均値ｍ（Ｖ）が、画像Ａを画像Ｂに重ねるための移動ベクトルとなる。
【００４９】
そして、ステップＳ４０で算出された移動ベクトルｍ（ｖ）によって、画像Ａを平行移動させることにより、画像Ａと画像Ｂの出力位置が揃えられ（ステップＳ４１）、本重ね合わせ処理が終了する。
【００５０】
図８（ａ）に、着目画像としての画像Ａ、画像Ａに隣接する画像Ｂの一例を示す。図８（ｂ）には、画像Ａの各領域Ｒij＝Ｒ（Ａ、ｘ０＋Ｗｘ×ｉ、ｙ０＋Ｗｙ×ｊ、ｄ）について、図５のステップＳ３５で算出された移動ベクトルを示す。図８（ｂ）では、（Ｎｘ＋１）×（Ｎｙ＋１）個の各領域Ｒijの中心座標を小点（格子点）で表し、その小点を始点とした移動ベクトルが示されている。
【００５１】
図９（ａ）は、画像Ａ中の各領域Ｒijについて算出された移動ベクトル及び正規化相関の値をベクトル空間上でプロットしたものである。図９（ａ）において、横軸、縦軸は、それぞれ、移動ベクトルのｘ成分、ｙ成分であり、正規化相関の値（−１〜＋１）に応じて異なる印がプロットされている。例えば、図９（ａ）において、黒丸印は、正規化相関が０．８以上の点であり、×印は、正規化相関が０．５以上０．８未満の点であり、△印は、正規化相関が０．５未満の点である。
【００５２】
図９（ａ）のベクトル空間上にプロットされた各点で示されるベクトル群から、正規化相関が閾値以上（例えば、０．８以上）のベクトルの平均ｍ（Ｖ）が求められると、図９（ｂ）に示すように、この算出された移動ベクトルｍ（Ｖ）を用いて、画像Ａが平行移動されることにより、図８（ａ）に示す画像Ａと画像Ｂの出力位置が揃えられる。なお、算出された移動ベクトルｍ（ｖ）からのベクトル空間上での距離が一定の移動ベクトル（例えば、標準偏差σ以内又は２σ以内の移動ベクトル）の平均値を算出し、この算出された平均移動ベクトルを、画像Ａを画像Ｂに重ねるためのベクトルとしてもよい。
【００５３】
このように、隣接する２つの画像フレーム（画像Ａ及び画像Ｂ）に対する重ね合わせ処理を、コマ撮り撮影で得られた一連の複数画像の各々に対して行うと、図１０に示すように、各画像の出力位置が揃えられ、各画像からの共通の部分（図１０の斜線部分）が切り出される。この切り出された共通部分を、アニメーション作成のための画像として用いることにより、本来動いていない背景部分が概ね固定されたアニメーション用の一連の画像を作成することができる。後は、これら一連の複数画像を、既知の方法で動画（アニメーションＧＩＦや動画ファイル等）に変換すればよい。
【００５４】
以上のように、本実施形態の撮影装置１によれば、コマ撮り撮影された一連の複数画像の各々について、隣接する２つの画像フレームの重なり具合が最大となるように、各画像の出力位置を揃える処理を行うことにより、撮影の過程で、カメラ位置や撮影方向に多少のずれがあっても、容易にアニメーションを作成することができる。
【００５５】
本実施形態の重ね合わせ処理は、様々な撮影画像に対して適用することができる。例えば、建築物の工事の様子を同じアングルで連続して撮影した場合に得られた複数画像に重ね合わせ処理を適用すると、工事経過をアニメーションにすることができる。また、例えば、移動物（例えば、走行中の自動車）を連写撮影した場合に得られた複数画像に重ね合わせ処理を適用すると、被写体（移動物）の位置が変化せず、背景のみが変化する（即ち、連写時の手ぶれが軽減された）連写写真を作成することができる。また、例えば、何らかのコレクションの資料作成時に、様々な対象物（被写体）を特定のケースに入れて撮影し、得られた複数画像中のケース部分を重ね合わせることにより、異なる時刻、異なる場所で撮影された全ての対象物を同一アングルで撮影したような画像を作成することができる。
【００５６】
また、本実施形態の重ね合わせ処理は、アニメーション作成以外にも適用することができる。例えば、通常の画像撮影ではあるが、明るさの関係で長いシャッター時間が必要な場合、短時間のシャッター速度の画像を複数撮影し、得られた複数画像に対して、本実施形態の重ね合わせ処理を適用し、重なった部分の明るさを加えることにより、長時間露光時の簡易な手ぶれを補正することができる。
【００５７】
なお、本実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【００５８】
例えば、上述の実施形態では、撮影装置１でコマ撮り撮影された一連の複数画像の重ね合わせ処理を、撮影装置１内で行う場合を示したが、撮影装置１のメモリーカード１１に記録された一連の複数画像をＰＣ（Personal Computer）に取り込み、ＰＣ側で重ね合わせ処理を行うようにしてもよい。
【００５９】
また、上述の実施形態の重ね合わせ処理では、着目画像中の各領域毎に、隣接画像との類似度（正規化相関）を求めたが、予め、着目画像中から、被写体が動いている部分（背景以外の部分）を指定し、指定された部分を除いた領域において重ね合わせ処理を実行すればよい。また、これとは逆に、予め、着目画像中から、動かない部分（背景部分）を指定し、指定された部分領域において重ね合わせ処理を行うようにしてもよい。このように、予め、重ね合わせ処理を行う領域を決定すると、重ね合わせの精度が高くなる。
【００６０】
また、上述の実施形態では、撮影装置１の光軸の方向が略一定で、撮影装置１と被写体の距離が略一定である場合にコマ撮り撮影されたものとして、隣接する２つの画像の一方を平行移動させて、他方の画像に重ね合わせるようにしたが、撮影装置１の光軸の方向、被写体距離等が変化することを考慮し、着目画像の拡大縮小、回転或いは他の変換を施してから隣接画像との類似度を求め、重ね合わせ処理を行うようにしてもよい。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施形態に係る撮影装置の主要部構成を示すブロック図。
【図２】２枚の画像の重ね合わせ処理を示す概念図。
【図３】移動ベクトルの算出方法を説明するための図。
【図４】本実施形態の撮影装置により実行される画像データ処理を示すフローチャート。
【図５】重ね合わせ処理の詳細を示すフローチャート。
【図６】着目画像中において、類似度（正規化相関）を調べるための各領域を示す図。
【図７】画像Ａ（着目画像）における領域Ｒ（Ａ,ｘ,ｙ,ｄ）と、画像Ａに隣接する画像Ｂにおける近辺領域Ｒ（Ｂ,ｘ',ｙ',ｄ）を示す図。
【図８】隣接する画像Ａ及び画像Ｂを示す図（ａ）と、画像Ａ中の各格子点における移動ベクトルを示す図（ｂ）。
【図９】画像Ａ中の各格子点の類似度（正規化相関）をプロットした図と、移動ベクトルの平均ｍ（Ｖ）を示す図。
【図１０】複数の画像の重ね合わせ処理により切出される共通部分（斜線部分）を示す図。
【符号の説明】
【００６２】
１  撮影装置
２  撮影レンズ
３  ＣＣＤ
４  Ａ／Ｄ変換器
５  画像信号処理回路
６  表示部
７  操作部
８  ＲＡＭ
９  ＥＥＰＲＯＭ
１０  カード装着部
１１  メモリーカード
１２  制御部
【図１】
2005267005.tif 000004
【図２】
2005267005.tif 000005
【図３】
2005267005.tif 000006
【図４】
2005267005.tif 000007
【図５】
2005267005.tif 000008
【図６】
2005267005.tif 000009
【図７】
2005267005.tif 000010
【図８】
2005267005.tif 000011
【図９】
2005267005.tif 000012
【図１０】
2005267005.tif 000013