(57)【特許請求の範囲】
【請求項１】
連続して撮像される２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置であって、
前記共通部分を合成することにより前記複数の静止画像から１つの合成画像を生成する合成手段と、
前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記２つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記２つの静止画像の両方に跨る少なくとも１つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段と、
前記取得手段によって前記合成画像の複数の領域から取得された複数のフレーム画像を、フレーム間予測を用いて圧縮符号化して、前記合成画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成手段とを備え、
前記取得手段は、前記複数の静止画像のいずれかに対応する領域から前記フレーム画像を取得する場合、対応する静止画像を前記フレーム画像として取得し、
前記生成手段は、前記フレーム画像として取得した静止画像が複数回連続して前記動画像の中で現れるように、前記フレーム画像として取得した静止画像を複数連続して並べて前記動画像を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記合成画像を生成する代わりに、前記２つの静止画像の組合せのそれぞれについて、前記共通部分を合成することにより前記２つの静止画像から部分合成画像を生成し、
前記取得手段は、前記合成画像の代わりに、前記部分合成画像から前記フレーム画像を取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、前記少なくとも１つの領域それぞれについて、前記２つの静止画像のうちの一方の静止画像の位置に近いほど当該一方の静止画像に高い重みを付けて前記２つの静止画像の前記共通部分を合成することにより前記部分合成画像を生成し、
前記取得手段は、前記少なくとも１つの領域それぞれについて、対応する部分合成画像から前記フレーム画像を取得する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得手段は、前記複数の静止画像それぞれの位置に対応する全ての領域から前記フレーム画像を取得し、
前記生成手段は、
前記複数の静止画像それぞれに対応する全ての領域から取得された前記フレーム画像が、対応する前記複数の静止画像の撮像順に並び、且つ、
前記２つの静止画像の組合せのそれぞれについて、前記少なくとも１つの領域から取得された前記フレーム画像が、先に撮像された静止画像に対応する領域から後に撮像された静止画像に対応する領域へ一方向にスクロール表示されるように並ぶ
ように前記動画像を生成する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記生成手段は、前記複数の静止画像それぞれのＥｘｉｆ情報に含まれる撮像時刻を利用して、前記複数の静止画像それぞれに対応する全ての領域から取得された前記フレーム画像が、対応する前記複数の静止画像の撮像順に並ぶように前記動画像を生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記取得手段は、前記２つの静止画像の組合せのそれぞれについて、撮像時刻の間隔が長いほど、前記共通部分を挟んで前記２つの静止画像の両方に跨る多数の領域から前記フレーム画像を取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記取得手段によって取得されたフレーム画像が前記複数の静止画像のいずれかに対応する場合、当該フレーム画像を画面内符号化することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記フレーム画像として取得した静止画像を画面内符号化し、残りのフレーム画像を画面間予測符号化又は双方向予測符号化して、前記動画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項９】
連続して撮像される２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置の制御方法であって、
前記画像処理装置の合成手段が、前記共通部分を合成することにより前記複数の静止画像から１つの合成画像を生成する合成工程と、
前記画像処理装置の取得手段が、前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記２つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記２つの静止画像の両方に跨る少なくとも１つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得工程と、
前記画像処理装置の生成手段が、前記取得工程で前記合成画像の複数の領域から取得された複数のフレーム画像を、フレーム間予測を用いて圧縮符号化して、前記合成画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成工程とを備え、
前記取得工程では、前記複数の静止画像のいずれかに対応する領域から前記フレーム画像を取得する場合、対応する静止画像を前記フレーム画像として取得し、
前記生成工程では、前記フレーム画像として取得した静止画像が複数回連続して前記動画像の中で現れるように、前記フレーム画像として取得した静止画像を複数連続して並べて前記動画像を生成する
ことを特徴とする制御方法。
【請求項１０】
連続して撮像される２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置のコンピュータを、
前記共通部分を合成することにより前記複数の静止画像から１つの合成画像を生成する合成手段、
前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記２つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記２つの静止画像の両方に跨る少なくとも１つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段、
前記取得手段によって前記合成画像の複数の領域から取得された複数のフレーム画像を、フレーム間予測を用いて圧縮符号化して、前記合成画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成手段、
として機能させるためのプログラムであって、
前記取得手段は、前記複数の静止画像のいずれかに対応する領域から前記フレーム画像を取得する場合、対応する静止画像を前記フレーム画像として取得し、
前記生成手段は、前記フレーム画像として取得した静止画像が複数回連続して前記動画像の中で現れるように、前記フレーム画像として取得した静止画像を複数連続して並べて前記動画像を生成する
ことを特徴とするプログラム。
【請求項１１】
空間的に隣接する２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置であって、
前記複数の静止画像のうち前記共通部分を挟んで隣接する２つの静止画像の組合せのそれぞれを順次記憶する記憶手段と、
前記記憶手段に記憶された隣接する２つの静止画像について、当該隣接する２つの静止画像の前記共通部分を合成することによって得られる合成画像から、前記隣接する２つの静止画像の前記共通部分を挟んで両方の静止画像に跨る領域を切出す画像抽出手段と、
前記画像抽出手段によって切出される領域を所定方向に順次移動させることによって、前記隣接する２つの静止画像から複数の異なる領域の画像を取得し、当該複数の異なる領域の画像をそれぞれフレーム画像として出力するフレーム画像出力手段と、
前記隣接する２つの静止画像と前記フレーム画像出力手段によって出力される複数のフレーム画像とを所定時間間隔で並べ、フレーム間予測を用いて圧縮符号化して、前記隣接する２つの静止画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成手段とを備え、
前記生成手段は、前記隣接する２つの静止画像それぞれが複数回連続して前記動画像の中で現れるように、前記隣接する２つの静止画像それぞれを複数連続して並べて前記動画像を生成する
ことを特徴とする画像処理装置。
【請求項１２】
空間的に隣接する２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置の制御方法であって、
前記画像処理装置の記憶手段が、前記複数の静止画像のうち前記共通部分を挟んで隣接する２つの静止画像の組合せのそれぞれを順次記憶する記憶工程と、
前記画像処理装置の画像抽出手段が、前記記憶手段に記憶された隣接する２つの静止画像について、当該隣接する２つの静止画像の前記共通部分を合成することによって得られる合成画像から、前記隣接する２つの静止画像の前記共通部分を挟んで両方の静止画像に跨る領域を切出す画像抽出工程と、
前記画像処理装置のフレーム画像出力手段が、前記画像抽出工程において切出される領域を所定方向に順次移動させることによって、前記隣接する２つの静止画像から複数の異なる領域の画像を取得し、当該複数の異なる領域の画像をそれぞれフレーム画像として出力するフレーム画像出力工程と、
前記画像処理装置の生成手段が、前記隣接する２つの静止画像と前記フレーム画像出力工程において出力される複数のフレーム画像とを所定時間間隔で並べ、フレーム間予測を用いて圧縮符号化して、前記隣接する２つの静止画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成工程とを備え、
前記生成工程では、前記隣接する２つの静止画像それぞれが複数回連続して前記動画像の中で現れるように、前記隣接する２つの静止画像それぞれを複数連続して並べて前記動画像を生成する
ことを特徴とする制御方法。
【請求項１３】
空間的に隣接する２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置のコンピュータを、
前記複数の静止画像のうち前記共通部分を挟んで隣接する２つの静止画像の組合せのそれぞれを順次記憶する記憶手段、
前記記憶手段に記憶された隣接する２つの静止画像について、当該隣接する２つの静止画像の前記共通部分を合成することによって得られる合成画像から、前記隣接する２つの静止画像の前記共通部分を挟んで両方の静止画像に跨る領域を切出す画像抽出手段、
前記画像抽出手段によって切出される領域を所定方向に順次移動させることによって、前記隣接する２つの静止画像から複数の異なる領域の画像を取得し、当該複数の異なる領域の画像をそれぞれフレーム画像として出力するフレーム画像出力手段、
前記隣接する２つの静止画像と前記フレーム画像出力手段によって出力される複数のフレーム画像とを所定時間間隔で並べ、フレーム間予測を用いて圧縮符号化して、前記隣接する２つの静止画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成手段、
として機能させるためのプログラムであって、
前記生成手段は、前記隣接する２つの静止画像それぞれが複数回連続して前記動画像の中で現れるように、前記隣接する２つの静止画像それぞれを複数連続して並べて前記動画像を生成する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、及びプログラムに関し、特に、撮像された複数の静止画像を処理する技術に関する。
【背景技術】
【０００２】
撮像装置の撮像画角よりも広い画角の画像を取得する方法として、連続して撮像した２枚の画像が共通部分を持つように撮像領域を少しずつシフトさせながら複数の画像を撮像する方法（以下、「分割撮像方法」と呼ぶ）が知られている。
【０００３】
分割撮像方法に関する従来の技術として、ビデオカメラのパンニング画像から画角の広い１枚の画像を生成する技術が、特許文献１の図７に開示されている。特許文献１の技術は、パンニング画像から画像パターンマッチングで動きベクトルを算出し、共通画像エリア（図７のＳ５のクロスハッチ部分）を検出し、共通画像エリア以降の部分を結合する（図７のＳ５のメモリ２０Ｃ）ものである。
【０００４】
また、こうして生成された合成画像データの再生表示に関しては、特許文献１の図２０に開示されている。特許文献１の技術によれば、合成画像全体の縮小画像を表示部右下エリア（サブ画面）に表示し、中央から左側に設定されたメイン画面には合成画像全体の一部（サブ画面のクロスハッチ部分）を表示する。即ち、メイン画面には、縮小画像の一部が拡大表示される。また、縮小画像をそのまま拡大したのでは解像度が不足するため、拡大表示する部分に対応する画像データが記録媒体から再度読み出される。
【０００５】
また、関連性のある複数の撮像画像を合成することなく表示する方法が特許文献２の図１４に開示されている。特許文献２によれば、関連する複数の撮像画像の再生順序を制御するプレイリストが撮像時に生成される。ユーザは再生時にこのプレイリストを選択すれば、ユーザは煩雑な操作を行わずに撮像範囲全体の撮像画像を、画質を維持したまま連続して閲覧することができる。
【特許文献１】特開平６−１２１２２６号公報  （図７、図２０）
【特許文献２】特開２００５−１９７７８５号公報  （図１４）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、合成画像の拡大表示部分を移動する度に対応する画像データを記録媒体から読み出す必要がある。従って、画像データの読み出し処理に時間を要し、拡大表示部分を滑らかに移動させられない場合がある。また、ユーザは拡大表示する部分を選択する必要があるため、合成画像全体を高画質のまま表示させる手順は煩雑である。
【０００７】
また、特許文献２の技術では、撮像画像単位で表示画像が切り替わるので、前後に表示される撮像画像の関連性をユーザが直感的に把握することが容易ではない。
【０００８】
本発明はこのような状況に鑑みてなされたものである。本発明は、連続して撮像される２つの静止画像が共通部分を有するようにして撮像された複数の静止画像の全体像を、画質の劣化を抑制しつつ、ユーザがより容易に把握できるように再生可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、第１の本発明は、連続して撮像される２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置であって、前記共通部分を合成することにより前記複数の静止画像から１つの合成画像を生成する合成手段と、前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記２つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記２つの静止画像の両方に跨る少なくとも１つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段と、前記取得手段によって前記合成画像の複数の領域から取得された複数のフレーム画像を、フレーム間予測を用いて圧縮符号化して、前記合成画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成手段とを備え、前記取得手段は、前記複数の静止画像のいずれかに対応する領域から前記フレーム画像を取得する場合、対応する静止画像を前記フレーム画像として取得し、前記生成手段は、前記フレーム画像として取得した静止画像が複数回連続して前記動画像の中で現れるように、前記フレーム画像として取得した静止画像を複数連続して並べて前記動画像を生成することを特徴とする画像処理装置を提供する。
【００１０】
また、第２の本発明は、連続して撮像される２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置の制御方法であって、前記画像処理装置の合成手段が、前記共通部分を合成することにより前記複数の静止画像から１つの合成画像を生成する合成工程と、前記画像処理装置の取得手段が、前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記２つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記２つの静止画像の両方に跨る少なくとも１つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得工程と、前記画像処理装置の生成手段が、前記取得工程で前記合成画像の複数の領域から取得された複数のフレーム画像を、フレーム間予測を用いて圧縮符号化して、前記合成画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成工程とを備え、前記取得工程では、前記複数の静止画像のいずれかに対応する領域から前記フレーム画像を取得する場合、対応する静止画像を前記フレーム画像として取得し、前記生成工程では、前記フレーム画像として取得した静止画像が複数回連続して前記動画像の中で現れるように、前記フレーム画像として取得した静止画像を複数連続して並べて前記動画像を生成することを特徴とする制御方法を提供する。
【００１１】
また、第３の本発明は、連続して撮像される２つの静止画像が共通部分を有するようにして撮像された複数の静止画像を処理する画像処理装置のコンピュータを、前記共通部分を合成することにより前記複数の静止画像から１つの合成画像を生成する合成手段、前記複数の静止画像の数よりも多数のフレーム画像が取得され、且つ、前記２つの静止画像の組合せのそれぞれについて前記共通部分を挟んで前記２つの静止画像の両方に跨る少なくとも１つの領域からフレーム画像が取得されるように、前記合成画像の複数の領域からフレーム画像を取得する取得手段、前記取得手段によって前記合成画像の複数の領域から取得された複数のフレーム画像を、フレーム間予測を用いて圧縮符号化して、前記合成画像がスクロール表示される動画像を表す圧縮符号化された動画データを生成する生成手段、として機能させるためのプログラムであって、前記取得手段は、前記複数の静止画像のいずれかに対応する領域から前記フレーム画像を取得する場合、対応する静止画像を前記フレーム画像として取得し、前記生成手段は、前記フレーム画像として取得した静止画像が複数回連続して前記動画像の中で現れるように、前記フレーム画像として取得した静止画像を複数連続して並べて前記動画像を生成することを特徴とするプログラムを提供する。
【００１２】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によって更に明らかになるものである。
【発明の効果】
【００１３】
以上の構成により、本発明によれば、連続して撮像される２つの静止画像が共通部分を有するようにして撮像された複数の静止画像の全体像を、画質の劣化を抑制しつつ、ユーザがより容易に把握できるように再生可能にすることが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して、本発明の実施例を説明する。以下で説明される個別の実施例は、本発明の上位概念から下位概念までの種々の概念を理解するために役立つであろう。
【００１５】
なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施例によって限定されるわけではない。また、実施例の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【実施例１】
【００１６】
本発明の画像処理装置をデジタルカメラに適用した実施例について説明する。まず、図１３乃至図１５を参照して、分割撮像方法における撮像処理（分割撮像処理）、及び分割撮像処理により取得された複数の静止画像から１枚の合成画像を生成する処理（以下、「ステッチ処理」と呼ぶ）について説明する。
【００１７】
図１３は、分割撮像処理及びステッチ処理を実行可能なデジタルカメラ１００の構成を示すブロック図である。
【００１８】
図１３において、１４０は、撮像された画像データ等を記録する記録媒体であり、例えば、コンパクトフラッシュ（登録商標）やＳＤ（登録商標）メモリカード等のメモリカードを含む。１０５は、レンズや撮像素子等を用いて被写体像をデジタルデータに変換して画像データを生成する撮像部であり、１１０は、生成された画像データや記録媒体１４０から読み出された画像データなどを一時的に記憶する一時記憶部である。
【００１９】
１２０は、画像データをＪＰＥＧ符号化等の静止画圧縮符号化処理により圧縮する圧縮部である。１３０は、圧縮符号化された画像データ（以下、「圧縮画像データ」と呼ぶ）のフォーマットをＪＰＥＧファイル形式に変換するなどして記録媒体１４０の記録形式に適合させる記録制御部である。
【００２０】
１６０は、撮像部１０５が取得した画像データ等を表示する表示部であり、１７０は、２つの画像データ（例えば、撮像部１０５が取得した画像データ、及び一時記憶部１１０に記憶されている画像データ）を合成する合成部である。１８０は、デジタルカメラ１００の全体動作（例えば、画像データの記録、再生、表示等の動作）を制御する制御部であり、マイクロコンピュータ等を含む。１９０は、制御部１８０に対してユーザが指示を与えるための入力部であり、メニューボタンや決定ボタン等を含む。
【００２１】
２１０は、記録媒体１４０からＪＰＥＧファイル等を読み出して、圧縮画像データ等を抽出する再生制御部であり、２２０は、圧縮画像データを復号して非圧縮の画像データを取得する伸張部である。
【００２２】
図１４は、デジタルカメラ１００の外観を示す概略図である。図１４において、１９０ａは、入力部１９０に含まれるシャッタボタンである。ユーザは、表示部１６０を見ることにより、撮像した画像や、これから撮像しようとする被写体像を確認することができる。
【００２３】
分割撮像処理を説明する前に、まず、１枚単位で独立した画像を撮像する処理（以下、「通常撮像処理」と呼ぶ）を説明する。
【００２４】
図１３において、撮像部１０５は、被写体像から画像データを生成する。生成された画像データは、合成部１７０と一時記憶部１１０とに逐次出力される。
【００２５】
通常撮像処理では、合成部１７０は、合成処理を行うことなく、入力された画像データを表示部１６０に出力する。表示部１６０は、合成部１７０から入力された画像データを逐次表示する。
【００２６】
ユーザは、表示部１６０を見て被写体画像を確認し、所望のタイミングでシャッタボタン１９０ａを押下することにより、制御部１８０に画像データの記録処理の開始を指示する。制御部１８０は、一時記憶部１１０と圧縮部１２０とに対して記録開始動作信号を出力する。
【００２７】
通常撮像処理では、記録開始信号を受けた一時記憶部１１０は、撮像部１０５から入力された最新の画像データを圧縮部１２０に出力する。圧縮部１２０は、制御部１８０の記録開始信号を受けて、一時記憶部１１０から入力された一画面分の画像データを圧縮し、記録制御部１３０に出力する。記録制御部１３０は、圧縮部１２０から入力された圧縮画像データのフォーマットを変換し、記録媒体１４０に記録する。
【００２８】
以上が、デジタルカメラによって実行される通常撮像処理である。
【００２９】
次に、分割撮像処理及びステッチ処理について説明する。ここでは、説明を簡略化するために、２枚の撮像画像を用いる分割撮像処理及びステッチ処理を例にとって説明する。
【００３０】
ユーザは、デジタルカメラ１００の入力部１９０を介して、分割撮像処理の開始を制御部１８０に指示する。すると、制御部１８０は、分割撮像処理を行うことを示す信号を、一時記憶部１１０や圧縮部１２０へ出力する。この信号を受信すると、一時記憶部１１０は、撮像部１０５から入力された画像データを一時的に蓄積するように動作する。また、圧縮部１２０は、分割撮像処理において取得された旨を示す識別データを画像データに付加するように動作する。なお、識別データのデータ形式としては、任意の知られているデータ形式を使用することができるため、詳細な説明を省略する。
【００３１】
まず、分割撮像処理の開始点となる１枚目の画像データの撮像処理を説明する。但し、通常撮像処理と同様の処理については説明を省略する。
【００３２】
撮像部１０５で生成された画像データは、表示部１６０に逐次表示される。ユーザが所望のタイミングでシャッタボタン１９０ａを押下すると、１枚目の画像データの記録開始信号が制御部１８０に入力される。
【００３３】
制御部１８０は、入力された記録開始信号のタイミングで、一時記憶部１１０に対して分割撮像の実行を指示する。一時記憶部１１０は、制御部１８０からの指示を受けて、一枚目の画像データを記憶すると共に、記憶した画像データを圧縮部１２０に出力する。圧縮部１２０は、制御部１８０からの分割撮像指示を受けて、入力された画像データを圧縮し、更に、分割撮像の識別データを付加して、記録制御部１３０に出力する。記録制御部１３０は、圧縮部１２０から入力された圧縮画像データのフォーマットを変換し、記録媒体１４０に記録する。
【００３４】
次に、分割撮像処理における２枚目の画像データの撮像処理を説明する。
【００３５】
１枚目の画像データの撮像時と異なり、一時記憶部１１０には、１枚目の画像データが記憶されている。合成部１７０は、この１枚目の画像データを読み出すと共に、撮像部１０５に入力される被写体像のデジタルデータを、撮像部１０５から逐次読み出して１枚目の画像データと合成し、表示部１６０に表示する。
【００３６】
図１５は、分割撮像処理において２枚目の画像データを撮像する際の、合成処理の概要を示す図である。一時記憶部１１０には、１枚目の画像データ３１０が記憶されている。画像データ３２０は、撮像部１０５に逐次入力されている被写体像のデータである。画像データ３１０は、図１４に示すように、表示部１６０の左側に表示され、画像データ３２０は、表示部１６０の右側に、一部が画像データ３１０と重複した状態で表示される（重複部３３０参照）。
【００３７】
ユーザは、重複部３３０において画像データ３１０と画像データ３２０とが略同一となるようにデジタルカメラ１００の方向を操作し、シャッタボタン１９０ａを押下する。これにより、１枚目の画像データ３１０と同様に、画像データ３２０が２枚目の画像データとして記録媒体１４０に記録される。画像データ３１０と画像データ３２０とは、共通部分（重複部３３０に対応する部分）を有する。また、画像データ３２０には、圧縮部１２０によって識別データが付加される。
【００３８】
このようにして撮像された２枚の画像データは、ユーザの指示に応じて合成処理（ステッチ処理）されて表示部１６０に表示される。また、ユーザの指示に応じて、ステッチ処理により生成された合成画像の画像データ（合成画像データ）も、記録媒体１４０に記録される。以下、詳細に説明する。
【００３９】
ユーザは、入力部１９０を介して制御部１８０にステッチ処理の実行を指示する。制御部１８０はこの指示を受けて、再生制御部２１０に対して、分割撮像した複数の画像データの再生を指示する。再生制御部２１０は、記録媒体１４０のファイル管理情報を参照して、識別データが付加されたステッチ処理の対象の圧縮画像データを検索して読み出す。読み出された圧縮画像データは伸張部２２０で復号され、一時記憶部１１０に入力される。ここでは、説明の簡略化のため、上述した２枚の画像データが読み出されて一時記憶部１１０に記憶されたものとする。
【００４０】
合成部１７０は、一時記憶部１１０に記憶された２枚の画像データの共通部分を合成することにより、１枚の合成画像を生成する。このようにして生成された合成結果は、表示部１６０に表示される（図１５参照）。或いは、テレビモニタ出力端子（不図示）から外部へ出力されてもよい。
【００４１】
通常、表示部１６０のアスペクト比と合成画像のアスペクト比とは異なるので、図１４に示すように、合成画像は全体が表示部１６０に表示されるように縮小されて表示され、合成画像以外の部分には何も表示されない。
【００４２】
この縮小された合成画像は、更に、圧縮部１２０で圧縮され、記録制御部１３０によって記録媒体１４０に記録される。以後、同一の画像データに対してステッチ処理の実行が指示された場合、制御部１８０は、実際にステッチ処理を実行する代わりに、記録媒体１４０に記録された合成画像を再生制御部２１０に取得させる。これにより、合成画像の表示に要する時間が短縮される。
【００４３】
なお、以上の説明においては、撮像領域を左から右へシフトさせる分割撮像方法について説明したが、撮像領域を右から左へシフトさせてもよい。また、撮像領域を左から右、下、左へとシフトさせることにより、上下左右に画角の広い合成画像を生成することもできる。
【００４４】
また、デジタルカメラ１００ではなく、例えばパーソナルコンピュータ（ＰＣ）がステッチ処理を行ってもよい。特に、ステッチ処理の対象の画像データ数が多い場合は、豊富なリソース（メモリ容量など）が必要なため、ＰＣなどによってステッチ処理が行われる場合が多い。
【００４５】
以上説明したように、合成画像全体を表示部１６０に表示すると、合成画像が縮小されるため、視認性が低下する（図１４参照）。そこで、実施例１では、合成画像を表現する動画像を生成することにより、合成画像の全体像をユーザが容易に把握できるようにする。
【００４６】
図４は、本発明に係る画像処理装置を適用したデジタルカメラ２００の構成を示すブロック図である。図４において、デジタルカメラ１００（図１３参照）と同一の構成要素には同一の符号を付し、説明を省略する。なお、デジタルカメラの代わりに、ＰＣなど、撮像機能を備えないデバイスを利用してもよい。また、表示部１６０は必ずしも必要ではない。
【００４７】
図４において、１０は、動画像を生成するためのフレーム画像を合成画像の所定の領域から切出す切出し部であり、２０は、切出されたフレーム画像にＭＰＥＧ等の動画像符号化処理を適用して動画像を生成する、圧縮部である。
【００４８】
次に、図４を参照して、動画像生成処理の概要を説明する。ユーザは、入力部１９０を介して制御部１８０に動画像の生成を指示し、制御部１８０は、動画像を生成するための各種指示をデジタルカメラ２００の各構成要素に与える。
【００４９】
まず、再生制御部２１０が、分割撮像された複数の圧縮画像データを記録媒体１４０から読み出し、伸張部２２０に出力する。伸張部２２０は、入力された圧縮画像データを伸張し、一時記憶部１１０に記憶させる。図５において、画像データ５１０は時刻ｔ１に撮像された画像データであり、画像データ５２０は時刻ｔ２に撮像された画像データであり、それぞれが共通部分を有する。以下、合成対象の画像データ５１０及び画像データ５２０を、元画像とも呼ぶ。
【００５０】
合成部１７０は、一時記憶部１１０から元画像を取得し、共通部分を合成することにより１枚の合成画像６００を生成する。切出し部１０は、合成画像６００の複数の領域から画像を切出すことにより、フレーム画像を取得する。ここで、切出し部１０は、動画像を再生表示する表示装置のアスペクト比と同じ（或いは、少なくとも近い）アスペクト比で画像を切出すことが好ましい。
【００５１】
図５に示すように、本実施例では、切出し部１０は、切出し位置６１０、６１１、６１２、６１３、‥‥‥、６２０から画像を切出し、圧縮部２０へ出力する。表示部１６０は、切出された画像を逐次表示する。一方、圧縮部２０は、切出された画像をＭＰＥＧ符号化して動画像を生成し、記録制御部１３０を介して記録媒体１４０に記録する。
【００５２】
次に、図１及び図２を参照して、画像の切出し処理の詳細を説明する。但し、以下の説明は一例に過ぎず、種々の変形例も本発明の範囲に含まれる。本発明において重要なことは、合成画像が細かな移動間隔で表示されるように、元画像である複数の静止画像の数よりも多数のフレーム画像が取得されることである。また、複数の静止画像において、連続して撮像された２つの静止画像の全ての組合せそれぞれについて、共通部分を挟んで両方に跨る少なくとも１つの領域からフレーム画像が取得されることも重要である。ここで、「共通部分を挟んで両方に跨る少なくとも１つの領域」は、図５の例では、切出し位置６１０乃至６２０のうち、切出し位置６１０及び６２０を除いたものによって規定される領域に対応する。
【００５３】
図１のＳ１１０で、制御部１８０は、画像の切出し方法を設定する。Ｓ１１０における処理の詳細は、図２に示される。
【００５４】
図２のＳ１１７で、制御部１８０は、合成対象の元画像の撮像時刻を取得する。撮像時刻は、例えば、元画像のＥｘｉｆ情報から取得可能である。本実施例では、画像データ５１０の撮像時間はｔ１であり、画像データ５２０の撮像時間はｔ２である。
【００５５】
Ｓ１１９で、制御部１８０は、元画像の合成基準位置情報を取得する。合成基準位置情報とは、元画像を合成した場合に生成される合成画像において、元画像の基準となる位置を示す情報である。本実施例では、画像データ５１０の基準位置はｘ１であり、画像データ５２０の基準位置はｘ２である。
【００５６】
Ｓ１２１で、制御部１８０は撮像時間ｔ１とｔ２とを比較する。ｔ１＜ｔ２の場合、Ｓ１２３で、制御部１８０は、切出し方向をｘ１からｘ２の方向に移動させるように設定すると共に、切出し位置ｘをｘ１に設定する。そうでなければ、Ｓ１２５で、制御部１８０は、切出し方向をｘ２からｘ１の方向に移動させるように設定すると共に、切出し位置ｘをｘ２に設定する。つまり、切出し方向は、先に撮像された静止画像から後に撮像された静止画像へ向かうように設定される。
【００５７】
次に、Ｓ１２７で、制御部１８０は、次式に従い、切出し位置変更量ｄ１を設定する。
ｄ１＝α×｜ｘ２−ｘ１｜／｜ｔ２−ｔ１−ｔｓｅｔ｜／ｆｓ‥‥‥‥‥式（１）
ｆｓ：フレームサンプリング周期（Ｈｚ）
ｔｓｅｔ：分割撮像調整時間（ｓｅｃ）
上式（１）において、ｔｓｅｔは、２枚の元画像の撮像時刻の間隔を補正する。また、αは固定値（通常は１）でもよいが、基準位置の間隔｜ｘ２−ｘ１｜に相関をもつようにしてもよい。
【００５８】
α＝１の場合は、分割撮像時の撮像間隔にしたがって、切出し位置変更量ｄ１が設定されることになる。
【００５９】
αに基準位置間隔の相関を持たせる場合とは、次式に従い、基準位置間隔が大きければ大きく設定し（α＞１）、基準位置間隔が小さければ小さく設定する（α＜１）ことである。
α＝｜ｘ２−ｘ１｜／Δｘα１‥‥‥‥‥‥‥‥‥‥式（２）
Δｘα１：ユーザが標準（α＝１）と設定する基準位置の間隔
上式（２）によれば、分割撮像時の撮像間隔が大きい（連続して撮像された２枚の静止画像の共通部分が小さい）ほど、切出し位置変更量ｄ１が大きく設定される。
【００６０】
最後に、Ｓ１２９で、制御部１８０は、元画像の繰り返し表示回数Ｎｅｄを設定する。後述する切出し処理において、元画像の切出しを複数回（Ｎｅｄ）繰り返し行うことで、元画像が長い時間表示される。なお、Ｎｅｄ＝１でもよい。
【００６１】
以上の処理により、切出し方法の設定が完了する。
【００６２】
図１に戻り、Ｓ１５０で、制御部１８０は、切出し位置ｘが元画像の位置に一致するか否かを判定する。一致すればＳ１５２に進み、そうでなければＳ１５４に進む。最初の処理の切出し処理では、切出し位置ｘは、元画像と一致した位置（ｘ１又はｘ２）であるので、Ｓ１５２に進む。
【００６３】
Ｓ１５２で、制御部１８０は、切出される元画像が開始画像（最初に撮像された画像）であるか否かを判定する。開始画像であればＳ１５６に進み、そうでなければＳ１６２に進む。最初の処理では、開始画像であると判定されるので、Ｓ１５６に進む。
【００６４】
Ｓ１５６で、切出し部１０は、合成画像の切出し位置ｘに対応する領域から、フレーム更新間隔（ｆｓ）でＮｅｄ回繰り返しフレーム画像を切出す。なお、ここでの切出し回数を１回としてもよい。この場合、圧縮部２０が動画像を生成する際に元画像に対応する領域から取得されたフレーム画像を複数連続（Ｎｅｄ個連続）して並べて動画像を生成すればよい。また、Ｓ１５６では、元画像のいずれかに対応する領域からフレーム画像が取得されるので、切出し部１０は、合成画像から画像を切出す代わりに、元画像そのものをフレーム画像として取得してもよい。元画像は、共通部分の合成に伴う画質劣化の影響を受けていないので、元画像そのものをフレーム画像として取得すれば、フレーム画像の画質が向上する（Ｓ１６２においても同様）。
【００６５】
図５に示すように、切出し位置６１０が開始位置であり、元画像は、フレーム画像７１０ａ、７１０ｂ、‥‥‥‥として切出され、フレーム更新間隔（ｆｓ）で時系列に並べられる。このように、切出し開始画像は、複数回切出されるので、時間的にも長い時間表示されることになる。
【００６６】
次に、Ｓ１６４で、制御部１８０は、切出し位置ｘを変更する（ｘ＝ｘ＋ｄ１）。図５の例では、変更後の切出し位置ｘは切出し位置６１１に対応する。
【００６７】
再びＳ１５０における判定が行われ、今回は切出し位置ｘが元画像の位置に一致しないので、Ｓ１５４に進む。Ｓ１５４で、切出し部１０は、合成画像の切出し位置ｘから画像を１回切出す。これにより、図５のフレーム画像７１１が取得される。これ以降、再び切出し位置が元画像の位置に一致するまで、Ｓ１６４及びＳ１５４における処理が繰り返し実行される。これにより、図５の示すフレーム画像７１１、７１２、７１３、‥‥‥が取得される。
【００６８】
切出し位置ｘが切出し位置６２０と一致すると、Ｓ１５０からＳ１５２へと進み、更に、切出し位置６２０の画像は開始画像ではない（終了画像である）ので、Ｓ１６２に進む。Ｓ１６２で、切出し部１０は、Ｎｅｄ回の切出し処理を行う（詳細はＳ１５６における処理と同様であるため省略する）。
【００６９】
以上で、切出し処理が完了する。
【００７０】
以上の処理の間、図５に示すように、切出されて時系列に並べられた画像群は、先に説明したように図４の表示部１６０で逐次表示されることになる。
【００７１】
このように、合成画像から一部を切出して表示することにより、撮像時の高品位な画質を確保したまま合成画像全体を表示することができることになる。
また、最初と最後のフレーム画像は、他のフレーム画像よりも長く表示される。最初と最後のフレーム画像は元画像であり、合成によるひずみ等の画質劣化が少ないので、長く鑑賞するのに適しているからである。更に、ユーザにとっても、撮像時のイメージを再現する上で、実際に撮像した画像を長く表示することは好ましい。
【００７２】
また、分割撮像処理における撮像時刻に基づいて、切出し方向や切出し位置変更量を制御しているので、生成された動画像は、撮像順を反映したものとなる。
【００７３】
更に、切出し位置変更量を、元画像の切出し基準位置の間隔と相関をもたせることもできるので、分割撮像時に撮像位置を大きくずらした場合（間隔が大きい場合）は、位置変更量を大きめにすることが可能である。従って、注目度の高い元画像への移動が早くなり、注視画像の視認性が向上する。
【００７４】
次に、図３を参照して、圧縮部２０における動画像生成処理を説明する。説明を簡単にするために、本実施例では、圧縮部２０は、切出し部１０が切出した順にフレーム画像を並べて動画像を生成する。しかしながら、切出し部１０が合成画像のスクロール方向と無関係な順番でフレーム画像を取得した場合は、圧縮部２０は、切出し部１０から入力されたフレーム画像を適宜並び替える必要がある。いずれにしても、圧縮部２０は、合成画像がスクロール表示されるように、即ち、連続するフレーム画像が共通部分を持つように、動画像を生成する。また、圧縮部２０は、連続して撮像された２つの静止画像について、先に撮像された静止画像に対応する領域から後に撮像された静止画像に対応する領域へ一方向にスクロール表示されるように動画像を生成することが好ましい。
【００７５】
まず、Ｓ１８２で、圧縮部２０は、符号化対象のフレーム画像が元画像に対応する領域から取得されたものであるか否かを判定する。元画像に対応する領域から取得されたものである場合、Ｓ１８４に進み、そうでない場合、Ｓ１８６に進む。
【００７６】
Ｓ１８４で、圧縮部２０は、元画像に対応する領域から取得されたフレーム画像が、Ｎｅｄ回のうちの１回目のものであるか否かを判定する。１回目であればＳ１８８に進み、そうでなければＳ１８６に進む。
【００７７】
Ｓ１８８で、圧縮部２０は、フレーム画像を画面内符号化する。図５に示すように、フレーム画像７１０ａは、画面内符号化されたＩピクチャである。元画像そのものを元画像に対応する領域のフレーム画像として取得した場合、このフレーム画像は合成処理による画質劣化の影響を受けていないので、画質が維持されている。従って、その画質を維持するために最初のフレーム画像に対して、符号量を多く割り当てる画面内符号化方式を適用する。
【００７８】
一方、Ｓ１８６では、圧縮部２０は、画面間予測符号化又は双方向予測符号化によりフレーム画像を符号化する。例えば、図５に示すように、フレーム画像７１０ｂ、‥‥‥、が画面間予測符号化（双方向予測符号化でもよい）される。同一の切出し位置から取得されたフレーム画像については、２枚目以降にフレーム間圧縮を用いることで、符号量が削減される。
【００７９】
Ｓ１９４で、圧縮部２０は、全てのフレーム画像を処理したか否かを判定する。全てのフレーム画像を処理した場合は本フローチャートの処理を終了する。そうでない場合、Ｓ１８２に戻り、次のフレーム画像を処理する。
【００８０】
元画像でないフレーム画像に対しては、合成処理により多少画像がひずむ部分（即ち、共通部分）が画面の画面中央付近に位置することが多いので、特別に高い画質を求めてもそれほど効果が得られない。そこで、図５に示すように、フレーム画像７１１、７１２、７１３、‥‥‥、には、画面間予測符号化を適用する。
【００８１】
以上により、動画像の生成処理が完了する。なお、図３のフローチャートに従えば、２枚目の撮像画像に対応するフレーム画像７２０ａも画面内符号化されるが、圧縮率の向上を優先する場合、フレーム画像７２０ａを画面間予測符号化又は双方向予測符号化してもよい。反対に、動画像の特殊再生（例えば、逆方向の再生）を可能にするために、所定の間隔で画面内符号化されたフレーム画像を持つように動画像を生成してもよい。
【００８２】
以上、本実施例では、切出し部１０が切出した順にフレーム画像を並べて動画像を生成し、前記動画像群をまとめて圧縮する処理を述べた。しかし、動画像の最初と最後のフレーム画像は所定時間同じ画像が表示されるので、最初と最後のフレームを通常の静止画表示し、最初から最後のフレームに切出し位置が移動する部分だけ上述の動画像として生成し、圧縮の処理してもよい。この場合、再生時は、静止画を所定時間（繰り返し表示回数Ｎｅｄから算出）表示したあと、動画再生し、最後にまた静止画を所定時間表示する再生制御を実現するプレイリストを生成しておくことになる。この場合も、本実施例のひとつとなる。
【００８３】
以上説明したように、本実施例によれば、切出し部１０が合成画像の複数の領域からフレーム画像を取得する。このとき、切出し部１０は、合成画像を構成する静止画像の数よりも多数のフレーム画像を取得する。また、連続して撮像された２つの静止画像の全ての組合せそれぞれについて、共通部分を挟んで両方に跨る少なくとも１つの領域からフレーム画像を取得する。圧縮部２０は、取得されたフレーム画像から、合成画像がスクロール表示される動画像を生成する。
【００８４】
これにより、連続して撮像された２つの静止画像が共通部分を有するように撮像された複数の静止画像の全体像を、画質の劣化を抑制しつつ、ユーザがより容易に把握できるように再生可能にすることができる。
【００８５】
また、圧縮部２０は、フレーム画像の大部分が予測符号化されるので、動画像のデータ量が削減され、動画像の再生装置のリソースが限られていても滑らかな再生表示が可能になる。
【実施例２】
【００８６】
実施例１は、３枚以上の元画像が存在する場合を排除するものではないが、説明を分かり易くするために、実施例２では、３枚以上の元画像が存在する場合の処理を具体的に説明する。また、３枚以上の元画像が存在する場合でも、２枚単位で元画像を合成して部分合成画像を生成することにより、動画像の生成に必要なメモリ容量を削減する技術についても説明する。
【００８７】
なお、画像処理装置としてのデジタルカメラ２００の構成は実施例１と同様であるので、その説明を省略する（図４参照）。
【００８８】
本実施例では、図８に示すように、それぞれ時刻ｔ１、ｔ２、ｔ３、ｔ４に撮像された４枚の画像データ１５１０、１５２０、１５３０、１５４０を使用する。
【００８９】
図６及び図７を参照して、画像の切出し処理の詳細を説明する。図６において、実施例１と同様の処理が行われるステップには同一の符号を付し、説明を省略する（図１参照）。
【００９０】
図６のＳ１１１０で、制御部１８０は、画像の切出し方法を設定する。Ｓ１１１０における処理の詳細は、図７に示される。
【００９１】
図７のＳ１１１３で、制御部１８０は、合成対象の元画像の枚数ｎ（図８の例では、ｎ＝４）を取得すると共に、カウンタｉを１に初期化する。
【００９２】
次に、Ｓ１１１５で、制御部１８０は、カウンタｉが元画像の枚数ｎに達したか否かを判断する。達していなければ、Ｓ１１１７に進み、達していれば、Ｓ１１３３に進む。
【００９３】
実施例１では、ｎ＝２であり、ｉ＝１についてのみ、Ｓ１１１７乃至Ｓ１１２７における処理が実行された。即ち、Ｓ１１１７乃至Ｓ１１２７における処理は、ｉの値が１以外の場合についても実行されるという点を除き、図２のＳ１１７乃至Ｓ１２７における処理と同様であるため、詳細な説明は省略する。
【００９４】
Ｓ１１２９において、制御部１８０は、ｉ≧２の場合にのみ、次式に従って元画像の繰り返し表示回数Ｎｉを設定する。
Ｎｉ＝β×（Δｘｉ−１＋Δｘｉ）          ‥‥‥‥‥式（３）
Δｘｉ＝｜ｘｉ＋１−ｘｉ｜
繰り返し回数Ｎｉは、隣接する元画像の切出し基準位置間隔Δｘｉ−１及びΔｘｉの大きさに比例している。つまり、隣接する切出し基準位置間隔が大きいほど、繰り返し回数が大きく設定される。βは比例定数である。
【００９５】
Ｓ１１３１で、制御部１８０は、ｉに１を加算し、Ｓ１１１５に戻る。
【００９６】
Ｓ１１１５において、カウンタｉがｎに達すると、Ｓ１１３３に進み、制御部１８０は、Ｓ１１３３で、次式に従って元画像の繰り返し表示回数Ｎｅｄを設定する。
Ｎｅｄ＝γ×ΣΔｘｉ          ‥‥‥‥‥‥‥‥‥‥式（４）
式４から明らかなように、繰り返し回数Ｎｅｄは、途中の元画像の繰り返し回数Ｎｉより十分に大きくなるように設定される。γは比例定数である。
【００９７】
なお、本実施例では、Ｎｅｄは、最初と最後に撮像された元画像（ｉ＝１及びｎ）に対してのみ適用される。
【００９８】
以上の処理により、切出し方法の設定処理が完了する。
【００９９】
図６に戻り、実施例１（図１参照）と異なる部分を説明する。本実施例では、Ｓ１５２において、切出される元画像が開始画像ではないと判定された場合、Ｓ１５８に進む。
【０１００】
Ｓ１５８で、制御部１８０は、切出される元画像が終了画像（最後に撮像された画像）であるか否かを判定する。終了画像である場合はＳ１６２に進み、そうでない場合はＳ１６０に進む。
【０１０１】
Ｓ１６０で、切出し部１０は、ｉ番目の元画像を、Ｎｉ回繰り返し切出す。図８の例では、１回目にＳ１６０の処理が実行される際に画像データ１５２０が切出され、２回目にＳ１６０の処理が実行される際に画像データ１５３０が切出される。
【０１０２】
なお、図８において、符号１７１０、１７２０、１７３０、及び１７４０は、元画像に対応するフレーム画像を示し、符号１７１５、１７２５、及び１７３５は、それぞれの元画像に跨る領域のフレーム画像を示す。
【０１０３】
以上の処理により、フレーム画像の切出しが完了する。
【０１０４】
圧縮部２０は、以上の処理により得られたフレーム画像を実施例１（図３参照）と同様に符号化して動画像を生成する。
【０１０５】
本実施例においては、中間の元画像（図８の符号１７２０、１７３０）に関しては、撮像状況を反映した数のフレーム画像が切出されるので、注目度に応じた動画像の表示を実現することができる。また、中間の元画像と最初および最後の元画像（図８の符号１７１０、１７４０）の切出し枚数に差を付けているので、分割撮像で印象が残る最初および最後の画像については、注目度を更に高めて表示することが可能となっている。
【０１０６】
図８の例では、撮像領域を一方向（左から右）へシフトさせながら撮像された４枚の静止画像を使用した。しかし、撮像領域のシフト方向は、一方向である必要はない。以下、図９及び図１０を参照して説明する。
【０１０７】
図９は、４分割撮像であるのは図８の場合と同じだが、シフト方向が途中で反転する場合における動画像の生成の様子を示している。
【０１０８】
具体的には、図９の元画像２６１０乃至２６４０の中で、元画像２６２０と２６３０の切出し基準位置が逆転している点が、図８と異なっている。このような場合でも、本発明によれば、元画像２６２０から元画像２６３０までの表示のための切出し方向はｘ２からｘ３へ向かって設定される。そのため、図９に示すように、元画像２６１０〜２６４０の順番に、切出し位置の方向を変更しながら、動画像を生成することが可能となる。
【０１０９】
また、撮像順序に則したフレーム画像の切出しが行われるので、撮像順序を再現する形で再生表示される動画像を生成することができる。
【０１１０】
図１０は、４分割撮像であるのは図８の場合と同じだが、シフト方向を二次元的に変化する場合における動画像の生成の様子を示している。
【０１１１】
具体的には、図１０の元画像３６１０から元画像３６４０へ分割撮像したときに、途中の元画像で切出し基準位置を９０度ずつ変更して、２次元的な大きなエリアを分割撮像している。この場合でも、２つの元画像間の切出し処理は、上述のワークフロー（図６及び図７参照）と同じ手順で実現することができる。
【０１１２】
また、合成部１７０は、最初のフレーム画像が切出される前に全ての撮像画像を合成して１枚の合成画像を生成してもよいし、切出し対象の領域に対応する２枚の撮像画像のみを必要なタイミングで合成して部分合成画像を生成してもよい。
【０１１３】
後者の場合、切出し部１０は、合成画像の代わりに、部分合成画像からフレーム画像を取得する。一時記憶部１１０は、合成画像を保持する必要はなく、合成画像よりも小さな部分合成画像を保持すればよい。従って、一時記憶部１１０は、元画像を２枚合成するのに必要な容量を持てばよいので、一時記憶部１１０の容量が比較的限られているデジタルカメラなどの小型デバイスでも本実施例の処理を実行することができる。
【０１１４】
以上説明したように、本実施例によれば、３枚以上の元画像が存在する場合にも実施例１と同様、本発明の技術を利用できることが明らかである。
【実施例３】
【０１１５】
実施例３では、合成部１７０が２枚の静止画像の共通部分を合成する際に、切出し部１０による画像の切出し位置に応じて、合成比率を変化させる。即ち、合成部１７０は、所謂αブレンドを行い、切出し部１０による画像の切出し位置に応じて、αの値を変化させる。以下、図１１及び図１２を参照して説明する。
【０１１６】
図１１は、実施例３に係る画像の切出し処理の詳細な流れを示すフローチャートである。図１１において、実施例１（図１参照）と同様の処理が行われるステップには同一の符号を付し，説明を省略する。
【０１１７】
実施例３では、実施例１と異なり、Ｓ１５０の前にＳ１４８が存在する。Ｓ１４８で、合成部１７０は、切出し位置ｘに対応する２枚の静止画像の共通部分を、切出し位置ｘに基づく重み付けにより合成して、部分合成画像を生成する。
【０１１８】
ここで、図１２に示す、画像データ４５１０及び画像データ４５２０から部分合成画像４６００を生成する場合を考える。画像データ４５１０及び画像データ４５２０はそれぞれ、共通部分４６１０ｂ及び４６２０ｂを含む。合成部１７０は、共通部分４６１０ｂ及び４６２０ｂを合成する際に、（１−α）：αの比率で合成を行う（０≦α≦１）。このとき、合成部１７０は、切出し位置が一方の静止画像（例えば、画像データ４５１０）に近いほどその静止画像に高い重みを付けて（即ち、αの値を小さくして）合成を行う。
【０１１９】
また、切出し位置が元画像の領域に対応する場合、この元画像のみが使用されるように、αの値を０又は１に設定する。例えば、切出し位置４６１０から画像が切出される場合、αの値は０である。これにより、元画像の領域に対応する位置から切出されたフレーム画像は、合成時の画像ひずみ等による画質劣化の影響を受けない。
【０１２０】
切出し位置が、切出し位置４６２０に近づくにつれて、合成部１７０は、αの値を大きくする。例えば、切出し基準位置の間隔Δｘ１＝｜ｘ２−ｘ１｜に対する現在の切出し位置移動量｜ｘ−ｘ１｜の割合で決定してもよい。切出し位置ｘがｘ１と一致するときはα＝０、ｘ２と一致するときはα＝１となり、その間を線形補間してα値を求めることになる。このように、α値を切出し位置に応じて決定していく。
【０１２１】
本実施例では、連続するフレーム画像間でα値が変化していくので、圧縮部２０が双方向予測符号化方式によりフレーム画像を符号化した場合、予測効率が向上し、符号量が削減される。また、図１２に示すように、元画像とは異なる領域から取得されたフレーム画像の一部を画面内符号化すれば、動画像を逆から再生したり、コマ飛ばしで再生したりする、所謂特殊再生モードの実現が可能になる。
【０１２２】
上述の画像合成方法は、画素加算によるαブレンド方式を例にして述べた。しかし、本発明における画像合成方法は、αブレンド方式に限定されるものではない。例えば、似ている２つの画像を、座標変換してつなぐモーフィングという技術がある。このような画像変換技術で、元画像の合成共有エリアの画像を時系列につなぐ方法も、本発明の他の実施例となり得る。
【０１２３】
更に、別の画像合成方法として、元画像の合成共有エリアの画像を所定の位置で切り替え、前記切り替え位置を時系列的に変化させる方法も、本発明の他の実施例となり得る。
【０１２４】
以上の、αブレンド方式、モーフィング方式、切り替え方式による画像合成方法であれば、元画像に対応するフレーム画像は、元画像と完全に一致している。つまり、表示時間が長い画像では、歪みのない元画像を表示することができる。
【０１２５】
更に、別の画像合成方法として、合成共有エリア部分に発生する歪を軽減し、不自然な不連続画像を発生させないように、画像合成する手法もある。この場合、時系列的に合成処理を変化させる必要がないので、処理負荷が軽減される。但し、表示時間が長い画像でも、元画像とは完全に一致しないが、画像が滑らかに合成されているので、分割撮像の表示方法として不自然さを軽減することが可能となる。
【０１２６】
なお、本実施例では、切出し部１０が、所定の２枚の静止画像間の少なくとも１つの領域から画像を切出す際にも、合成部１７０は、各領域のために別個の部分合成画像を生成するということに注意されたい。
【０１２７】
以上説明したように、本実施例によれば、２枚の静止画像の共通部分の合成比率が段階的に変化しながらフレーム画像が取得される。
【０１２８】
これにより、合成に伴うフレーム画像の画質劣化を低減し、また、符号化効率を向上させることができる。
【０１２９】
［その他の実施例］
上述した各実施例の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録した記録媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施例の機能が実現される。この場合、記録媒体から読み出されたプログラムコード自体が上述した各実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。
【０１３０】
また、上述した各実施例の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって上述した各実施例の機能が実現される場合も含まれている。
【０１３１】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施例の機能が実現される場合も含むものである。
【図面の簡単な説明】
【０１３２】
【図１】実施例１に係る画像の切出し処理の詳細な流れを示すフローチャートである。
【図２】実施例１に係る画像の切出し処理の詳細な流れを示すフローチャートである。
【図３】実施例１に係るデジタルカメラの圧縮部における動画像生成処理の流れを示すフローチャートである。
【図４】本発明に係る画像処理装置を適用したデジタルカメラの構成を示すブロック図である。
【図５】実施例１に係る動画像生成処理の概要を示す図である。
【図６】実施例２に係る画像の切出し処理の詳細な流れを示すフローチャートである。
【図７】実施例２に係る画像の切出し処理の詳細な流れを示すフローチャートである。
【図８】実施例２に係る動画像生成処理の概要を示す図である。
【図９】実施例２に係る動画像生成処理の他の例を示す図である。
【図１０】実施例２に係る動画像生成処理の更に他の例を示す図である。
【図１１】実施例３に係る画像の切出し処理の詳細な流れを示すフローチャートである。
【図１２】実施例３に係る動画像生成処理の概要を示す図である。
【図１３】分割撮像処理及びステッチ処理を実行可能なデジタルカメラの構成を示すブロック図である。
【図１４】分割撮像処理及びステッチ処理を実行可能なデジタルカメラの概観を示す概略図である。
【図１５】分割撮像処理において２枚目の画像データを撮像する際の、合成処理の概要を示す図である。
【図１】
0005144237.tif 000002
【図２】
0005144237.tif 000003
【図３】
0005144237.tif 000004
【図４】
0005144237.tif 000005
【図５】
0005144237.tif 000006
【図６】
0005144237.tif 000007
【図７】
0005144237.tif 000008
【図８】
0005144237.tif 000009
【図９】
0005144237.tif 000010
【図１０】
0005144237.tif 000011
【図１１】
0005144237.tif 000012
【図１２】
0005144237.tif 000013
【図１３】
0005144237.tif 000014
【図１４】
0005144237.tif 000015
【図１５】
0005144237.tif 000016