(57)【要約】【課題】所定の動画圧縮規格を用いて当該動画圧縮規格で定められた以上のフレームレートで連続的に撮像された画像を圧縮して記録することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。【解決手段】受光面に結像される画像を示す画像データを出力する撮像手段によって、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像が行われて順次出力された各画像データにより示される各画像を出力順に複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成し、順次生成された合成画像データを前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する。【選択図】図４
2009077304.tif 000002
【特許請求の範囲】
【請求項１】
受光面に結像される画像を、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像し、撮像された画像を示す画像データを順次出力する撮像手段と、
前記撮像手段から順次出力された各画像データにより示される各画像を出力順に複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成する合成画像データ生成手段と、
前記合成画像データ生成手段により順次生成された合成画像データを前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する動画像データ生成手段と、
を備えた画像処理装置。
【請求項２】
前記動画像データ生成手段により生成された動画像データを記憶する記憶手段と、
前記記憶手段から前記動画像データを読み出して伸張し、当該動画像データから各合成画像データを順次切り出す切出手段と、
前記切出手段により順次切り出された合成画像データにより示される合成画像に含まれる各画像を分割する分割手段と、
前記分割手段により分割された各画像を前記第１フレームレートで順次表示する表示手段と、
をさらに備えた請求項１記載の画像処理装置。
【請求項３】
前記切出手段は、前記第１フレームレートを前記合成画像に含まれる画像数で除算することにより得られた第３フレームレートで前記動画像データから各合成画像データを順次切り出す
請求項２記載の画像処理装置。
【請求項４】
前記動画圧縮規格の圧縮方式は、前記合成画像データにより示される合成画像に対して予め定められたサイズのブロック単位で画像の高周波成分を除去する所定の情報変換処理を含み、
前記合成画像データ生成手段は、前記１枚の画像内で前記各画像が他の画像と接する場合、当該接する部分に所定画素幅分の緩衝画像を付加して合成し、
前記分割手段により分割された各画像に前記緩衝画像が付加されていた場合に、当該緩衝画像を除去する除去手段をさらに備えた
請求項２又は請求項３記載の画像処理装置。
【請求項５】
前記緩衝画像は、他の画像と隣接する１つないしは複数の画素を使用したエッジ画像である
請求項４記載の画像処理装置。
【請求項６】
受光面に結像される画像を示す画像データを出力する撮像手段によって、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像が行われて順次出力された各画像データにより示される各画像を出力順に複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成し、
順次生成された合成画像データを前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する、
画像処理方法。
【請求項７】
受光面に結像される画像を示す画像データを出力する撮像手段によって、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像が行われて順次出力された各画像データにより示される各画像を出力順に複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成する合成画像データ生成ステップと、
前記合成画像データ生成ステップにより順次生成された合成画像データを前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する動画像データ生成ステップと、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに係り、特に、連続的な撮像によって得られた画像データを動画像データとして圧縮する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタル電子スチールカメラ（以下、「ＤＳＣ」という。）では、例えば、スポーツやペットの動きなどを撮影する際に、シャッターチャンスを逃さないために、高速（１秒あたりの撮影枚数が多い）かつ持続時間の長い連写が求められている。
【０００３】
しかし、この種のＤＳＣでは、連写速度を高速に（フレームレートを高く）すると、各撮像によって得られた画像データによってＤＳＣの内部に備えられたバッファメモリが短時間でフル状態になってしまい、持続時間が短くなってしまう、一方、この種のＤＳＣでは、連写速度を低速にすると、持続時間が長くなるものの、１秒あたりの撮影枚数が少なくなるため、シャッターチャンスを逃してしまう場合がある。
【０００４】
このように、ＤＳＣにおいて、連写速度の高速性と持続時間の長さとの２つの要素は互いにトレードオフの関係にあり、この２つの要素を両立させることは困難であった。
【０００５】
すなわち、例えば、撮像される画像データの画像サイズをＶＧＡ（６４０×４８０画素）とした場合、フレームレートが３０ｆｐｓ（画面／秒）程度ならば圧縮・伸張方式としてＭｏｔｉｏｎＪＰＥＧ（Joint Photographic Coding Expert Group）を用いてメモリカードなどの記録メディアの記憶領域一杯まで連続して撮影可能なＤＳＣが既に多く市場に存在する。
【０００６】
しかし、３０ｆｐｓよりも高いフレームレートでの撮影となると、圧縮したデータのメモリカードへの書き込みが間に合わなくなり、ＤＳＣの内部に備えられたバッファメモリの容量に撮影の持続時間が制約される。
【０００７】
すなわち、図９に示すように、例えば、ＪＰＥＧ方式の標準的な圧縮率（２ｂｉｔ／ｐｅｌ）で、１８０ｆｐｓのフレームレートで連写を行った場合、１秒当たりの撮影によって得られる画像データのデータ量は１３．５ＭＢｙｔｅとなる。しかし、現状メモリカードへのデータの書き込み速度は２ＭＢｙｔｅ／ｓ〜１０ＭＢｙｔｅ／ｓ程度である。よって、例えば、データの書き込み速度が２ＭＢｙｔｅ／ｓのメモリカードの場合、１秒当たりの画像データのデータ量が２ＭＢｙｔｅを下回るように圧縮を行う必要がある。
【０００８】
そこで、特許文献１には、間引きなどによって１画面の任意の複数ラインまたは任意のエリアに対応する部分画像の画像信号に対して画像処理を施して部分画像データを生成することにより、画像処理部の演算負荷を軽減して連写性能を向上させ、また、部分画像データを直交変換し、直交変換後のデータに対して、ノイズレベルより小さい値を高周波域側に付加して部分画像の画像サイズを変更し、解像度変換後のデータから動画像の圧縮データを生成することにより、動画像を通常の再生方法で問題なく再生させる技術が開示されている。
【０００９】
しかしながら、特許文献１に記載の技術では、画像を間引き処理するため、画質が低下してしまう。
【００１０】
一方、高い圧縮率で動画像を圧縮する動画圧縮規格として、例えば、Ｈ．２６４が知られている。
【００１１】
このＨ．２６４は、１０８０ｉ規格（１９２０×１０８０画素、３０ｆｐｓ）の場合、約１０Ｍｂｐｓでの鑑賞に耐える画質を有しており、圧縮率に換算すると約０．１６ｂｉｔ／ｐｅｌとなり、１秒当たりの画像データのデータ量が約１．０８ＭＢｙｔｅ／ｓとなるため、メモリカードへのリアルタイムでの書き込みが可能である。
【特許文献１】特開２００５−１８４５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、Ｈ．２６４規格は、画像１コマ当たりの画素数に関わらず圧縮する画像のフレームレートの上限が６０ｆｐｓとされている。このため、ＤＳＣにおいて、Ｈ．２６４規格で定められたフレームレートよりも速いフレームレート（例えば、１８０ｆｐｓ）で撮像が行われた場合、撮像された画像を当該動画圧縮規格で圧縮して記録することができない、という問題点があった。
【００１３】
本発明は上記問題点を解消するためになされたものであり、所定の動画圧縮規格を用いて当該動画圧縮規格で定められた以上のフレームレートで連続的に撮像された画像を圧縮して記録することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、請求項１に記載の発明は、受光面に結像される画像を、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像し、撮像された画像を示す画像データを順次出力する撮像手段と、前記撮像手段から順次出力された各画像データにより示される各画像を出力順に複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成する合成画像データ生成手段と、前記合成画像データ生成手段により順次生成された合成画像データを前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する動画像データ生成手段と、を備えている。
【００１５】
請求項１記載の発明では、撮像手段により、受光面に結像される画像が、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像されて、撮像された画像を示す画像データが順次出力され、合成画像データ生成手段により、撮像手段から順次出力された各画像データにより示される各画像が出力順に複数枚ずつ１枚の画像内に重ならないように配置されて合成された合成画像を示す合成画像データが順次生成され、動画像データ生成手段により、合成画像データ生成手段により順次生成された合成画像データが動画圧縮規格の圧縮方式で圧縮された動画像データを生成される。
【００１６】
このように請求項１記載の発明によれば、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像された各画像データにより示される各画像を複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成し、順次生成された合成画像データを動画圧縮規格の圧縮方式で圧縮して動画像データを生成しているので、所定の動画圧縮規格を用いて当該動画圧縮規格で定められた以上のフレームレートで連続的に撮像された画像を圧縮して記録することができる。
【００１７】
なお、本発明は、請求項２記載の発明ように、前記動画像データ生成手段により生成された動画像データを記憶する記憶手段と、前記記憶手段から前記動画像データを読み出して伸張し、当該動画像データから各合成画像データを順次切り出す切出手段と、前記切出手段により順次切り出された合成画像データにより示される合成画像に含まれる各画像を分割する分割手段と、前記分割手段により分割された各画像を前記第１フレームレートで順次表示する表示手段と、をさらに備えてもよい。なお、上記記憶手段には、ＲＡＭ（Random Access Memory）、フラッシュメモリ（flash memory）等の半導体記憶素子、ｘＤピクチャーカード（xD-Picture Card（登録商標））、コンパクト・フラッシュ（CompactFlash（登録商標））、マイクロドライブ（登録商標）等の可搬記憶媒体やハードディスク等の固定記憶媒体、或いはネットワークに接続されたサーバ・コンピュータ等に設けられた外部記憶装置が含まれる。
【００１８】
また、請求項２記載の切出手段は、請求項３記載の発明ように、前記第１フレームレートを前記合成画像に含まれる画像数で除算することにより得られた第３フレームレートで前記動画像データから各合成画像データを順次切り出すことが好ましい。
【００１９】
また、本発明は、請求項４記載の発明ように、前記動画圧縮規格の圧縮方式が、前記合成画像データにより示される合成画像に対して予め定められたサイズのブロック単位で画像の高周波成分を除去する所定の情報変換処理を含み、前記合成画像データ生成手段が、前記１枚の画像内で前記各画像が他の画像と接する場合、当該接する部分に所定画素幅分の緩衝画像を付加して合成し、前記分割手段により分割された各画像に前記緩衝画像が付加されていた場合に、当該緩衝画像を除去する除去手段をさらに備えることが好ましい。
【００２０】
さらに、請求項４記載の緩衝画像は、請求項５記載の発明ように、他の画像と隣接する１つないしは複数の画素を使用したエッジ画像であることが好ましい。
【００２１】
一方、上記目的を達成するために、請求項６記載の画像処理方法は、受光面に結像される画像を示す画像データを出力する撮像手段によって、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像が行われて順次出力された各画像データにより示される各画像を出力順に複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成し、順次生成された合成画像データを前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成するものである。
【００２２】
従って、請求項７記載の画像処理方法によれば、請求項１記載の発明と同様に作用するので、請求項１記載の発明と同様に、所定の動画圧縮規格を用いて当該動画圧縮規格で定められた以上のフレームレートで連続的に撮像された画像を圧縮して記録することができる。
【００２３】
一方、上記目的を達成するために、請求項７記載の画像処理プログラムは、受光面に結像される画像を示す画像データを出力する撮像手段によって、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像が行われて順次出力された各画像データにより示される各画像を出力順に複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成する合成画像データ生成ステップと、  前記合成画像データ生成ステップにより順次生成された合成画像データを前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する動画像データ生成ステップと、をコンピュータに実行させるものである。
【００２４】
従って、請求項７記載の画像処理プログラムによれば、コンピュータに対して請求項１記載の発明と同様に作用させることができるので、請求項１記載の発明と同様に、所定の動画圧縮規格を用いて当該動画圧縮規格で定められた以上のフレームレートで連続的に撮像された画像を圧縮して記録することができる。
【発明の効果】
【００２５】
このように、本発明によれば、所定の動画圧縮規格において画像を切り替える速度として定められた第１フレームレートよりも速い第２フレームレートで連続的に撮像された各画像データにより示される各画像を複数枚ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成し、順次生成された合成画像データを動画圧縮規格の圧縮方式で圧縮して動画像データを生成しているので、所定の動画圧縮規格を用いて当該動画圧縮規格で定められた以上のフレームレートで連続的に撮像された画像を圧縮して記録することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下では、本発明をＤＳＣ等の撮像装置に適用した場合について説明する。
【００２７】
［第１の実施の形態］
図１には、本実施の形態に係る撮像装置１０の概略構成を示すブロック図が示されている。
【００２８】
同図に示すように撮像装置１０は、フォーカスレンズを含む光学レンズユニットを内蔵したレンズ部２２と、レンズ部２２により受光面上に結像された被写体像に応じた画像信号（アナログの画像データ）を生成して出力するＣＣＤイメージセンサ２４と、ＣＣＤイメージセンサ２４から出力された画像信号に所定のアナログ信号処理を施した後にアナログ／デジタル（Ａ／Ｄ）変換を行うアナログ信号処理回路（図１では「ＡＦＥ」と記載。）２６と、デジタルデータに対して各種のデジタル信号処理を行うデジタル・シグナル・プロセッサ（以下、「ＤＳＰ」という。）２８と、を備えている。
【００２９】
ＣＣＤイメージセンサ２４の出力端はアナログ信号処理回路２６の入力端に、アナログ信号処理回路２６の出力端はＤＳＰ２８の入力端に、各々接続されている。従って、ＣＣＤイメージセンサ２４から出力された被写体像を示すアナログ信号はアナログ信号処理回路２６によって所定のアナログ信号処理が施された後に、Ａ／Ｄ変換が行われてデジタルデータに変換された画像データがＤＳＰ２８に入力される。
【００３０】
一方、撮像装置１０は、後述する画像処理プログラムや伸張レート決定処理プログラムを含む各種プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）３０と、ＤＳＰ２８による各種プログラムの実行時のワークエリア等として用いられるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３２と、撮像された画像データに対して所定の動画圧縮規格の圧縮方式での圧縮処理及び伸張処理を行うコーデック（codec）ＬＳＩ３４と、当該コーデックＬＳＩ３４での圧縮処理及び伸張処理においてワークアリアとして用いられるＳＤＲＡＭ３６と、画像データが記録される記録メディア３８と、画像を表示するＬＣＤ（液晶ディスプレイ：Liquid Crystal Display）４０と、をさらに備えている。
【００３１】
なお、本実施の形態に係るコーデックＬＳＩ３４は、所定の動画圧縮規格としてＨ．２６４規格の圧縮方式での圧縮処理及び伸張処理を行うものとされている。
【００３２】
また、本実施の形態に係る撮像装置１０では、ＣＣＤイメージセンサ２４及びアナログ信号処理回路２６の信号処理により、画像のサイズがＶＧＡの画像データが出力されるものとする。
【００３３】
ＤＳＰ２８、ＲＯＭ３０、ＳＤＲＡＭ３２、記録メディア３８、ＬＣＤ４０は、システムバスＢＵＳを介して相互に接続されている。また、ＤＳＰ２８は、コーデックＬＳＩ３４と電気的に接続されており、コーデックＬＳＩ３４は、ＳＤＲＡＭ３６と電気的に接続されている。
【００３４】
従って、ＤＳＰ２８は、ＲＯＭ３０、ＳＤＲＡＭ３２、及び記録メディア３８に対するアクセスと、ＬＣＤ４０に対する各種情報の表示の制御と、コーデックＬＳＩ３４による画像データに対する圧縮処理及び伸張処理の制御と、を各々行うことができる。
【００３５】
次に、本実施の形態に係る撮像装置１０の作用を説明する。
【００３６】
本実施の形態に係る撮像装置１０は、静止画像の撮影と動画像の撮影を各々行うことが可能とされており、撮像装置１０に備えられた図示しない動作モード切替スイッチによって静止画像の撮影を行う静止画像撮影モードと動画像の撮影を行う動画像撮影モードへの切り替えが可能とされている。
【００３７】
ＣＣＤイメージセンサ２４は、動作モードが静止画像撮影モードである場合、撮像装置１０に備えられた図示しないレリーズボタンが押されてタイミングで、受光面に結像される画像を示す画像信号を生成して出力する。一方、ＣＣＤイメージセンサ２４は、動作モードが動画像撮影モードの場合、レリーズボタンが１度押されてタイミングで撮像を開始し、Ｈ．２６４規格の上限のフレームレート（６０ｆｐｓ）よりも速いフレームレート（ここでは、３００ｆｐｓ）で受光面に結像される画像を示す画像信号を順次生成して出力し、レリーズボタンが再度度押されてタイミングで撮像を終了する。
【００３８】
アナログ信号処理回路２６は、ＣＣＤイメージセンサ２４から出力された画像信号に対して、例えば、相関二重サンプリングなどの所定のアナログ信号処理を施した後に、Ａ／Ｄ変換を行い、デジタルデータに変換した画像データをＤＳＰ２８に出力する。
【００３９】
ＤＳＰ２８は、アナログ信号処理回路２６から出力された画像データに対して各種のデジタル信号処理を行う。そして、ＤＳＰ２８は、動作モードが静止画像撮影モードである場合、デジタル信号処理後の画像データに対して所定の静止画像圧縮規格の圧縮方式（例えば、ＪＰＥＧ方式）での圧縮処理を行い、圧縮処理後の画像データを記録メディア３８に出力する。一方、ＤＳＰ２８は、動作モードが動画像撮影モードである場合、デジタル信号処理後の各画像データにより示される各画像を出力順に複数枚（ここでは、６枚）ずつ１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを順次生成し、生成した合成画像データをコーデックＬＳＩ３４に順次出力する。
【００４０】
コーデックＬＳＩ３４は、順次出力された合成画像データをＨ．２６４規格の圧縮方式で圧縮して動画像データを生成する。
【００４１】
図２には、動作モードが動画像撮影モードとされてレリーズボタンが押されて際にＤＳＰ２８により実行される画像処理プログラムの処理の流れを示すフローチャートが示されている。なお、当該プログラムはＲＯＭ３０の所定領域に予め記憶されている。
【００４２】
同図のステップ１００では、変数ｎをゼロに初期化し、次のステップ１０２では、アナログ信号処理回路２６からの画像データの入力待ちを行う。
【００４３】
次のステップ１０４では、変数ｎの値に１を加算（インクリメント）する。
【００４４】
次のステップ１０６では、変数ｎの値が６以上であるか否かを判定し、肯定判定となった場合はステップ１１０へ移行する一方、否定判定となった場合はステップ１０２へ移行して再度画像データの入力待ちを行う。
【００４５】
ステップ１１０では、直近に入力した６つの画像データにより示される各画像を順に１枚の画像内に重ならないように所定の順序で配置して合成した合成画像を示す合成画像データを生成する。
【００４６】
図３には、各画像データにより６つの画像を１枚の画像内に配置した合成画像の一例が示されている。
【００４７】
同図に示すように、本実施の形態では、連続的に撮像された６つの画像を順に隣接させて左上から右上、左下から右下の順序で配置して合成した合成画像を示す合成画像データを生成する。
【００４８】
次のステップ１１２では、上記ステップ１０８において生成した合成画像データをコーデックＬＳＩ３４に出力する。
【００４９】
次のステップ１１４では、動画像の撮像の終了が指示された否かを判定し、肯定判定となった場合は本画像処理プログラムを終了し、否定判定となった場合は再度ステップ１００へ移行して画像データの入力待ちを行う。
【００５０】
図４には、本実施の形態に係る撮像装置１０により動画像を記録する際のタイミングチャートの一例が示されている。
【００５１】
同図に示すように、ＣＣＤイメージセンサ２４による３００ｆｐｓのフレームレートでの撮像によって得られた各画像データは、６つの画像データ毎に１つの合成画像データに合成されてコーデックＬＳＩ３４に出力される。これにより、ＤＳＰ２８から合成画像データが出力されるフレームレートは、５０ｆｐｓとなる。
【００５２】
コーデックＬＳＩ３４は、ＤＳＰ２８から出力される各合成画像データをＨ．２６４の圧縮方式で圧縮し、１枚の合成画像に合成した合成画像枚数をタグ情報領域に埋め込んだ動画像データを生成する。
【００５３】
生成された動画像データは、ＤＳＰ２８を介して記録メディア３８に出力され、記録メディア３８に記憶される。
【００５４】
このように、本実施の形態に係る撮像装置１０によれば、３００ｆｐｓのフレームレートで撮像された各画像を６枚ずつ合成した画像画像をＨ．２６４規格の動画圧縮形式で圧縮しているので、Ｈ．２６４規格を用いてＨ．２６４規格で定められた以上のフレームレートで連続的に撮像された画像を圧縮して記録することができる。
【００５５】
一方、本実施の形態に係る撮像装置１０は、記録メディア３８に記憶された動画像データをＬＣＤ４０に表示することが可能とされており、図示しない動作モード切替スイッチにより動画像データの表示を行う動画像表示モードへの切り替えが可能とされている。
【００５６】
動画像データの表示を行う場合、撮像装置１０では、動作モード切替スイッチが動画像表示モードに切り替えられ、撮像装置１０に備えられた図示しない操作パネルで表示対象とする動画像データが指定される。
【００５７】
ＤＳＰ２８では、動画像データが指定されると、当該動画像データに圧縮された各合成画像データを伸張する伸張レートを決定するために、以下の伸張レート決定処理プログラムが実行される。
【００５８】
図５には、動作モードが動画像表示モードとされて操作パネルで表示対象とする動画像データが指定されて際にＤＳＰ２８により実行される伸張レート決定処理プログラムの処理の流れを示すフローチャートが示されている。なお、当該プログラムはＲＯＭ３０の所定領域に予め記憶されている。
【００５９】
同図のステップ１５０では、操作パネルで指定された動画像データを記録メディア３８から読み出してＳＤＲＡＭ３６に記憶させると共に、動画像データのタグ情報領域に埋め込まれた合成画像枚数を読み出す。
【００６０】
次のステップ１５２では、ＬＣＤ４０の対応する表示フレームレートを求める。なお、本実施の形態では、ＬＣＤ４０に内蔵された図示しないＲＯＭ、あるいはＲＯＭ３０にＬＣＤ４０の対応する表示フレームレートを示す情報が記憶されているものとし、当該情報を読み出すことにより対応する表示フレームレートを求めるものとする。また、本実施の形態に係るＬＣＤ４０は、６０ｆｐｓのフレームレートに対応するものとする。
【００６１】
次のステップ１５４では、表示フレームレートを合成画像枚数で除算することにより、動画像データから合成画像データを伸張する伸張レートを決定する。
【００６２】
すなわち、本実施の形態では、表示フレームレートが６０であり、合成画像枚数が６であるため、伸張レートが１０（１０＝６０／６）と決定される。
【００６３】
次のステップ１５６では、コーデックＬＳＩ３４に対して上記ステップ１５４において決定した伸張レートでの動画像データの伸張を指示し、本伸張レート決定処理プログラムを終了する。
【００６４】
これにより、コーデックＬＳＩ３４は、ＳＤＲＡＭ３６に記憶された動画像データから合成画像データを決定された伸張レートで順次伸張し、各合成画像データをＤＳＰ２８に順次出力する。
【００６５】
ＤＳＰ２８は、コーデックＬＳＩ３４から出力された合成画像データにより示される合成画像に含まれる各画像を分割し、分割された各画像を表示フレームレートでＬＣＤ４０に順次表示させる。
【００６６】
このように、本実施の形態に係る撮像装置１０によれば、Ｈ．２６４規格で定められた以上のフレームレートで連続的に撮像されて圧縮された動画像データに含まれる各画像をＬＣＤ４０に表示させることができる。
【００６７】
［第２の実施の形態］
ところで、例えば、Ｈ．２６４やＭＰＥＧ（Moving Picture Experts Group）などの動画像圧縮規格では、合成画像データの圧縮を行う際にデータの圧縮率を高めるため、合成画像データにより示される合成画像に対して予め定められたサイズ（例えば、８×８画素）のブロック単位で離散コサイン変換等の変換処理を行い、画像の高周波成分を除去している。
【００６８】
しかし、このような高周波成分を除去を行ったことにより、圧縮した動画像データを伸張した場合に、合成画像内で各画像が他の画像と接している部分にノイズが発生してしまう場合がある。
【００６９】
そこで。本第２の実施の形態では、画像を合成して合成画像を生成する際に各画像が他の画像と接する場合、当該接する部分に所定画素幅分の緩衝画像を付加する場合の形態例について説明する。
【００７０】
第２の実施の形態に係る撮像装置１０の概略構成は、図１に示される第１の実施の形態と同様であるため、その説明を省略する。
【００７１】
図６には、第２の実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートが示されている。なお、同図における図２と同一処理部分には、図２と同一の符号を付してその説明を省略する。
【００７２】
同図のステップ１０８では、直近に入力した６つの画像データにより示される各画像を順に１枚の画像内に重ならないように配置した場合に、各画像において他の画像と接する部分に隣接する１つないしは複数の画素を所定画素幅分繰り返したエッジ画像を付加する。なお、付加するエッジ画像の画素幅は離散コサイン変換等の変換処理において変換を行うブロックのサイズの縦方向及び横方向の大きい方の画素幅以上とすることが好ましい。本実施の形態では、エッジ画像の画素幅は８画素とする。
【００７３】
図７には、右側及び下側が他の画像と接する画像（図３に示す合成画像内で左上に位置する画像）においてエッジ画像を付加した結果の一例が示されている。
【００７４】
なお、同図では、破線で囲まれた部分が入力した画像データにより示される画像（入力画像）の領域であり、一点鎖線で囲まれた部分がエッジ画像の領域である。
【００７５】
そして、次のステップ１１１では、上記ステップ１０８において処理対象とした６つの画像データにより示される各画像を順に１枚の画像内に重ならないように配置して合成した合成画像を示す合成画像データを生成する。
【００７６】
これにより、合成画像に合成された各画像は、他の画像と接する部分にエッジ画像が付加された状態で動画像データとして圧縮処理されて記憶される
そして、本実施の形態では、この動画像データに圧縮された各合成画像データに含まれる画像をＬＣＤ４０に表示させる場合に、ＤＳＰ２８は、各合成画像データにより示される合成画像に含まれる各画像を分割し、各画像にエッジ画像が付加されていた場合に、当該エッジ画像部分を除去した後に各画像を表示フレームレートでＬＣＤ４０に順次表示させる。
【００７７】
このように本実施の形態によれば、各画像を合成する際に、他の画像と接する部分にエッジ画像を付加した画像合成することにより、各画像の他の画像と接する部分の画素での色の差分が小さくなるため、合成画像の高周波成分を除去するような変換処理を行ったとしても各画像の他の画像と接する境界部分の画質の劣化を抑えることができる。
【００７８】
また、本実施の形態によれば、各画像を表示する際に、エッジ画像部分を除去することにより、ＬＣＤ４０にエッジ画像部分が表示されることを防止することができる。
【００７９】
なお、第２の実施の形態では、エッジ画像をソフトウェアにより付加する場合について説明したが、本発明はこれに限定されるものではなく、ハードウェアにより付加するものとしてもよい。
【００８０】
すなわち、例えば、ＤＳＰ２８からコーデックＬＳＩ３４へ画像データが出力されるＤＳＰ２８からの出力側に図８に示すように、エッジ画像付加回路５０を設け、垂直ラインカウンタ５２により垂直同期信号をカウントすると共に、水平画素カウンタ５４によりクロック信号のクロック数をカウントすることにより、順次入力する画像の各画素毎のデータの画像内での位置を求めて他の画像と接するエッジを検出し、付加回路５６によりエッジ画像を付加するものとしてもよい。
【００８１】
すなわち、例えば、画像のサイズがＶＧＡの場合、水平画素カウンタ５４によりカウントされたクロック信号のクロック数が６４０となる画素のデータ（輝度・色差値）を付加回路５６においてラッチし、ラッチしたデータを付加回路５６から６４１以降の画素のデータとして所定画素幅分出力することにより、画像の右側にエッジ画像を付加することができる。
【００８２】
また、垂直ラインカウンタ５２によりカウントされた垂直ライン数が４８０の時の１ライン分の各データを付加回路５６に含まれるラインバッファに記憶し、記憶した１ライン分の各データを付加回路５６から４８１ライン以降のラインの各データとして出力することにより、画像の下側にエッジ画像を付加することができる。
【００８３】
なお、上記各実施の形態では、動画圧縮規格としてＨ．２６４を用いた場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＭＰＥＧ等の他の動画圧縮規格を用いてもよい。
【００８４】
また、上記各実施の形態では、ＶＧＡサイズの各画像を合成する場合について説明したが、本発明はこれに限定されるものではない。
【００８５】
また、上記各実施の形態では、１枚の合成画像として合成する画像数を６とした場合について説明したが、本発明はこれに限定されるものではない。
【００８６】
その他、上記各実施の形態で説明した撮像装置１０の概略構成（図１参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００８７】
また、上記各実施の形態で説明した画像処理プログラム（図２、及び図６参照。）及び伸張レート決定処理プログラム（図５参照。）の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【図面の簡単な説明】
【００８８】
【図１】実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図２】第１の実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。
【図３】実施の形態に係る６つの画像を１枚の画像内に配置した合成画像を模式的に示した模式図である。
【図４】実施の形態に係る動撮像時の流れを示すタイムチャートである。
【図５】実施の形態に係る伸張レート決定処理プログラムの処理の流れを示すフローチャートである。
【図６】第２の実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。
【図７】第２の実施の形態に係るエッジ画像が付加された画像の一例を示す図である。
【図８】第２の実施の形態に係るエッジ画像を付加するエッジ画像付加回路の概略構成を示すブロック図である。
【図９】従来の技術に係る連写速度と書き込み速度（ビットレート）の関係を示すグラフである。
【符号の説明】
【００８９】
１０  撮像装置
２４  ＣＣＤイメージセンサ（撮像手段）
２８  ＤＳＰ（合成画像データ生成手段、分割手段、除去手段）
３４  コーデックＬＳＩ（動画像データ生成手段、切出手段）
３８  記録メディア（記憶手段）
４０  ＬＣＤ（表示手段）
【図１】
2009077304.tif 000003
【図２】
2009077304.tif 000004
【図３】
2009077304.tif 000005
【図４】
2009077304.tif 000006
【図５】
2009077304.tif 000007
【図６】
2009077304.tif 000008
【図８】
2009077304.tif 000009
【図９】
2009077304.tif 000010
【図７】
2009077304.tif 000011