(57)【要約】【課題】動的被写体に対し低速なシャッター速度相当時間で撮影を行う際に、撮影者の意図に合致した写真を得るにはシャッター速度相当時間の調節における経験が必要になり、撮り直しが発生する可能性が高い。【解決手段】時間軸上で連続的に撮像が可能な撮像装置であって、連続的な撮像で得られる複数の画像データを撮像後に指定されたシャッター速度相当時間Ｔｓおよび合成開始タイミングＴｏに基づいて合成し、合成結果の画像データを表示するように構成されており、撮像後にシャッター速度相当時間Ｔｓを選択することが可能となるので、撮り直しの発生が抑制される。【選択図】図２
2010109812.tif 000002
【特許請求の範囲】
【請求項１】
時間軸上で連続的に撮像が可能な撮像装置であって、連続的な撮像で得られる複数の画像データを撮像後に指定されたシャッター速度相当時間および合成開始タイミングに基づいて合成し、合成結果の画像データを表示するように構成されている撮像装置。
【請求項２】
撮像素子と、前記撮像素子からの撮像信号を変換して画像データを生成する画像処理部と、連続的な撮像で得られる複数の画像データを一時的に格納するメモリと、前記メモリから合成対象とする複数の画像データを読み出して合成し合成後の画像データを前記メモリに格納する画像合成部と、前記合成結果の画像データを表示する表示部とを備え、時間軸上で連続的に撮像が可能な撮像装置であって、
前記画像合成部は、撮像後に指定されるシャッター速度相当時間および合成開始タイミングに基づいて前記メモリから合成対象とする複数の画像データを読み出して合成するように構成されている撮像装置。
【請求項３】
前記撮像素子は、連続的撮像の際に、前記画像合成部の合成開始タイミングの最小単位に相当する撮像間隔をユーザ指定可能である請求項２に記載の撮像装置。
【請求項４】
前記撮像間隔が等間隔である請求項３に記載の撮像装置。
【請求項５】
前記撮像素子は、連続的撮像の際に、初回撮像の開始から最終回撮像の終了までの総撮像期間をユーザ指定可能である請求項２から請求項４までのいずれかに記載の撮像装置。
【請求項６】
前記表示部は、前記シャッター速度相当時間および前記合成開始タイミングを表示し、前記シャッター速度相当時間または前記合成開始タイミングが変更された際に、前記画像合成部により合成される画像データの表示と前記シャッター速度相当時間または前記合成開始タイミングの表示とを連動して更新する請求項２から請求項５までのいずれかに記載の撮像装置。
【請求項７】
前記撮像素子は、シャッター速度を原則固定して露出を調整するシャッター速度優先モードを備え、前記複数の画像データを合成する際に用いたシャッター速度相当時間のシャッター速度をシャッター速度優先モードのシャッター速度に設定する請求項２から請求項６までのいずれかに記載の撮像装置。
【請求項８】
前記画像合成部は、画像データを縮小するための画像縮小手段で兼用され、前記画像縮小手段により前記メモリから合成対象となる複数の画像データを読み出し、前記メモリを利用して垂直方向に縮小処理を行うことで前記複数の画像データの合成を行う請求項２から請求項７までのいずれかに記載の撮像装置。
【請求項９】
前記メモリから読み出した複数の画像データにつき水平ライン毎に交互となるよう前記メモリ上に再配置し、前記画像縮小手段は、前記再配置した画像データに対して垂直方向に縮小処理を行う請求項８に記載の撮像装置。
【請求項１０】
前記画像縮小手段は、前記メモリから複数の画像データにつき水平ライン毎に交互に読み出しながら垂直方向に縮小処理を行う請求項８に記載の撮像装置。
【請求項１１】
前記画像処理部は、連続的に撮像する際に別途低解像度の画像データを生成し、前記表示部に表示する合成画像データを前記低解像度の画像データを用いて生成する請求項２から請求項１０までのいずれかに記載の撮像装置。
【請求項１２】
さらに前記画像合成部が合成した画像データを記録媒体へ記録する記録手段を備えている請求項１から請求項１１までのいずれかに記載の撮像装置。
【請求項１３】
時間軸上で連続的に撮影されたメモリ上の複数の画像データに対し、シャッター速度相当時間または合成開始タイミングの少なくとも一方の変更が指示された際に、前記シャッター速度相当時間および前記合成開始タイミングを表示している領域を更新するステップと、
変更された前記シャッター速度相当時間および前記合成開始タイミングに基づいて前記複数の画像データを合成してメモリ上に配置し、合成結果の画像データを表示するステップと、
前記合成結果の画像データの保存が指示された際に、前記合成結果の画像データを記録媒体に保存するステップと、
処理終了が指示された際に、前記合成結果の画像データおよび前記複数の画像データを前記メモリ上から破棄するステップとを含む画像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた電子スチルカメラ等の撮像装置にかかわり、動的被写体の撮影において躍動感を表現する等のために連続的な撮像で得られる複数の画像データを合成する技術に関する。
【背景技術】
【０００２】
写真撮影において、滝や渓流あるいは花火のような動的被写体に対し、シャッター速度を低速に指定することで躍動感を表現するという技法がある。この場合、撮影者の意図に合致した写真を得るには、シャッター速度調節の経験が必要となる。この問題に対する特許文献１の解決策は次のとおりである。すなわち、ユーザは、撮影前のフレーミング時において、露出時に意図している画像を得るために、シャッター速度および絞り値を指定する。すると、画像処理部は、撮像素子によって被写体を撮像して得られた画像データを基にして、ユーザ指定のシャッター速度および絞り値に基づいた画像データを生成し、表示部に表示する。ユーザは、表示された画像を確認し、本撮影へ移行する。なお、この場合は、複数の画像データの中から選択するというものではない。
【０００３】
一方、撮像装置が露出を変えながら複数の画像を撮影するブラケット撮影（ブラケットとは“一括する”の意）の技術は、適正露出での写真よりも明るい写真と暗い写真とを連続的に撮影することにより、露出の失敗を回避するものである。特許文献２では、このブラケット撮影によって得られた複数の画像データを表示部に表示し、ユーザは表示された複数の画像データを確認し、複数の画像データの中から２つの画像データを選択する。すると、選択された２つの画像データが合成処理される。ここで、シャッター速度をブラケット項目とすることが可能で、シャッター速度の選択の自由度を高めることが可能となっている。
【特許文献１】特開２００８−４８２１５号公報
【特許文献２】特開２００８−１０３８３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の手法では、撮影前フレーミング時における処理が中心となっているため、シャッター速度の切り替えおよび効果確認を行っている間にシャッターチャンスを逃してしまう可能性がある。
【０００５】
また、特許文献２の手法では、ブラケット撮影によって得られた複数の画像データは互いにシャッター速度が異なっていて時間軸上で非線形であるため、画像間の合成比率の指定を直感的に行うことができない。同じ理由により、ユーザが意図した画像と所望のシャッター速度で撮影された画像とが一致しない場合があり、合成そのものが破綻するおそれがある。さらに、画像データを合成するための回路が別途必要であり、コストが増加する。
【課題を解決するための手段】
【０００６】
本発明による撮像装置は、時間軸上で連続的に撮像が可能な撮像装置であって、連続的な撮像で得られる複数の画像データを撮像後に指定されたシャッター速度相当時間および合成開始タイミングに基づいて合成し、合成結果の画像データを表示するように構成されているものである。
【０００７】
より詳しくは、撮像素子と、前記撮像素子からの撮像信号を変換して画像データを生成する画像処理部と、連続的な撮像で得られる複数の画像データを一時的に格納するメモリと、前記メモリから合成対象とする複数の画像データを読み出して合成し合成後の画像データを前記メモリに格納する画像合成部と、前記合成結果の画像データを表示する表示部とを備え、時間軸上で連続的に撮像が可能な撮像装置であって、前記画像合成部は、撮像後に指定されるシャッター速度相当時間および合成開始タイミングに基づいて前記メモリから合成対象とする複数の画像データを読み出して合成するように構成されているものである。シャッター速度相当時間は、合成すべき画像データのフレーム数に相当する。フレーム数が少ないとシャッター速度相当時間は短く、シャッター速度は速いものとなる。逆に、フレーム数が多いとシャッター速度相当時間は長く、シャッター速度は遅いものとなる。
【０００８】
撮像素子および画像処理部によって得られた連続的な複数の画像データはいったんメモリに記憶される。この撮像後にユーザはシャッター速度相当時間および合成開始タイミングを指定する。画像合成部は前記の連続的な複数の画像データにおいて指定のシャッター速度相当時間および合成開始タイミングに基づいた合成を行う。表示部は合成後の画像データを表示する。ユーザは表示された合成後の画像データを確認し、意図に合致しているかを判断し、合致するまでシャッター速度相当時間または（および）合成開始タイミングの指定の調整を行う。すなわち、シャッター速度相当時間を長くしたり短くしたりする。また、合成開始タイミングを早めたり遅めたりする。シャッター速度相当時間の調整と合成開始タイミングの調整とは互いに独立して行うことが可能である。画像合成部は、シャッター速度相当時間または（および）合成開始タイミングの調整の都度、新たに画像合成を行い、表示部は合成後の画像データを表示する。画像データの合成結果は直ちに表示に反映され、それを見て、意図に合致するかの判断、シャッター速度相当時間または（および）合成開始タイミングの調整もすみやかに行える。これらの判断、調整は直感的なものである。画像データ取得後の調整というのがポイントである。このように本発明は、連続的な複数の画像データを取得したのちにシャッター速度相当時間または（および）合成開始タイミングを調整するものであるので、撮影前フレーミング時にはシャッター速度のことを意識しないですむ。画像データ取得後の調整であり、調整時点ですでに画像データは取得済みであるので、シャッターチャンスを逃してしまうということは起こらないし、慌てないでも意図に合致する画像データ合成が可能となる。
【０００９】
上記構成の撮像装置において、前記撮像素子は、連続的撮像の際に、前記画像合成部の合成開始タイミングの最小単位に相当する撮像間隔をユーザ指定可能であるという態様がある。撮像間隔は１フレームのシャッター速度に相当する時間である。この構成によれば、連続的な複数の画像データを取得するに当たり、そのシャッター速度を切り替えることにより、高速撮影、低速撮影を任意に設定可能となり、ユーザの求める撮影条件によりきめ細かく対応することが可能となる。
【００１０】
なお、連続的に撮像する際の前記撮像間隔は等間隔であることが望ましい。１フレームのシャッター速度に相当する時間である撮像間隔を等間隔にすることで、複数の画像データの時間間隔は互いに時間軸上で線形となるため、画像間の合成比率の設定が直感的なものとなり、ユーザが意図した画像とユーザ所望のシャッター速度相当時間で撮影された画像とが合致しないという問題は起こらない。その結果、シャッターチャンスを逃してしまう可能性が低減される。
【００１１】
また上記構成の撮像装置において、前記撮像素子は、連続的撮像の際に、初回撮像の開始から最終回撮像の終了までの総撮像期間をユーザ指定可能であるという態様がある。総撮像期間を撮像間隔で割ったものが画像データの個数（撮像枚数）に相当する。総撮像期間を短く設定すれば、これはすなわち撮像枚数を少なくすることであるが、処理時間の短縮化が行われる。また、総撮像期間を長く設定すれば、これはすなわち撮像枚数を多くすることであるが、合成する画像データの選択範囲の幅を広げることになり、ユーザが求める画像に対して、よりきめ細かく対応することが可能となる。
【００１２】
また上記構成の撮像装置において、前記表示部は、前記シャッター速度相当時間および前記合成開始タイミングを表示し、前記シャッター速度相当時間または前記合成開始タイミングが変更された際に、前記画像合成部により合成される画像データの表示と前記シャッター速度相当時間または前記合成開始タイミングの表示とを連動して更新するという態様がある。表示部に表示された合成後の画像データを確認して、合成開始タイミングを変更すると、その変更後の合成開始タイミングと変更はされていない元のシャッター速度相当時間とに応じた画像データが新たに合成され、その新たな合成画像データと変更後の合成開始タイミングとが表示部において連動して更新表示される。また、表示部に表示された合成後の画像データを確認して、シャッター速度相当時間を変更すると、その変更後のシャッター速度相当時間と変更はされていない元の合成開始タイミングとに応じた画像データが新たに合成され、その新たな合成画像データと変更後のシャッター速度相当時間とが表示部において連動して更新表示される。また、表示部に表示された合成後の画像データを確認して、シャッター速度相当時間および合成開始タイミングを変更すると、その変更後の合成開始タイミングとシャッター速度相当時間とに応じた画像データが新たに合成され、その新たな合成画像データと変更後のシャッター速度相当時間および合成開始タイミングが表示部において連動して更新表示される。以上のように、意図する画像を得るための操作が直感的に行える。
【００１３】
上記構成の撮像装置において、前記撮像素子は、シャッター速度を原則固定して露出を調整するシャッター速度優先モードを備え、前記複数の画像データを合成する際に用いたシャッター速度相当時間のシャッター速度をシャッター速度優先モードのシャッター速度に設定するという態様がある。シャッター速度優先モードでの撮影において、そのときのシャッター速度相当時間が、直前の複数画像データ合成で好ましいとして決定されたシャッター速度相当時間に自動設定されていることになる。すなわち、ユーザが好ましいとして決定したシャッター速度相当時間が保持され、これがシャッター速度優先モードに自動的に反映されるため、操作性の向上が可能となる。
【００１４】
上記構成の撮像装置において、前記画像合成部は、画像データを縮小するための画像縮小手段で兼用され、前記画像縮小手段により前記メモリから合成対象となる複数の画像データを読み出し、前記メモリを利用して垂直方向に縮小処理を行うことで前記複数の画像データの合成を行うという態様がある。これは、画像合成部として一般的に撮像装置が備える画像縮小手段を転用するものである。この構成によれば、複数の画像データの合成を画像縮小手段の転用により行うので、別途に画像合成のための回路を必要とせず、回路規模の削減およびコスト削減が可能となる。
【００１５】
上記構成の撮像装置において、前記メモリから読み出した複数の画像データにつき水平ライン毎に交互となるよう前記メモリ上に再配置し、前記画像縮小手段は、前記再配置した画像データに対して垂直方向に縮小処理を行うという態様がある。画像縮小手段が垂直方向に縮小処理を行うのに先立ち、複数の画像データにつき水平ライン毎に交互の再配置を行う。この構成によれば、垂直方向で隣接する画素の画素データを加算するもので、結果的にすべての画素データを活用することになるため、画像合成による画質劣化の度合いが低く、高品質な合成画像が得られる。
【００１６】
また上記構成の撮像装置において、前記画像縮小手段は、前記メモリから複数の画像データにつき水平ライン毎に交互に読み出しながら垂直方向に縮小処理を行うという態様がある。メモリからの複数の画像データの読み出しを水平ライン毎に交互に行い、直ちに垂直方向に縮小処理を行う。この構成によれば、画像データの再配置が不要になるため、データ転送時間およびメモリ使用量の削減が可能となる。
【００１７】
また上記構成の撮像装置において、前記画像処理部は、連続的に撮像する際に別途低解像度の画像データを生成し、前記表示部に表示する合成画像データを前記低解像度の画像データを用いて生成するという態様がある。最終的目標が所望解像度の合成結果の画像データの保存であるとすれば、その画像データの表示自体に関してはその解像度は所望解像度よりも低解像度でもかまわない。低解像度の画像データの合成および表示は、高解像度の画像データの合成、表示に比べてより高速に行える。すなわち、表示部に表示する画像データの合成・表示に低解像度の画像データを用いることで、所要時間が短縮され、ユーザの指示から表示更新までのレスポンスが向上する。
【００１８】
上記構成の撮像装置において、さらに前記画像合成部が合成した画像データを記録媒体へ記録する記録手段を備えていることが好ましい。これにより、最終的に所望解像度の合成結果の画像データの保存が可能となる。
【００１９】
以上のようにして、比較的低コストでユーザの意図に合致した写真の撮影が可能となる。
【００２０】
そして、本発明による画像データ処理方法は、
時間軸上で連続的に撮影されたメモリ上の複数の画像データに対し、シャッター速度相当時間または合成開始タイミングの少なくとも一方の変更が指示された際に、前記シャッター速度相当時間および前記合成開始タイミングを表示している領域を更新するステップと、
変更された前記シャッター速度相当時間および前記合成開始タイミングに基づいて前記複数の画像データを合成してメモリ上に配置し、合成結果の画像データを表示するステップと、
前記合成結果の画像データの保存が指示された際に、前記合成結果の画像データを記録媒体に保存するステップと、
処理終了が指示された際に、前記合成結果の画像データおよび前記複数の画像データを前記メモリ上から破棄するステップとを含むものである。
【発明の効果】
【００２１】
本発明によれば、連続的な複数の画像データを取得したのちにシャッター速度相当時間または（および）合成開始タイミングを調整するものであるので、撮影前フレーミング時にはシャッター速度のことを意識しないですむとともに、画像データ取得後の調整であり、調整時点ですでに画像データは取得済みであるので、シャッターチャンスを逃してしまうということは起こらないし、慌てないでも意図に合致する画像データ合成を実現することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明にかかわる撮像装置の実施の形態を図面を用いて詳細に説明する。
【００２３】
（実施の形態１）
図１は本発明の実施の形態１における撮像装置の構成を示すブロック図であり、図中の矢印はデータの流れを示す。図１において、１は撮像を行うためのイメージセンサ（ＣＣＤやＣＭＯＳなどの固体撮像素子）、２はイメージセンサ１からの撮像信号を画像データに変換するなどの基本的な画像処理を行う画像処理部、３は画像処理部２によって生成された画像データを一時的に蓄えるための一次記憶としてのメモリ、４はメモリ３に蓄えられている複数の画像データを合成し１つの画像データを生成し、生成した画像データをメモリ３に書き込む画像合成部、５は画像データを含む様々な情報を表示する表示部、６は画像データに圧縮処理を施す圧縮部、７は画像データを最終的に記録するための二次記憶である記録媒体に画像データを記録する記録手段である。メモリ３に対する記録速度は記録媒体よりも充分高速であり、イメージセンサ１により連続的に撮像された画像を取りこぼすことなく格納できるものとする。
【００２４】
図２は実施の形態１における撮像装置の表示部５とその表示内容および表示部５付近に配置された操作用キーを示す構成図である。図２において、Ａ１は本撮像装置により時間軸上で連続かつ等間隔で撮像された複数の画像データを合成する際の合成基点すなわち合成開始タイミングＴｏを表示する合成開始タイミング表示領域、Ａ２は複数の画像データを合成する際の合成範囲すなわちシャッター速度相当時間Ｔｓを表示するシャッター速度相当時間表示領域、Ａ３は複数の画像データの合成結果を表示する合成結果表示領域、Ａ４は合成結果の画像データを保存する操作方法を示す合成結果保存方法表示領域、Ａ５は合成結果を含むすべての画像データを破棄して処理を終了する操作方法を示す処理終了方法表示領域である。
【００２５】
合成開始タイミング表示領域Ａ１の近辺には合成開始タイミングＴｏを変更するための操作方法をユーザが判断可能な記号ａ１（上矢印と下矢印）が表示され、シャッター速度相当時間表示領域Ａ２の近辺にはシャッター速度相当時間Ｔｓを変更するための操作方法をユーザが判断可能な記号ａ２（右矢印と左矢印）が表示されるようになっている。さらに、操作用の十字型キー８の上下のキーに合成開始タイミングＴｏの増減が割り当てられ、左右のキーにシャッター速度相当時間Ｔｓの増減が割り当てられている。また、合成結果保存にＯＫキー９が割り当てられ、処理終了にＭＥＮＵキー１０が割り当てられている。
【００２６】
図３は実施の形態１における連続的に撮像して取得された複数の画像データを合成する際のユーザからの指示および表示部５の表示内容更新手順さらに合成結果の保存手順を示した処理フロー図である。
【００２７】
撮像装置が連続的撮像を終え、メモリ３に複数の画像データが蓄積されると、ステップＳ１において、表示部５の各表示領域Ａ１〜Ａ５を初期化する。合成開始タイミング表示領域Ａ１には現時点において撮像装置が保持している合成開始タイミングＴｏが表示され、シャッター速度相当時間表示領域Ａ２には現時点において撮像装置が保持しているシャッター速度相当時間Ｔｓが表示される。また、画像合成部４は、表示されている合成開始タイミングＴｏとシャッター速度相当時間Ｔｓに基づいて、メモリ３上の連続的に撮像して得られた複数の画像データを選択し、その選択した複数の画像データを合成し、合成結果の画像データをメモリ３上に配置するが、その合成結果の画像データが合成結果表示領域Ａ３に表示される。また、合成結果保存方法表示領域Ａ４、処理終了方法表示領域Ａ５は非表示状態から表示状態に変更される。
【００２８】
次にステップＳ２において、十字型キー８の上下のキーが押されユーザから合成開始タイミングＴｏの変更指示があるかどうかを判断し、変更指示があれば、ステップＳ３に進んで合成開始タイミング表示領域Ａ１を更新し、それに伴いステップＳ４で合成開始タイミング表示領域Ａ１に表示されている合成開始タイミングＴｏに基づいて画像合成部４が再度画像データを合成し、合成結果を合成結果表示領域Ａ３に表示する。変更指示がなければ各表示領域を更新しない。その後、変更指示の有無にかかわらずステップＳ５に遷移する。
【００２９】
ステップＳ５では同様に、十字型キー８の左右のキーが押されユーザからシャッター速度相当時間Ｔｓの変更指示があるかどうかを判断し、変更指示があれば、ステップＳ６に進んでシャッター速度相当時間表示領域Ａ２を更新し、それに伴いステップＳ７でシャッター速度相当時間表示領域Ａ２に表示されているシャッター速度相当時間Ｔｓに基づいて画像合成部４が再度画像データを合成し、合成結果を合成結果表示領域Ａ３に表示する。変更指示がなければ各表示領域を更新しない。その後、変更指示の有無にかかわらずステップＳ８に遷移する。
【００３０】
ステップＳ８において、ＯＫキー９が押されユーザから合成結果保存指示があるかどうかを判断し、その指示があればステップＳ９に進んで合成結果を圧縮部６で圧縮した後、記録手段７を介して合成結果の画像データを記録媒体に保存し、ステップＳ１１に遷移する。また、指示がなければステップＳ１０に遷移する。
【００３１】
ステップＳ１０において、ＭＥＮＵキー１０が押されユーザから処理終了指示があるかどうかを判断し、その指示があればステップＳ１１に遷移する。また、指示がなければステップＳ２へと遷移し、以降処理を繰り返す。
【００３２】
ステップＳ１１では、合成結果を含むすべての画像データをメモリ３上から破棄し、処理を終了する。
【００３３】
なお、ステップＳ２とステップＳ５の判定順序は逆であってもかまわない。また、合成開始タイミングＴｏとシャッター速度相当時間Ｔｓの双方の変更指示があった場合は、ステップＳ４，Ｓ７の両方で合成結果表示領域Ａ３の更新を行う必要はなく、いずれかのステップで表示領域Ａ１，Ａ２に表示されている合成開始タイミングＴｏおよびシャッター速度相当時間Ｔｓに基づいて画像データを合成し更新を行えばよい。
【００３４】
なお、撮像装置がシャッター速度相当時間Ｔｓを可能な限り固定（原則固定）して露出を調整するシャッター速度優先モードを備えている場合、ステップＳ９におけるシャッター速度相当時間Ｔｓのシャッター速度に基づいてシャッター速度優先モードの基準シャッター速度を決定することも可能である。この場合、ユーザが好ましいとして決定したシャッター速度相当時間Ｔｓが保持され、これがシャッター速度優先モードに自動的に反映されるため、操作性が向上する。
【００３５】
図４は本実施の形態における連続的に撮像して取得された複数の画像データと、合成開始タイミングＴｏ、シャッター速度相当時間Ｔｓおよび合成結果の画像データの関係を示した図である。Ｐ１からＰ５は撮像装置により連続的に撮像された複数の画像データである。Ｔ１は撮像間隔、Ｔ２は初回撮像開始から最終撮像終了までの総撮像時間を示し、図中ではそれぞれ１／３０ｓ、５／３０ｓとなっている。ただし、この限りではなく、撮像前にユーザが指定可能とする。画像合成の基点となる合成開始タイミングＴｏは０ｓから総撮像時間５／３０ｓまでの値（０ｓ，１／３０ｓ，２／３０ｓ，３／３０ｓ，４／３０ｓ，５／３０ｓ）を指定可能であり、図中では１／３０ｓとなっている。合成の範囲となるシャッター速度相当時間Ｔｓは撮像間隔１／３０ｓから総撮像時間５／３０ｓまでの値（１／３０ｓ，２／３０ｓ，３／３０ｓ，４／３０ｓ，５／３０ｓ）を指定可能であり、図中では１／１０ｓとなっている。シャッター速度相当時間Ｔｓは、合成すべき画像データのフレーム数に相当する。フレーム数が少ないとシャッター速度相当時間Ｔｓは短く、シャッター速度は速いものとなる。逆に、フレーム数が多いとシャッター速度相当時間Ｔｓは長く、シャッター速度は遅いものとなる。すなわち、Ｐ２からＰ４の撮像間隔１／３０ｓの画像データ３つを合成することで、シャッター速度相当時間Ｔｓ（＝１／１０ｓ）の合成画像データＰｃを得ている。画像データの合成には、合成対象画像の各画素値を加算平均する方法、その他様々な手法があるが、本発明では特に限定しない。
【００３６】
画像合成部４は、指定のシャッター速度相当時間Ｔｓおよび合成開始タイミングＴｏに基づいて、メモリ３上の連続的な複数の画像データから合成すべき複数フレーム分の画像データを選択し、その選択した複数の画像データの合成を行う。表示部５は合成後の画像データを表示する。ユーザは表示された合成後の画像データを確認し、意図に合致しているかを判断し、合致するまでシャッター速度相当時間Ｔｓまたは（および）合成開始タイミングＴｏの指定の調整を行う。すなわち、シャッター速度相当時間Ｔｓを長くしたり短くしたり、また、合成開始タイミングＴｏを早めたり遅めたりする。シャッター速度相当時間Ｔｓの調整と合成開始タイミングＴｏの調整とは互いに独立したものとなっている。画像合成部４は、シャッター速度相当時間Ｔｓまたは（および）合成開始タイミングＴｏの調整の都度、新たに画像合成を行い、表示部５は合成後の画像データを表示する。画像データの合成結果は直ちに表示に反映され、それを見て、意図に合致するかの判断や、シャッター速度相当時間Ｔｓまたは（および）合成開始タイミングＴｏの調整もすみやかに行える。
【００３７】
本実施の形態によれば、連続的な複数の画像データを取得したのちにシャッター速度相当時間Ｔｓまたは（および）合成開始タイミングＴｏを調整するものであり、画像データ取得後の調整というのがポイントとなっており、撮影前フレーミング時にはシャッター速度のことを意識しないですむ。画像データ取得後の調整であり、調整時点ですでに画像データは取得済みであるので、シャッターチャンスを逃してしまうということは起こらないし、慌てないでも意図に合致した画像データの合成を実現することができる。
【００３８】
また、連続的に撮像する際の撮像間隔Ｔ１は１フレームのシャッター速度に相当する時間であるが、連続的な複数の画像データを取得するに当たり、そのシャッター速度を切り替えることにより、高速撮影、低速撮影を任意に設定することができる。その結果、ユーザの求める撮影条件によりきめ細かく対応することができる。
【００３９】
また、撮像間隔Ｔ１は等間隔となっていて複数の画像データの時間間隔は互いに時間軸上で線形となっているため、ユーザが意図した画像とユーザ所望のシャッター速度相当時間Ｔｓで撮影された画像とが合致しないという問題は起こらないですみ、シャッターチャンスを逃してしまう可能性はさらに低減される。
【００４０】
また、総撮像期間Ｔ２を撮像間隔Ｔ１で割ったものが画像データの個数（撮像枚数）に相当する。総撮像期間Ｔ２を短く設定すれば、撮像枚数が少なくなり、処理時間の短縮化が行われる。また、総撮像期間Ｔ２を長く設定すれば、撮像枚数を多くなり、合成する画像データの選択範囲の幅が広くなって、ユーザが求める画像に対して、よりきめ細かく対応することが可能となる。
【００４１】
（実施の形態２）
図５は本発明の実施の形態２における撮像装置の構成を示すブロック図である。画像処理部２は一般的な撮像装置が備える画像縮小手段４ａを内包するものとし、連続的に撮像された複数の画像データの合成は画像縮小手段４ａによって行うものとする。よって、実施の形態１における画像合成部４に相当するものはない。その他の構成要素であるイメージセンサ１、メモリ３、表示部５、圧縮部６および記録手段７は実施の形態１のものと同様である。
【００４２】
図６（ａ）は本実施の形態における画像縮小手段４ａとメモリ３間のデータ転送を示したデータフロー図、図６（ｂ）はその動作説明図である。メモリ３上の２つの画像データＱ１，Ｑ２を合成することを想定している。画像処理部２は、まず転送ＴＲ１で画像データＱ１，Ｑ２をメモリ３から読み出し、それぞれ水平ライン毎に交互になるようにメモリ３上に再配置する。具体的には、画像データＱ１の第１ラインａ１を読み出してメモリ３に書き込み、次に画像データＱ２の第１ラインｂ１を読み出してメモリ３に書き込む。続いて画像データＱ１の第２ラインａ２を読み出してメモリ３に書き込み、次に画像データＱ２の第２ラインｂ２を読み出してメモリ３に書き込む。同様の動作を画像データＱ１，Ｑ２のそれぞれについて最終ラインまで繰り返し行う。なお、この再配置はＤＭＡ（Direct Memory Access）などの高速なデータ転送手段によって行うことが望ましい。
【００４３】
次に、画像縮小手段４ａは、転送ＴＲ２において、再配置された画像データＱ３を読み出し、垂直方向に縮小することで画像データＱ１，Ｑ２を等価的に加算平均する。本実施の形態では２つの画像データを合成するので、縮小率は１／２となる。最後に、画像縮小手段４ａは、転送ＴＲ３において、加算平均された画像データＱｃをメモリ３に格納する。具体的には、Ａ１とＢ１とを読み出して垂直方向に縮小し（ａ１＋ｂ１）メモリ３に格納し、続いてＡ２とＢ２とを読み出して垂直方向に縮小し（ａ２＋ｂ２）メモリ３に格納する。同様の動作を最終ラインまで繰り返し行う。
【００４４】
以上のように本実施の形態によれば、一般的な撮像装置が備える画像縮小手段４ａを複数の画像データの合成に転用するので、実施の形態１の場合の画像合成部４が不要になり、回路規模の削減およびコスト削減を図ることができる。
【００４５】
また、垂直方向で隣接する画素の画素データを加算するもので、結果的にすべての画素データを活用することになるため、画像合成による画質劣化の度合いが低く、高品質な合成画像が得られる。
【００４６】
なお、画像データの合成数は２に限定されない。ｎ個（ｎは自然数）の画像データを合成する場合、縮小率は１／ｎとなる。ただし、取り得る縮小率の範囲は画像縮小手段４ａの構成に依存する。
【００４７】
（実施の形態３）
本発明の実施の形態３における撮像装置の構成は、実施の形態２の図５に示した構成と同等とする。図７（ａ）は本発明の実施の形態３における画像縮小手段４ａとメモリ３間のデータ転送を示したデータフロー図、図７（ｂ）はその動作説明図である。ここでは、メモリ３上の２つの画像データＲ１，Ｒ２を合成することを想定している。
【００４８】
画像縮小手段４ａは水平ライン毎に参照メモリアドレスを複数の画像間で切り替え可能な構成として、転送ＴＲ１では画像縮小手段４ａがメモリ３上の画像データＲ１，Ｒ２を水平ライン毎に交互に読み出し、垂直方向に縮小を行うことで等価的に加算平均する。そして、転送ＴＲ２では画像縮小手段４ａにより加算平均された画像データＲｃをメモリ３上に格納する。具体的には、画像データＲ１の第１ラインａ１を読み出すとともに画像データＲ２の第１ラインｂ１を読み出し、それらを垂直方向に縮小し（ａ１＋ｂ１）、メモリ３に書き込む。続いて。画像データＲ１の第２ラインａ２を読み出すとともに画像データＲ２の第２ラインｂ２を読み出し、それらを垂直方向に縮小し（ａ２＋ｂ２）、メモリ３に書き込む。
【００４９】
本実施の形態によれば、実施の形態２と比較して画像データの再配置が不要になるため、データ転送時間およびメモリ使用量の削減を図ることができる。
【００５０】
なお、本実施の形態では２つの画像データを合成するので、縮小率は１／２となる。ｎ個（ｎは自然数）の画像データを合成する場合、縮小率は１／ｎとなる。
【００５１】
（実施の形態４）
本発明の実施の形態４における撮像装置の構成は、実施の形態１の図１に示した構成と同等とする。ただし、連続的に撮像を行った際に、画像処理部２は、イメージセンサ１の有効画素数相当の高解像度の画像データに加え、ＱＶＧＡ（Quarter Video Graphics Array：３２０画素×２４０ライン）サイズなどの低解像度の画像データを作成し、メモリ３に格納するものとする。図８は本発明の実施の形態４における連続的に撮像して取得された複数の画像データを合成する際のユーザからの指示および表示部５の表示内容更新手順さらに合成結果の保存手順を示した処理フロー図である。
【００５２】
まず、ステップＳ２１において、ユーザから合成開始タイミングＴｏおよびシャッター速度相当時間Ｔｓの変更指示があった際にステップＳ２２に遷移し、指示がなければステップＳ２５に遷移する。
【００５３】
ステップＳ２２では、変更指示に基づき合成開始タイミングＴｏおよびシャッター速度相当時間Ｔｓを変更し、ステップＳ２３に遷移する。
【００５４】
ステップＳ２３では、変更された合成開始タイミングＴｏおよびシャッター速度相当時間Ｔｓに基づいて、低解像度の画像データから画像データを合成し、ステップＳ２４に遷移する。
【００５５】
ステップＳ２４では、ステップＳ２３で合成した画像データを表示部５に表示し、ステップＳ２５に遷移する。
【００５６】
ステップＳ２５では、ユーザからの合成結果保存指示があった際にステップＳ２６に遷移し、指示がなければステップＳ２１に遷移し、以降処理を繰り返す。
【００５７】
ステップＳ２６では、その時点で撮像装置に保持されている合成開始タイミングＴｏおよびシャッター速度相当時間Ｔｓに基づいて、高解像度の画像データから画像データを合成し、ステップＳ２７に遷移する。
【００５８】
ステップＳ２７では、ステップＳ２６で合成した画像データを記録手段７を介して記録媒体に保存し、ステップＳ２８に遷移する。
【００５９】
ステップＳ２８では、合成結果を含むすべての画像データをメモリ３上から破棄し、処理を終了する。
【００６０】
なお、ユーザから処理終了指示があった際の処理については、実施の形態１に記載の処理に相当するため説明を省く。
【００６１】
最終的目標が所望の高解像度の合成結果の画像データの保存であるとすれば、その画像データの表示自体に関してはその解像度は所望解像度よりも低くてもかまわないはずである。低解像度の画像データの合成および表示は、高解像度の画像データの合成、表示に比べてより高速に行える。
【００６２】
以上のように本実施の形態によれば、表示部５に表示する画像データの合成・表示に低解像度の画像データを用いることで、所要時間が実施の形態１と比較して短縮され、ユーザの指示から表示更新までのレスポンスを向上させることができる。
【産業上の利用可能性】
【００６３】
本発明の技術は、高速な撮像素子を備え短時間に複数の画像が撮像可能な撮像装置において、比較的低コストでユーザの意図に合致した写真の撮影を可能とするため有用である。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態１における撮像装置の構成を示すブロック図
【図２】本発明の実施の形態１における表示部とその表示内容および操作用キーの構成図
【図３】本発明の実施の形態１における表示内容更新手順および合成結果の保存手順を示した処理フロー図
【図４】本発明の実施の形態１における合成開始タイミング、シャッター速度相当時間および合成結果の関係図
【図５】本発明の実施の形態２における撮像装置の構成を示すブロック図
【図６】本発明の実施の形態２における画像縮小手段とメモリ間のデータフロー図とその動作説明図
【図７】本発明の実施の形態３における画像縮小手段とメモリ間のデータフロー図とその動作説明図
【図８】本発明の実施の形態４における表示内容更新手順および合成結果の保存手順を示した処理フロー図
【符号の説明】
【００６５】
１  イメージセンサ（撮像素子）
２  画像処理部
３  メモリ
４  画像合成部
４ａ  画像縮小手段（画像合成手段）
５  表示部
６  圧縮部
７  記録手段
８  十字型キー
９  ＯＫキー
１０  ＭＥＮＵキー
Ａ１  合成開始タイミング表示領域
Ａ２  シャッター速度相当時間表示領域
Ａ３  合成結果表示領域
Ａ４  合成結果保存方法表示領域
Ａ５  処理終了方法表示領域
ａ１  合成開始タイミングの変更方法表示領域
ａ２  シャッター速度相当時間の変更方法表示領域
Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５  連続撮像された画像データ
Ｐｃ  合成画像データ
Ｑ１，Ｑ２  連続撮像された画像データ
Ｑ３  再配置された画像データ
Ｑｃ  加算平均された画像データ
Ｒ１，Ｒ２  連続撮像された画像データ
Ｒｃ  加算平均された画像データ
Ｔ１  撮像間隔
Ｔ２  総撮像時間
Ｔｏ  合成開始タイミング
Ｔｓ  シャッター速度相当時間
【図１】
2010109812.tif 000003
【図２】
2010109812.tif 000004
【図３】
2010109812.tif 000005
【図４】
2010109812.tif 000006
【図５】
2010109812.tif 000007
【図６】
2010109812.tif 000008
【図７】
2010109812.tif 000009
【図８】
2010109812.tif 000010