(57)【特許請求の範囲】
【請求項１】
被写体像を画像１枚分相当の画像データに変換する撮像手段と、
前記画像データを一定時間間隔で前記撮像手段から取得する取得手段と、
前記画像データをその輝度が画素毎に比較される更新用画像データとして格納する更新画像用メモリ領域と、
前記更新画像用メモリ領域の画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像データとして格納する合成画像用メモリ領域と、
前記取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと前記合成画像データとの画素毎の輝度の比較を前記取得中に実行して前記合成画像用メモリ領域の画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理する画像処理手段と、
撮像装置本体の姿勢の変化を検出する姿勢変化検出手段とを備え、
前記姿勢変化検出手段は、前記撮像装置本体の傾きを検出する傾き検出手段であり、
前記画像処理手段は、前記合成画像データからなる画像の傾きに対して今回取得された更新用画像データからなる画像の傾きの差の絶対値が所定の閾値よりも小さい場合には今回取得された更新用画像データを用いて前記置換処理を実行し、前記画像の傾きの差の絶対値が所定の閾値よりも大きい場合には今回取得された更新用画像データを前記比較対象画像データとして前記合成画像用メモリ領域に格納する処理を実行した後、次回に取得される更新用画像データを用いての置換処理に移行することを特徴とする撮像装置。
【請求項２】
前記画像の傾きの差が所定の閾値よりも大きいときには、前記合成画像用メモリ領域に格納されている置換処理前の合成画像データを記憶媒体に出力可能であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
被写体像を画像１枚分相当の画像データに変換する撮像手段と、
前記画像データを一定時間間隔で前記撮像手段から取得する取得手段と、
前記画像データをその輝度が画素毎に比較される更新用画像データとして格納する更新画像用メモリ領域と、
前記更新画像用メモリ領域の画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像データとして格納する合成画像用メモリ領域と、
前記取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと前記合成画像データとの画素毎の輝度の比較を前記取得中に実行して前記合成画像用メモリ領域の画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理する画像処理手段と、
撮像装置本体の姿勢の変化を検出する姿勢変化検出手段とを備え、
前記姿勢変化検出手段は、前記撮像装置本体の傾きを検出する傾き検出手段であり、
前記画像処理手段は、前記合成画像データからなる画像の傾きに対して今回取得された更新用画像データからなる画像の傾きの差の絶対値が所定の閾値よりも小さい場合には今回取得された更新用画像データを用いて前記合成画像用メモリ領域への置換処理を実行し、
前記画像の傾きの差の絶対値が所定の閾値よりも大きい場合には今回取得された更新用画像データからなる画像を画像の傾きの差の分だけ傾きの差が小さくなる方向に回転補正処理して前記置換処理を実行し、
前記画像の傾きの差が所定の閾値よりも大きいときには、前記更新画像用メモリ領域に格納されている回転補正処理前の更新用画像データと回転補正処理後の更新用画像データとを出力可能であることを特徴とする撮像装置。
【請求項４】
被写体像を画像１枚分相当の画像データに変換する撮像手段と、
前記画像データを一定時間間隔で前記撮像手段から取得する取得手段と、
前記画像データをその輝度が画素毎に比較される更新用画像データとして格納する更新画像用メモリ領域と、
前記更新画像用メモリ領域の画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像データとして格納する合成画像用メモリ領域と、
前記取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと前記合成画像データとの画素毎の輝度の比較を前記取得中に実行して前記合成画像用メモリ領域の画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理する画像処理手段と、
撮像装置本体の姿勢の変化を検出する姿勢変化検出手段とを備え、
前記姿勢変化検出手段は、前記撮像装置本体の揺動を検出する揺動検出手段であり、
該揺動検出手段の揺動出力が所定値よりも大きいときには前記一定時間間隔よりも短い待ち時間の間、前記更新用画像データの取得を中止した後、次回の更新用画像データへの取得に移行して前記置換処理を実行することを特徴とする撮像装置。
【請求項５】
前記揺動検出手段が、加速度検出手段であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記揺動検出手段が、角速度検出手段であることを特徴とする請求項４に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、いわゆる比較明合処理機能を有する撮像装置の改良に関する。
【背景技術】
【０００２】
近年、撮像装置としてのデジタルカメラの普及に伴って、そのデジタルカメラが漸次技術的に進歩しており、例えば、バルブ撮影時に所定の周期で被写体像を繰り返し撮像し、それによって得られた複数の画像を加算演算して加算画像を生成し、過去の加算画像を順次表示することにより加算画像の露光量の変化を容易に把握できるようにしたデジタルカメラが提案されている（例えば、特許文献１参照）。
【０００３】
また、デジタルカメラを様々な撮影用途に使用し、フィルムカメラの時代には技術的にあり得なかった新たな映像表現手法も数多く生まれている。
その一つに、デジタルカメラを三脚に固定し、インターバル撮影を行って得られた多量の静止画を利用して、新たな映像を作成する映像表現手法がある。例えば、蛍の光跡を増加させた写真や、地球の日周運動に起因し夜空を移動する星の光跡を残した写真を作成するために、比較明合成という合成処理を行う映像表現手法がある。
【０００４】
図１０は、その比較明合成処理の概要を説明するための概念図である。その図１０において、（ａ）はインターバル撮影により取得された被写体像としての画像群を示し、（ｂ）は比較明合成処理後の写真を示し、（ｃ）、（ｄ）は比較明合成処理の手順を説明するためのバッファメモリ領域の模式図である。
【０００５】
ここでは、その図１０（ａ）に、インターバル撮影により撮影された被写体像としての夜間の星空を含む風景写真からなる画像群G１が示されており、その風景写真の枚数は、例えば、３００枚程度である。
【０００６】
比較明合成処理では、図１０（ｃ）に示すように、比較明合成処理に用いるバッファメモリとしての画像１枚分に相当する合成画像用メモリ領域αに１枚目の被写体像に対応するＮ＝１の画像データを初期の比較対象画像データとしてセットする。
【０００７】
ついで、図１０（ｄ）に示すように、比較明合成処理に用いるバッファメモリとしての画像１枚分に相当する更新画像用メモリ領域βに２枚目以降の被写体像像に対応するＮ＝ｉ（ｉ＝２、…、Ｎ）の各画像データを更新用画像データとしてセットする。
【０００８】
次に、比較明合成処理では、合成画像用メモリ領域αの所定画素領域ｉの輝度値Ｐαｉとこの合成画像用メモリ領域αの所定画素領域ｉに対応する更新画像用メモリ領域βの画素領域ｉの輝度値Ｐβｉとを読み出し、輝度値Ｐαｉと輝度値Ｐβｉとを比較し、輝度値が大きい方の画素のデータを、合成画像用メモリ領域αの所定画素領域ｉに置換処理する。
【０００９】
比較明合成処理では、この置換処理を、各更新用画像データの全画素データ（ｉ＝１〜ｍ）について行う。この置換処理をＮ個の被写体像について行うと、この比較明合成処理により、各被写体像を構成する画像データの互いに対応する各画素について最大輝度が抽出され、合成画像用メモリ領域αの各画素領域には、最大輝度値を有するデータが書き込まれることになる。
【００１０】
この比較明合成処理後の合成画像用メモリ領域αの各画素領域に書き込まれた輝度のデータを用いて合成画像G２を構築すると、図１０（ｂ）に示すように、風景と星空の静止画像であっても、地球の日周運動に起因する星の光跡が延びつつ星の無い夜空の部分や、明るさのある風景が真っ白にならずに共存し、あたかも長時間露出を行ったような画像が得られる。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、三脚で固定してインターバル撮影を行って比較明合成処理を行うとはいっても、何らのかげんで撮像装置本体としてのカメラ本体が傾いたりすると、あるいは、カメラ本体が風や振動等で揺れたりすると、光跡がずれた画像となり、撮影者は意図した合成画像G2を得ることができず、比較明合成処理をもう一度行なければならないという不都合がある。
【００１２】
本発明は、上記の事情に鑑みて為されたもので、撮像装置本体の姿勢の変化に柔軟に対応して良質の合成画像の構築を行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、被写体像を画像１枚分相当の画像データを一定時間間隔で取得する取得手段と、画像データをその輝度が画素毎に比較される更新用画像データとして格納する更新画像用メモリ領域と、更新画像用メモリ領域の画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換された比較対象画像データを合成画像データとして格納する合成画像用メモリ領域と、撮像装置本体の姿勢の変化を検出する姿勢変化検出手段と、画像処理手段とを備えている。
【００１４】
画像処理手段は、取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと合成画像データとの画素毎の輝度の比較を取得中に実行して合成画像用メモリ領域の画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理する。また、画像処理手段は、姿勢変化検出手段の検出結果に応じて置換処理の内容を変更する。
【発明の効果】
【００１５】
本発明によれば、画像処理手段は、姿勢変化検出手段の検出結果に応じて置換処理の内容を変更するので、撮像装置本体の姿勢の変化に柔軟に対応して良質の合成画像の構築を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施例に係る撮像装置としてのデジタルカメラの外観図である。
【図２】図２は、図１に示すデジタルカメラの内部システム構成図である。
【図３】図３は、図１に示すデジタルカメラのインターバル撮影時のメインフローチャートである。
【図４】図４は、図３に示す比較明合成処理の基本例のフローチャートである。
【図５】図５は、図３に示す比較明合成処理の実施例１のフローチャートである。
【図６】図６は、図３に示す比較明合成処理の実施例２のフローチャートである。
【図７】図７は、図３に示す比較明合成処理の実施例３のフローチャートである。
【図８】図８は、画像の回転補正に使用する画像データの範囲を示す説明図である。
【図９】図９は、図３に示すインターバル撮影時のメインフローチャートの他の例を示す図である。
【図１０】図１０は、比較明合成処理の概念図である。
【発明を実施するための形態】
【実施例】
【００１７】
以下に、本発明に係わる撮像装置としてのデジタルカメラの発明の実施の形態を図面を参照しつつ説明する。
【００１８】
（デジタルカメラの一般的構成）
図１は本発明に係わる画像記録装置（撮像装置）としてのデジタルカメラ（以下、カメラという）の概要図で（a）はその正面図、（ｂ）その背面図、（ｃ）はその上面図であり、図２はそのデジタルカメラの内部のシステム構成の概要を示すブロック回路図である。
【００１９】
図１において、カメラ本体１の上面には、図１（ｃ）に示すように、レリーズスイッチ（レリーズシャッター）ＳＷ１、モードダイアルスイッチＳＷ２、ジョグダイアルスイッチＳＷ３が配設されている。
【００２０】
カメラ本体（装置本体）１の正面には、図１（a）に示すように、撮影レンズを含む鏡胴ユニット７、光学ファインダ４、ストロボ発光部３、測距ユニット５が設けられている。
【００２１】
カメラ本体１の背面には、図１（ｂ）に示すように、ＬＣＤモニタ（表示部ともいう）１０、光学ファインダ４、ジョグダイヤルＳＷ４、望遠方向ズームスイッチＳＷ５、広角方向ズームスイッチＳＷ６、上移動・ストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、ＯＫスイッチＳＷ９、下移動・マクロスイッチＳＷ１０、左移動スイッチＳＷ１１、ディスプレイスイッチＳＷ１２、削除スイッチＳＷ１３、メニュースイッチＳＷ１４、電源スイッチ手ＳＷ１５等の操作キースイッチが設けられている。カメラ本体１の側面には電池装填室の蓋２が設けられている。
【００２２】
（カメラの内部システム構成）
次にカメラの内部のシステム構成を説明する。
図２において、１０４はデジタルスチルカメラプロセッサ（以下、プロセッサともいう）である。
プロセッサ１０４は、ＣＣＤ１信号処理ブロック１０４１、ＣＣＤ２信号処理ブロック１０４２、ＣＰＵブロック１０４３、ローカルＳＲＡＭ１０４４、ＵＳＢブロック１０４５、シリアルブロック１０４６、ＪＰＥＧ・ＣＯＤＥＣブロック（ＪＰＥＧ圧縮・伸長を行うブロック）１０４７、ＲＥＳＩＺＥブロック（画像データのサイズを補間処理により拡大・縮小するブロック）１０４８、ＴＶ信号表示ブロック（画像データを液晶モニタ・ＴＶ等の表示機器に表示させるためのビデオ信号に変換するブロック）１０４９、メモリカードコントローラブロック（撮影画像データを記録するメモリカードの制御を行うブロック）１０４１０を有している。
【００２３】
これらの各ブロックは相互にバスラインで接続されている。ＣＣＤ１信号処理ブロック１０４１、ＣＣＤ２信号処理ブロック１０４２は画像処理手段として機能する。ＣＰＵブロック１０４３は後述する制御を行う。
【００２４】
プロセッサ１０４の外部には、ＣＣＤ１信号処理ブロック１０４１において処理されたＲＡＷ−ＲＧＢ画像データ（ホワイトバランス設定、γ設定が行われた状態の画像データ）、ＣＣＤ２信号処理ブロック１０４２においてＹＵＶ画像データ（輝度データ、色差データ変換が行われた状態の画像データ）、ＪＰＥＧ画像データ（ＪＰＥＧ圧縮された状態の画像データ）を保存するＳＤＲＡＭ１０３が配置され、ＳＤＲＡＭ１０３はプロセッサ１０４にメモリコントローラ（図示を略す）、バスラインを介して接続されている。このＳＤＲＡＭ１０３は、後述する比較明合成処理を行うための合成画像用メモリ領域α、更新画像用メモリ領域β（図１０参照）を有する。
【００２５】
プロセッサ１０４の外部には、更に、記憶手段（ＲＡＭ１０７）、内蔵メモリ（メモリカードスロットルにメモリカードが装着されていない場合でも画像データを記憶するためのメモリ）１２０、制御プログラム、パラメータなどが格納されたＲＯＭ１１９が設けられ、これらもバスラインによってプロセッサ１０４に接続されている。
【００２６】
ＲＯＭ１１９に格納されている制御プログラムは、カメラの電源スイッチＳＷ１５をオンすると、プロセッサ１０４のメインメモリ（図示を略す）にロードされ、プロセッサ１０４は制御プログラムに従って各部の動作制御を行うと共に、制御データ、パラメータ等をＲAＭ１０７、ローカルＳＲＡＭ１０４４等に一時的に保存させる。ＲＯＭ１１９に書き換え可能なフラッシュＲＯＭを用いると、バージョンアップの際に便利である。
【００２７】
鏡胴ユニット７は、被写体像を取得するための撮影レンズとしてのズームレンズ７１ａを有するズーム光学系７１、フォーカスレンズ７２ａを有するフォーカス光学系７２、絞り７３ａを有する絞りユニット７３、メカニカルシャッター（メカシャッタ）７４ａを有するメカニカルシャッターユニット（メカシャッタユニット）７４からなるレンズ鏡筒を備えている。ズーム光学系７１、フォーカス光学系７２等は、後述するＣＣＤ１０１と協働して被写体像を画像１枚分相当の画像データに変換する撮像手段の一部として機能する。
【００２８】
ズーム光学系７１、フォーカス光学系７２、絞りユニット７３、メカニカルシャッターユニット７４は、ズームモータ７１ｂ、フォーカスモータ７２ｂ、絞りモータ７３ｂ、メカニカルシャッターモータ７４ｂによってそれぞれ駆動されるようになっている。
これらの各モータはモータドライバ７５によって駆動され、モータドライバ７５はプロセッサ１０４のＣＰＵブロック１０４３によって制御される。
【００２９】
鏡胴ユニット７の各レンズ系により固体撮像素子としてのＣＣＤ１０１に被写体像が結像され、ＣＣＤ１０１は被写体像を画像信号に光電変換してＦ／Ｅ−ＩＣ１０２に画像信号を出力する。Ｆ／Ｅ−ＩＣ１０２は画像ノイズ除去用のため相関二重サンプリングを行うＣＤＳ１０２１、利得調整用のＡＧＣ１０２２、アナログデジタル変換を行うＡ／Ｄ変換部１０２３から構成されている。すなわち、Ｆ／Ｅ−ＩＣ１０２は画像信号に所定の処理を施し、アナログ画像信号をデジタル信号に変換してプロセッサ１０４のＣＣＤ１信号処理ブロック１０４１に向けてデジタル信号を出力する。
【００３０】
これらの信号制御処理は、プロセッサ１０４のＣＣＤ１信号処理ブロック１０４１から出力される垂直同期信号ＶＤ・水平同期信号ＨＤによりＴＧ１０２４を介して行われる。そのＴＧ１０２４は垂直同期信号ＶＤ・水平同期信号HDに基づき駆動タイミング信号を生成する。
【００３１】
ＣＰＵブロック１０４３は、更に、ストロボ回路１０６を制御することによってストロボ発光部３から照明光を発生させる制御を行うと共に、測距ユニット５を制御する。
【００３２】
ＣＰＵブロック１０４３は、プロセッサ１０４のサブＣＰＵ１０５に接続され、サブＣＰＵ１０５は、時刻カウンタＲＴＣ１１２との間で通信を行い、これにより、ＣＰＵブロック１０４３は、時間をカウント制御する。また、サブＣＰＵ１０５は操作スイッチＳＷ１〜ＳＷ１５からなる操作キーユニットに接続されている。
【００３３】
ＵＳＢブロック１０４５はＵＳＢコネクタ（図示を略す）に接続され、シリアルブロック１０４６はパーソナルコンピュータ等の外部機器とシリアル通信を行うためにシリアルドライバ回路（図示を略す）を介してＲＳ−２３２Ｃコネクタ（図示を略す）に接続されている。ＴＶ信号表示ブロック１０４９は、ＬＣＤドライバ１０８を介してＬＣＤモニタ１０に接続されると共に、ビデオアンプリファイア（ＴＶ信号表示ブロック１０４９から出力されたビデオ信号を７５Ωインピーダンスに変換するためのアンプリファイア）１０９を介してビデオジャック（カメラをＴＶ等の外部表示機器に接続するためのジャック）１１０に接続されている。メモリカードコントローラブロック１０４１０はメモリカードスロット（図示を略す）のカード接点との接点に接続されている。
【００３４】
ＬＣＤドライバ１０８はＬＣＤモニタ１０を駆動すると共に、TV信号表示ブロック１０４９から出力されたビデオ信号をＬＣＤモニタ１０に表示させる信号に変換する役割を果たす。ＬＣＤモニタ１０は撮影前の被写体の状態監視、撮影画像確認及びメモリカード又は内蔵メモリ１２０に記録された画像データ表示のために用いられる。
【００３５】
プロセッサ１０４は、ＰＣＢ（プリント回路基板）に実装されたＩ２Ｃブロック１０４１１を有し、このＩ２Ｃブロック１０４１１にＰＣＢ（プリント回路基板）に実装された加速度センサ１１１が接続されている。加速度センサ１１１は、３軸（Ｘ，Ｙ，Ｚ）方向の加速度データを出力する。この加速度センサ１１１は、プロセッサ１０４の制御により撮像装置本体としてのカメラ本体１の姿勢の変化を検出する姿勢変化検出手段として機能する。
【００３６】
ここでは、この加速度センサ１１１は、プロセッサ１０４と協働してカメラ本体１の傾きを検出する傾き検出手段としての機能を有する。
プロセッサ１０４は、加速度データからカメラ本体１の傾きを演算し、ＬＣＤモニタ１０に表示する機能を有する。
【００３７】
加速度センサ１１１の水平に対するロール角θ・ピッチ角φは以下の式で表される。
θ[deg] = 180 / π * arctan((Y - Y0) / (X - X0))
φ[deg] = 180 / π * arctan((Z - Z0) / (X - X0))
ここでX0、Y0、Z0は各々重力ゼロ時の出力である。
このデジタルカメラは、いわゆるインターバル撮影機能を有し、プロセッサ１０４は、撮像手段から出力される画像データを一定時間間隔で取得する取得手段としての機能を果たす。
【００３８】
図３はそのデジタルカメラのインターバル撮影実行時のメインフローチャートを示している。
ここでは、そのプロセッサ１０４は、取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと合成画像データとの画素毎の輝度の比較をその取得中に実行して合成画像用メモリ領域の画素領域に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理（いわゆる比較明合成処理）する画像処理手段としての機能も果たす。
【００３９】
更新画像用メモリ領域βは、一定時間間隔で撮像手段から取得された画像データをその輝度が画素毎に比較される更新用画像データとして格納する機能を果たす。
合成画像用メモリ領域αは、更新画像用メモリ領域βの画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像として格納する機能を果たす。
【００４０】
（インターバル撮影時のメインフローチャートの説明）
インターバル撮影時には、図３に示すように、まず、合成処理中フラグをクリアし（S.1）、被写体像の合成回数カウンタを初期化する（S.2）。ここで、合成処理中フラグとは、被写体像の１枚分相当の画像データを用いての比較明合成処理が実行中であるか否かを判断するフラグである。
ついで、ユーザーが設定したインターバル撮影時間間隔t1を計測して時間間隔ｔ１毎に撮影を行う（Ｓ．３）。
【００４１】
すなわち、その撮影時間間隔ｔ１経過ごとに露光処理を行い（S.4）、合成処理中フラグを確認する（S.5）。プロセッサ１０４は、合成処理中フラグがクリアされている場合には、CCD（撮像素子）１０１から被写体像１枚分相当の画像データの取得を実行する（S.6）。合成処理中フラグがセットされている場合、比較明合成処理中として比較明合成処理が終了するまで画像データの取得を禁止する。
【００４２】
ついで、プロセッサ１０４は、ユーザーが一定時間間隔ｔ１ごとに取得した画像データを保存するという設定を行っているか否かを判断する処理を行い（S.7）、ユーザーにより画像データの保存設定がされていれば、一定時間間隔ごとに出力される被写体像の画像データを出力する処理（インターバル画像ファイル出力処理）を実行し（S.8）、記憶媒体としてのＳＤカード又は内蔵メモリ１２０に保存する処理を行う。ユーザーによるこの設定がない場合には、S.８の処理をスキップしてS.9の処理に移行する。
【００４３】
S.9においては、合成処理中フラグがセットされる。ついで、プロセッサ１０４は、比較明合成処理S.10に移行する。この比較明合成処理のフローチャートの詳細については、後述する。
その比較明合成処理が終了すると、プロセッサ１０４は、ユーザーによるインターバル撮影終了操作の有無を判断する（S.11）。
【００４４】
ユーザーによるインターバル撮影終了操作がされた場合には、プロセッサ１０４は、インターバル撮影処理を終了し、ユーザーによるインターバル撮影終了操作がされていない場合には、プロセッサ１０４は、インターバル撮影時間間隔ｔ１が経過したか否かを判断し（S.12）、インターバル撮影時間間隔ｔ１が経過した場合には、S.3に移行して、S.3〜S.12の処理を実行する。
【００４５】
以下、比較明合成処理のフローチャートを実施例ごとに図面を参照しつつ説明する。
（比較明合成処理の基本例）
図４は、図３に示す比較明合成処理の基本例のフローチャートである。
プロセッサ１０４は、まず、合成回数カウンタのカウント値が「０」であるか否かを判断する（S.101）。
プロセッサ１０４は、合成回数カウンタのカウント値が「０」の場合には、合成画像用メモリ領域αに更新画像用メモリ領域βの画像データを、比較対象画像データ、すなわち、初期の合成画像データとして用いるためにコピーする（S.102）。
【００４６】
プロセッサ１０４は、合成回数カウンタのカウント値が「０」でない場合には、取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと合成画像データとの画素毎の輝度の比較をその取得中に実行して合成画像用メモリ領域αの画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換するという比較明合成処理を実行する（Ｓ．１０３）。
【００４７】
ついで、プロセッサ１０４は、合成回数カウンタのカウント値を「＋１」カウントした後、合成処理フラグをクリアして（S.10４、S.10５）、比較明合成処理を終了して、図３に示すS.11に移行する処理を実行する。
【００４８】
これらの一連の処理により、撮影レンズを通過した光を撮像素子（CCD）に受光して被写体像の画像１枚分相当の画像データの所定周期毎の取得制御実行中に、画素毎に輝度を比較して合成画像の構築を行うことができることになり、ユーザーはデジタルカメラを持ち帰って、後で一連の取得した被写体像の比較明合成処理を行う必要がないので便利である。
更に、この基本例によれば、記録媒体に、一定時間間隔ごとに取得した被写体像の画像データを保存可能となっているので、デジタルカメラを自宅等に持ち帰った後からでもパーソナルコンピュータ（図示を略す）を用いてこれらの画像データを補正して使用することも可能である。
【００４９】
（比較明合成処理の実施例１）
図５は、図３に示す比較明合成処理の実施例１のフローチャートである。
プロセッサ１０４は、まず、基本例と同様に、合成回数カウンタのカウント値が「０」であるか否かを判断する（S.101）。
【００５０】
ついで、プロセッサ１０４は、合成回数カウンタのカウント値が「０」の場合には、合成画像用メモリ領域αに更新画像用メモリ領域βの画像データを、比較対象画像データすなわち初期の合成画像データとして用いるためにコピーする（S.102）。
【００５１】
プロセッサ１０４は、合成回数カウンタのカウント値が「０」でない場合には、S.106に移行して、合成画像用メモリ領域αに保存されている合成画像データからなる合成画像のロール方向、ピッチ方向の傾きをそれぞれθ１・φ１、被写体像の一定時間間隔ごとの取得制御中に今回取得されて更新画像用メモリ領域βに格納された更新用画像のロール方向、ピッチ方向の傾きをそれぞれθ２・φ２として、合成画像データからなる合成画像の傾きと今回取得された更新用画像の傾きとの差の絶対値が所定の閾値よりも小さいか否かを判断する。
【００５２】
この実施例１では、合成回数カウンタのカウント値が「０」でない場合、プロセッサ１０４は、傾きθ１とθ２の差分がθｔｈ（例えば１度）以内、かつ、傾きφ１とφ２の差分がφｔｈ（例えば１度）のとき、一定時間間隔ごとに出力される更新用画像データのうち今回の更新用画像データを更新用画像メモリ領域βに格納しかつ今回の更新用画像データの輝度と合成画像データの輝度とを互いに対応する画素ごとに比較ししかも画素ごとに輝度が大きいほうの輝度データを合成画像用メモリ領域αに置換する処理を全画素について実行するという比較明合成処理を実行した後（S.10７）、基本例と同様にS.10４以降の処理を実行する。
【００５３】
プロセッサ１０４は、合成画像データからなる合成画像の傾きと今回取得された更新用画像の傾きとの差の絶対値が所定の閾値よりも大きい場合には、S.107の処理をスキップして、S105の処理に移行して、すなわち、傾きの差の絶対値がθｔｈ以上、又はφｔｈ以上の場合には、比較明合成処理を行わずにインターバル撮影に戻り、次回に取得される更新用画像データを用いての置換処理に移行する。
【００５４】
この実施例１によれば、インターバル撮影中に、何らかの加減で、カメラ本体１が傾いた場合に、そのカメラ本体１が傾いた際に取得された画像についての比較明合成処理を回避できるので、夜間撮影の星の光跡等がずれてしまって、不自然な合成画像が作成されるという問題を解消できる。
すなわち、この実施例１によれば、画像処理手段は姿勢変化検出手段の検出結果に応じて、置換処理の内容を変更するので、撮像装置本体の姿勢の変化に柔軟に対応して良質の合成画像の構築を行うことができる。
【００５５】
（比較明合成処理の実施例２）
図６は、図３に示す比較明合成処理の実施例１のフローチャートである。
プロセッサ１０４は、まず、実施例１と同様に、合成回数カウンタのカウント値が「０」であるか否かを判断する（S.101）。
【００５６】
ついで、プロセッサ１０４は、合成回数カウンタのカウント値が「０」の場合には、合成画像用メモリ領域αに更新画像用メモリ領域βの画像データを比較対象画像データ、すなわち初期の合成画像データとして用いるためにコピーする（S.102）。
【００５７】
プロセッサ１０４は、実施例１と同様に合成回数カウンタのカウント値が「０」でない場合には、S.106に移行して、実施例１と同様にロール方向θ１、θ２、ピッチ方向の傾きφ１、φ２を用いて、傾きθ１とθ２の差分の絶対値がθｔｈ（例えば１度）以内、かつ、傾きφ１とφ２の差分の絶対値がφｔｈ（例えば１度）であるか否かを判断し、「YES」の場合には、実施例１と同様に、S.107に移行して比較明合成処理を行う。
【００５８】
プロセッサ１０４は、「NO」の場合、すなわち、差分の絶対値がθｔｈ以上、又はφｔｈ以上である場合には、Ｓ．１０２に移行して、合成画像用メモリ領域αに更新画像用メモリ領域βの画像データをコピーする処理を行い、実施例１と同様に、S.104以降の処理を実行する。
【００５９】
すなわち、プロセッサ１０４は、この実施例２では、合成画像データからなる画像の傾きに対する今回取得された更新用画像データからなる画像の傾きの差の絶対値が所定の閾値よりも小さい場合には今回取得された更新画像用データを用いて合成画像用メモリ領域αへの置換処理を実行し、画像の傾きの差の絶対値が所定の閾値よりも大きい場合には今回取得された更新用画像データを比較対象画像データとして合成画像用メモリ領域αに格納する処理を実行した後、次回に取得される更新用画像データを用いての置換処理に移行する画像処理手段として機能する。
【００６０】
この実施例２では、カメラ本体１が何らかの加減で傾いた場合でも、傾いた時点において取得された画像データを用いて比較明合成処理を再スタートできるので、カメラ本体１が所定の角度以上に傾きっぱなしの場合でも、インターバル撮影による比較明合成処理を続行できることになって、実施例１のデジタルカメラよりもその利便性が向上する。
【００６１】
（比較明合成処理の実施例３）
図７は、図３に示す比較明合成処理の実施例４のフローチャートである。
プロセッサ１０４は、まず、実施例１と同様に、合成回数カウンタのカウント値が「０」であるか否かを判断する（S.101）。
【００６２】
ついで、プロセッサ１０４は、合成回数カウンタのカウント値が「０」の場合には、合成画像用メモリ領域αに更新画像用メモリ領域βの画像データを初期の合成画像データとして用いるためにコピーする（S.102）。
【００６３】
プロセッサ１０４は、実施例１と同様に合成回数カウンタのカウント値が「０」でない場合には、S.10８に移行して、まず、ピッチ方向の傾きφ１、φ２を用いて傾きφ１とφ２の差分の絶対値がφｔｈ（例えば１度）であるか否かを判断する。
ついで、プロセッサ１０４は、「YES」の場合には、S.109に移行して、ロール方向θ１、θ２を用いて、傾きθ１とθ２の差分の絶対値がθｔｈ（例えば１度）以内であるか否かを判断する。
【００６４】
プロセッサ１０４は、S.109において、「YES」の場合には、実施例１と同様に、S.107に移行して比較明合成処理を行う。
プロセッサ１０４は、S.109において、「NO」の場合には、ユーザにより更新用画像データからなる傾いたままの被写体像を保存する処理、その傾きが閾値を超えたと判断される前までに合成された合成画像データを保存する処理がユーザーにより設定されているか否かを判断する（S.１１０）。
【００６５】
プロセッサ１０４は、S.１１０において、「YES」の場合には、更新用画像データからなる傾いたままの画像データを記録媒体に画像ファイルとして出力した後（S.111）、傾きの差分だけ更新用画像を回転処理する補正を実行し（S.112）、S.110において、「NO」の場合には、S.111の処理をスキップしてS.１１２の回転処理補正に移行する。
【００６６】
この実施例３においては、プロセッサ１０４は、合成画像データからなる画像の傾きに対して今回取得された比較用の輝度データからなる画像の傾きの差の絶対値が所定の閾値よりも小さい場合には今回取得された更新用画像データを用いて合成画像用メモリ領域αへの置換処理を実行し、画像の傾きの差の絶対値が所定の閾値よりも大きい場合には今回取得された更新用画像データからなる画像を画像の傾きの差の分だけ傾きの差が小さくなる方向に回転補正処理して置換処理を実行する画像処理手段として機能する。
【００６７】
なお、ロール方向θ１、θ２を用いて、傾きθ１とθ２の差分の絶対値がθｔｈ以上の場合に、図８に示すように、傾きのある画像Gを傾きがなくなる方向に（θ１−θ２）回転させて傾き補正すると、傾き補正後の更新用画像G‘と傾き補正前の合成画像Gとの間には、傾き補正処理により廃棄しなければならない画像データが生じるが、この場合、回転補正の上限値（例えば、５度）を設定し、補正前の合成画像Gと補正後の更新用画像G’との重なり部分γを使用して比較明合成処理を行う。
【００６８】
プロセッサ１０４は、ピッチ方向の傾きφ１、φ２を用いて傾きφ１とφ２の差分の絶対値がφｔｈ（例えば１度）以上の場合には、全画素についての比較明合成処理（S.107）を実行せずに、S.105に移行して、合成処理中フラグをクリアした後、図３に示すS.３に戻る。
【００６９】
この実施例３によれば、インターバル撮影実行による比較明合成処理が進行した途中で、何らかの加減でカメラ本体１が傾いた場合でも、カメラ本体１が傾く前に得られた合成画像を無駄に廃棄せずに使用することが可能となる。
更には、自動的に回転補正された補正画像が気に入らない場合や画角があまりに変化していた場合に、後から画像を編集することも可能となる。
【００７０】
（インターバル撮影時のメインフローチャートの他の例）
図９はインターバル撮影時にカメラ本体１の揺動を検出しながら比較明合成処理を実行するフローチャートである。ここでは、加速度検出センサー１１１は、プロセッサ１０４と協働してカメラ本体1の揺動を検出する揺動検出手段として機能する。
【００７１】
プロセッサ１０４は、S.1〜S.８においては、図３に示すインターバル撮影処理と同一の処理を実行する。
プロセッサ１０４は、S.1〜S.8の処理を実行した後、カメラ本体１の揺動を検出する。
プロセッサ１０４は、ここでは、カメラ本体１の揺動を検出するため、加速度センサー１１１の出力値をチェックする。
【００７２】
プロセッサ１０４は、加速度センサー１１１の出力値のサンプリング周波数を１０００Ｈｚとし、４０回の移動平均を求めて、出力値を平滑化する。
プロセッサ１０４は、１秒の間のX,Y,Zの各軸の出力値の最大値と最小値を比較して、各軸においてその最大値と最小値との差が１０ＬＳＢ以上であるなった場合にカメラ本体１が揺れたと判定する（S.8‘）。
【００７３】
プロセッサ１０４は、インターバル撮影時間間隔ｔ１よりも短い待ち時間t2の間、待ち時間処理を実行して（S.8“）、再度S.8‘に戻って揺れの判定処理を実行する。プロセッサ１０４は、その最大値と最小値との差が１０ＬＳＢ以内になるまでS.8’、S.8”の処理を続行し、その差が１０LSB以内になった場合には、比較明合成処理に移行し（S.10）、その後、基本例と同様の処理を行う。
【００７４】
この実施例によれば、プロセッサ１０４は、揺動検出手段の揺動出力が所定値よりも大きいときには、一定時間間隔ｔ１よりも短い待ち時間ｔ２の間、更新用画像データの取得を中止する。
なお、プロセッサ１０４は、揺動検出手段の揺動出力が所定値よりも大きいときには所定期間更新用画像データの取得を中止した後、次回の更新用画像データへの取得に移行して置換処理を実行するようにしても良い。
【００７５】
この実施例によれば、インターバル撮影の実行中に、何らかの原因でカメラ本体１に揺れが発生した場合に、その揺れている際に取得された更新用画像データを用いての合成処理を中断して、ぶれたり、ずれたりした被写体像を用いての比較明合成処理を回避することが可能となる。
【００７６】
更に、この実施例によれば、一定時間間隔ｔ１よりも短い待ち時間ｔ２が設定されているので、被写体像の再取得の時間の短縮化を図って撮影を続行することが可能となる。
なお、この実施例では、揺動検出手段として加速度センサ（加速度検出手段）１１１を用いることにしたが、揺動検出手段として角速度検出手段を用いることもできる。
【符号の説明】
【００７７】
１０１…CCD（撮像素子、撮像手段）
１０４…プロセッサ（取得手段、画像処理手段）
１０３…SDRAM
α…合成画像用メモリ領域
β…更新画像用メモリ領域
【先行技術文献】
【特許文献】
【００７８】
【特許文献１】特開２００９−２３９６００号公報
【図１】
0005987339.tif 000002
【図２】
0005987339.tif 000003
【図３】
0005987339.tif 000004
【図４】
0005987339.tif 000005
【図５】
0005987339.tif 000006
【図６】
0005987339.tif 000007
【図７】
0005987339.tif 000008
【図８】
0005987339.tif 000009
【図９】
0005987339.tif 000010
【図１０】
0005987339.tif 000011