(57)【要約】【目的】大容量のメモリを用いずに動体の含まれない合成画像を生成する。【構成】多数駒の画像が一駒ずつ順に画像合成装置に入力される。一駒目の画像を第１画像記憶領域に，二駒目の画像を第２画像記憶領域に記憶する。三駒目以降の画像については，画像を構成する画素ごとに，第１画像記憶領域に記憶されている対応する画素の色と第２画像記憶領域に記憶されている対応する画素の色との近い方にカウント値をインクレメントしてカウント領域にカウント値を格納する。第２画像記憶領域に格納されている画像の画素のカウント値が第１画像記憶領域に格納されている画像の画素のカウント値より大きくなると，第１画像記憶領域に記憶されている画素と第２画像記憶領域に記憶されている画素とを入れ替える。第１画像記憶領域には動体が含まれていない確率が高い画像が残る。【選択図】図２
2011082720.tif 000002
【特許請求の範囲】
【請求項１】
複数駒の画像を表す画像データが順に入力する画像合成装置において，
合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御する第１の記憶装置制御手段，
上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とするように上記記憶装置を制御する第２の記憶装置制御手段，
上記第１の画像の後に上記画像合成装置に入力した第２の画像を表す画像データを，上記第２の画像記憶領域に記憶するように上記記憶装置を制御する第３の記憶装置制御手段，
上記第３の記憶装置制御手段の制御により上記第２の画像記憶領域に画像データが記憶されたことに応じて上記第２のカウント領域のすべてのカウント値をｎとするように上記記憶装置を制御する第４の記憶装置制御手段，
上記第２の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定する判定手段，
上記判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定されたことに応じて上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントし，かつ入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定されたことに応じて上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御する第５の記憶装置制御手段，
上記第１のカウント領域の上記第１の対応画素のカウント値が上記第２のカウント領域の上記第２の対応画素のカウント値未満の場合に，上記第１の画像記憶領域の上記第１の特定画素の色と上記第２の画像記憶領域の上記第２の特定画素の色とを入れ換え，かつ上記第１のカウント領域の特定画素のカウント値と上記第２のカウント領域の特定画素のカウント値とを入れ換えるように上記記憶装置を制御する第６の記憶装置制御手段，ならびに
上記第２の画像の後の画像を構成する画素について上記判定手段による判定処理，上記第５の記憶装置制御手段による制御処理および上記第６の記憶装置制御手段による制御処理を繰り返すように上記判定手段，上記第５の記憶装置制御手段，および上記第６の記憶装置制御手段を制御する制御手段，
を備えた画像合成装置。
【請求項２】
上記第２の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像と上記第１の画像記憶領域に記憶されている画像データによって表される画像との平均画像を表す第１の平均画像データを上記第１の画像記憶領域に記憶し，かつ入力した画像と上記第２の画像記憶領域に記憶されている画像データによって表わされる画像との平均画像を表す第２の平均画像データを上記第２の画像記憶領域に記憶するように上記記憶装置を制御する第７の記憶装置制御手段，
をさらに備えた請求項１に記載の画像合成装置。
【請求項３】
上記第５の記憶装置制御手段は，
上記判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定され，上記特定画素の色と上記第１の対応画素の色との差が第１のしきい値未満の場合に，上記第１の平均画像データを上記第１の画像記憶領域に記憶して上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントし，かつ入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定され，上記特定画素の色と上記第２の対応画素の色との差が第２のしきい値未満の場合に上記第２の平均画像データを上記第２の画像記憶装置に記憶して上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御するものである，
請求項２に記載の画像合成装置。
【請求項４】
上記記憶装置は，
上記第１の画像記憶領域，上記第２の画像記憶領域，上記第１のカウント領域および上記第２のカウント領域のほかに第３のカウント領域が規定されており，
上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎにセットし，かつ上記第２のカウント領域および上記第３のカウント領域のすべてのカウント値をｎ−１にセットするように上記記憶装置を制御するものであり，
上記特定画素の色と上記第１の対応画素の色との差が第１のしきい値以上または上記特定画素の色と上記第２の対応画素の色との差が第２のしきい値以上の場合に上記第３のカウント領域の上記特定画素に対応する第３の対応画素のカウント値をインクレメントするように上記記憶装置を制御する第８の記憶装置制御手段，
上記第２の対応画素のカウント値が第３の対応画素のカウント値未満の場合に，上記第１の対応画素のカウント値，上記第２の対応画素のカウント値および上記第３の対応画素のカウント値をデクレメントするように上記記憶装置を制御する第９の記憶装置制御手段，および
上記第２の対応画素のカウント値がｎ−１となった場合に上記第３の対応画素を上記第２の対応画素とし，かつ上記第２の対応画素のカウント値をインクレメントする第10の記憶装置制御手段，
をさらに備えた請求項３に記載の画像合成装置。
【請求項５】
上記第１の画像記憶領域に記憶されている画像と上記第２の画像の後の画像との重畳画像，上記重畳画像の一部と上記第２の画像後の画像の一部とを一駒の画像とした合成結果画像，上記第１の画像記憶領域に記憶されている画像データによって表わされる画像の一部と上記第２の画像の後の画像の一部とを一駒の画像とした合成結果画像，上記第１の画像記憶領域に記憶されている画像データによって表わされる画像とを別々の駒とした合成結果画像，上記第１の画像記憶領域に記憶されている画像中に上記第２の画像の後の画像が含まれている挿入画像または上記第２の画像の後の画像中に上記第１の画像記憶領域に記憶されている画像が含まれている挿入画像の少なくとも一つの画像を表示するように表示装置を制御する表示制御手段，
をさらに備えた請求項１から４のうちいずれか一項に記載の画像合成装置。
【請求項６】
上記第１画像記憶領域に記憶されている画像データによって表される画像のうち非動体の画像部分を検出する非動体画像部分検出手段，および
上記非動体画像部分検出手段によって検出された非動体画像部分の上記第１の画像記憶領域に記憶されている画像データによって表される画像に対する割合を示す確定率を報知する報知手段，
をさらに備えた請求項１から５のうちいずれか一項に記載の画像合成装置。
【請求項７】
上記非動体画像部分を上記非動体画像部分以外の部分と異なる表示態様となるように上記表示制御手段を制御する手段をさらに備えた請求項６に記載の画像合成装置。
【請求項８】
上記確定率が所定のしきい値以上である場合に処理を終了するように上記制御手段を制御する手段をさらに備えた請求項７に記載の画像合成装置。
【請求項９】
複数駒の画像を表す画像データが順に入力する画像合成装置において，
合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御する第１の記憶装置制御手段，
上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とし，かつ上記第２のカウント領域のすべてのカウント値をｎ−１とするように上記記憶装置を制御する第２の記憶装置制御手段，
上記第１の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像の特定画素に対応する，上記第２のカウント領域のカウント値がｎ−１かどうかを判定するカウント値判定手段，
上記カウント値判定手段によってカウント値がｎ−１ではないと判定されたことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定する近似色判定手段，
上記近似色判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第１の対応画素との差が所定のしきい値未満のときに上記第１の対応画素と上記特定画素との平均画素を上記第１の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントするように上記記憶装置を制御する第３の記憶装置制御手段，
上記カウント値判定手段によってカウント値がｎと判定された場合，または上記近似色判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第２の対応画素との差が所定のしきい値未満のときに上記第２の対応画素と上記特定画素との平均画素を上記第２の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御する第４の記憶装置制御手段，ならびに
上記第１の画像の後の画像を構成する画素ならびにさらにその後に入力する画像を構成する画素について上記カウント値判定手段による判定処理，上記第３の記憶装置制御手段による制御処理および上記第４の記憶装置制御手段による制御処理を繰り返すように上記カウント値判定手段，上記第３の記憶装置制御手段および上記第４の記憶装置制御手段を制御する制御手段，
を備えた画像合成装置。
【請求項１０】
上記第３の記憶装置制御手段は，
上記カウント値判定手段によってカウント値がｎ−１と判定されたことに応じて，上記特定画素の色と上記第１の対応画素との差が所定のしきい値未満のときに，上記第１の対応画素と上記特定画素との平均画素を上記第１の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントするように上記記憶装置を制御するものであり，
上記第４の記憶装置制御手段は，
上記カウント値判定手段によってカウント値がｎ−１と判定されたことに応じて，上記特定画素の色と上記第１の対応画素との差が所定のしきい値以上であって，上記特定画素の色と上記第２の対応画素との差が所定のしきい値未満のときに上記第２の対応画素と上記特定画素との平均画素を上記第２の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御するものである，
請求項９に記載の画像合成装置。
【請求項１１】
複数駒の画像を表す画像データが順に入力する画像合成装置の動作制御方法において，
第１の記憶装置制御手段が，合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御し，
第２の記憶装置制御手段が，上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とするように上記記憶装置を制御し，
第３の記憶装置制御手段が，上記第１の画像の後に上記画像合成装置に入力した第２の画像を表す画像データを，上記第２の画像記憶領域に記憶するように上記記憶装置を制御し，
第４の記憶装置制御手段が，上記第３の記憶装置制御手段の制御により上記第２の画像記憶領域に画像データが記憶されたことに応じて上記第２のカウント領域のすべてのカウント値をｎとするように上記記憶装置を制御し，
判定手段が，上記第２の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定し，
第５の記憶装置制御手段が，上記判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定されたことに応じて上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントし，かつ入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定されたことに応じて上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御し，
第６の記憶装置制御手段が，上記第１のカウント領域の上記第１の対応画素のカウント値が上記第２のカウント領域の上記第２の対応画素のカウント値未満の場合に，上記第１の画像記憶領域の上記第１の特定画素の色と上記第２の画像記憶領域の上記第２の特定画素の色とを入れ換え，かつ上記第１のカウント領域の特定画素のカウント値と上記第２のカウント領域の特定画素のカウント値とを入れ換えるように上記記憶装置を制御し，
制御手段が，上記第２の画像の後の画像を構成する画素について上記判定手段による判定処理，上記第５の記憶装置制御手段による制御処理および上記第６の記憶装置制御手段による制御処理を繰り返すように上記判定手段，上記第５の記憶装置制御手段，および上記第６の記憶装置制御手段を制御する，
画像合成装置の動作制御方法。
【請求項１２】
複数駒の画像を表す画像データが順に入力する画像合成装置の動作制御方法において，
第１の記憶装置制御手段が，合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御し，
第２の記憶装置制御手段が，上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とし，かつ上記第２のカウント領域のすべてのカウント値をｎ−１とするように上記記憶装置を制御し，
カウント値判定手段が，上記第１の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像の特定画素に対応する，上記第２のカウント領域のカウント値がｎ−１かどうかを判定し，
近似色判定手段が，上記カウント値判定手段によってカウント値がｎ−１ではないと判定されたことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定し，
第３の記憶装置制御手段が，上記近似色判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第１の対応画素との差が所定のしきい値未満のときに上記第１の対応画素と上記特定画素との平均画素を上記第１の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントするように上記記憶装置を制御し，
第４の記憶装置制御手段が，上記カウント値判定手段によってカウント値がｎと判定された場合，または上記近似色判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第２の対応画素との差が所定のしきい値未満のときに上記第２の対応画素と上記特定画素との平均画素を上記第２の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御し，
制御手段が，上記第１の画像の後の画像を構成する画素ならびにさらにその後に入力する画像を構成する画素について上記カウント値判定手段による判定処理，上記第３の記憶装置制御手段による制御処理および上記第４の記憶装置制御手段による制御処理を繰り返すように上記カウント値判定手段，上記第３の記憶装置制御手段および上記第４の記憶装置制御手段を制御する，
画像合成装置の動作制御方法。
【請求項１３】
複数駒の画像を表す画像データが順に入力する画像合成装置のコンピュータを制御するプログラムにおいて，
合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶させ，
上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）にさせ，
上記第１の画像の後に上記画像合成装置に入力した第２の画像を表す画像データを，上記第２の画像記憶領域に記憶させ，
上記第２の画像記憶領域に画像データが記憶されたことに応じて上記第２のカウント領域のすべてのカウント値をｎにさせ，
上記第２の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定させ，
入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定されたことに応じて上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントさせ，かつ入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定されたことに応じて上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントさせ，
上記第１のカウント領域の上記第１の対応画素のカウント値が上記第２のカウント領域の上記第２の対応画素のカウント値未満の場合に，上記第１の画像記憶領域の上記第１の特定画素の色と上記第２の画像記憶領域の上記第２の特定画素の色とを入れ換え，かつ上記第１のカウント領域の特定画素のカウント値と上記第２のカウント領域の特定画素のカウント値とを入れ換えさせ，
上記第２の画像の後の画像を構成する画素について上記判定処理から上記第１の画像記憶領域の上記第１の特定画素の色と上記第２の画像記憶領域の上記第２の特定画素の色とを入れ換え，かつ上記第１のカウント領域の特定画素のカウント値と上記第２のカウント領域の特定画素のカウント値とを入れ換えさせる処理までを繰り返させるように画像合成装置のコンピュータを制御するコンピュータ読み取り可能なプログラム。
【請求項１４】
複数駒の画像を表す画像データが順に入力する画像合成装置のコンピュータを制御するプログラムにおいて，
合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御させ，
上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とし，かつ上記第２のカウント領域のすべてのカウント値をｎ−１とするように上記記憶装置を制御させ，
上記第１の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像の特定画素に対応する，上記第２のカウント領域のカウント値がｎ−１かどうかを判定させ，
カウント値がｎ−１ではないと判定されたことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定させ，
入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第１の対応画素との差が所定のしきい値未満のときに上記第１の対応画素と上記特定画素との平均画素を上記第１の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントするように上記記憶装置を制御させ，
カウント値がｎと判定された場合，または入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第２の対応画素との差が所定のしきい値未満のときに上記第２の対応画素と上記特定画素との平均画素を上記第２の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御させ，
上記第１の画像の後の画像を構成する画素ならびにさらにその後に入力する画像を構成する画素について上記カウント値判定処理，上記第１の対応画素と上記特定画素との平均画素を上記第１の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントするように上記記憶装置を制御する処理および上記第１の対応画素と上記特定画素との平均画素を上記第２の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御する処理を繰り返すように上記画像合成装置のコンピュータを制御するコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，画像合成装置ならびにその動作制御方法およびその制御プログラムに関する。
【背景技術】
【０００２】
所定の撮像範囲内の被写体を撮像する場合，その撮像範囲内に自動車，歩行者などの動体が絶えず入ってしまうことがある。そのような場合において動体が存在しない画像を得たい場合には，複数回撮像し，得られた複数駒の画像から動体を除去した合成画像を生成することがある（特許文献１−３）。しかしながら，絶え間なく動体が存在するような場所を撮像する場合に，動体を除去した合成画像を得るためには多数駒の画像を記憶する大容量のメモリが必要となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2000-13681号公報
【特許文献２】特開平11-4377号公報
【特許文献３】特開昭63-194477号公報
【発明の概要】
【０００４】
この発明は，大容量のメモリが無くとも動体を除去した合成画像を得ることを目的とする。
【０００５】
第１の発明は，複数駒の画像を表す画像データが順に入力する画像合成装置において，合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御する第１の記憶装置制御手段，上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とするように上記記憶装置を制御する第２の記憶装置制御手段，上記第１の画像の後に上記画像合成装置に入力した第２の画像を表す画像データを，上記第２の画像記憶領域に記憶するように上記記憶装置を制御する第３の記憶装置制御手段，上記第３の記憶装置制御手段の制御により上記第２の画像記憶領域に画像データが記憶されたことに応じて上記第２のカウント領域のすべてのカウント値をｎとするように上記記憶装置を制御する第４の記憶装置制御手段，上記第２の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定する判定手段，上記判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定されたことに応じて上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントし，かつ入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定されたことに応じて上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御する第５の記憶装置制御手段，上記第１のカウント領域の上記第１の対応画素のカウント値が上記第２のカウント領域の上記第２の対応画素のカウント値未満の場合に，上記第１の画像記憶領域の上記第１の特定画素の色と上記第２の画像記憶領域の上記第２の特定画素の色とを入れ換え，かつ上記第１のカウント領域の特定画素のカウント値と上記第２のカウント領域の特定画素のカウント値とを入れ換えるように上記記憶装置を制御する第６の記憶装置制御手段，ならびに上記第２の画像の後の画像を構成する画素について上記判定手段による判定処理，上記第５の記憶装置制御手段による制御処理および上記第６の記憶装置制御手段による制御処理を繰り返すように上記判定手段，上記第５の記憶装置制御手段，および上記第６の記憶装置制御手段を制御する制御手段を備えていることを特徴とする。
【０００６】
第１の発明は，上記画像合成装置に適した動作制御方法も提供している。すなわち，この方法は，複数駒の画像を表す画像データが順に入力する画像合成装置の動作制御方法において，第１の記憶装置制御手段が，合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御し，第２の記憶装置制御手段が，上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とするように上記記憶装置を制御し，第３の記憶装置制御手段が，上記第１の画像の後に上記画像合成装置に入力した第２の画像を表す画像データを，上記第２の画像記憶領域に記憶するように上記記憶装置を制御し，第４の記憶装置制御手段が，上記第３の記憶装置制御手段の制御により上記第２の画像記憶領域に画像データが記憶されたことに応じて上記第２のカウント領域のすべてのカウント値をｎとするように上記記憶装置を制御し，判定手段が，上記第２の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定し，第５の記憶装置制御手段が，上記判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定されたことに応じて上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントし，かつ入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定されたことに応じて上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御し，第６の記憶装置制御手段が，上記第１のカウント領域の上記第１の対応画素のカウント値が上記第２のカウント領域の上記第２の対応画素のカウント値未満の場合に，上記第１の画像記憶領域の上記第１の特定画素の色と上記第２の画像記憶領域の上記第２の特定画素の色とを入れ換え，かつ上記第１のカウント領域の特定画素のカウント値と上記第２のカウント領域の特定画素のカウント値とを入れ換えるように上記記憶装置を制御し，制御手段が，上記第２の画像の後の画像を構成する画素について上記判定手段による判定処理，上記第５の記憶装置制御手段による制御処理および上記第６の記憶装置制御手段による制御処理を繰り返すように上記判定手段，上記第５の記憶装置制御手段，および上記第６の記憶装置制御手段を制御するものである。
【０００７】
第１の発明は，上記画像合成装置のコンピュータを制御するプログラムも提供している。
【０００８】
第１の発明によると，最初に第１の画像記憶領域には第１の画像を表わす画像データが記憶され，第２の画像記憶領域には第１の画像の後に画像合成装置に入力する第２の画像データが記憶される。すると，第１のカウント領域および第２のカウント領域のすべてのカウント値はｎとされる。第２の画像の後の画像が画像合成装置に入力すると，その入力した画像を構成する特定画素の色が，第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち特定画素に対応する位置にある第１の対応画素の色または第２の画像記憶領域に記憶されている画像の画素のうち特定画素に対応する位置にある第２の対応画素の色とのうち，近い色である第１の対応画素のカウント値または第２の対応画素のカウント値がインクレメントされる。第１のカウント値が第２のカウント値よりも小さくなると，第１の対応画素と第２の対応画素とが入れ替わり，第１の対応画素のカウント値と第２の対応画素のカウント値とも入れ替わる。このような処理が第２の画像の後に入力する画像のそれぞれの画像を構成するすべての画素について行われる。同じ構図の複数駒の画像が画像合成装置に入力した場合，動体でない同じ部分であれば同じ色となり画素のカウント値が多くなる筈である。カウント値が大きい画素のデータが第１の画像記憶領域に記憶されるようになるから，第１の画像記憶領域に記憶されている画像データによって表わされる画像からは動体が除去された画像が得られるようになる。第１の画像記憶領域，第２の画像記憶領域，第１のカウント領域および第２のカウント領域があればよく，多数駒の画像を表す画像データを記憶する大容量のメモリを利用することなく，動体が除去された画像が得られる。
【０００９】
上記第２の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像と上記第１の画像記憶領域に記憶されている画像データによって表される画像との平均画像を表す第１の平均画像データを上記第１の画像記憶領域に記憶し，かつ入力した画像と上記第２の画像記憶領域に記憶されている画像データによって表わされる画像との平均画像を表す第２の平均画像データを上記第２の画像記憶領域に記憶するように上記記憶装置を制御する第７の記憶装置制御手段をさらに備えるようにしてもよい。
【００１０】
上記第５の記憶装置制御手段は，たとえば，上記判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定され，上記特定画素の色と上記第１の対応画素の色との差が第１のしきい値未満の場合に，上記第１の平均画像データを上記第１の画像記憶領域に記憶して上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントし，かつ入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定され，上記特定画素の色と上記第２の対応画素の色との差が第２のしきい値未満の場合に上記第２の平均画像データを上記第２の画像記憶装置に記憶して上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御するものである。
【００１１】
上記記憶装置は，たとえば，上記第１の画像記憶領域，上記第２の画像記憶領域，上記第１のカウント領域および上記第２のカウント領域のほかに第３のカウント領域が規定されており，上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎにセットし，かつ上記第２のカウント領域および上記第３のカウント領域のすべてのカウント値をｎ−１にセットするように上記記憶装置を制御するものでもよい。
【００１２】
この場合，上記特定画素の色と上記第１の対応画素の色との差が第１のしきい値以上または上記特定画素の色と上記第２の対応画素の色との差が第２のしきい値以上の場合に上記第３のカウント領域の上記特定画素に対応する第３の対応画素のカウント値をインクレメントするように上記記憶装置を制御する第８の記憶装置制御手段，上記第２の対応画素のカウント値が第３の対応画素のカウント値未満の場合に，上記第１の対応画素のカウント値，上記第２の対応画素のカウント値および上記第３の対応画素のカウント値をデクレメントするように上記記憶装置を制御する第９の記憶装置制御手段，および上記第２の対応画素のカウント値がｎ−１となった場合に上記第３の対応画素を上記第２の対応画素とし，かつ上記第２の対応画素のカウント値をインクレメントする第10の記憶制御手段をさらに備えることが好ましい。
【００１３】
上記第１の画像記憶領域に記憶されている画像と上記第２の画像の後の画像との重畳画像，上記重畳画像の一部と上記第２の画像後の画像の一部とを一駒の画像とした合成結果画像，上記第１の画像記憶領域に記憶されている画像データによって表わされる画像の一部と上記第２の画像の後の画像の一部とを一駒の画像とした合成結果画像，上記第１の画像記憶領域に記憶されている画像データによって表わされる画像とを別々の駒とした合成結果画像，上記第１の画像記憶領域に記憶されている画像中に上記第２の画像の後の画像が含まれている挿入画像または上記第２の画像の後の画像中に上記第１の画像記憶領域に記憶されている画像が含まれている挿入画像の少なくとも一つの画像を表示するように表示装置を制御する表示制御手段をさらに備えるようにしてもよい。
【００１４】
上記第１画像記憶領域に記憶されている画像データによって表される画像のうち非動体の画像部分を検出する非動体画像部分検出手段，および上記非動体画像部分検出手段によって検出された非動体画像部分の上記第１の画像記憶領域に記憶されている画像データによって表される画像に対する割合を示す確定率を報知する報知手段をさらに備えてもよい。
【００１５】
上記非動体画像部分を上記非動体画像部分以外の部分と異なる表示態様となるように上記表示制御手段を制御する手段をさらに備えてもよい。
【００１６】
上記確定率が所定のしきい値以上である場合に処理を終了するように上記制御手段を制御する手段をさらに備えてもよい。
【００１７】
第２の発明は，複数駒の画像を表す画像データが順に入力する画像合成装置において，合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御する第１の記憶装置制御手段，上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とし，かつ上記第２のカウント領域のすべてのカウント値をｎ−１とするように上記記憶装置を制御する第２の記憶装置制御手段，上記第１の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像の特定画素に対応する，上記第２のカウント領域のカウント値がｎ−１かどうかを判定するカウント値判定手段，上記カウント値判定手段によってカウント値がｎ−１ではないと判定されたことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定する近似色判定手段，上記近似色判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第１の対応画素との差が所定のしきい値未満のときに上記第１の対応画素と上記特定画素との平均画素を上記第１の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントするように上記記憶装置を制御する第３の記憶装置制御手段，上記カウント値判定手段によってカウント値がｎと判定された場合，または上記近似色判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第２の対応画素との差が所定のしきい値未満のときに上記第２の対応画素と上記特定画素との平均画素を上記第２の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御する第４の記憶装置制御手段，ならびに上記第１の画像の後の画像を構成する画素ならびにさらにその後に入力する画像を構成する画素について上記カウント値判定手段による判定処理，上記第３の記憶装置制御手段による制御処理および上記第４の記憶装置制御手段による制御処理を繰り返すように上記カウント値判定手段，上記第３の記憶装置制御手段および上記第４の記憶装置制御手段を制御する制御手段を備えていることを特徴とする。
【００１８】
第２の発明は，上記画像合成装置に適した動作制御方法も提供している。すなわち，この方法は，複数駒の画像を表す画像データが順に入力する画像合成装置の動作制御方法において，第１の記憶装置制御手段が，合成画像データを記憶する第１の画像記憶領域，第２の画像記憶領域，上記第１の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第１のカウント領域および上記第２の画像記憶領域に記憶される画像データによって表される画像の各画素に対応して各画素の出現頻度を表わすカウント値を記憶する第２のカウント領域が規定されている記憶装置の上記第１の画像記憶領域に，上記画像合成装置に入力した第１の画像を表す画像データを記憶するように上記記憶装置を制御し，第２の記憶装置制御手段が，上記第１の記憶装置制御手段の制御により上記第１の画像記憶領域に画像データが記憶されたことに応じて，上記第１のカウント領域のすべてのカウント値をｎ（ｎは整数）とし，かつ上記第２のカウント領域のすべてのカウント値をｎ−１とするように上記記憶装置を制御し，カウント値判定手段が，上記第１の画像の後の画像を表す画像データが上記画像合成装置に入力したことに応じて，入力した画像データによって表される画像の特定画素に対応する，上記第２のカウント領域のカウント値がｎ−１かどうかを判定し，近似色判定手段が，上記カウント値判定手段によってカウント値がｎ−１ではないと判定されたことに応じて，入力した画像データによって表される画像を構成する特定画素の色が，上記第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち上記特定画素に対応する位置にある第１の対応画素の色または上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかを判定し，第３の記憶装置制御手段が，上記近似色判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第１の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第１の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第１の対応画素との差が所定のしきい値未満のときに上記第１の対応画素と上記特定画素との平均画素を上記第１の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントするように上記記憶装置を制御し，第４の記憶装置制御手段が，上記カウント値判定手段によってカウント値がｎと判定された場合，または上記近似色判定手段によって，入力した画像データによって表される画像の特定画素の色が，上記第２の画像記憶領域に記憶されている画像の画素のうち上記特定画素に対応する位置にある上記第２の対応画素の色に近いと判定された場合には，上記特定画素の色と上記第２の対応画素との差が所定のしきい値未満のときに上記第２の対応画素と上記特定画素との平均画素を上記第２の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御し，制御手段が，上記第１の画像の後の画像を構成する画素ならびにさらにその後に入力する画像を構成する画素について上記カウント値判定手段による判定処理，上記第３の記憶装置制御手段による制御処理および上記第４の記憶装置制御手段による制御処理を繰り返すように上記カウント値判定手段，上記第３の記憶装置制御手段および上記第４の記憶装置制御手段を制御するものである。
【００１９】
第２の発明は，上記画像合成装置の動作制御方法に適した動作プログラムも提供している。
【００２０】
第２の発明によると，最初に第１の画像記憶領域には第１の画像を表す画像データが記憶される。すると，第１のカウント領域のすべてのカウント値がｎ（ｎは整数）とされ，かつ第２のカウント領域のすべてのカウント値がｎ−１とされる。第１の画像の後の画像を表す画像データが画像合成装置に入力すると，入力した画像データによって表される画像の特定画素に対応する，第２のカウント領域のカウント値がｎ−１かどうかが判定される。
【００２１】
カウント値がｎ−１ではないと判定されると，入力した画像データによって表される画像を構成する特定画素の色が，第１の画像記憶領域に記憶されている画像データによって表される画像の画素のうち特定画素に対応する位置にある第１の対応画素の色または第２の画像記憶領域に記憶されている画像の画素のうち特定画素に対応する位置にある第２の対応画素の色とのどちらの色に近いかが判定される。入力した画像データによって表される画像の特定画素の色が，第１の画像記憶領域に記憶されている画像の画素のうち特定画素に対応する位置にある第１の対応画素の色に近いと判定された場合には，特定画素の色と第１の対応画素との差が所定のしきい値未満のときに第１の対応画素と特定画素との平均画素が第１の画像記憶領域の特定画素に対応する位置に記憶され，かつ第１のカウント領域の第１の対応画素のカウント値がインクレメントされる。カウント値がｎと判定された場合，または入力した画像データによって表される画像の特定画素の色が，第２の画像記憶領域に記憶されている画像の画素のうち特定画素に対応する位置にある第２の対応画素の色に近いと判定された場合には，特定画素の色と第２の対応画素との差が所定のしきい値未満のときに第２の対応画素と特定画素との平均画素が第２の画像記憶領域の特定画素に対応する位置に記憶され，かつ第２のカウント領域の第２の対応画素のカウント値がインクレメントされる。
【００２２】
上述の処理が第１の画像の後の画像を構成する画素およびその後の画像につづいて画像合成装置に入力する画像を構成する画素について繰り返される。
【００２３】
第２の発明においても第１の発明と同様に，第１の画像記憶領域に記憶されている画像データによって表される画像からは動体が除去された画像が得られるようになる。
【００２４】
上記第３の記憶装置制御手段は，たとえば，上記カウント値判定手段によってカウント値がｎ−１と判定されたことに応じて，上記特定画素の色と上記第１の対応画素との差が所定のしきい値未満のときに，上記第１の対応画素と上記特定画素との平均画素を上記第１の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第１のカウント領域の上記第１の対応画素のカウント値をインクレメントするように上記記憶装置を制御するものである。また，上記第４の記憶装置制御手段は，たとえば，上記カウント値判定手段によってカウント値がｎ−１と判定されたことに応じて，上記特定画素の色と上記第１の対応画素との差が所定のしきい値以上であって，上記特定画素の色と上記第２の対応画素との差が所定のしきい値未満のときに上記第２の対応画素と上記特定画素との平均画素を上記第２の画像記憶領域の上記特定画素に対応する位置に記憶し，かつ上記第２のカウント領域の上記第２の対応画素のカウント値をインクレメントするように上記記憶装置を制御するものである。
【図面の簡単な説明】
【００２５】
【図１】画像合成の様子を示している。
【図２】メモリ記憶領域を示している。
【図３】画像と第１カウント領域のカウント値との関係を示している。
【図４】画像と第２カウント領域のカウント値との関係を示している。
【図５】画像合成処理手順を示すフローチャートである。
【図６】第１カウント領域内のカウント値を示している。
【図７】第２カウント領域内のカウント値を示している。
【図８】（Ａ）〜（Ｃ）は画像の一例である。
【図９】画像／カウント値更新処理手順を示すフローチャートである。
【図１０】画像／カウント値更新処理手順を示すフローチャートである。
【図１１】画像／カウント値更新処理手順を示すフローチャートである。
【図１２】画像合成処理手順を示すフローチャートである。
【図１３】画像／カウント値更新処理手順を示すフローチャートである。
【図１４】画像／カウント値更新処理手順を示すフローチャートである。
【図１５】合成画像表示処理手順を示すフローチャートである。
【図１６】合成結果表示の一例である。
【図１７】合成結果表示の一例である。
【図１８】合成結果表示の一例である。
【図１９】合成結果表示の一例である。
【図２０】合成結果表示の一例である。
【図２１】合成結果表示の一例である。
【図２２】合成画像表示処理手順を示すフローチャートである。
【図２３】確定領域を示している。
【図２４】合成画像表示処理手順を示すフローチャートである。
【図２５】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２６】画像／カウント値更新処理手順を示すフローチャートである。
【実施例】
【００２６】
図１は，この発明の実施例を示すもので，入力する複数駒の画像から合成画像10を生成する様子を示している。
【００２７】
三脚などによりディジタル・スチル・カメラを固定し，画角を変えずに連続して撮像すると，一駒目の画像１，二駒目の画像２，三駒目の画像３というように同一の撮像範囲を有する複数駒の画像が得られる。撮像範囲の中に自動車のような動体が存在すると，得られた複数駒の画像にもその動体の画像５が含まれる。撮像範囲内の画像から動体の画像５が除去された合成画像10を生成する場合，多数駒の画像をすべて記憶し，動体の画像５を除去した画像を合成すればよいが，多数駒の画像を表す画像データを記憶できる大容量のメモリが必要となってしまう。この実施例では，ほぼ二駒分の画像を表す画像データを記憶する容量をもつメモリで動体の画像５が除去された合成画像10を生成するものである。
【００２８】
図２は，メモリ記憶領域を示している。
【００２９】
この実施例では，メモリ記憶領域には，第１画像記憶領域，第２画像記憶領域，第１カウント領域および第２カウント領域が規定される。後述するように，メモリ記憶領域に第３カウント領域を規定するようにしてもよいが，必ずしも必要ではない。
【００３０】
第１画像記憶領域および第２画像記憶領域は，いずれも一駒分の画像を表す画像データを記憶するものである。第１カウント領域は，第１画像記憶領域に記憶されている画像データによって表される画像の各画素に対応して各画素の（色の）出現頻度を表わすカウント値を記憶するものである。第２カウント領域は，第２画像記憶領域に記憶されている画像データによって表される画像の各画素に対応して各画素の（色の）出現頻度を表わすカウント値を記憶するものである。第３カウント領域も画像の各画素に対応してカウント値を記憶するものである。
【００３１】
図３は，第１画像記憶領域に記憶されている画像と第１カウント領域に記憶されるカウント値との関係を示している。
【００３２】
上述したように，第１カウント領域は，第１画像記憶領域に記憶されている画像データによって表される画像の各画素に対応してカウント値を記憶するものである。このために，第１カウント領域には，第１画像記憶領域に記憶されている画像データによって表される画像の各画素Ｐ１〜Ｐｍに対応したセル領域Ｃ１〜Ｃｍが規定されている。セル領域Ｃ１〜Ｃｍのそれぞれのセル領域に，第１画像記憶領域に記憶されている画像データによって表される画像の各画素Ｐ１〜Ｐｍに対応したカウント値が記憶される。もちろん，第１のカウント記憶領域には物理的にセル領域Ｃ１〜Ｃｍが規定されていなくとも実質的に第１画像記憶領域に記憶されている画像データによって表される画像の各画素に対応してカウント値を記憶するものであればよい。
【００３３】
図４は，第２画像記憶領域に記憶されている画像と第２カウント領域に記憶されるカウント値との関係を示している。
【００３４】
上述したように，第２カウント領域は，第２画像記憶領域に記憶されている画像データによって表される画像の各画素に対応してカウント値を記憶するものである。このために，第２カウント領域にも，第２画像記憶領域に記憶されている画像データによって表される画像の各画素Ｐ１〜Ｐｍに対応したセル領域Ｃ１〜Ｃｍが規定されている。セル領域Ｃ１〜Ｃｍのそれぞれのセル領域に，第２画像記憶領域に記憶されている画像データによって表される画像の各画素Ｐ１〜Ｐｍに対応したカウント値が記憶される。もちろん，第２のカウント記憶領域には物理的にセル領域Ｃ１〜Ｃｍが規定されていなくとも実質的に第２画像記憶領域に記憶されている画像データによって表される画像の各画素に対応してカウント値を記憶するものであればよい。
【００３５】
図５は，この発明の実施例による画像合成装置の処理手順を示すフローチャートである。
【００３６】
上述のように，同一の画角による撮像された多数駒の画像が順に画像合成装置に入力するものとする。
【００３７】
画像合成装置に一駒目の画像（第１の画像）を表す画像データが入力すると（ステップ21でＹＥＳ），画素ごとに第１画像記憶領域，第２画像記憶領域，第１カウント領域および第２カウント領域がメモリ上において確保される（ステップ22）。
【００３８】
一駒目の画像を表す画像データが第１の画像記憶領域に記憶させられる（ステップ23）。すると，第１カウント領域のすべてのカウント値を１にセットし，かつ第２カウント領域のすべてのカウント値を０にセットさせられる（ステップ24）。
【００３９】
図６は第１カウント領域のすべてのカウント値が１（ｎ：ｎは整数）にセットされた様子を示し，図７は第２カウント領域のすべてのカウント値が０（ｎ−１）にセットされた様子を示している。これにより，第１カウント領域および第２カウント領域がそれぞれ初期化される。
【００４０】
図５に戻って，第１の画像記憶領域に記憶されている画像データが第１の画像記憶領域から出力される（ステップ25）。一駒目の画像を表す画像データが画像合成装置に入力しただけでは，その一駒目の画像を表す画像データが第１の画像記憶領域から出力されることとなる。第１の画像記憶領域から出力された画像データが表示装置に与えられるのであれば，第１の画像記憶領域から出力された画像データによって表される画像が表示装置の表示画面に表示されることとなる。
【００４１】
画像合成装置に二駒目以降の画像を表す画像データが入力すると（ステップ21でＮＯ），入力した画像が一駒目の画像を基準に位置合わせさせられる（ステップ26）。位置合わせは，公知の技術で可能である。たとえば，基準画像との間で対応点を検出し，それらのオプティカル・フローをもとにアフィン変換等の画像変換で対応点の座標位置を合わせることができる。その後，画像／カウント値更新処理が行われる（ステップ27）。
【００４２】
図８（Ａ），（Ｂ），（Ｃ）は，画像の一例である。
【００４３】
図８（Ａ）は，第１画像記憶領域に記憶されている画像データによって表される画像の一例である。図８（Ｂ）は，第２画像記憶領域に記憶されている画像データによって表される画像の一例である。図８（Ｃ）は，画像合成装置に入力する一駒目の第１の画像，二駒目の第２の画像よりも後に画像合成装置に入力する画像の一例である。
【００４４】
図８（Ａ）および（Ｃ）を参照して，入力画像61を構成するある画素（特定画素という）62の色と，第１の画像記憶領域に記憶されている画像41を構成する画素のうち，特定画素62の位置に対応する画素（第１の対応画素42という）の色との差（第１の対応画素の色との差）が検出される。また，同様に，図８（Ｂ）および（Ｃ）を参照して，入力画像61を構成するある特定画素62の色と，第２の画像記憶領域に記憶されている画像51を構成する画素のうち，特定画素62の位置に対応する画素（第２の対応画素52という）の色との差（第２の対応画素の色との差）が検出される。
【００４５】
第１の対応画素の色との差と第２の対応画素の色との差とにもとづいて後述のように第１の画像記憶領域，第２の画像記憶領域，第１カウント領域および第２カウント領域の更新処理（画像／カウント値更新処理）が行われる。
【００４６】
図９は，画像／カウント値更新処理手順（図５ステップ27の処理手順）を示すフローチャートである。
【００４７】
この処理は，入力する画像を構成する画素ごとのものである。入力画像のある一つの特定画素62（図８（Ｃ）参照）について図９に示す処理が終了すると，その次の画素について図９に示す処理が行われる。入力する画像61を構成するすべての画素について画素ごとに図９に示す処理が繰り返される。
【００４８】
まず，入力した画像61を構成する画素のうち，図９の処理対象となる特定画素62に対応する対応画素52の第２カウント領域の（セル領域の）カウント値が，０かどうかが判定される（ステップ31）。そのカウント値が０であれば，入力した画像61を構成する特定画素62は二駒目の画像を構成する画素であるから，入力した画像61の特定画素62を表す画像データは，第２画像記憶領域に記憶される（ステップ32）。すると，第２カウント領域において，第２の対応画素のカウント値がインクレメントされる（ステップ33）。二駒目の画像が画像合成装置に入力する場合には第２のカウント領域はすべて０にセットされているから，第２の対応画素のカウント値は１となる。
【００４９】
つづいて，第１の対応画素42のカウント値と第２の対応画素52のカウント値とが比較される（ステップ36）。入力画像61が二駒目の画像であれば，第１の対応画素42のカウント値は第２の対応画素52のカウント値以上となるから，ステップ36でＮＯとなり，ステップ37および38の処理はスキップされる。
【００５０】
入力画像61が二駒目の画像（第２の画像）の場合には，入力画像61を構成するすべての画素についてステップ31でＹＥＳとなるから，そのすべての画素についてステップ32の処理およびステップ33の処理が行われる。これにより，第２画像記憶領域には二駒目の画像を表す画像データが記憶させられ，第２カウント領域のすべてのセル領域Ｃ１〜Ｃｍにはカウント値として１が記憶させられることとなる。
【００５１】
二駒目の画像よりも後の画像を表す画像データが画像合成装置に入力すると，その後の画像61を構成する特定画素62に対応する第２の対応画素52の第２カウント領域のカウント値は０ではない（ステップ31でＮＯ）。すると，上述したように第１の対応画素42との色の差と第２の対応画素52との色の差とが比較される（ステップ34）。
【００５２】
第１の対応画素42との色の差が小さければ（ステップ34でＹＥＳ），入力した画像の特定画素62の色は，第１の画像記録領域に記憶されている画像41を構成する画素のうち第１の対応画素42の色に近いものと考えられる。色が近ければ，特定画素62と対応画素42との間では色の変化が無いとされる。すると，第１の対応画素42の第１カウント領域のカウント値がインクレメントされる（ステップ35）。
【００５３】
第２の対応画素52との色の差が小さければ（ステップ34でＮＯ），入力した画像の特定画素62の色は，第２画像記録領域に記憶されている画像51を構成する画素のうち第２の対応画素52の色に近いものと考えられる。色が近ければ，特定画素62と対応画素52との間では色の変化が無いとされる。すると，第２の対応画素52の第２カウント領域のカウント値がインクレメントされる（ステップ33）。
【００５４】
入力画像61を構成するすべての画素についてステップ33またはステップ35までの処理が繰り返されることとなる。
【００５５】
第１の対応画素42のカウント値が第２の対応画素52のカウント値よりも小さくなると（ステップ36でＹＥＳ），第１画像記憶領域に記憶されている第１の対応画素42の画像データと第２画像記憶領域に記憶されている第２の対応画素52の画像データとが入れ換えられる（ステップ37）。また，画像データの入れ換えに応答して，第１の画像領域に記憶されている画像に対応したカウント値が第１カウント領域に記憶され，かつ第２画像領域に記憶されている画像に対応したカウント値が第２カウント領域に記憶されているように整合性を図るために，第１カウント領域に記憶されている第１の対応画素42のカウント値と第２カウント領域に記憶されている第２対応画素52のカウント値とが入れ換えられる（ステップ38）。
【００５６】
上述した処理が画像合成装置に入力する多数駒の画像について順に繰り返される。
【００５７】
第１画像領域には画素単位で色の変化がもっとも少ない画像を表す画像データが記憶されることとなり，第２画像領域には画素単位で次ぎに色の変化が少ない画像を表す画像データが記憶されることとなる。動体の部分については色が変化する筈であるから，色の変化がもっとも少ない画像からは動体の部分が除去されていると考えられる。第１画像領域には動体が除去された画像を表す画像データが記憶されることとなる。したがって，第１画像領域に記憶された画像データを読み出すことにより，動体が除去された画像が得られるようになることは理解されよう。
【００５８】
図10は，他の実施例を示すもので，画像／カウント更新処理の一部を示している。この図において，図９に示す処理と同一の処理については同一符号を付して説明を省略する。
【００５９】
この実施例では，入力した画像61の特定画素62の色が第１の画像記憶領域に記憶されている画像の第１の対応画素42の色に近かった場合には（ステップ34でＹＥＳ），特定画素62と第１の対応画素42との加重平均が算出され，その平均データが第１画像記憶領域の第１の特定画素42の記憶領域に記憶される（ステップ71）。
【００６０】
同様に，入力した画像61の特定画素62の色が第２画像記憶領域に記憶されている画像の第２の対応画素52の色に近かった場合には（ステップ34でＮＯ），特定画素62と第２の対応画素52との加重平均が算出され，その平均データが第２画像記憶領域の第２の特定画素52の記憶領域に記憶される（ステップ72）。入力した画像61が二駒目の画像の場合には（ステップ31でＹＥＳ），第２画像記憶領域には画像データが記憶されていないために，入力した画像61を表す画像データが第２画像記憶領域に記憶される。
【００６１】
重み付けをした加重平均を算出するようにしてもよい。たとえば，第１の対応画素42のカウント値をＮとした場合，入力画像61の特定画素62の重み付けを１／（Ｎ＋１），第１の特定画素42の重み付けをＮ／（Ｎ＋１）として，第１の対応画素42と同じ色の入力回数の程度を平均値に反映できる。第２の対応画素52についても同様であり，入力した画像61が二駒目の場合には第２の対応画素52のカウント値は０なので入力画像61を表す画像データが第２画像記憶領域に記憶されるようになる。
【００６２】
静止部分であっても撮像条件，環境変化により複数回の撮像により得られた画像を構成するそれぞれの画素の色は同じとはならないことがあるが，平均化することにより色のばらつきを吸収できる。また，カウント値を利用して重み付け平均することにより第１の画像記憶領域または第２画像記憶領域にすでに記憶されている画像データの影響を多く反映できるようになる。
【００６３】
図11は，他の実施例を示すもので，画像／カウント更新処理の一部を示している。この図において，図10に示す処理と同一の処理については同一符号を付して説明を省略する。
【００６４】
図11に示す実施例では，入力した画像61の特定画素62の色が第１画像記憶領域に記憶されている画像の第１の対応画素42の色に近かった場合において（ステップ34でＹＥＳ），特定画素62の色と第１の対応画素42との差が第１のしきい値よりも小さい場合に（特定画素62の色が第１の対応画素42の色により近い場合に）（ステップ81でＹＥＳ），特定画素62と第１の対応画素42との加重平均が算出され，その平均データが第１画像記憶領域の第１の特定画素42の記憶領域に記憶される（ステップ71）。
【００６５】
同様に，入力した画像61の特定画素62の色が第２画像記憶領域に記憶されている画像の第２の対応画素52の色に近かった場合において（ステップ34でＮＯ），特定画素62の色と第２の対応画素52との差が第２のしきい値よりも小さい場合に（特定画素62の色が第２の対応画素52の色により近い場合に）（ステップ82でＹＥＳ），特定画素62と第２の対応画素52との加重平均が算出され，その平均データが第２画像記憶領域の第２の特定画素52の記憶領域に記憶される（ステップ72）。
【００６６】
単純に加重平均した場合には，第１画像記憶領域または第２画像記憶領域に記憶されている画像データによって表わされる画像と極端に異なるような入力画像61が撮像されてしまうと，その入力画像61の影響により第１画像記憶領域または第２画像記憶領域に記憶される画像が本来の静止部分の色と離れてしまうことがあるが，色の差が所定のしきい値未満の場合に平均化することにより上述のような極端に異なる入力画像61の影響を排除できる。
【００６７】
図12から図15は，他の実施例を示すものである。図12は，画像合成装置の処理手順を示すフローチャートであり，図５に示す処理に対応する。図12において，図５に示す処理と同一処理については同一符号を付して説明を省略する。図13および図14は，画像／カウント値更新処理手順を示すフローチャートであり，図９から図11に示す処理と同一処理については同一符号を付して説明を省略する。
【００６８】
この実施例においては，上述したようにメモリ記憶領域（図２参照）に第３カウント領域が規定される（図12ステップ22Ａ）。上述したように一駒目の画像を表す画像テータが画像合成装置入力すると，第３カウント領域のすべてのカウント値も第２カウント領域のすべてのカウント値と同様に０にセットされる（図12ステップ24Ａ）。
【００６９】
特定画素62の色と第１の対応画素42の色との差の方が特定画素62の色と第２の対応画素52の色との差よりも小さい場合であっても（図13ステップ34でＹＥＳ），第１の対応画素42の色との差が第１のしきい値以上のときには（図13ステップ81でＮＯ），第３カウント領域に記憶される，第３の対応画素（特定画素の位置に対応する位置の存在する仮定の画素）のカウント値がインクレメントされる（図13ステップ83）。
【００７０】
同様に，特定画素62の色と第１の対応画素42の色との差が特定画素62の色と第２の対応画素52の色との差以上であっても（図13ステップ34でＮＯ），第２の対応画素52の色との差が第２のしきい値以上のときには（図13ステップ82でＮＯ），第３カウント領域に記憶される，第３の対応画素のカウント値がインクレメントされる（図13ステップ84）。
【００７１】
第１の対応画素42のカウント値が第２の対応画素52のカウント値以上の場合には（図14ステップ36でＮＯ），第２の対応画素42のカウント値が第３の対応画素のカウント値未満となったかどうかが判定される（図14ステップ91）。第２の対応画素42のカウント値が第３の対応画素のカウント値未満となると（図14ステップ91でＹＥＳ），第１画像記憶領域および第２画像記憶領域に記憶されている第１の対応画素42および第２の対応画素52が静止画部分を表している信頼度が低いと考える。第１の対応画素42のカウント値および第２の対応画素52のカウント値がデクレメントされる（図14ステップ92）。また，ステップ91でＹＥＳとなった場合，第３の対応画素のカウント値が第２の対応画素52のカウント値を上回っている状態であるが，第３の対応画素は単独の色の仮定画素ではなく，第１の対応画素42の色および第２の対応画素52の色以外のすべての色に相当する画素である。第１の対応画素42の色および第２の対応画素52の色の信頼度が低いと考えると同時に，第３の対応画素に相当する各色も個別に管理されてはいないがそれぞれ信頼度が低いと考えるべきである。よって，第３の対応画素のカウント値も同様にデクレメントされる（図14ステップ93）。
【００７２】
第２の対応画素のカウント値が０となると（図14ステップ94でＹＥＳ），入力画像の特定画素62を表す画像データが第２の記憶領域に記憶させられる（図14ステップ95）。また，第２の対応画素52のカウント値が１にセットされる（図14ステップ96）。
【００７３】
この実施例によると，第１画像記憶領域および第２画像記憶領域に偶然に異なる動体の画像データがそれぞれに記憶されてしまった場合に，画像データの入れ替えができるようになる。
【００７４】
図15は，上述のようにして得られる合成画像の表示処理手順を示すフローチャートである。
【００７５】
複数駒の画像を表す画像データが一駒分ずつ上述のように画像合成装置に入力し（ステップ101），上述のように画像合成処理が行われる（ステップ102）。合成画像を含む合成結果が表示装置の表示画面に表示される（ステップ103）。終了指令があるまでステップ101から103までの処理が繰り返される（ステップ104）。
【００７６】
図16から図21は，合成結果の表示態様の一例である。
【００７７】
図16を参照して，輝度が50％とされた入力画像111と輝度が50％とされた合成画像112とが重畳されて，入力画像111と合成画像112との両方とも見ることができるような半透明表示の合成結果画像（入力／合成画像）113として表示される。合成画像112は上述のように第１の画像記憶領域に記憶されている画像データによって表される画像である。入力画像111と合成画像112とをユーザは見ることができるので，ディジタル・カメラを用いて連写することにより複数駒の画像が得られる場合に，どのタイミングでシャッタを押せば動体の存在しない合成画像が得られるようになるかがわかる。また，あらかじめ撮像されている画像を表す画像データを画像合成装置に入力する場合ではユーザが追加して入力する画像を選択できるため，部分的に合成がうまくいかずに動体部分が合成画像に残ってしまった場合でも，その残ってしまった部分に動体が存在しない画像を追加することにより，動体が存在しない合成画像を生成できるようになる。
【００７８】
図17を参照して，合成結果画像117の左側のほぼ１／３は半透明の合成画像の部分画像115が表示されている。合成結果画像117の右側のほぼ２／３は入力画像116が表示されている。
【００７９】
図18に示す合成結果画像120では，合成結果画像120の左側のほぼ１／３は不透明の合成画像の部分画像118が表示されている。合成結果画像120の右側のほぼ２／３は入力画像119が表示されている。
【００８０】
図19に示す合成結果画像123では，合成結果画像123の中にはそれぞれが一駒の合成画像121と入力画像122とが含まれている。合成画像121と入力画像122とが左右に対比できる。
【００８１】
図20に示す合成結果画像126では，合成結果画像126のほぼ全体に入力画像124が表示され，その右下に合成画像125が含まれている。
【００８２】
図21に示す合成結果画像129では，合成結果画像129のほぼ全体に合成画像127が表示され，その右下に入力画像128が表示されている。
【００８３】
図17から図21に示すように合成結果画像を表示するようにしても，図16に示す場合と同様に，合成画像と入力画像とを比較することができるようになる。これらの表示は入力画像および合成画像のアドレッシング操作により実現できるのはいうまでもない。
【００８４】
図22は他の実施例を示すもので，合成画像表示処理手順を示すフローチャートである。この図において，図15に示すものと同一の処理については同一符号を付して説明を省略する。
【００８５】
この実施例では，画像合成処理が行われると，確定率および確定領域が算出され（ステップ131），算出された確定率および確定領域が表示される（ステップ132）。
【００８６】
確定率とは，撮影範囲内の画像における非動体部分である可能性の高い画素の画像に対する割合である。たとえば，第１画像記憶領域に記憶されている画像データによって表される画像の第１の対応画素42のカウント値は，その第１の対応画素42の色の入力回数の多さを表しており，カウント値が高いほど第１の対応画素42が非動体を表している可能性が高い。カウント値が所定のしきい値以上となる第１の対応画素42の画像に対する割合を確定率とすることができる。同様に，第１の対応画素42のカウント値と第２の対応画素52のカウント値との比が所定のしきい値以上となる第１の対応画素42の画像に対する割合を確定率とすることもできる。数字で表してもよいし，「高」，「中」，「低」などの文字，丸，三角，ばつなどのマークで表してもよい。
【００８７】
確定領域は，非動体である可能性の高い領域である。確定率と同様に，第１のカウント値が所定のしきい値以上の画素の領域を確定領域とすることができる。確定領域を１，他の領域を０とする２値画像として表すことができる。２値画像ではなく，第１カウント値に応じてレベルをもつ多階調画像でもよい。
【００８８】
図23は，確定領域を示す画像の一例である。
【００８９】
画像143のうち，上述の確定領域141がハッチングで示されている。また，確定領域以外の領域142が白抜きの画像で示されている。確定率を表示することにより，画像内でどの位の領域が非動体部分として確定しているかの目安を知ることができ，処理の終了判断が容易にできる。また，確定領域を表示することにより，非動体の可能性が高くない部゛分を確認でき，その部分に動体が存在しない画像を最下することにより動体が存在しない合成画像の生成できるようになる。
【００９０】
図24は，他の実施例を示すもので，合成画像表示の処理手順を示すフローチャートである。この図において，図22に示す処理と同一の処理については同一符号を付して説明を省略する。
【００９１】
上述のように確定率および確定領域が算出されると（ステップ131），その確定率が所定のしきい値以上かどうかが判定される（ステップ133）。確定率が所定のしきい値以上であれば（ステップ133でＮＯ），合成画像表示が終了する。ユーザからの指令が無くとも自動的に合成画像表示を終了できる。
【００９２】
図25は，上述の画像合成機能を備えたディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００９３】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ150によって統括される。電源ボタン，シャッタ・レリーズ・ボタンなどの操作装置160からの出力信号は，ＣＰＵ150に入力する。
【００９４】
ディジタル・スチル・カメラには，メモリ・カードのような外部メモリ167が着脱自在に装着可能である。この外部メモリ167に上述した処理を行わせるためのプログラムが格納されている。外部メモリ167から，そのプログラムが読み取られることにより，そのプログラムがディジタル・スチル・カメラにインストールされる。もちろん，ディジタル・スチル・カメラがネットワーク可能なものであれば，ネットワークを介してプログラムをダウンロードしてディジタル・スチル・カメラにインストールしてもよい。また，ディジタル・スチル・カメラに上述した画像合成処理を行わせるプログラムをプリインストールさせておいてもよい。
【００９５】
ディジタル・スチル・カメラには，上述した第１画像記憶領域に相当する第１画像記憶装置171，上述した第１カウント領域に相当する第１カウント記憶装置172，上述した第２画像記憶領域に相当する第２画像記憶装置173および上述した第２カウント領域174に相当する第２カウント記憶装置174が含まれている。もっとも，これらの装置171〜174を一つのメモリで実現するようにしてもよい，メイン・メモリ162を利用するようにしてもよい。また，第１カウント記憶装置172に記憶されるカウント値および第２カウント記憶装置174に記憶されるカウント値を更新するカウント更新装置175も含まれている。
【００９６】
被写体像は，レンズ駆動装置157によって制御される撮像レンズ151によって結像され，絞り駆動装置158によって制御される絞り152およびフィルタ153を介してＣＣＤ154上に結像する。連続して撮像するようにＣＣＤ駆動装置159によってＣＣＤ154が制御されると，上述のように多数駒の画像を表す映像信号がＣＣＤ154から出力される。
【００９７】
ＣＣＤ154から出力された映像信号はアナログ信号処理回路155において所定のアナログ信号処理が行われて，アナログ／ディジタル変換回路156においてディジタル画像データに変換される。
【００９８】
画像データは，メモリ制御装置161の制御のもとにメイン・メモリ162への書き込みおよび読み出しが行われる。画像データは積算回路165にも入力し，積算値が算出される。算出された積算値にもとづいて露光量が決定する。また，画像データは必要に応じて画像処理装置170において所定の画像処理が行われる。
【００９９】
上述したように，第１画像記憶装置171および第２画像記憶装置173に画像データが記憶され，第１カウント記憶装置172および第２カウント記憶装置174にカウント値が記憶されていく。第１画像記憶装置171に記憶されている画像データが読み出され，表示制御装置168の制御のもとに表示装置169に与えられることにより，上述のように合成画像が表示される。合成画像だけでなく，合成画像と入力画像とを含む合成結果画像が表示されるようにしてもよいのはいうまでもない。操作装置160から記録指令が与えられることにより，合成画像を表す画像データが外部メモリ制御装置166の制御のもとに外部メモリ167に記録される。必要に応じて，圧縮伸張装置164において圧縮された画像データが外部メモリ167に記録される。
【０１００】
上述のように撮像しながら上述の画像合成を行うようにしてもよいし，外部メモリ167に上述の多数の画像を表す画像データが格納されている場合には，外部メモリ167から順に読み出して上述の画像合成を行うようにしてもよい。さらに，ディジタル・スチル・カメラに限らず，画像合成専門の装置を生成するようにしてもよい。
【０１０１】
図26は，変形例を示すもので，画像／カウント処理の一部を示している。この変形例において，図11に示す処理と同一の処理については同一符号を付して説明を省略する。
【０１０２】
図26に示す処理では，処理対象となる特定画素62に対応する対応画素52の第２カウント値が０の場合（ｎ−１の場合）であっても（ステップ31でＹＥＳ），ステップ81と同様に，特定画素62の色と第１の対応画素42との差が第１のしきい値よりも小さいかどうか（特定画素62の色が第１の対応画素42の色により近いかどうか）が判定される（ステップ86）。特定画素62の色と第１の対応画素42との差が第１のしきい値よりも小さいければ（ステップ86でＹＥＳ），特定画素62と第１の対応画素42との加重平均が算出され，その平均データが第１画像記憶領域の第１の特定画素42の記憶領域に記憶される（ステップ71）。
【０１０３】
図11に示す処理では，二駒目の画像が入力した場合には，その入力画像の特定画素62が第１の対応画素42の色に近かったときでも第２の画像記憶領域に記憶されることがある。第２の画像記憶領域に記憶されている画素が破棄するまで，第１の画像記憶領域に記憶されている画素の色と第２の画像記憶領域に記憶されている画素の色とが近似したものとなってしまう。これに対して，図26に示す変形例では二駒目以降の入力画像の特定画素62が第１の対応画素42の色に近かった場合には，第１の画像記憶領域に記憶される。第２の画像記憶領域には第１の記憶領域に記憶されている第１の対応画素42の色に近くない色の画素が記憶されることとなる。
【０１０４】
また，上述の実施例では，第１の画像記憶領域，第２の画像記憶領域，第１カウント領域および第２カウント領域が規定されている（必要に応じて第３カウント領域も規定されている）が，第３画像記憶領域およびより多くの画像記憶領域ならびに第４カウント領域およびより多くのカウント領域を規定し，利用するようにすることもできる。
【符号の説明】
【０１０５】
150  ＣＰＵ
171  第１の画像記憶装置
172  第１のカウント記憶装置
173  第２の画像記憶装置
174  第２のカウント記憶装置
175  カウント更新装置
【図１】
2011082720.tif 000003
【図２】
2011082720.tif 000004
【図３】
2011082720.tif 000005
【図４】
2011082720.tif 000006
【図５】
2011082720.tif 000007
【図６】
2011082720.tif 000008
【図７】
2011082720.tif 000009
【図８】
2011082720.tif 000010
【図９】
2011082720.tif 000011
【図１０】
2011082720.tif 000012
【図１１】
2011082720.tif 000013
【図１２】
2011082720.tif 000014
【図１３】
2011082720.tif 000015
【図１４】
2011082720.tif 000016
【図１５】
2011082720.tif 000017
【図１６】
2011082720.tif 000018
【図１７】
2011082720.tif 000019
【図１８】
2011082720.tif 000020
【図１９】
2011082720.tif 000021
【図２０】
2011082720.tif 000022
【図２１】
2011082720.tif 000023
【図２２】
2011082720.tif 000024
【図２３】
2011082720.tif 000025
【図２４】
2011082720.tif 000026
【図２５】
2011082720.tif 000027
【図２６】
2011082720.tif 000028