(57)【特許請求の範囲】
【請求項１】
同一画角で複数枚の画像を連続撮像する撮像工程と、この撮像工程によって連続撮影された複数枚の画像を順次比較する工程と、この比較工程によって一致するとされた画像部分を移動体像ではない画像部分として順次合成し少なくとも１枚の合成画像を得る工程と、この合成工程によって得られた前記１枚の合成画像を表示手段に表示させる表示工程と、この表示工程によって表示された前記１枚の合成画像をボタン操作によって記憶手段に記憶させる工程とを有する移動体像オフセット方法であって、
前記撮像工程は前記移動体像の一部または全部が重ならない２枚の画像が得られるまで撮像を繰り返すことを特徴とする移動体像オフセット方法。
【請求項２】
同一画角で複数枚の画像を連続撮像する撮像手段と、この撮像手段によって連続撮影された複数枚の画像を順次比較する手段と、この比較手段によって一致するとされた画像部分を移動体像ではない画像部分として順次合成し少なくとも１枚の合成画像を得る手段と、この合成手段によって得られた前記１枚の合成画像を表示手段に表示させる表示手段と、この表示手段によって表示された前記１枚の合成画像を記憶させる手段とを有する撮像装置であって、
前記撮像手段による連続撮像は前記移動体像の一部または全部が重ならない２枚の画像が得られるまで撮像を繰り返すことを特徴とする撮像装置。
【請求項３】
更に、前記表示手段表示された前記１枚の合成画像を前記記憶手段に記憶させる為の操作ボタンを有することを特徴とする請求項２に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデジタルカメラ等の撮像装置及び移動体像オフセット方法に関し、連続撮影画像に施す画像処理技術に関する。
【０００２】
【従来の技術】
デジタルカメラでは被写体光像を取込んで電気信号に変換し、画像処理して液晶ディスプレイ等の表示装置に動画表示（スルー画像表示）し、使用者が所望のタイミングでシャッターを押すと撮像を行い、メモリーカードやフラッシュメモリー等の記録媒体に取込んだ画像を記録する。
【０００３】
また、デジタルカメラでは１シャッター操作で複数の画像を撮像する連続撮影モードが設けられているものもある。連写は動いている被写体、例えば、鳥の飛ぶ様子や、動物の動作や、走行中の乗物といったものや、水滴の落下状態等を撮影する場合に行なわれている。
【０００４】
【発明が解決しようとする課題】
静止した被写体の撮像時に、被写体の前を横切る人物や車等（以下、移動体）によって視野が遮られシャッターを押すタイミングがつかめなかったり、撮像の瞬間に移動体が視野を遮って（例えば、記念撮影時に子供が前を走り抜けたり、一瞬人影が入ったりして）撮像後の画像に写っていたり、車中から遠方の風景（山等）を撮影しようとする場合に、視野を横切る看板や電信柱等によって視界が遮られることがある。
【０００５】
本発明は、静止被写体の撮像画像時に写った移動体像（以下、通過像）を消去して静止被写体の完全画像を生成する移動体像オフセット方法および撮像装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
本発明の請求項１における移動体像オフセット方法は、同一画角で複数枚の画像を連続撮像する撮像工程と、この撮像工程によって連続撮影された複数枚の画像を順次比較する工程と、この比較工程によって一致するとされた画像部分を移動体像ではない画像部分として順次合成し少なくとも１枚の合成画像を得る工程と、この合成工程によって得られた前記１枚の合成画像を表示手段に表示させる表示工程と、この表示工程によって表示された前記１枚の合成画像をボタン操作によって記憶手段に記憶させる工程とを有する移動体像オフセット方法であって、前記撮像工程は前記移動体像の一部または全部が重ならない２枚の画像が得られるまで撮像を繰り返すことを特徴とする。
【００１１】
本発明の請求項２における撮像装置は、同一画角で複数枚の画像を連続撮像する撮像手段と、この撮像手段によって連続撮影された複数枚の画像を順次比較する手段と、この比較手段によって一致するとされた画像部分を移動体像ではない画像部分として順次合成し少なくとも１枚の合成画像を得る手段と、この合成手段によって得られた前記１枚の合成画像を表示手段に表示させる表示手段と、この表示手段によって表示された前記１枚の合成画像を記憶させる手段とを有する撮像装置であって、前記撮像手段による連続撮像は前記移動体像の一部または全部が重ならない２枚の画像が得られるまで撮像を繰り返すことを特徴とする。
【００１２】
また、請求項３の発明によれば、撮像装置は、更に、前記表示手段表示された前記合成画像を前記記憶手段に記憶させる為の操作ボタンを有することを特徴とする。
【００１５】
【発明の実施の形態】
図１は、本発明の移動体像オフセット方法を適用可能な撮像装置の一実施例としてのデジタルカメラの回路構成例を示すブロック図である。図１で、デジタルカメラ１００は、光学系１１、信号変換部１２、信号処理部１３、ＤＲＡＭ１４、制御部２０、操作部３０、表示部４０、ＯＳＤデータ用ＲＯＭ４５、記録部５０および電源９０を有している。また、音声を出力する音声出力装置および音声メモリを備えるようにしてもよい。また、カメラと被写体の間を移動する移動体があるときそれを認識する移動体認識装置を設けてもよく、また認識パターンを記録したパターンメモリ（ＲＯＭ）を設けてもよい。
【００１６】
光学系１１は、撮像レンズ１１１および自動絞り機構１１２等を含み、撮像レンズ１１１を介して集光された被写体像の光束を後段の撮像素子（ＣＣＤ）上に結像させる。
【００１７】
信号変換部１２は、ＣＣＤおよび信号変換回路等を含み、前段の光学系１１を介してＣＣＤに結像した画像を電気信号に変換し、デジタルデータに変換して一定の周期で出力する。
【００１８】
信号処理部１３は、信号変換部１２からの出力を処理して、デジタルの輝度、色差マルチプレクス信号（ＹＵＶデータ）等の信号成分を得て、ＹＵＶデータをＤＲＡＭ１４に転送し、展開する。また、記録保存の際にＤＲＡＭ１４に書込まれているＹＵＶデータを読み出してＪＰＥＧ圧縮処理を施し、再生時に記録媒体（フラッシュメモリ）５１に保存記録されていた画像データに伸張処理を施してＹＵＶデータを再生する。
【００１９】
ＤＲＡＭ１４には、図２に示すように連写画像用バッファとして１シャッターで撮られる連続画像数分の連写画像バッファ領域１４１−１〜１４１−ｎ，合成用画像バッファ領域１４２および連写画像のサンプリング画像や、手振れ調整の際に調整画像を一時記憶するため等に用いる作業領域１４３が確保されている。
【００２０】
制御部２０はＣＰＵ、ＲＡＭ、プログラム格納用ＲＯＭおよびタイマー等を有したマイクロプロセッサ構成を有しており、ＣＰＵは、上述の各回路および図示しない電源切換えスイッチ等にバスラインを介して接続し、プログラム格納用ＲＯＭに格納されている制御プログラムによりデジタルカメラ１００全体の制御を行なうと共に、操作部３０からの状態信号に対応してデジタルカメラ１００の各機能の実行制御、例えば、通常撮影や記録画像の再生機能の実行や、撮像モード（ＲＥＣモード）下でのオフセット機能の実行等を行なう。
【００２１】
操作部３０は、図３のデジタルカメラの背部外観図に示すように処理モード切換えスイッチ１０１、機能選択用ボタン３１〜３５、メインスイッチ１０２、オフセット撮影モード選択ボタン３６，シャッターボタン３７、確認ボタン３８および記録／再生モード切換えスイッチ１０３等のスイッチやボタンを構成部分としており、これらのスイッチ或いはボタンが操作されると状態信号が制御部２０に送出される。
【００２２】
表示部４０は液晶ディスプレイ装置等の表示装置から構成されており、撮像時の被写体画像表示および再生時の再生画像表示の他、処理選択時の選択用メニューやガイド（或いはアイコン）の表示等が行なわれる。
【００２３】
記録部５０は記録媒体（実施例ではフラッシュメモリ）５１上に信号処理部１３からの画像データを記録する。
また、フラッシュメモリ５１には画像データを記録する領域および画像データの記録時に当該画像の撮影モードや撮影条件等を登録する画像情報登録リスト（図示せず）を記録する記録領域を有している。
また、フラッシュメモリ５１に制御プログラムやデジタルカメラ１００の各機能を実行するためのプログラム等を格納することもできる。この場合、全てまたは一部のプログラムを通信回線および図示しない通信用インターフェイスを介してダウンロードし、フラッシュメモリ５１に格納するようにしてもよい。
【００２４】
［オフセット撮影モード］
図４は本発明の移動体像オフセット方法の概要説明図である。
図４で、（ａ），（ｂ），（ｃ）は注目被写体（この例では自動車）４５の前方（被写体とカメラの間）を移動体（この例では人物）４６が横切っている様子を示す図であり、（ｄ）は注目被写体４５の合成静止画像を示す図である。
【００２５】
本発明では、注目被写体４５の前方を横切る移動体４５がある場合に、後述するようにオフセット撮影モードでシャッターボタン３７を押したあとカメラを同一画角に保持して連続撮影を行ない、図４（ａ）〜（ｃ）のような画像を得て、そこから、通過像（画像に写った移動体４５の像をいう）または通過像を含む領域を消去（または切取って取除いた）画像を得て合成処理し、（ｄ）に示すような通過像をオフセットした被写体の静止画像を得る。
【００２６】
なお、オフセット撮影ボタン３６を押してモードを切替えてからシャッターを押す代りに、通常の撮影モードにおいてシャッターを押すと自動的に連写を行ない、最初の２枚の画像が一致した場合には通過像（移動像）なしとして普通撮影として扱うようにしてもよい（実施例２参照）。
【００２７】
また、通過像オフセット方法としては、
（１）  １シャッターで所定枚数連写してから、各画像を互に比較して一致しない部分を消去した画像（一致した部分の画像）を合成する方法（実施例１）。実施例では合成結果を表示部４０に表示し使用者の確認があると（確認ボタン３８の押し下げ）、フラッシュメモリ５１等の記録媒体に記録する。また、最初の画像と２番目の画像が一致した場合（不一致の画像部分がない場合）には合成処理を行なわず、そのまま記録している。
（２）  １シャッター操作で連写する際に、１画像撮像する毎に先に撮った画像と今回の画像を互に比較し、一致した画像部分を合成する動作を一致しない画像部分（通過像）が無くなるまで繰り返し、一致しない画像部分が無くなった場合にはその合成画像を記録する方法（実施例２）。なお、実施例では最初の画像と２番目の画像が一致した場合（不一致の画像部分がない場合）には合成処理を行なわず、そのまま記録している。
（３）  デジタルカメラ１００に移動体を認識する移動体認識装置を設け、視野を横切る移動体を追跡し、連写画像中から移動体像を取除いて、注目被写体の合成画像を得る方法（実施例３）。
【００２８】
＜実施例１＞
本実施例は、撮像時にオフセット撮影モードが選択されると、１シャッター操作で所定枚数の連写（連続撮影）を行なった後に、連写画像を互に比較して、一致した画像部分を合成して被写体画像を完成させる例である。
【００２９】
図５は、本発明のオフセット処理用連写の実行および連写画像から通過像（移動体像）を除いて被写体画像を生成するオフセット撮影手段一の実施例のモジュール構成を示すブロック図である。
【００３０】
［オフセット撮影手段］
オフセット撮影手段２１０は、（ａ）に示すように連写手段２１１、比較手段２１２，画像合成手段２１４および確認手段２１５を有している。なお、使用者は連写中に注目被写体に対して画角が同一になるようにカメラを自分自身または三脚等の固定具で固定して撮影するが、手振れや振動、或いは不注意により画角がずれる場合があるので、（ｂ）に示すように一定範囲内のずれを自動調整する手振れ調整手段２１３を備えるようにすることが望ましい。
【００３１】
なお、上記各手段はハードウエア回路で構成してもよいが、本実施例ではプログラムで構成し、プログラム格納用ＲＯＭ（或いはフラッシュメモリ５１）に記憶している。また、上記各手段（モジュール）の一部をハードウエア回路で構成し、他をプログラムで構成するようにしてもよい。
【００３２】
（１）  連写
連写手段２１１は、オフセット撮影選択モードでシャッターボタン３７が押されると、所定枚数ｎ（実施例ではｎ＝５）の画像を所定時間間隔ｔ（実施例ではｔ＝０．３秒）で連続撮影し、画像データをＤＲＡＭ１４の連写画像バッファ１４１−１〜１４１−ｎに順次記憶する。
なお、最適撮影枚数および最適撮影時間間隔は被写体とカメラの距離、カメラと移動体との距離、移動体の速度や大きさ等によって異なるので、公約数を実験的または経験的に求めることとなるが、移動体が通行人等の場合には通行人の歩速を８００ｍ／１０分とすると、８００ｍ／６００ｓ≒１．３ｍ／ｓとなる。ここで、通行人の体側幅を姿勢を考慮して５０ｃｍとすると、通行人が前の位置から重複しない次の位置に移動する時間は０．５／１．３≒０．３８ｓとなり、約０．４秒間とみなすことができる。
この場合、所定時間間隔ｔ＝０．４として３枚の画像を連写すれば後述（図７〜図９）するように最少撮像回数（３回）で通過像をオフセットした合成静止画像を得ることができるが、本実施例では誤差や通行人の年齢層（子供，若者〜老人等）や性別による速度の相違を考慮し、所定時間間隔ｔ＝０．３とし連写回数を５としたが、これに限定されない。
【００３３】
（２）  比較
比較手段２１２は、図６（ａ）に示すように画像サンプリング手段２１２１，サンプリング画像比較手段２１２２を有しており、先に撮影した画像のサンプリング画像と今回撮影した画像のサンプリング画像とを順次比較し、一致／不一致を判定する。
各画像（サンプリング画像）同士の比較方法はできるだけ少ない回数で全画像を比較することが望ましい（本実施例では最初に撮影した画像と今回の画像を順次比較する方法によっているが、これに限定されない）。
画像サンプリング手段２１２１は、ＤＲＡＭ１４の連写画像バッファ１４１−１〜１４１−ｎに記憶された連写画像を順次比較する場合に、比較時間を短縮するために画像毎に画素を全体的に均一に（例えば、４画素おきに３画素づつといった方法で）で間引き処理し、間引き処理した画像をＤＲＡＭ１４の作業領域に順次一時記憶する。
【００３４】
サンプリング画像比較手段２１２２は先に撮影した各画像のサンプリング画像と今回撮影した画像のサンプリング画像（すなわち、連続する２画像）を順次比較し、連続する２画像が完全一致の場合には通過像なしと判定して確認手段２１５に遷移する。これにより、最初の画像と次の画像に通過像が写っていない場合や、移動体速度が早くて、最後の２枚を撮った頃には移動体が画角から出ていて通過像が写っていなかったりした場合に、次段の合成処理の実行を回避することができる。
【００３５】
また、連続する２画像が完全不一致の場合には連写中に手振れ等によりずれがあったものと判定して再撮影メッセージを表示したり、警告音（または、警告メッセージ）を出力して使用者のボタン操作を待つ。なお、図５（ｂ）のように手振れ調整手段２１３を設けた場合には手振れ調整手段２１３に遷移する。
また、部分的に不一致の場合には通過像ありと判定して画像合成手段２１４に遷移する。
【００３６】
サンプリング画像比較手段２１２２で、２つの画像の完全一致、完全不一致、一部不一致の判定は、本実施例では最初に撮影した画像Ｇ１と今回撮影した画像Ｇｉ（ｉ＝２〜ｎ）の画素値の排他的論理和（ＸＯＲ）をとり、演算結果が全てのｘ列（ｘｊ（ｊ＝１〜撮像素子の横方向の最大数））またはｙ行（ｙｋ（ｋ＝１〜撮像素子の縦方向の最大数））で０のとき完全一致、演算結果が全てのｘ列で１のとき完全不一致、ある列ｘｐ〜ｘｑ（または、ある行ｙｒ〜ｘｓ）の範囲で１、他の部分が０の場合に一部不一致と判定しているが、この方法に限定されない。
また、比較手段２１２で画像サンプリング手段２１２１，サンプリング画像比較手段２１２２を設けることなく、サンプリングなしで全ての画素について一致不一致の判定を行なって（例えば、ＸＯＲをとって）判定結果に対応する手段への遷移を行なうようにしてもよい。
【００３７】
（３）  合成
画像合成手段２１４は、図６（ｂ）に示すように通過像消去手段２１４１，合成手段２１４２を有しており、比較手段２１２から遷移があった場合（すなわち、一部不一致の場合）に各画像から通過像を消去し、消去後の各画像を合成する。  通過像消去手段２１４１は連写画像について各２画像毎に画素値の論理積をとって不一致部分を消去した画像を得る（図８，図１１）。
また、合成手段２１４２は通過像消去手段２１４１によって不一致部分を消去した画像（一致した部分の画像）を順次合成する（図９，図１２）。
【００３８】
・  通過像消去／画像合成の例（１）
図７は連写手段により撮影された連写画像の説明図であり、説明上、円７６（７６−１〜７６−３）で示す部分を被写体の前方を横切る移動体とし、それ以外の無地（空白）の部分７５を被写体（背景も含む）とし、移動体７６は視野の右方から入って左方に移動しているものとする。また、図７の例は、（ａ）〜（ｃ）に示すように連写された画像Ａ，Ｂ，Ｃが互に離れている例（移動体速度があまり遅くない場合の例）である。
【００３９】
図８（ａ）〜（ｃ）は、図７（ａ）〜（ｃ）で示した画像Ａ，Ｂ，Ｃについて２画像ずつの組合せ（ＡＢ，ＡＣ，ＢＣ）毎に画素値の論理積をとって不一致部分（＝通過像）を消去した結果（画像）を示す図であり、斜線で示される円８６（８６−１〜８６−３）の部分が通過像として消去された部分である。なお、本実施例では通過像の消去を２画像毎の画素値の論理積演算を行なうことによって実行しているがこれに限定されない。
【００４０】
図９（ａ），（ｂ）は、図８（ａ）〜（ｃ）に示した画像ＡＢ，ＡＣ，ＢＣを順次合成した結果を示す図である。
先ず、画像ＡＢ（図８（ａ））と画像ＡＣ（図８（ｂ））の画素値の論理和をとると、画像ＡＢの消去部分（通過像を消去した部分全部または一部）８６−１は画像ＡＣの消去部分８６−１と一致するのでそのまま消去部分９６−１として残るが、他の消去部分８６−２，８６−３は被写体画像部分（或いは背景部分）と重畳するので、消去部分８６−２，８６−３がなくなり、図９（ａ）に示すように消去部分９６−１が残った画像（ＡＢ＋ＡＣ）を得る。
【００４１】
次に、合成画像ＡＢ＋ＡＣ（図９（ａ））と画像ＢＣ（図８（ｃ））の画素値の論理和をとると、画像ＡＢ＋ＡＣの消去部分９６−１と画像ＢＣの消去部分８６−２，８６−３は一致せず、被写体画像部分（或いは背景部分）と重畳するので図９（ａ）の消去部分９６−１がなくなり、図９（ｂ）に示すように消去部分が残らない合成静止画像（ＡＢ＋ＡＣ＋ＢＣ）を得る。
なお、図９（ｂ）において消去部分のない完全な静止画像が得られたか否かの判定は後述するように確認手段２１５で行なうが、図９からも明らかなように、図７の場合のように通過像が互に分離した３枚の画像が得られる場合には、連写画像３枚で完全な静止画像を得ることができる。
【００４２】
・通過像消去／画像合成の例（２）
図１０は連写手段により撮影された連写画像の説明図であり、説明上、円７６’（７６’−１〜７６’−５）で示す部分を被写体の前方を横切る移動体とし、それ以外の無地（空白）の部分７５’を被写体（背景も含む）とし、移動体７６’は視野の右方から入って左方に移動しているものとする。また、図１０の例は、（ａ）〜（ｅ）に示すように連写された画像Ａ’，Ｂ’，Ｃ’，Ｄ’，Ｅ’のうちすくなくとも２画像の一部が互に重なり合う例（移動体速度が遅い場合の例）である。
【００４３】
図１１（ａ）〜（ｆ）は、図１０（ａ）〜（ｅ）で示した画像のうち４つの画像Ａ’，Ｂ’，Ｃ’，Ｄ’について２画像ずつの組合せ（Ａ’Ｂ’，Ａ’Ｃ’，Ｂ’Ｃ’，Ａ’Ｄ’，Ｂ’Ｄ’，Ｃ’Ｄ’）毎に画素値の論理積をとって不一致部分（＝通過像）を消去した結果（画像）を示す図であり、斜線で示される円８６’（８６’−１〜８６’−４’）の部分が通過像として消去された部分である。
【００４４】
図１２（ａ）〜（ｅ）は、図１１（ａ）〜（ｆ）に示した画像Ａ’Ｂ’，Ａ’Ｃ’，Ｂ’Ｃ’，Ａ’Ｄ’，Ｂ’Ｄ’，Ｃ’Ｄ’を順次合成した結果を示す図である。
先ず、画像Ａ’Ｂ’（図１１（ａ））と画像Ａ’Ｃ’（図１１（ｂ））の画素値の論理和をとると、画像Ａ’Ｂ’の消去部分８６’−１’は画像Ａ’Ｃ’の消去部分８６’−１，８６’−３と部分的に一致するので一致する部分９６’−１，９６’−２が消去部分として残るが、他の部分は被写体画像部分（或いは背景部分）と重畳するので、図１２（ａ）に示すような消去部分９６’−１と９６’−２が残った画像（Ａ’Ｂ’＋Ａ’Ｃ’）を得る。
次に、合成画像Ａ’Ｂ’＋Ａ’Ｃ’（図１２（ａ））と画像Ｂ’Ｃ’（図１１（ｃ））の画素値の論理和をとると、画像Ａ’Ｂ’＋Ａ’Ｃ’の消去部分９６’−１，９６’−２と画像Ｂ’Ｃ’の消去部分８６’−３’は部分的に一致するので、一致する部分９６’−１，９６’−２が消去部分として残るが、他の部分は被写体画像部分（或いは背景部分）と重畳するので、図１２（ｂ）に示すような消去部分９６’−２，９６’−３が残った画像（Ａ’Ｂ’＋Ａ’Ｃ’＋Ｂ’Ｃ’）を得る。
【００４５】
しかし、この例では最初の３枚の連写画像のうち２枚（画像Ａ’および画像Ｂ’）が重複（一部重複）しているので、３枚の連写画像からは図１２（ｂ）に示すように完成された合成静止画像を得ることができない。
【００４６】
そこで、更に、図１０（ｄ）の画像Ｄ’を用いて画像Ａ’，Ｂ’，Ｃ’の画素値との論理積を得て図１１（ｄ）〜（ｆ）に示すような通過像を消去した画像Ａ’Ｄ’，Ｂ’Ｄ’，Ｃ’Ｄ’を得る。
次に、図１２（ｂ）の画像（Ａ’Ｂ’＋Ａ’Ｃ’＋Ｂ’Ｃ’）と画像Ａ’Ｄ’の画素値の論理和をとって図１２（ｃ）に示すような画像（Ａ’Ｂ’＋Ａ’Ｃ’＋Ｂ’Ｃ’＋Ａ’Ｄ’）を得るが、この例の場合は消去部分９６’−３が残ったままのため、図１２（Ｃ）の画像と画像Ｂ’Ｄ’の画素値の論理和をとって図１２（ｄ）に示すような画像（Ａ’Ｂ’＋Ａ’Ｃ’＋Ｂ’Ｃ’＋Ａ’Ｄ’＋Ｂ’Ｄ’）を得るが、依然として消去部分９６’−３が残ったままである。
さらに、画像（Ａ’Ｂ’＋Ａ’Ｃ’＋Ｂ’Ｃ’＋Ａ’Ｄ’＋Ｂ’Ｄ’）と画像Ｃ’Ｄ’と画素値の論理和をとると図１２（ｅ）に示すように消去部分のない静止画像が得られる。
【００４７】
なお、図１２（ｅ）において消去部分のない完全な静止画像が得られたか否かの判定は後述するように確認手段２１５で行なうが、この例の場合のように３枚の連写画像では完成された合成静止画像を得ることができない場合には、次の画像を用いて先の各画像との画素値の論理積をとり、それら論理積を先に得た合成画像に加えて（＝画素値の論理和をとって）新たな合成画像を生成する動作を確認手段２１５によって消去部分のない静止画像が得られたことが確認されるまで行なうことができるが、いつまでたっても消去部分のない静止画像が得られない場合に備えて連写回数に限度ｎを設けることが望ましい。
【００４８】
（４）  確認
確認手段２１５は、比較手段２１２（サンプリング画像比較手段２１２２）で最初に撮影した画像のサンプリング画像と今回撮影した画像のサンプリング画像が完全一致したとき、または、３枚の連写画像の合成画像を得た時、および４枚目以上の連写画像の合成画像を生成したときに合成画像を表示部４０に表示して使用者の確認を得る。使用者が確認ボタン３８を押すと、確認があったものとして合成画像をフラッシュメモリ５１に記録する。使用者が確認以外のボタンを押すとそのボタンの意味する機能を実行するモードに遷移する。
【００４９】
・サンプリング画像完全一致の場合
サンプリング画像が完全に一致する場合は（後述の手振れ調整による完全一致の場合を含む）には、次の２つのケースがある。
（イ）  通過像がない場合（連写画像中の２画像がともに同一注目被写体および背景が撮影された画像である場合。
（ロ）  ２枚（最初の画像と次の画像）の連写画像で被写体の前に予期しない像が写っているが、その像が通過像ではない場合（ａ：動作が極めて遅い移動体の場合や、ｂ：カメラの視野に入ったことに気付いて横切るのを停止した場合や、ｃ：以前からあったが使用者が気付かなかった静止像（固定物等）。
上記（イ）や場合（ロ）のｃの場合には使用者は確認ボタン３８を押してフラッシュメモリ５１に最初の画像（或いは次の画像）を記録することができる。また、上記（ロ）のａ，ｂの場合のように不要な像が写ってしまっている場合には、オフセット撮影ボタン３６を押して、オフセット撮影を再試行できる。
【００５０】
（５）  手振れ調整
オフセット撮影では、注目被写体に画角を固定して所定枚数の連写を行なうことを要するので、デジタルカメラ１００を使用者自身で動かないように保持したり、或いは三脚等の固定具で固定して撮影するが、手振れや振動、或いは不注意により画角がずれる場合がある。
手振れ調整手段２１３は、比較手段２１２（サンプリング画像比較手段２１２２）で連続する２画像ずつを順次比較し、いずれかのサンプリング画像の組が完全不一致のとき画角がずれているものとして、一定範囲内のずれを自動調整して、後の画像を先の画像の画角と内部的に（ＤＲＡＭ１４上で）一致させて、画像合成手段２１４に遷移する。なお、自動調整可能範囲を超えた場合には再撮影メッセージを表示したり、警告音（または、警告メッセージ）を出力して使用者のボタン操作を待つ。
【００５１】
手振れ調整手段２１４は、最初の画像と今回の画像がずれている場合には、先ず、Ｘ軸方向にサンプリング幅（例えば、４画素中３画素を間引いた場合には４画素刻みに±αを限度として、Ｙ軸方向に４画素刻みに±βを限度として）平行移動して、刻み分移動した毎に排他的論理和をとって、完全一致または部分的一致になった場合にそこで平行移動を停止して比較手段２１２に遷移する（完全一致の場合には確認手段２１５に遷移し、部分不一致の場合には画像合成手段２１４に遷移するようにしてもよい）。
【００５２】
また、限度±α，±βまで平行移動しても完全不一致の場合には、アフィン変換等の傾斜角座標変換による変換を行なってから排他的論理和をとって、完全一致または部分的一致になった場合にそこで座標変換を停止する。なお、完全一致した場合には確認手段２１５に遷移する。
【００５３】
［動作例］
図１３は、オフセット撮影時のデジタルカメラの動作例を示すフローチャートである。
図１３で、使用者がオフセット撮影ボタン３６を押すとオフセット撮影モードに移行し、オフセット撮影手段２１０’が起動される（Ｓ０）。
使用者が画角を固定して所望のタイミングでシャッターボタン３７を押すと（Ｓ１）、５枚の画像が連写され、取込まれた画像（画像データ）がＤＲＡＭ１４の連写画像バッファ１４１−１〜１４１−５に順次記憶される（Ｓ２）。
次に、連写画像バッファ１４１−１〜１４１−５から順次画像を取り出してサンプリング処理により画素を間引いてサンプリング画像を生成して、ＤＲＡＭ１４の作業領域上のサンプリング画像記憶領域に順次記憶する（Ｓ３）。
【００５４】
連続する２画像ずつを順次比較し、いずれかの画像の組が完全に一致した場合には通過像なしとしてステップＳ１５に遷移する。また、完全不一致の組がある場合には手振れありとしてステップＳ５に遷移し、それ以外の場合には通過像ありとしてステップＳ８に遷移する（Ｓ４）。
【００５５】
上記ステップＳ４で手振れありとされた場合には、サンプリング画像で画像のずれが許容範囲（＝調整可能範囲）内か否かを調べ（Ｓ５）、許容範囲を超えている場合には、表示装置４０（または、音声出力装置）でその旨のメッセージを報知してステップＳ１８に遷移する（Ｓ６）。
また、画像のずれが許容範囲内の場合は、ＤＲＡＭ１４の連写画像バッファ１４１から対応する組の画像を取り出して、作業用領域１４３を用いて手振れ調整処理を行なって後の画像の画角を先の画像の画角に合うように調整してステップＳ４に戻る（Ｓ７）。
上記ステップＳ４で通過像ありとされた場合には、まず、通過像の消去処理を行ない（Ｓ８）、次に、通過像を消去した画像について順次合成処理を行なう（Ｓ９）。
【００５６】
通過像を消去した３枚以上の画像の合成がなされた場合には（Ｓ１０）、合成画像を表示装置４０に表示し（Ｓ１１）、使用者の確認入力を待つ（Ｓ１２）。
使用者が確認ボタン３８を押した場合には、合成画像が注目被写体の完成された静止画像に相当することが確認されたものとして合成画像をフラッシュメモリ５１に記録して処理を終了する（Ｓ１３）。
また、使用者がオフセット撮影ボタン３６を押した場合には、次の画像（通過像を消去した画像）との合成を行なうためにステップＳ８に戻る。但し、全ての画像（通過像を消去した画像）の合成が終っている場合にはＳ１８に遷移する（Ｓ１４）。
【００５７】
上記ステップＳ４で、連続したいずれかの画像の組が完全に一致した場合には先の画像（後の画像でもよい）と「通過像が認められない」旨のメッセージを表示部４０に表示して使用者の確認入力を促す（音声出力装置が備えられている場合は「通過像が認められない」旨の音声メッセージ、或いは注意音を出力してもよい）（Ｓ１５）。
使用者が確認ボタン３８を押した場合には（Ｓ１６）、表示された画像をフラッシュメモリ５１に記録する（Ｓ１７）。
また、使用者がオフセット撮影ボタン３６を押した場合にはオフセット撮影を行なうためにステップＳ１に戻り、それ以外のボタンが押された場合には処理を終了する（Ｓ１８）。
【００５８】
なお、上記動作例では通過像を消去した画像３枚以上の合成の場合にはその都度、合成画像を表示して使用者の確認を得るようにしたが、通過像を消去した全ての画像を合成してから、合成画像を表示して使用者の確認を得るようにしてもよい（この場合は、上記フローチャートでステップＳ１４は不要となる）。
また、本実施例では確認手段２１５による合成画像の完成確認を使用者が行なうように構成したが、自動的に合成画像の完成判定を行なうようにしてもよい。
【００５９】
上記構成により、同一画角、１シャッターで所定枚数の連写を行ない、連写後に通過像（部分不一致画像）の消去と画像合成を行なうので、連写速度と画像処理速度の関係を考慮する必要がない。従って、連写枚数を多くして高速で被写体の前を横切る移動体の通過像をオフセットした被写体像を得ることもできる。
【００６０】
＜実施例２＞
本実施例は、撮像時に１シャッター操作で連写（連続撮影）を行なうが、１枚の画像を撮像する毎に前回の画像と今回の画像を比較し、一致した部分を合成する動作を繰り返し、１回も一致しない画像部分がなくなるまで（すなわち、通過像が消去された合成画像を得るまで）、撮影／比較動作を繰り返して合成画像の完成を自動判定する例である。なお、実施例では、ＤＲＡＭ１４の容量や、画角が大きくずれていつまでも一致しない場合を考慮して連写回数に限度（連写回数限度＝ｍ：本実施例ではｍ＝１０）を設けてある。
【００６１】
［オフセット撮影手段］
図１４は、本発明のオフセット処理用連写の実行および連写された画像から移動体をオフセットして被写体画像を生成するオフセット撮影手段の一実施例のモジュール構成を示すブロック図である。
【００６２】
オフセット撮影手段３１０は、（ａ）に示すように連写手段３１１、比較手段３１２、画像合成手段３１４、連写終了判定手段３１５を有している。なお、手振れや振動、或いは不注意により画角がずれる場合があるので、（ｂ）に示すように一定範囲内のずれを自動調整する手振れ調整手段３１３を備えるようにすることが望ましく、また、２枚の画像が完全一致する場合に不要な像（通過中に停止した通行人等）の存否確認等のために画像確認手段３１６を設けるようにしてもよい。
【００６３】
なお、上記各手段はハードウエア回路で構成してもよいが、本実施例ではプログラムで構成し、プログラム格納用ＲＯＭ（或いはフラッシュメモリ５１）に記憶している。また、上記各手段（モジュール）の一部をハードウエア回路で構成し、他をプログラムで構成するようにしてもよい。
【００６４】
（１）  連写
連写手段３１１は、オフセット撮影選択モードでシャッターボタン３７が押されると、最大ｍ個の画像を所定時間間隔ｔ（実施例ではｔ＝０．３秒）で連続撮影し、ＤＲＡＭ１４の連写画像バッファ１４１−１〜１４１−ｉ（ｉ≦ｍ）に順次記憶する。
【００６５】
（２）  比較
比較手段３１２は、図６（ａ）に示すように画像サンプリング手段３１２１，サンプリング画像比較手段３１２２を有しており、撮影回数が２回以上の場合に撮影の都度、先に撮影した画像のサンプリング画像と今回撮影した画像のサンプリング画像とを比較し、一致／不一致を判定する。
画像サンプリング手段３１２１は、ＤＲＡＭ１４の連写画像バッファ１４１−１，１４１−２に記憶された連写画像を比較する場合に、比較時間を短縮するために画像毎に画素を全体的に均一に間引き処理し、間引き処理した画像をＤＲＡＭ１４の作業領域にそれぞれ一時記憶する。
【００６６】
サンプリング画像比較手段３１２２は、先に撮影した画像のサンプリング画像と今回撮影した画像のサンプリング画像を順次比較し、それら画像のサンプリング画像が完全一致する場合には通過像なしと判定して連写終了判定手段３１５の後段の画像記録手段に遷移する。なお、図１４（ｂ）に示すように画像確認手段３１６を設けた場合には画像確認手段３１６に遷移する。
また、連続する２画像が完全不一致の場合には連写中に手振れ等によりずれがあったものと判定して再撮影メッセージを表示したり、警告音（または、警告メッセージ）を出力してから撮り直しのためにシャッター操作を待つ。なお、図１４（ｂ）のように手振れ調整手段３１３を設けた場合には手振れ調整手段３１３に遷移する。また、その他の場合には通過像ありと判定して画像合成手段３１４に遷移する。
【００６７】
サンプリング画像比較手段３１２２で、２つの画像の完全一致、完全不一致、一部不一致の判定は、本実施例では図６のサンプリング画像比較手段２１２２と同様に２つの画像の画素値の排他的論理和（ＸＯＲ）をとり、演算結果を基に判定しているが、この方法に限定されない。
また、比較手段３１２で画像サンプリング手段３１２１，サンプリング画像比較手段３１２２を設けることなく、サンプリングなしで全ての画素について一致不一致の判定と対応する手段への遷移を行なうようにしてもよい。
【００６８】
（３）  合成
画像合成手段３１４は、図６（ｂ）に示すように通過像消去手段３１４１，合成手段３１４２を有しており、比較手段３１２から遷移があった場合に各画像から通過像を消去し、消去後の各画像を合成する。通過像消去手段３１４１および画像合成手段３１４２の機能および動作については実施例１の合成手段２１４の機能および動作と同様である。
また、連写は消去部分（通過像を消去した部分全部または一部）のない静止画像が得られた場合に終了し、消去部分のない完全な静止画像が得られた場合には合成画像をフラッシュメモリ５１に記録する。なお、画像合成により消去部分のない静止画像が得られたか否かの判定は連写終了判定手段３１５で行なう。
【００６９】
（４）  連写終了判定
連写終了判定手段３１５は、３枚の画像が連写された場合に画像合成手段３１４２によって合成された合成画像を調べ、それが消去部分（通過像を消去した部分全部または一部）のない合成静止画像か否かを自動判定し、合成画像が消去部分のない合成静止画像の場合には連写を終了させ、フラッシュメモリ５１に合成画像を記録するために図示されていない画像記録手段に遷移する。また、合成画像中に消去部分が残っている場合（図１２（ａ）〜（ｄ））には連写手段３１１に遷移してさらに１枚画像撮影を行ない、比較、合成動作を繰り返す。
【００７０】
連写終了判定手段３１５では、上述のように連写を通過像のない合成静止画像を得るまで繰り返し、通過像のない合成静止画像を得た場合には合成画像を記録するが、移動体の速度が遅くいつまでも繰り返しが行なわる場合に備えて実施例では連写画像バッファ１４１の確保領域の数ｍを最大連写数としている。連写終了判定手段３１５は１シャッター内での撮影回数をカウントし、カウント値がｍを超える場合にはその旨の表示メッセージを（音声出力装置を備えた場合には、音声メッセージ）により報知して処理を終了する。
なお、画像確認手段３１６を設けた場合には、カウント値がｍを超える場合にはその旨のメッセージを表示部４０（音声出力装置を備えた場合には、音声メッセージ）を報知すると共に合成画像を表示部４０に表示して使用者の指示（再撮影または撮影終了操作等）を待つようにしてもよい。
【００７１】
・合成画像における通過像存否の判定方法
合成画像から通過像が消去されているかいないかの判定（通過像存否の判定）は、本実施例では次に述べるように３枚の画像（またはサンプリング画像）の画素値（ビット値）の分布を基に行なっているが、これに限定されない。
前述したように（実施例１（通過像消去／画像合成の例（１）参照）、図７のように連写した３つの画像Ａ，Ｂ，Ｃに写っている通過像が互に離れていて３枚の画像Ａ，Ｂ，Ｃを重ねたときに通過像がそれぞれ重ならない場合には、画像合成手段３１４（２１４）によって合成された画像（画像Ａ，Ｂ，Ｃから通過像を消去した画像ＡＢ，ＡＣ，ＢＣ（図８）の合成画像（図９（ｂ））は消去部分が存在しない完全な被写体静止画像となる。
【００７２】
また、図１０のように移動体速度が遅い場合でも連写画像のうちいずれか３枚の画像を重ねたときに通過像がそれぞれ重ならない場合には（図１０では画像Ａ’，Ｃ’，Ｅ’で通過像が重ならない）、それらの合成画像は消去部分（通過像を消去した部分で、画像としては空白部分）が存在しない完全な被写体静止画像となる（図１２（ｅ））。
【００７３】
そこで、合成に用いられた３枚以上の画像Ｇ１〜Ｇｍのなかから任意の３個の画像の組合せＧｉ，Ｇｊ，Ｇｋ（１≦ｉ≒ｊ≒ｋ≦ｍ）について順次、それらの画像の各２個毎に画素値の排他的論理和（ＸＯＲ）をとり、さらに、その結果であるＧｉｊ，Ｇｉｋ，Ｇｊｋについて論理和をとって、画素値（ビット値）が１の部分の分布を調べ、ほぼ同じ大きさの分布が３グループに分れている場合に画像Ｇｉ，Ｇｊ，Ｇｋの通過像が分離している（画像Ｇｉ，Ｇｊ，Ｇｋを重ねても通過像が重ならない）ので、合成画像中に通過像がないと判定する。
【００７４】
なお、本実施例では、まず、最初に連写した３枚の画像Ａ，Ｂ，Ｃについて各２個毎に画素値の排他的論理和（ＸＯＲ）をとり、さらに、その結果であるＡＢ，ＡＣ，ＢＣについて論理和をとって、画素値（ビット値）が１の部分の分布を調べ、図１５（ｄ）に示すようにほぼ分布が３グループ以上に分れている場合に画像Ａ，Ｂ，Ｃの通過像が分離しており、合成画像中に通過像がないと判定して連写を終了して合成画像を記録する。
【００７５】
また、図１６（ｄ）に示すように分布が２グループ以下の場合には、連写手段３１１に遷移するので、それにより得た４番目の画像Ｄと画像Ａ，Ｂ，Ｃのうちの３画像の組合せからＡＢＣを除いた組合せ（ＡＢＤ，ＡＣＤ，ＢＣＤ）について各２個毎に画素値の排他的論理和（ＸＯＲ）をとり、さらに、その結果について論理和をとって、画素値の分布を調べ、ほぼ分布が３グループ以上に分れているか否かを判定し、分布が３グループ以上に分れている場合に通過像がないと判定して連写を終了して合成画像を記録し、そうでない場合には次の画像との組合せについて撮影回数がｍになるまで同様の判定動作を繰り返す。
【００７６】
図１５は、図８の例（３枚の画像Ａ，Ｂ，Ｃの通過像が互に重なっていない場合）について通過像の存否を自動的に判定する例の説明図であり、（ａ）〜（ｃ）は２画像ずつの排他的論理和（ＸＯＲ）の結果を示す図、（ｄ）はそれらの論理和の結果を示す図、（ｅ）は演算結果が１の画素の分布（横方向）図である。
なお、図１５で斜線の部分１５１−１〜１５１−３は排他的論理和の演算結果が１の部分（通過像に相当する部分）を示し、他の部分は演算結果が０の部分（画像および背景のうち一致した部分）を示す。
図１５（ｄ），（ｅ）から明らかなように、この例では通過像に相当する１５１−１〜１５１−３は互に分離した３つのグループをなしている。
【００７７】
図１６は図１０（ａ）〜（ｃ）の例（３枚の画像Ａ’，Ｂ’，Ｃ’の通過像のうちの一部が重なっている場合）について通過像の存否を自動的に判定する例の説明図であり、（ａ）〜（ｃ）は２画像ずつの排他的論理和（ＸＯＲ）の結果を示す図、（ｄ）はそれらの論理和の結果を示す図、（ｅ）は演算結果が１の画素の分布（横方向）図である。
なお、図１６で斜線の部分１６１−１〜１６１−３は排他的論理和の演算結果が１の部分（通過像に相当する部分）を示し、他の部分は演算結果が０の部分を示す。
図１６（ｄ），（ｅ）から明らかなようにこの例では通過像に相当する１６１−１〜１６１−３は一部ずつ重複して一つのグループ１６１Ｇをなしている（なお、図１０の例でも、画像Ａ’（ａ），Ｃ’（ｃ），Ｅ’（ｄ）の組合せの場合には、排他的論理和の演算結果は互に独立した３グループとなる）。
【００７８】
（５）  手振れ調整
手振れ調整手段３１３は、実施例１の手振れ調整と同様の構成および機能を有し、比較手段３１２（サンプリング画像比較手段３１２２）で連続する２画像ずつを順次比較し、いずれかのサンプリング画像の組が完全不一致のとき画角がずれているものとして、一定範囲内のずれを自動調整して、後の画像を先の画像の画角と内部的に（ＤＲＡＭ１４上で）一致させて、画像合成手段３１４に遷移する。なお、自動調整可能範囲を超えた場合には再撮影メッセージを表示したり、警告音（または、警告メッセージ）を出力して使用者のボタン操作を待つ。
【００７９】
（６）  画像確認
画像確認手段３１６は、比較手段３１２（サンプリング画像比較手段３１２２）で最初に撮影した画像のサンプリング画像と今回撮影した画像のサンプリング画像が完全一致したとき、または連写終了判定手段３１５によりｍ回目の撮影画像を用いての通過画像の存否判定を行なった結果、合成画像に通過画像が残っている場合に合成画像を表示部４０に表示して使用者の確認を得る。使用者が確認ボタン３８を押すと、確認があったものとして合成画像をフラッシュメモリ５１に記録する。使用者が確認以外のボタンを押すとそのボタンの意味する機能を実行するモードに遷移する。
【００８０】
［動作例］
図１７は、オフセット撮影時のデジタルカメラの動作例を示すフローチャートである。
図１７で、使用者がオフセット撮影ボタン３６を押すとオフセット撮影モードに移行し、オフセット撮影手段３１０’が起動される（Ｔ０）。
使用者が画角を固定して所望のタイミングでシャッターボタン３７を押すと（Ｔ１）、撮像が１回行なわれ、それにより取込まれた画像（画像データ）がＤＲＡＭ１４の連写画像バッファ１４１−ｉ（ｉ≦ｍ：実施例ではｍ＝１０）に記憶される（Ｔ２）。
連写画像バッファ１４１−（ｉ−１），１４１−ｉ（ｉ≧１）から画像を取り出してサンプリング処理により画素を間引いてサンプリング画像を生成し（Ｔ３）、それらを比較し、完全に一致した場合には通過像なしとしてステップＴ１６に遷移する。また、完全不一致の組がある場合には手振れありとしてステップＴ５に遷移し、それ以外の場合には通過像ありとしてステップＴ８に遷移する（Ｔ４）。
【００８１】
上記ステップＴ４で手振れありとされた場合には、サンプリング画像で画像のずれが許容範囲（＝調整可能範囲）内か否かを調べ（Ｔ５）、画像のずれが許容範囲内の場合は、ＤＲＡＭ１４の連写画像バッファ１４１から対応する組の画像を取り出して、作業用領域１４３を用いて手振れ調整処理を行なって後の画像の画角を先の画像の画角に合うように調整してステップＴ４に戻る（Ｔ６）。
また、許容範囲を超えている場合には、「画像のぶれが大き過ぎる」旨の表示メッセージ（音声出力装置を備えている場合には音声メッセージ）により報知してステップＴ１５に遷移する（Ｔ７）。
上記ステップＴ４で通過像ありとされた場合には、撮像回数を調べ撮像回数が３回以上の場合にはＴ９に遷移し、３回未満の場合にはＴ２に戻って次の撮像を行なう（Ｔ８）。
撮像回数が３回以上の場合には、まず、通過像の消去処理を行ない（Ｔ９）、次に、通過像を消去した画像についてそれぞれ合成処理を行なう（Ｔ１０）。
【００８２】
次に、合成画像から通過像が消去されているかいないかの判定を（通過像存否の判定）を行ない（Ｔ１１）、通過像が完全に消去されている場合には合成画像をフラッシュメモリ５１に記録する（この際、合成画像を表示部４０に表示してもよい）（Ｔ１２）。
また、合成画像から通過像が完全には消去されていない時には、撮像回数を調べ、撮像回数がｍ回未満の場合にはさらに１回撮像を行なう（連写を続ける）ためにＴ２に遷移し（Ｔ１３）、撮像回数がｍ回の場合には、「通過像がオフセットできていない」旨の表示メッセージ（音声出力装置を備えている場合には音声メッセージ）により報知して使用者の入力を促す（Ｔ１４）。
【００８３】
次に、使用者の操作結果を調べ、それがオフセット撮影ボタン３６の押し下げの場合には、撮影し直しとしてＴ１に戻ってシャッター３７の押し下げを待ち、それ以外の場合には一旦処理を終了する（Ｔ１５）。
【００８４】
上記ステップＴ４で通過像がないものと判定された場合には、その旨の表示メッセージ（音声出力装置を備えている場合には音声メッセージ）により報知して使用者の入力を促す（Ｔ１６）。
次に、使用者の操作結果を調べ（Ｔ１７）、それがオフセット撮影ボタン３６の押し下げの場合にはＴ１に戻ってシャッター３７の押し下げを待ち（Ｔ１８）、確認ボタン３８の押し下げの場合には一致した画像の一方をフラッシュメモリ５１に記録する（Ｔ１９）。
【００８５】
上記構成により、同一画角、１シャッターで連写を行ないながら、通過像の消去、画像合成、および合成画像の通過像存否判定を行ない、通過像がない合成静止画像を得た時点で連写を終らせることができるので、余分な撮像を行なうことがなく、連写時の電力消耗を抑制できる。
【００８６】
また、連続する２枚の画像の一致判定を行ない、連続した２枚の画像が一致した場合には合成を行なうことなく撮像した画像をそのまま記録するので、オフセット撮影モードを特に設けることなく（すなわち、ステップＴ０を省略してオフセット撮影指示操作なしで）、通常撮影としてオフセット撮影機能を組込み、被写体を横切る移動体がある場合に自動的に通過像をオフセットすることもできる。
【００８７】
＜実施例３＞
本実施例は、デジタルカメラ１００に移動体を認識する移動体認識装置を設け、視野を横切る移動体を追跡し、連写画像中から移動体像をオフセットし、注目被写体の合成画像を得る例である。
【００８８】
［オフセット撮影手段］
図１８は、本発明のオフセット処理用連写の実行および連写された画像から移動体をオフセットして被写体画像を生成するオフセット撮影手段の一実施例のモジュール構成を示すブロック図である。
【００８９】
オフセット撮影手段４１０は、（ａ）に示すように移動体識別手段４１１、連写手段４１２、隣接距離判定手段４１３、通過像切抜き手段４１５、画像合成手段４１６を有している。なお、手振れや振動、或いは不注意により画角がずれる場合があるので、（ｂ）に示すように一定範囲内のずれを自動調整する手振れ調整手段４１４を備えるようにすることが望ましい。
【００９０】
なお、上記各手段はハードウエア回路で構成してもよいが、本実施例ではプログラムで構成し、プログラム格納用ＲＯＭ（或いはフラッシュメモリ５１）に記憶している。また、上記各手段（モジュール）の一部をハードウエア回路で構成し、他をプログラムで構成するようにしてもよい。
【００９１】
（１）  移動体の識別
移動体識別手段４１１は、使用者がシャッターボタン３７を押し下げたあと、移動体がカメラの視野に入ったか否かを調べ、視野に入っている場合には移動体の大きさ（範囲）を算出すると共に移動方向を割り出し（検出し）、連写手段４１２に遷移する。
移動体識別手段４１１は移動体がカメラの視野に入ったか否かの判定をデジタルカメラ１００に備えられた移動体認識装置から制御部２０に送られる移動体認識信号を基に行なう。
移動体認識装置として、本実施例では、２次元配列され特定周波数の赤外線を出力する赤外線発光素子からなる赤外線射出部と、被写体から反射される赤外線を入射して電気信号を出力する赤外線入射部とを有する赤外線入出射装置を用いているがこれに限定されない。
図１９は赤外線入出射装置を用いた移動体認識の説明図である。
赤外線入出射装置は、図１９（ａ）に示すように注目被写体１９５で反射された赤外線１９１−（１，１）’〜１９１−（ｐ，ｑ）’が画角内で均一に分布して入射するように赤外線赤外線１９１−（１，１）〜１９１−（ｐ，ｑ）を集光して出射する。なお、本実施例ではｐ＝８，ｑ＝６としたがこれに限定されない。
【００９２】
図１９で、移動体１９１が視野に入ると、図１９（ｂ）に示すように注目被写体１９５からの反射赤外線の一部が移動体１９１に遮られてその部分の赤外線１９１−（ｆ，ｇ）、１９１−（ｆ，ｈ）、・・が入力しないので、その部分に相当する電気信号（デジタル信号としてはデータ「０」）が出力されない。従って、移動体識別手段４１１は赤外線入出射装置１９０からの信号と、赤外線入射位置の座標（ｘｉ，ｙｊ）および時刻毎の信号位置の変化から、移動体１９１の大きさ、位置および移動方向を検出することができる。
なお、実施例では、赤外線素子の数に制限があるので、移動体１９１の大きさおよび位置は矩形集合１９３およびその座標として認識される。すなわち、画角をｐ×ｑ分割した矩形が最小単位となる。
【００９３】
（２）  連写
連写手段４１２は、移動体識別手段４１１からの遷移があると、シャッター操作が既になされているので、先ず、１回撮像を行なってＤＲＡＭ１４の連写画像バッファ１４１−１に記憶し、一定時間をおいて次の撮像を行なってＤＲＡＭ１４の連写画像バッファ１４１−２に記憶する。
【００９４】
連写手段４１２は、また、隣接距離判定手段４１３によって時間間隔をおいて撮像した２枚の画像に写っている通過像の距離が、その２枚の画像を重ねたときに通過像の一部または全部が重ならないだけ離れるまで撮像を繰り返す。この場合、撮像で取込まれた画像はＤＲＡＭ１４の連写画像バッファ１４１−２に記憶する。
なお、本実施例では連写を繰り返しても２枚の画像の通過像が重なってしまうほど移動体の速度が遅い場合等に備え、連写回数に限度ｍ（実施例ではｍ＝１０）を設けているが、これに代えて連写時間間隔を大きくするようにしてもよい。
【００９５】
（３）  離間判定（通過像間の距離判定）
隣接距離判定手段４１３は、撮像毎に最初に撮像した画像（連写画像バッファ１４１−１に記憶）と今回撮像した画像（連写画像バッファ１４１−２に記憶）との距離を調べ、２枚の画像に写っている通過像の距離が、その２枚の画像を重ねたときに通過像の一部または全部が重ならないだけ離れている場合には通過像切抜き手段４１５に遷移する（手振れ調整手段４１４を設けた場合には手振れ調整手段４１４に遷移する）。また、その２枚の画像を重ねたときに通過像の一部または全部が重なる距離内の場合には次の撮像を行なうために連写手段４１２に遷移する。
２画像に写っている通過像の距離の判定方法として、本実施例では、最初の画像の通過像を表わす矩形の先端部ｒ１の位置（座標）と今回の画像の通過像を表わす矩形の後端部ｒｍ’の位置（座標）との距離ｒ＝ｒｍ’−ｒ１＞φのとき最初の画像と今回の画像が離れているものと判定したが、これに限定されない。なお、閾値φは画像のずれを考慮した値であればよい（実施例では３０画素分の距離とした）。
【００９６】
図２０は通過像の離隔判定の説明図であり、図２０の例では、最初に撮像した画像の通過像１９３−１の先端部ｒ１と３回目に撮像した画像の通過像１９３−３の後端部ｒｍ’との距離ｒ（ｒｍ’−ｒ１）が十分に大きく２画像が離れている。
【００９７】
（４）  通過像の切抜き
通過像切抜き手段４１５は、最初の画像の通過像と今回の画像の通過像が離れている場合に、図２１に示すように最初の画像（図２１（ａ））と今回の画像（図２１（ｂ））から通過像を含む区画Ｇ１’，Ｇ２’を切抜いて取除き、残った画像Ｇ１，Ｇ２を作業用バッファ領域１４３にそれぞれ記憶する。
【００９８】
（５）  合成
画像合成手段４１６は、図２１（ａ）’，（ｂ）’，（ｃ）に示すように通過像を切抜いて取除いた後の画像Ｇ１とＧ２を合成して合成画像Ｇを得る。図２１（ｃ）からも明らかなように合成画像Ｇは通過像が含まれていない被写体（背景を含む）の静止画像となる。
【００９９】
（６）  手振れ調整
手振れ調整手段４１４は、図２２に示すように、画像サンプリング手段４１４１，サンプリング画像比較手段４１４２およびずれ調整手段４１４３を有している。
画像サンプリング手段４１４１は、ＤＲＡＭ１４の連写画像バッファ１４１−１，１４１−２に記憶された画像のずれを判定するために画像毎に画素を全体的に均一に間引き処理し、間引き処理した画像をＤＲＡＭ１４の作業領域にそれぞれ一時記憶する。
サンプリング画像比較手段４１４２は、２つのサンプリング画像を比較し、それら画像のサンプリング画像の全体にわたって一致していない場合に手振れ等によるぶれが生じたものと判定してずれ調整手段４１４３に遷移し、その他の場合には通過像切り抜き手段４１５に遷移する。
ずれ調整手段４１４３は、実施例１の手振れ調整と同様の構成および機能を有し、一定範囲内のずれを自動調整して、後の画像を先の画像の画角と内部的に（ＤＲＡＭ１４上で）一致させて、通過像切り抜き手段４１５に遷移する。なお、自動調整可能範囲を超えた場合には連写手段４１２に遷移する。
【０１００】
［動作例］
図２３は、オフセット撮影時のデジタルカメラの動作例を示すフローチャートである。
図２３で、使用者がオフセット撮影ボタン３６を押すとオフセット撮影モードに移行し、オフセット撮影手段４１０および赤外線入出射装置が起動され、注目被写体に赤外線が射出される（Ｕ０）。
使用者が画角を固定して所望のタイミングでシャッターボタン３７を押すと（Ｕ１）、制御部２０は赤外線入出力装置からの出力信号を調べ、移動体が視野に入っていないと判定した場合にはＵ１７に遷移し（Ｕ２）、移動体が視野に入っている場合には１回撮像を行なって、取込んだ画像と、赤外線入出力装置からの出力信号を基にして得た移動体情報とを連写画像バッファ１４１−１に記憶する（Ｕ３）。
【０１０１】
所定時間経過後に、もう一度撮像を行なって、取込んだ画像および赤外線入出力装置からの出力信号を基にして得た移動体情報を連写画像バッファ１４１−２に記憶する（Ｕ４）。
【０１０２】
次に、連写画像バッファ１４１−１と連写画像バッファ１４１−２に記された移動体情報を基にして、最初に撮像した画像に写っている通過像と今回撮像した画像に写っている通過像との距離を算出し（Ｕ５）、通過像間の距離が閾値φ以上あるか否かを調べ、距離が閾値φ未満の場合にはＵ１５に遷移する（Ｕ６）。
【０１０３】
上記ステップＵ６で、通過像間の距離が閾値φ以上の場合にはそれぞれの通過像情報を基にして対応する画像から通過像部分を切抜いて取除き、作業用バッファ４１３にそれぞれ記憶する（Ｕ７）。
【０１０４】
次に、作業用バッファ１４３から通過像部分を除いた２つの画像を取り出して、サンプリング処理により画素を間引いて２つのサンプリング画像を生成する（Ｕ８）。
２つのサンプリング画像を比較して全体が一致していない場合には手振れありとしてＵ１２に遷移する（Ｕ９）。
また、それ以外の場合には作業用バッファ４１３に記憶した画像（通過像を除いた画像）を取り出して合成し（Ｕ１０）、合成画像をフラッシュメモリ５１に記録する（Ｕ１１）。
【０１０５】
上記ステップＵ９で手振れありとされた場合には、サンプリング画像を基に画像のずれが許容範囲（＝調整可能範囲）内か否かを調べ（Ｕ１２）、画像のずれが許容範囲内の場合は、ＤＲＡＭ１４の連写画像バッファ１４１から対応する組の画像を取り出して、作業用領域１４３を用いて手振れ調整処理を行なって後の画像の画角を先の画像の画角に合うように調整してステップＵ４に戻る（Ｕ１３）。また、許容範囲を超えている場合には、表示装置４０（または、音声出力装置）でその旨のメッセージを報知してＵ１に戻る（Ｕ１４）。
上記ステップＵ６で通過像の距離が閾値φ未満の場合には撮像回数を調べ、撮像回数が限度回数ｍ未満の場合にはＵ４に移行し（Ｕ１５）、撮像回数が限度回数ｍの場合には表示装置４０（または、音声出力装置）でその旨のメッセージを報知してＵ１に戻る（Ｕ１６）。
【０１０６】
上記ステップＵ２で赤外線入出力装置からの出力信号を調べた結果移動体が視野に入っていなかった場合には１回撮像を行ない（Ｕ１７）、取込まれた画像をフラッシュメモリ５１に記録する（Ｕ１８）。
【０１０７】
上記構成により、同一画角、１シャッターで連写を行ないながら、移動体が画角に入った場合に通過像の消去および画像合成を行なうことができ、合成画像を得た時点で連写を終らせることができるので、余分な撮像を行なうことがなく、連写時の電力消耗を抑制できる。
【０１０８】
また、シャッター押し下げと同時に移動体認識装置からの信号を調べ、シャッター押し下げ直後のカメラの視野に移動体が入っていない場合（最初の画像に通過像が写らない場合）には合成を行なうことなく撮像した画像をそのまま記録するので、オフセット撮影モードを特に設けることなく（すなわち、オフセット撮影指示操作なしで）、通常撮影としてオフセット撮影機能を組込み、被写体を横切る移動体がある場合に自動的に通過像をオフセットすることもできる。
【０１０９】
なお、実施例３においては、移動体を認識して消去することができるので、移動体が重なっていない場合、２回の撮影で移動体を除去した合成静止画像を得ることができる。
また、上記実施例では、撮影時に本発明の処理を行なうようにしたが、任意のタイミングに行なってもよい。
また、上記実施例では、２回の完全一致で移動体なしとし、２回以上一致した部分を合成するようにしたが、連写中に移動体が一時的に停止することも考えられるので、３回以上の所定の回数一致した場合に移動体なしとして、合成処理を行なうようにしてもよい。
また、上記実施例では、画像比較の結果一致しない画像部分を消去した後、一致しない画像部分が除かれた画像（一致した画像部分）を合成するようにしたが、画像比較の結果、一致した画像部分を抽出し、これを継ぎ合わせていくことにより画像を完成させるようにしてもよい。
【０１１０】
更に、本発明は、カメラに限定されず、パソコン等の画像処理装置でもよいし、着脱可能な記録媒体に本発明に係る処理を実行するためのプログラムを記録するようにしてもよい。
以上本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【０１１１】
【発明の効果】
以上説明したように、請求項１の移動体像オフセット方法は、撮像を所望する被写体像の前を移動体像が横切った場合でも、移動体像を消去した被写体画像を生成することが出来るばかりか、移動体画像を消去するのに必要な撮影枚数を決定し、生成した被写体画像を表示させて撮影した内容を確認すること及び必要とする被写体画像のみを選択的に記憶させることが出来る効果を有するものである。
【０１１２】
また、請求項２の撮像装置は、撮像を所望する被写体像の前を移動体像が横切った場合でも、移動体像を消去した被写体画像を生成することが出来るばかりか、移動体画像を消去するのに必要な撮影枚数を決定し、生成した被写体画像を表示させて撮影した内容を確認することが出来る効果を有するものである。
【図面の簡単な説明】
【図１】本発明の移動体像オフセット方法を適用可能な撮像装置の一実施例としてのデジタルカメラの回路構成例を示すブロック図である。
【図２】ＤＲＡＭの領域割当ての一例を示す説明図である。
【図３】デジタルカメラの背部外観の一例を示す図である。
【図４】本発明の移動体像オフセット方法の概要説明図である。
【図５】本発明の移動体像オフセット方法を実行するオフセット撮影手段一の実施例のモジュール構成を示すブロック図である。
【図６】比較手段および画像合成手段の構成例を示すブロック図である。
【図７】連写手段により撮影された連写画像の説明図である。
【図８】図７の画像の２画像ずつの組合せから通過像を消去した画像の説明図である。
【図９】図８の画像を順次合成した結果を示す説明図である。
【図１０】連写手段により撮影された連写画像の説明図である。
【図１１】図１０の画像の２画像ずつの組合せから通過像を消去した画像の説明図である。
【図１２】図１１の画像を順次合成した結果を示す説明図である。
【図１３】オフセット撮影時のデジタルカメラの動作例を示すフローチャートである。
【図１４】オフセット撮影手段の一実施例のモジュール構成を示すブロック図である。
【図１５】通過像存否自動判定の判定例の説明図である。
【図１６】通過像存否自動判定の判定例の説明図である。
【図１７】オフセット撮影時のデジタルカメラの動作例を示すフローチャートである。
【図１８】オフセット撮影手段の一実施例のモジュール構成を示すブロック図である。
【図１９】赤外線入出射装置を用いた移動体認識の説明図である。
【図２０】通過像の離隔判定の説明図である。
【図２１】通過像切抜きおよび画像合成の説明図である。
【図２２】手振れ調整手段の一実施例のモジュール構成を示すブロック図である。
【図２３】オフセット撮影時のデジタルカメラの動作例を示すフローチャートである。
【符号の説明】
１００  デジタルカメラ（撮像装置）
２１１，３１１，４１２  連写手段
２１２，３１２  比較手段（画像比較手段）
２１４，３１４，４１６  画像合成手段
３１５  連写終了判定手段（合成画像判定手段）
４１５  通過像切抜き手段
２１２１，３１２１  画像サンプリング手段
２１２２，３１２２  サンプリング画像比較手段
【図１】
0004399040.tif 000002
【図２】
0004399040.tif 000003
【図３】
0004399040.tif 000004
【図４】
0004399040.tif 000005
【図５】
0004399040.tif 000006
【図６】
0004399040.tif 000007
【図７】
0004399040.tif 000008
【図８】
0004399040.tif 000009
【図９】
0004399040.tif 000010
【図１０】
0004399040.tif 000011
【図１１】
0004399040.tif 000012
【図１２】
0004399040.tif 000013
【図１３】
0004399040.tif 000014
【図１４】
0004399040.tif 000015
【図１５】
0004399040.tif 000016
【図１６】
0004399040.tif 000017
【図１７】
0004399040.tif 000018
【図１８】
0004399040.tif 000019
【図１９】
0004399040.tif 000020
【図２０】
0004399040.tif 000021
【図２１】
0004399040.tif 000022
【図２２】
0004399040.tif 000023
【図２３】
0004399040.tif 000024