(57)【要約】【課題】  従来の電子カメラは、意図しない侵入物が電子カメラと被写体との間を遮った場合に、誤って侵入物が撮影されてしまうという問題があった。【解決手段】  本発明では、略同一画角で複数枚の画像を連写する撮影部と、前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、前記記憶部に記憶された複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定部と、前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に１枚の静止画像を選択する選択部と、前記選択部が選択した静止画像に対応する分割領域を組み合わせて１枚の撮影画像を合成する合成部とを備えることを特徴とする。【選択図】    図１
2010016695.tif 000002
【特許請求の範囲】
【請求項１】
略同一画角で複数枚の画像を連写する撮影部と、
前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、
前記記憶部に記憶された複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定部と、
前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に１枚の静止画像を選択する選択部と、
前記選択部が選択した静止画像に対応する分割領域を組み合わせて１枚の撮影画像を合成する合成部と
を備えることを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記判定部は、前記差分が所定値以上の動体領域の移動速度を求め、前記移動速度が予め設定された閾値以上のものを動体領域として検出する
ことを特徴とする電子カメラ。
【請求項３】
請求項１または２に記載の電子カメラにおいて、
前記選択部は、前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、前記複数枚の静止画像の焦点状態を評価して、最も焦点状態の良い静止画像を選択する
ことを特徴とする電子カメラ。
【請求項４】
請求項１から３のいずれか一項に記載の電子カメラにおいて、
前記合成部は、全ての分割領域について少なくとも１枚の静止画像が選択されるまで、前記撮影部から前記選択部までの一連の動作を繰り返す
ことを特徴とする電子カメラ。
【請求項５】
請求項１から４のいずれか一項に記載の電子カメラにおいて、
前記所定の分割領域の大きさは、動体領域の大きさと動体領域の速度の少なくとも一方に応じて可変する
ことを特徴とする電子カメラ。
【請求項６】
略同一画角で連写された複数枚の画像が記憶された記憶媒体から画像データを読み出して画像処理を行うコンピュータの画像処理プログラムであって、
前記複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定手順と、
前記判定手順で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に１枚の静止画像を選択する選択手順と、
前記選択手順で選択された静止画像に対応する分割領域を組み合わせて１枚の撮影画像を合成する合成手順と
を備えることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラおよび画像処理プログラムに関する。
【背景技術】
【０００２】
従来、電子カメラでレリーズボタンの押下時に、意図しない侵入物（動体）が電子カメラと被写体との間を遮ることがあった。一方、パノラマ写真を撮影するために撮影位置を移動しながら撮影した複数の画像を合成してパノラマ写真を得る技術などが検討されている（例えば、特許文献１参照）。
【特許文献１】特開２００７−３０５０５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、侵入物が撮影画角内から出るのを待って撮影しなければならないという問題があった。また、パノラマ写真においても撮影位置が異なるため侵入物を除去することは難しかった。
【０００４】
本発明の目的は、意図しない侵入物が電子カメラと被写体との間を遮った場合でも、侵入物を除去した撮影画像を得ることができる電子カメラを提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る電子カメラは、略同一画角で複数枚の画像を連写する撮影部と、前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、前記記憶部に記憶された複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定部と、前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に１枚の静止画像を選択する選択部と、前記選択部が選択した静止画像に対応する分割領域を組み合わせて１枚の撮影画像を合成する合成部とを備えることを特徴とする。
【０００６】
また、より好ましくは、前記判定部は、前記差分が所定値以上の動体領域の移動速度を求め、前記移動速度が予め設定された閾値以上のものを動体領域として検出することを特徴とする。
【０００７】
また、より好ましくは、前記選択部は、前記判定部で判定された静止画像が同一の分割領域に複数枚存在する場合に、前記複数枚の静止画像の焦点状態を評価して、最も焦点状態の良い静止画像を選択することを特徴とする。
【０００８】
また、より好ましくは、前記合成部は、全ての分割領域について少なくとも１枚の静止画像が選択されるまで、前記撮影部から前記選択部までの一連の動作を繰り返すことを特徴とする。
【０００９】
また、より好ましくは、前記所定の分割領域の大きさは、動体領域の大きさと動体領域の速度の少なくとも一方に応じて可変することを特徴とする。
【００１０】
また、本発明に係る画像処理プログラムは、略同一画角で連写された複数枚の画像が記憶された記憶媒体から画像データを読み出して画像処理を行うコンピュータの画像処理プログラムであって、前記複数枚の画像のうち時間的に前後する画像の差分に基づいて動体領域を検出し、撮影画像を所定の分割領域に分割した分割領域毎に動体画像であるか静止画像であるかを判定する判定手順と、前記判定手順で判定された静止画像が同一の分割領域に複数枚存在する場合に、分割領域毎に１枚の静止画像を選択する選択手順と、前記選択手順で選択された静止画像に対応する分割領域を組み合わせて１枚の撮影画像を合成する合成手順とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、意図しない侵入物が電子カメラと被写体との間を遮った場合でも、侵入物を除去した撮影画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明に係る電子カメラに関する実施形態について図面を用いて詳しく説明する。
【００１３】
（第１の実施形態）
図１は、第１の実施形態に係る電子カメラ１０１の構成を示すブロック図である。電子カメラ１０１は、レンズ光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、Ａ／Ｄ変換部１０６と、画像バッファ１０７と、画像処理部１０８と、制御部１０９と、表示部１１０と、記憶部１１１と、操作部１１２とで構成される。
【００１４】
尚、本実施形態に係る電子カメラ１０１は、レリーズボタンの押下毎に１枚の画像を撮影する通常撮影モードや、１回のレリーズボタンの押下で時間的に連続した複数枚の画像を撮影する連写撮影モードを有する。さらに、本実施形態に係る電子カメラ１０１は、撮影画像から動体領域を除去する静止体撮影モードを有する。
【００１５】
図１において、レンズ光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、レンズ光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、絞り１０２ａを含む。
【００１６】
撮像素子１０４の受光面には、二次元状に光電変換部が配置されており、各光電変換部に入射された光量に応じた電気信号に変換し、ＡＦＥ１０５に出力する。
【００１７】
ＡＦＥ１０５は、撮像素子１０４から出力される電気信号のノイズ除去や増幅などを行って、Ａ／Ｄ変換部１０６に出力する。
【００１８】
Ａ／Ｄ変換部１０６は、ＡＦＥ１０５から出力される電気信号をデジタルの画像データに変換し、画像バッファ１０７に変換された画像データを記憶する。尚、画像バッファ１０７は、連写撮影された複数の画像データも記憶する。
【００１９】
画像処理部１０８は、制御部１０９の指令に応じて、画像バッファ１０７に一時的に記憶された画像データのホワイトバランス処理や色補間処理などを行う。
【００２０】
通常撮影モードや連写撮影モードにおいて、レリーズボタンが押下された時に画像バッファ１０７に取り込まれた画像データは、画像処理部１０８で画像処理後、記憶部１１１に保存される。尚、記憶部１１１は、電子カメラ１０１に内蔵の不揮発性メモリであっても構わないし、電子カメラ１０１に着脱可能なメモリカードであっても構わない。
【００２１】
記憶部１１１に保存された画像データや画像バッファ１０７に一時的に記憶されている画像データは、制御部１０９の指令に応じて、表示部１１０に表示される。
【００２２】
次に、制御部１０９の動作について説明する。制御部１０９は、内部に予め記憶されているプログラムに従って動作し、電子カメラ１０１の各部を制御する。制御部１０９は、レンズ制御部１２１と、絞り制御部１２２と、シャッタ制御部１２３と、ＡＦ（自動焦点）制御部１２４と、ＡＥ（自動露光）制御部１２５と、手振れ検出部１２６と、動体判定部１２７と、静止画選択部１２８と、画像合成部１２９とで構成される。尚、本実施形態では説明が分かり易いように、レンズ制御部１２１，絞り制御部１２２，シャッタ制御部１２３，ＡＦ制御部１２４，ＡＥ制御部１２５，手振れ検出部１２６，動体判定部１２７，静止画選択部１２８，画像合成部１２９は、制御部１０９に含めて描いてあるが、制御部１０９とは別にハードウェアなどの回路で構成しても構わない。或いは、動体判定部１２７，静止画選択部１２８，画像合成部１２９は、画像処理部１０８に含めても構わない。
【００２３】
撮影者は、撮影時に操作部１１２の操作ボタン（電源ボタン、レリーズボタン、ズームボタン、撮影モード選択ボタン、カーソルボタンなど）を操作して、電子カメラ１０１を操作する。操作部１１２の操作情報は制御部１０９に入力され、制御部１０９はその操作情報に応じて電子カメラ１０１の各部の動作を制御する。
【００２４】
例えば、制御部１０９は、操作部１１２のズームボタンの操作に応じて、レンズ制御部１２１を介してレンズ光学系１０２のズームレンズの位置を移動させる。同様に、制御部１０９は、絞り制御部１２２を介してレンズ光学系１０２の絞り１０２ａの絞り値を調節する。また、制御部１０９は、シャッタ制御部１２３を介して、シャッタ速度に応じてメカシャッタ１０３を開閉する。
【００２５】
ＡＦ制御部１２４は、画像バッファ１０７に取り込まれた画像の所定位置（ＡＦ測定位置）において山登り方式などの焦点検出方式によってデフォーカス量を算出し、焦点位置を求める。制御部１０９は、ＡＦ制御部１２４が求めた焦点位置に合うように、レンズ制御部１２１を介してレンズ光学系１０２のフォーカスレンズの位置を調節する。
【００２６】
ＡＥ制御部１２５は、画像バッファ１０７に取り込まれた画像の所定位置（ＡＥ測光位置）において測光を行う。制御部１０９は、ＡＥ制御部１２５が求めた測光値に応じて、適正露光になるように、絞り１０２ａの絞り値やメカニカルシャッタ１０３のシャッタ速度などを決定し、絞り制御部１２２やシャッタ制御部１２３に指令する。尚、本実施形態に係る電子カメラ１０１では、メカニカルシャッタ１０３を用いているが、メカニカルシャッタ１０３を開放状態にして、撮像素子１０４の露光時間によってシャッタ速度を制御する電子シャッタを用いても構わない。
【００２７】
ここで、本実施形態では、電子カメラ１０１が静止体撮影モードに設定されている場合は、連写撮影の最初の画像を撮影する時の絞り１０２ａの絞り値やメカニカルシャッタ１０３のシャッタ速度、或いはＡＦＥ１０５に設定される撮影感度や、フォーカスレンズの位置などの撮影条件は、同じ条件に固定される。
【００２８】
手振れ検出部１２６は、電子カメラ１０１の筐体の動きを検出する加速度センサを有し、レリーズボタン押下時の手振れの有無や手振れの度合いを検出する。
【００２９】
動体判定部１２７は、先ず、電子カメラ１０１が静止体撮影モードに設定されている場合に、時間的に前後して撮影される２枚の画像間の差分を求める。例えば、図２に示したように、連写撮影される画像２０１と画像２０２の差分を求める。引き続き、画像２０２と画像２０３の差分を求める。ここで、差分は、２枚の画像の同じ位置の画素データ間の輝度差の絶対値を差分値とし、全画素について計算する。そして、差分値が予め設定された閾値以上の画素を判別し、これらの画素を多く含む一塊の領域を動体領域として検出する。ここで、動体領域を構成する画素数に応じて動体領域のサイズも検出する。また、時間的に連続する２枚の画像間の動体領域の特徴点の移動距離と撮影間隔によって動体領域の移動速度も検出する。尚、動体領域の検出方法については、動きベクトルを利用した動画撮影カメラなどで様々な方法が知られており、何れの検出方法を用いても構わない。
【００３０】
さらに、動体判定部１２７は、撮影画像を所定の分割領域に分割して、分割領域毎に動体画像であるか静止画像であるかを判定する。例えば、図３に示したように、電子カメラ１０１で風景３０１の撮影画角３０２の部分を撮影する場合、撮影画角３０２で撮影される画像Ｐを複数の分割領域に分割する。図３の例では、横方向に４分割、縦方向に３分割された合計１２個の分割領域に分けられる。尚、図３において、Ｐ（１，１）からＰ（３，４）は分割領域番号を示している。そして、分割領域毎に動体画像であるか静止画像であるかを判定する。例えば、図４（ａ）の画像Ｐ１の場合は、分割領域Ｐ１（２，１）と分割領域Ｐ１（２，２）と分割領域Ｐ１（３，１）と分割領域Ｐ１（３，２）とには、動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域Ｐ１（１，１）と分割領域Ｐ１（１，２）と分割領域Ｐ１（１，３）と分割領域Ｐ１（１，４）と、分割領域Ｐ１（２，３）と分割領域Ｐ１（２，４）と、分割領域Ｐ１（３，３）と分割領域Ｐ１（３，４）とには、動体３０３が含まれていないので、これらの分割領域は静止画像と判定する。
【００３１】
次に撮影された図４（ｂ）の画像Ｐ２の場合は、分割領域Ｐ２（２，２）と分割領域Ｐ２（２，３）と分割領域Ｐ２（３，２）と分割領域Ｐ２（３，３）とには、動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域Ｐ２（１，１）と分割領域Ｐ２（１，２）と分割領域Ｐ２（１，３）と分割領域Ｐ２（１，４）と、分割領域Ｐ２（２，１）と分割領域Ｐ２（２，４）と、分割領域Ｐ２（３，１）と分割領域Ｐ２（３，４）とには、動体３０３が含まれていないので、これらの分割領域は静止画像と判定する。
【００３２】
同様に、次に撮影された図４（ｃ）の画像Ｐ３の場合は、分割領域Ｐ３（２，３）と分割領域Ｐ３（２，４）と分割領域Ｐ３（３，３）と分割領域Ｐ３（３，４）とには、動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域Ｐ３（１，１）と分割領域Ｐ３（１，２）と分割領域Ｐ３（１，３）と分割領域Ｐ３（１，４）と、分割領域Ｐ３（２，１）と分割領域Ｐ３（２，２）と、分割領域Ｐ３（３，１）と分割領域Ｐ３（３，２）とには、動体３０３が含まれていないので、これらの分割領域は静止画像と判定する。
【００３３】
静止画選択部１２８は、動体判定部１２７が静止画像と判定した分割領域に複数枚の静止画像が存在する場合に、分割領域毎に最適な１枚の静止画像を選択する。例えば、先に説明した図４の例の場合、画像Ｐ１と画像Ｐ２と画像Ｐ３のそれぞれにおいて動体判定部１２７が静止画像と判定した分割領域が重複して存在している。つまり、同じ分割領域に複数の静止画像が存在する。そこで、静止画選択部１２８は、各分割領域毎に最適な１枚の静止画像を選択する。
【００３４】
次に、静止画像の選択の方法について説明する。例えば、図４において、画像Ｐ１の分割領域Ｐ１（１，１）と、画像Ｐ２の分割領域Ｐ２（１，１）と、画像Ｐ３の分割領域Ｐ３（１，１）とを所定の評価方法で評価して、最も評価の高い画像を選択する。所定の評価方法は、例えば、コントラストや画像圧縮処理した時のデータ量、或いは撮影画像毎に手振れ検出部１２６の手振れ度合いなどで評価する。何れの方法を用いた場合でも、最もフォーカス状態が良い（フォーカスが一番合っていると思われる）画像を選択することができる。
【００３５】
ここで、コントラストによる評価方法は、例えば、画素間の差分値を積算した値が最も大きい画像を最もフォーカス状態が良い画像であると判断する。また、画像圧縮処理した時のデータ量による評価方法は、ＪＰＥＧ規格などによる同じ画像圧縮方法で画像データを圧縮した時のデータ量が最も大きいものが最もフォーカス状態が良い画像であると判断する。或いは、手振れ度合いによる評価方法は、手振れ検出部１２６で検出した手振れ度合いが最も小さいもの（手振れが少ないもの）が最もフォーカス状態が良い画像であると判断する。このようにして、静止画選択部１２８は、分割領域毎に最適な１枚の静止画像を選択する。
【００３６】
例えば、静止画選択部１２８は、図４において、画像Ｐ１では、分割領域Ｐ１（１，１），分割領域Ｐ１（１，２），分割領域Ｐ１（１，３），分割領域Ｐ１（１，４），分割領域Ｐ１（２，３），分割領域Ｐ１（２，４），分割領域Ｐ１（３，３），分割領域Ｐ１（３，４）の８つの分割領域の静止画像を選択する。また、画像Ｐ２では、分割領域Ｐ２（２，１），分割領域Ｐ２（３，１）の２つの分割領域の静止画像を選択する。さらに、画像Ｐ３では、分割領域Ｐ３（２，４），分割領域Ｐ３（３，４）の２つの分割領域の静止画像を選択する。このようにして、撮影画像を構成する１２個の分割領域全てに対応する静止画像が確定する。この様子を図５（ａ）に示す。
【００３７】
画像合成部１２９は、静止画選択部１２８が選択したそれぞれの分割領域に対応する静止画像をパッチワーク状に組み合わせて合成し、図５（ｂ）に示すような１枚の撮影画像Ｐａを作成する。作成された撮影画像Ｐａは、表示部１１０に表示されると共に、記憶部１１１に保存される。このようにして、動体３０３を除去した静止画像を得ることができる。
【００３８】
次に、本実施形態に係る電子カメラ１０１の撮影時の動作について、図６のフローチャートを用いて詳しく説明する。尚、図６のフローチャートは、制御部１０９の内部に予め組み込まれたプログラムに従って動作する。また、図６のフローチャートの動作の主体は制御部１０９であるが、必要に応じて、画像処理部１０８に指令して画像圧縮処理などの画像処理を行う。以下、電子カメラ１０１の動作について順に説明する。尚、電子カメラ１０１は、静止体撮影モードに設定されているものとする。
【００３９】
（ステップＳ１０１）撮影者は、電子カメラ１０１の操作部１１２に含まれる電源ボタンを押して電源をＯＮする。この状態で、電子カメラ１０１は、先に説明したように、レンズ光学系１０２を介して撮像素子１０４で撮影するプレビュー画像を表示部１１０に表示する。撮影者は、このプレビュー画像を見ながら撮影画角や被写体を確認する。尚、プレビュー画像を撮影している時は、メカニカルシャッタ１０３は常に開放状態になっており、電子シャッタによる撮影が行われる。また、プレビュー画像の撮影中、ＡＦ制御部１２４は、予め設定された所定位置で焦点位置を求め、レンズ制御部１２１を介してレンズ光学系１０２のフォーカスレンズの位置を常に調節している。同様に、ＡＥ制御部１２５は、適正露光になるように、露光時間を常に調節している。
【００４０】
（ステップＳ１０２）制御部１０９は、撮影者が電子カメラ１０１の操作部１１２に含まれるレリーズボタンを押下したか否かを判別する。レリーズボタンが押下された場合はステップＳ１０３に進み、レリーズボタンが押下されていない場合はステップＳ１０２の処理を繰り返す。
【００４１】
（ステップＳ１０３）制御部１０９は、シャッタ制御部１２３に指令して、予め設定された所定枚数の連写撮影を行う。尚、連写撮影は、メカニカルシャッタ１０３を開閉して撮影しても構わないし、プレビュー画像のように撮像素子１０４の露光時間を調節する電子シャッタで撮影しても構わない。但し、連写撮影している間は、ＡＦ制御部１２４やＡＥ制御部１２５は動作を一時的に停止し、固定の露出条件、フォーカス位置でほぼ同じ撮影画角（略同一の撮影画角）で撮影される。
【００４２】
（ステップＳ１０４）制御部１０９は、連写撮影された複数枚の撮影画像を画像バッファ１０７に一時的に記憶する。
【００４３】
（ステップＳ１０５）制御部１０９の動体判定部１２７は、図２で説明したように、時間的に前後して撮影される２枚の画像間の差分を算出する。
【００４４】
（ステップＳ１０６）制御部１０９の動体判定部１２７は、先に説明したように、動体領域を構成する画素数に応じて動体領域のサイズも検出する。また、時間的に連続する２枚の画像における動体領域の特徴点の移動距離と撮影間隔によって動体領域の移動速度も検出する。
【００４５】
（ステップＳ１０７）制御部１０９の動体判定部１２７は、動体領域のサイズや動体領域の移動速度に応じて、撮影画像を分割する分割領域のサイズ（または数）を決定し設定する。
【００４６】
ここで、動体領域のサイズおよび移動速度と、分割領域のサイズとの関係について説明する。図７は、動体領域３５１が大きい場合の例を示している。図７（ａ）に示した１２個の分割領域に分割された画像Ｐ４の場合は、動体領域３５１が含まれず静止画像と判定可能な分割領域は、分割領域Ｐ４（１，４）の１つしかないので、動体領域３５１が４列目の分割領域Ｐ４（２，４）と分割領域Ｐ４（３，４）を通り過ぎるまで、全ての分割領域の静止画像を決めることができない。つまり、撮影時間が長くなってしまう。
【００４７】
ところが、図７（ｂ）に示した２４個の分割領域に分割された画像Ｐ５の場合は、動体領域３５１が含まれず静止画像と判定可能な分割領域は、分割領域Ｐ５（１，１）からＰ５（１，８）と、分割領域Ｐ５（２，１）と、Ｐ５（２，６）とからＰ５（２，８）と、分割領域Ｐ５（３，１）と、Ｐ５（３，６）とからＰ５（３，８）と、分割領域Ｐ５（４，８）と、分割領域Ｐ５（５，８）と、分割領域Ｐ５（６，８）と、Ｐ５（６，１）と、Ｐ５（６，４）の２１個がある。しかも、動体領域３５１が８列目の分割領域Ｐ５（４，８）と分割領域Ｐ５（５，８）と分割領域Ｐ５（６，８）を通り過ぎる前に、全ての分割領域の静止画像を決めることができる。つまり、撮影時間が図７（ａ）の場合より短くなる。
【００４８】
このように、動体領域３５１が大きい場合は、分割領域のサイズを小さく（分割領域の数を多く）するのが望ましい。特に、動体領域３５１の移動速度が遅い場合に有効で、動体速度が速い場合は直ぐに通り過ぎるため、分割領域のサイズは大きくても撮影時間は殆ど変わらない。従って、動体領域のサイズが大きくなるほど、動体領域の移動速度が遅くなるほど、分割領域のサイズを小さくするのが望ましい。
【００４９】
次に、図７の動体領域３５１のサイズより小さい動体領域３５２の場合について図８を用いて説明する。図８（ａ）に示した１２個の分割領域に分割された画像Ｐ６の場合は、動体領域３５２が含まれず静止画像と判定可能な分割領域は、分割領域Ｐ６（１，１）からＰ６（１，４）と、分割領域Ｐ６（２，３）からＰ６（２，４）と、分割領域Ｐ６（３，３）からＰ６（３，４）の８個がある。動体領域３５２の後部が撮影画角の中央線３５３より右側に移動すれば、つまり２列目の分割領域Ｐ６（２，２）と分割領域Ｐ６（３，２）を通り過ぎれば、全ての分割領域の静止画像を決めることができる。
【００５０】
一方、図８（ｂ）に示した２４個の分割領域に分割された画像Ｐ７の場合でも、動体領域３５２の後部が撮影画角の中央線３５３より右側に移動すれば、つまり４列目の分割領域Ｐ７（４，４）と分割領域Ｐ６（５，４）を通り過ぎれば、全ての分割領域の静止画像を決めることができるので、撮影時間は図８（ａ）の場合と変わらない。ところが、図８（ａ）の場合より図８（ｂ）の場合の方が分割領域が小さいので、適正な静止画像を選択しなければならない分割領域の数が多くなり、処理量が増加する。また、各分割領域の静止画像の数も多くなるので、画像合成する際の処理量も増加する。
【００５１】
このように、動体領域３５２が小さい場合は、分割領域のサイズを大きく（分割領域の数を少なく）するのが望ましい。特に、動体領域３５２の移動速度が速い場合に有効である。従って、動体領域のサイズが小さくなるほど、動体領域の移動速度が速くなるほど、分割領域のサイズを大きくするのが望ましい。
【００５２】
ここで、動体領域のサイズや動体領域の移動速度に応じて、最適な撮影画像を分割する分割領域のサイズを決定する方法をまとめると、図９のようになる。図９は横軸に動体領域の移動速度を示し、縦軸に動体領域のサイズを示してある。尚、分割領域のサイズは、図１０（ａ）の４個の大きいサイズの分割領域ＰＬと、図１０（ｂ）の１２個の中サイズの分割領域ＰＭと、図１０（ｃ）の２４個の小さいサイズの分割領域ＰＳとに分けた場合の一例である。
【００５３】
図９において、図７および図８を用いて説明したように、動体領域の移動速度が遅く、動体領域のサイズが小さい場合は、分割領域のサイズは大きい方が望ましい。また、動体領域の移動速度が速く、動体領域のサイズが大きい場合は、分割領域のサイズは小さい方が望ましい。或いは、動体領域の移動速度が速くて動体領域のサイズが小さい場合や、動体領域の移動速度が遅くて動体領域のサイズが大きい場合は、分割領域のサイズは中サイズが望ましい。
【００５４】
このようにして、制御部１０９の動体判定部１２７は、動体領域のサイズや動体領域の移動速度に応じて、最適な撮影画像を分割する分割領域のサイズ（または数）を決定し設定する。
【００５５】
さて、図６のフローチャートに戻って説明を続ける。
【００５６】
（ステップＳ１０８）ステップＳ１０７で設定された分割領域のサイズ（または数）に従って、分割領域毎に動体領域が含まれる領域か否かを判定し、動体領域が含まれない分割領域の静止画像を分割領域番号に関連付けて画像バッファ１０７または記憶部１１１に一時的に記憶しておく。例えば、図４（ａ）の画像Ｐ１の場合は、図１１（ａ）に示すように、動体３０３を含む分割領域Ｐ１（２，１）とＰ１（２，２）とＰ１（３，１）とＰ１（３，２）の４つの分割領域を除く分割領域の静止画像がそれぞれの分割領域番号と関連付けて画像バッファ１０７または記憶部１１１に一時的に記憶される。例えば、分割領域Ｐ１（１，１）の静止画像の場合は、画像ファイル名（Ｐ１−１−１．ＪＰＧ）として記憶される。
【００５７】
また、図４（ｂ）の画像Ｐ２の場合は、図１１（ｂ）に示すように、動体３０３を含む分割領域Ｐ２（２，２）とＰ２（２，３）とＰ２（３，２）とＰ２（３，３）の４つの分割領域を除く分割領域の静止画像がそれぞれの分割領域番号と関連付けて画像バッファ１０７または記憶部１１１に一時的に記憶される。例えば、分割領域Ｐ２（１，１）の静止画像の場合は、画像ファイル名（Ｐ２−１−１．ＪＰＧ）として記憶される。
【００５８】
同様に、図４（ｃ）の画像Ｐ３の場合は、図１１（ｃ）に示すように、動体３０３を含む分割領域Ｐ３（２，３）とＰ３（２，４）とＰ３（３，３）とＰ３（３，４）の４つの分割領域を除く分割領域の静止画像がそれぞれの分割領域番号と関連付けて画像バッファ１０７または記憶部１１１に一時的に記憶される。例えば、分割領域Ｐ３（１，１）の静止画像の場合は、画像ファイル名（Ｐ３−１−１．ＪＰＧ）として記憶される。
【００５９】
（ステップＳ１０９）ステップＳ１０５からステップＳ１０８までの処理を繰り返して、全ての分割領域に対応する少なくとも１枚の静止画像が得られたか否かを判別する。全ての分割領域に対応する少なくとも１枚の静止画像が得られた場合はステップＳ１１０に進み、静止画像が１枚も得られない分割領域が残っている場合はステップＳ１１２に進む。
【００６０】
（ステップＳ１１０）制御部１０９の静止画選択部１２８は、全ての分割領域毎に１枚の静止画像を選択する。この時、同じ分割領域に複数の静止画像が存在する場合は、静止画選択部１２８は、先に説明したように、例えば、コントラストや画像圧縮処理した時のデータ量、或いは撮影画像毎に手振れ検出部１２６の手振れ度合いなどで評価し、最も評価の高い静止画像を選択する。
【００６１】
（ステップＳ１１１）制御部１０９の画像合成部１２９は、静止画選択部１２８が選択したそれぞれの分割領域に対応する１枚の静止画像をパッチワーク状に組み合わせて合成し、図５（ｂ）に示すような１枚の撮影画像Ｐａを作成する。作成された撮影画像Ｐａは、表示部１１０に表示されると共に、記憶部１１１に保存される。
【００６２】
（ステップＳ１１２）ステップＳ１０９で静止画像が１枚も得られない分割領域が残っている場合は、ステップＳ１０３で撮影された所定枚数の連写画像の全てについてステップＳ１０５からステップＳ１０８の処理を行ったか否かを判別する。全ての連写画像を読み出して判別処理を行った場合はステップＳ１１３に進み、全ての連写画像を読み出して判別処理を行っていない場合はステップＳ１０５に戻って同様の処理を行う。
【００６３】
（ステップＳ１１３）静止画像が１枚も得られない分割領域が残っているので、未完成であることを示すエラー表示を表示部１１０に表示する。尚、エラー表示を行った後で、ステップＳ１１４の終了処理に進まずに、ステップＳ１１１に進んで、画像合成処理を行うようにしても構わない。この場合は、静止画像が１枚も得られない分割領域を空白のままで合成しても構わないし、動体領域が写っている画像を用いても構わない。
【００６４】
（ステップＳ１１４）静止体撮影モードにおける撮影処理を終了する。
【００６５】
尚、本実施形態では、説明を分かり易くするために、撮影画像の中に１つの動体しか存在しない場合について説明したが、複数の動体が存在しても構わない。この場合は、ステップＳ１０６において、複数の動体領域の検出を行い、それぞれの動体領域のサイズや移動速度を求める。尚、大小サイズの異なる複数の動体領域が存在する場合に、ステップＳ１０７で分割領域のサイズを決定する時は、処理量と撮影時間とのどちらを優先するかによって決めるようにしても構わない。例えば、処理能力が十分にある場合は、撮影時間を優先して分割サイズが小さい方に合わせる。或いは、処理能力がない場合は、撮影時間を犠牲にして分割サイズが大きい方に合わせる。
【００６６】
また、上記の実施形態において、制御部１０９の動体判定部１２７は、少しでも動いているものを動体領域として検出するようにしたので、例えば、図１２の画像Ｐａの分割領域Ｐａ（１，１）の樹木３６１が風で揺らいでいるような場合でも動体領域として検出する場合がある。そこで、時間的に連続した画像間の差分値が閾値以上の領域を予備動体領域として検出し、さらに、予備動体領域の移動速度が所定値以上のものを動体領域として検出するようにしても構わない。例えば、図１２の画像Ｐａの分割領域Ｐａ（１，１）の樹木３６１が風で揺らいでいる場合は、動体３０３の移動速度よりも遅いので、移動速度の所定値を樹木３６１の揺れの速度と動体３０３の移動速度との間に設定しておけば、画像Ｐａの分割領域Ｐａ（１，１）は静止画像と判断することができる。ここで、移動速度とは、撮像素子１０４の結像面上での単位時間当たりの移動距離である。従って、連写間隔が一定の場合は、移動速度と撮像素子１０４の結像面上での移動距離との関係は同じになるので、撮像素子１０４の結像面上での移動距離が所定値以上の領域を動体領域と判定するようにしても構わない。
【００６７】
このように、本実施形態に係る電子カメラ１０１は、意図しない侵入物が電子カメラ１０１と被写体との間を遮った場合でも、侵入物を除去した撮影画像を得ることができる。例えば、混雑する観光名所で記念写真を撮影する場合など、電子カメラ１０１と被写体との間を往来する人や鳥などの侵入物があった場合でも、往来する人を動体と認識して、動体領域を除去することができるので、侵入物のないきれいな撮影画像を得ることができる。
【００６８】
尚、図６のフローチャートにおいて、ステップＳ１０１からステップＳ１０４の連写撮影の処理を除く、ステップＳ１０５以降の処理は、パソコンなどのコンピュータで実行する画像処理プログラムとして実行するようにしても構わない。この場合は、連写撮影した所定枚数の画像を記憶部１１１に相当するメモリカードに保存しておき、メモリカードをパソコンに装着して、画像処理プログラムを走らせて、図６のフローチャートのステップＳ１０５以降の処理を行うようにすればよい。この時、パソコンの画像処理プログラムは、ステップＳ１０５において、メモリカードに保存されている連写撮影された所定枚数の画像データを撮影順に読み出して差分を算出する。
【００６９】
このようにして、パソコンなどのコンピュータで実行する画像処理プログラムの場合でも、電子カメラ１０１と同様の効果を得ることができる。
【００７０】
（第２の実施形態）
次に、第２の実施形態に係る電子カメラ１０１について説明する。尚、本実施形態に係る電子カメラ１０１の構成は、図１の第１の実施形態に係る電子カメラ１０１の構成と同じである。また、本実施形態に係る電子カメラ１０１も、通常撮影モードや連写撮影モードの他に、撮影画像から動体領域を除去する静止体撮影モードを有する。
【００７１】
第２の実施形態に係る電子カメラ１０１は、撮影時の処理が第１の実施形態とは異なり、第１の実施形態の図６のフローチャートの代わりに、図１３に示したフローチャートに従って動作する。第１の実施形態では、動体領域の検出処理などを所定枚数の連写撮影を行った後で行うようにしたが、本実施形態では、連写撮影を行いながら動体領域の検出処理などを行うようになっている。
【００７２】
以下、電子カメラ１０１の動作について順に説明する。尚、電子カメラ１０１は、静止体撮影モードに設定されているものとし、第１の実施形態と同じ処理ステップの説明は省略する。
【００７３】
先ず、ステップＳ１０１で、撮影者が、電子カメラ１０１の操作部１１２に含まれる電源ボタンを押して電源をＯＮし、ステップＳ１０２でレリーズボタンを押下するまでの処理は同じである。
【００７４】
（ステップＳ２０１）ステップＳ１０２でレリーズボタンが押下されると、制御部１０９は、シャッタ制御部１２３に指令して、連写撮影の１枚目の画像を撮影する。
【００７５】
（ステップＳ２０２）ステップＳ２０１で撮影した１枚目の画像を画像バッファ１０７に保存する。
【００７６】
（ステップＳ２０３）制御部１０９は、シャッタ制御部１２３に指令して、連写撮影の次の画像を撮影する。
【００７７】
（ステップＳ２０４）ステップＳ２０３で撮影した画像を画像バッファ１０７に保存する。
【００７８】
次のステップＳ１０５からステップＳ１０８までの処理は第１の実施形態の図６のフローチャートと同じである。次のステップＳ１０９に代えて本実施形態の図１３のフローチャートではステップＳ２０５を実行する。
【００７９】
（ステップＳ２０５）ステップＳ２０３，ステップＳ２０４，ステップＳ１０５ステップＳ１０５からステップＳ１０８までの一連の処理を繰り返して、全ての分割領域に対応する少なくとも１枚の静止画像が得られたか否かを判別する。全ての分割領域に対応する少なくとも１枚の静止画像が得られた場合はステップＳ１１０に進み、静止画像が１枚も得られない分割領域が残っている場合はステップＳ２０３に戻って次の画像を撮影し、以下、全ての分割領域に対応する少なくとも１枚の静止画像が得られるまで同様の処理を繰り返し、必要な静止画像が揃った段階で連写撮影を終了する。尚、少なくとも２枚の画像を連写撮影して、動体領域がない場合は、その時点で撮影処理を終了し、２枚の内いずれかの画像を撮影画像として記憶部１１１に保存するようにしても構わない。
【００８０】
このように、本実施形態に係る電子カメラ１０１は、意図しない侵入物が電子カメラ１０１と被写体との間を遮った場合でも、侵入物を除去した撮影画像を得ることができる。例えば、混雑する観光名所で記念写真を撮影する場合など、電子カメラ１０１と被写体との間を往来する人や鳥などの侵入物があった場合でも、往来する人を動体と認識して、動体領域を除去することができるので、侵入物のないきれいな撮影画像を得ることができる。
【００８１】
特に、本実施形態に係る電子カメラ１０１は、連写撮影を行いながらステップＳ１０５からステップＳ１０８までの動体領域の検出処理を行うので、全ての分割領域に対応する少なくとも１枚の静止画像が得られるまで、連写撮影を繰り返すことができる。
【図面の簡単な説明】
【００８２】
【図１】第１の実施形態に係る電子カメラ１０１のブロック図である。
【図２】連写撮影画像の差分を説明するための補助図である。
【図３】分割領域を説明するための補助図である。
【図４】動体領域の判定を説明するための補助図である。
【図５】画像合成を説明するための補助図である。
【図６】第１の実施形態に係る電子カメラ１０１の撮影処理を示すフローチャートである。
【図７】動体領域のサイズが大きい場合の分割領域のサイズを説明するための補助図である。
【図８】動体領域のサイズが小さい場合の分割領域のサイズを説明するための補助図である。
【図９】動体領域のサイズと移動速度と分割領域のサイズの関係を示す補助図である。
【図１０】分割領域のサイズ例を示す補助図である。
【図１１】静止画像の分割領域を示す補助図である。
【図１２】動体領域の移動速度による判定例を示す補助図である。
【図１３】第２の実施形態に係る電子カメラ１０１の撮影処理を示すフローチャートである。
【符号の説明】
【００８３】
１０１・・・カメラ                １０２・・・レンズ光学系
１０３・・・メカニカルシャッタ    １０４・・・撮像素子
１０５・・・ＡＦＥ                １０６・・・Ａ／Ｄ変換部
１０７・・・画像バッファ          １０８・・・画像処理部
１０９・・・制御部                １１０・・・表示部
１１１・・・記憶部                １１２・・・操作部
１２１・・・レンズ制御部          １２２・・・絞り制御部
１２３・・・シャッタ制御部        １２４・・・ＡＦ制御部
１２５・・・ＡＥ制御部            １２６・・・手振れ検出部
１２７・・・動体判定部            １２８・・・静止画選択部
１２９・・・画像合成部
【図１】
2010016695.tif 000003
【図２】
2010016695.tif 000004
【図３】
2010016695.tif 000005
【図４】
2010016695.tif 000006
【図５】
2010016695.tif 000007
【図６】
2010016695.tif 000008
【図７】
2010016695.tif 000009
【図８】
2010016695.tif 000010
【図９】
2010016695.tif 000011
【図１０】
2010016695.tif 000012
【図１１】
2010016695.tif 000013
【図１２】
2010016695.tif 000014
【図１３】
2010016695.tif 000015