(57)【要約】【課題】  撮像範囲を合わせる操作を容易にすること。【解決手段】  撮像装置は、被写体を撮像し、画像を出力する撮像動作を実行する撮像制御部（Ｓ２４）と、ＥＥＰＲＯＭに記憶された画像のうちから選ばれた画像に基づく参照画像から背景が表された参照背景領域を抽出する参照背景領域抽出部（Ｓ０９）と、撮像制御部により出力された画像から背景が表された対象背景領域を抽出する対象背景領域抽出部（Ｓ１３）と、参照背景領域と対象背景領域とを比較する比較部（Ｓ１５）と、比較部による比較結果を通知する通知部と、を備える。【選択図】        図７
2011250351.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像を出力する撮像動作を実行する撮像手段と、
記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から背景が表された参照背景領域を抽出する参照背景領域抽出手段と、
前記撮像手段により出力された画像から背景が表された対象背景領域を抽出する対象背景領域抽出手段と、
前記参照背景領域と前記対象背景領域とを比較する比較手段と、
前記比較手段による比較結果を通知する通知手段と、を備えた撮像装置。
【請求項２】
前記参照背景領域抽出手段は、前記参照画像から物体が表された参照物体領域を抽出する参照物体領域抽出手段と、
前記抽出された参照物体領域を含み、前記参照物体領域と所定の関係にある領域を参照被写体領域として抽出する参照被写体領域抽出手段と、を含み、
前記参照画像から前記参照被写体領域を除いた領域を参照背景領域として抽出し、
前記対象背景領域抽出手段は、前記撮像手段により出力された画像から物体が表された対象物体領域を抽出する対象物体領域抽出手段と、
前記抽出された対象物体領域を含み、前記対象物体領域と所定の関係にある領域を対象被写体領域として抽出する対象被写体領域抽出手段と、を含み、
前記撮像手段により出力された画像から前記対象被写体領域を除いた領域を対象背景領域として抽出する、請求項１に記載の撮像装置。
【請求項３】
前記比較手段は、前記参照背景領域と前記対象背景領域とのずれ量を検出するずれ量検出手段と、
前記ずれ量が所定条件を満たすか否かを判別する判別手段と、を備え、
前記通知手段は、前記判別手段による判別の結果、前記ずれ量が所定条件を満たしていないと判別すると、前記ずれ量を通知する、請求項１または２に記載の撮像装置。
【請求項４】
前記通知手段は、前記参照背景領域に対応する画像と前記撮像手段により出力された画像とを透過率に基づいて合成し、表示する合成画像表示手段を、含む請求項３に記載の撮像装置。
【請求項５】
被写体を撮像し、画像を出力する撮像動作を実行する撮像手段と、
記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から被写体が表された参照被写体領域を抽出する参照被写体域抽出手段と、
前記撮像手段により出力された画像から被写体が表された対象被写体領域を抽出する対象被写体域抽出手段と、
前記参照画像から前記参照被写体領域を除いた領域を参照背景領域として抽出する参照背景領域抽出手段と、
前記撮像手段により出力された画像から前記対象被写体領域を除いた領域を対象背景領域として抽出する対象背景領域抽出手段と、
前記参照背景領域と前記対象背景領域とを比較する比較手段と、
前記比較手段による比較結果を通知する通知手段と、を備えた撮像装置。
【請求項６】
前記比較手段は、前記参照背景領域から前記対象被写体領域を除いた参照背景差分領域と前記対象背景領域から前記参照被写体領域を除いた対象背景差分領域との差分を背景差分として算出する背景差分算出手段と、
前記背景差分が所定条件を満たすか否かを判別する判別手段と、を含む請求項５に記載の撮像装置。
【請求項７】
前記比較手段は、前記参照背景領域から前記対象被写体領域を除いた参照背景差分領域と前記対象背景領域から前記参照被写体領域を除いた対象背景差分領域との差分を背景差分として算出する背景差分算出手段と、
前記参照被写体領域と前記対象被写体領域とで共通する領域の差分を被写体差分として算出する被写体差分算出手段と、
前記背景差分と前記被写体差分とに重み付けした重付差分を算出する重付差分算出手段と、
前記重付差分が所定条件を満たすか否かを判別する判別手段と、を含む請求項５に記載の撮像装置。
【請求項８】
前記通知手段は、前記重付差分が所定条件を満たさないと判別された場合に、前記参照背景差分領域に対応する画像と前記撮像手段により出力された画像とを透過率に基づいて合成し、表示する合成画像表示手段を、含む請求項６または７に記載の撮像装置。
【請求項９】
前記参照画像は、前記記憶手段に直前に記憶された画像である、請求項１〜８のいずれかに記載の撮像装置。
【請求項１０】
前記参照画像は、前記記憶手段に記憶された画像のうちからユーザにより選択された画像である、請求項１〜８のいずれかに記載の撮像装置。
【請求項１１】
被写体を撮像し、画像を出力する撮像動作を実行する撮像手段を備えた撮像装置で実行される撮像支援方法であって、
記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から背景が表された参照背景領域を抽出するステップと、
前記撮像手段により出力された画像から背景が表された対象背景領域を抽出するステップと、
前記参照背景領域と前記対象背景領域とを比較するステップと、
前記比較するステップにおける比較結果を通知するステップと、を含む撮像支援方法。
【請求項１２】
被写体を撮像し、画像を出力する撮像動作を実行する撮像手段を備えた撮像装置で実行される撮像支援方法であって、
記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から被写体が表された参照被写体領域を抽出するステップと、
前記撮像手段により出力された画像から被写体が表された対象被写体領域を抽出するステップと、
前記参照画像から前記参照被写体領域および前記対象被写体領域のいずれでもない参照背景領域を抽出するステップと、
前記撮像手段により出力された画像から前記参照被写体領域および前記対象被写体領域のいずれでもない対象背景領域を抽出するステップと、
前記参照背景領域と前記対象背景領域とを比較するステップと、
前記比較するステップにおける比較結果を通知するステップと、を含む撮像支援方法。
【請求項１３】
被写体を撮像し、画像を出力する撮像動作を実行する撮像手段を備えた撮像装置を制御するコンピュータで実行される撮像支援プログラムであって、
記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から背景が表された参照背景領域を抽出するステップと、
前記撮像手段により出力された画像から背景が表された対象背景領域を抽出するステップと、
前記参照背景領域と前記対象背景領域とを比較するステップと、
前記比較するステップにおける比較結果を通知するステップと、を前記コンピュータに実行させる撮像支援プログラム。
【請求項１４】
被写体を撮像し、画像を出力する撮像動作を実行する撮像手段を備えた撮像装置を制御するコンピュータで実行される撮像支援プログラムであって、
記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から被写体が表された参照被写体領域を抽出するステップと、
前記撮像手段により出力された画像から被写体が表された対象被写体領域を抽出するステップと、
前記参照画像から前記参照被写体領域および前記対象被写体領域のいずれでもない参照背景領域を抽出するステップと、
前記撮像手段により出力された画像から前記参照被写体領域および前記対象被写体領域のいずれでもない対象背景領域を抽出するステップと、
前記参照背景領域と前記対象背景領域とを比較するステップと、
前記比較するステップにおける比較結果を通知するステップと、を前記コンピュータに実行させる撮像支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置、撮像支援方法および撮像支援プログラムに関し、特に撮像を補助することが可能な撮像装置、その撮像装置で実行される撮像支援方法および撮像支援プログラムに関する。
【背景技術】
【０００２】
従来、主要被写体となる人物と撮影者とが交代して同じ背景で複数の画像を撮像する場合に、カメラの撮像範囲が同じになるように撮影者を支援する技術が開発されている。例えば、特開２００５−１０２２６３号公報には、被写体を撮像する撮像手段と、撮影待機状態で撮像手段により撮像された画像をスルー画像として表示する表示手段とを備えたカメラ装置において、所定の撮影モードで、画像を記録する本撮影に先立つ仮撮影に際して前記撮像手段により撮像された画像の構図を示す基準画像を一時記憶する一時記憶手段と、この一時記憶手段に一時記憶されている基準画像を前記撮像手段により逐次撮像される画像とを合成する合成手段と、前記本撮影の待機状態で、前記合成手段により合成された合成画像を前記表示手段に表示させる制御手段とを備えたことを特徴とするカメラ装置が記載されている。
【０００３】
しかしながら、従来のカメラ装置においては、仮撮影時に撮像された基準画像と、スルー画像とで被写体が異なる場合に、スルー画像を基準画像と重なるように撮像範囲を変更する操作が困難であるといった問題がある。例えば、本撮像時には存在しない被写体が仮撮像時に存在した場合は、スルー画像とともに実際には存在しない被写体が基準画像として表示されるので、スルー画像のいずれの部分を基準画像に合わせればよいのかを判断できない場合がある。逆に、本撮像時には存在する被写体が仮撮像時には存在しない場合は、スルー画像の被写体部分にその背景が基準画像として表示されるので、スルー画像のいずれの部分を基準画像に合わせればよいのかを判断できない場合がある。
【特許文献１】特開２００５−１０２２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は、上述した問題点を解決するためになされたもので、この発明の目的の１つは、ユーザによる撮像範囲を合わせる操作を容易にした撮像装置を提供することである。
【０００５】
この発明の他の目的は、ユーザによる撮像範囲を合わせる操作を容易にした撮像支援方法を提供することである。
【０００６】
この発明のさらに他の目的は、ユーザによる撮像範囲を合わせる操作を容易にした撮像支援プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上述した問題を達成するためにこの発明のある局面によれば、撮像装置は、被写体を撮像し、画像を出力する撮像動作を実行する撮像手段と、記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から背景が表された参照背景領域を抽出する参照背景領域抽出手段と、撮像手段により出力された画像から背景が表された対象背景領域を抽出する対象背景領域抽出手段と、参照背景領域と対象背景領域とを比較する比較手段と、比較手段による比較結果を通知する通知手段と、を備える。
【０００８】
この局面に従えば、記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から背景が表された参照背景領域が抽出され、撮像手段により出力された画像から背景が表された対象背景領域が抽出され、参照背景領域と対象背景領域との比較結果が通知される。このため、ユーザは、通知される比較結果に基づいて、これから撮像しようとする画像の撮像範囲を変更することができる。その結果、撮像範囲を合わせる操作を容易にした撮像装置を提供することができる。
【０００９】
好ましくは、参照背景領域抽出手段は、参照画像から物体が表された参照物体領域を抽出する参照物体領域抽出手段と、抽出された参照物体領域を含み、参照物体領域と所定の関係にある領域を参照被写体領域として抽出する参照被写体領域抽出手段と、を含み、参照画像から参照被写体領域を除いた領域を参照背景領域として抽出し、対象背景領域抽出手段は、撮像手段により出力された画像から物体が表された対象物体領域を抽出する対象物体領域抽出手段と、抽出された対象物体領域を含み、対象物体領域と所定の関係にある領域を対象被写体領域として抽出する対象被写体領域抽出手段と、を含み、撮像手段により出力された画像から対象被写体領域を除いた領域を対象背景領域として抽出する。
【００１０】
この局面に従えば、画像から主要被写体が表された領域と、主要被写体を除いた背景が表された領域とを容易に抽出することができる。
【００１１】
好ましくは、比較手段は、参照背景領域と対象背景領域とのずれ量を検出するずれ量検出手段と、ずれ量が所定条件を満たすか否かを判別する判別手段と、を備え、通知手段は、判別手段による判別の結果、ずれ量が所定条件を満たしていないと判別すると、ずれ量を通知する。
【００１２】
この局面に従えば、参照背景領域と対象背景領域とのずれ量が検出され、ずれ量が所定条件を満たしていないと判別されると、ずれ量が通知される。このため、ユーザは、通知されたずれ量に応じて、撮像しようとする画像の背景が記憶された画像の背景に一致するように撮像範囲を変更することができる。
【００１３】
好ましくは、通知手段は、参照背景領域に対応する画像と撮像手段により出力された画像とを透過率に基づいて合成し、表示する合成画像表示手段を含む。
【００１４】
この局面に従えば、参照背景領域に対応する画像と撮像手段により出力された画像とが透過率に基づいて合成され、表示されるので、ユーザは、撮像しようとする画像と、記憶された画像の背景の画像とを同時に見ることができる。
【００１５】
この発明の他の局面によれば、撮像装置は、被写体を撮像し、画像を出力する撮像動作を実行する撮像手段と、記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から被写体が表された参照被写体領域を抽出する参照被写体域抽出手段と、撮像手段により出力された画像から被写体が表された対象被写体領域を抽出する対象被写体域抽出手段と、参照画像から参照被写体領域を除いた領域を参照背景領域として抽出する参照背景領域抽出手段と、撮像手段により出力された画像から対象被写体領域を除いた領域を対象背景領域として抽出する対象背景領域抽出手段と、参照背景領域と対象背景領域とを比較する比較手段と、比較手段による比較結果を通知する通知手段と、を備える。
【００１６】
この局面に従えば、記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から被写体が表された参照被写体領域が抽出され、撮像手段により出力された画像から被写体が表された対象被写体領域が抽出され、参照画像から参照被写体領域を除いた領域が参照背景領域として抽出され、撮像手段により出力された画像から対象被写体領域を除いた領域が対象背景領域として抽出され、参照背景領域と対象背景領域との比較結果が通知される。このため、ユーザは、通知される比較結果に基づいて、これから撮像しようとする画像の撮像範囲を変更することができる。その結果、撮像範囲を合わせる操作を容易にした撮像装置を提供することができる。
【００１７】
好ましくは、比較手段は、参照背景領域から対象被写体領域を除いた参照背景差分領域と対象背景領域から参照被写体領域を除いた対象背景差分領域との差分を背景差分として算出する背景差分算出手段と、背景差分が所定条件を満たすか否かを判別する判別手段と、を含む。
【００１８】
好ましくは、比較手段は、参照背景領域から対象被写体領域を除いた参照背景差分領域と対象背景領域から参照被写体領域を除いた対象背景差分領域との差分を背景差分として算出する背景差分算出手段と、参照被写体領域と対象被写体領域とで共通する領域の差分を被写体差分として算出する被写体差分算出手段と、背景差分と被写体差分とに重み付けした重付差分を算出する重付差分算出手段と、重付差分が所定条件を満たすか否かを判別する判別手段と、を含む。
【００１９】
好ましくは、通知手段は、重付差分が所定条件を満たさないと判別された場合に、参照背景差分領域に対応する画像と撮像手段により出力された画像とを透過率に基づいて合成し、表示する合成画像表示手段を含む。
【００２０】
好ましくは、参照画像は、記憶手段に直前に記憶された画像である。
【００２１】
好ましくは、参照画像は、記憶手段に記憶された画像のうちからユーザにより選択された画像である。
【００２２】
この発明の他の局面によれば、撮像支援方法は、被写体を撮像し、画像を出力する撮像動作を実行する撮像手段を備えた撮像装置で実行される撮像支援方法であって、記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から背景が表された参照背景領域を抽出するステップと、撮像手段により出力された画像から背景が表された対象背景領域を抽出するステップと、参照背景領域と対象背景領域とを比較するステップと、比較するステップにおける比較結果を通知するステップと、を含む。
【００２３】
この局面に従えば、撮像範囲を合わせる操作を容易にした撮像支援方法を提供することができる。
【００２４】
この発明の他の局面によれば、被写体を撮像し、画像を出力する撮像動作を実行する撮像手段を備えた撮像装置で実行される撮像支援方法であって、記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から被写体が表された参照被写体領域を抽出するステップと、撮像手段により出力された画像から被写体が表された対象被写体領域を抽出するステップと、参照画像から参照被写体領域および対象被写体領域のいずれでもない参照背景領域を抽出するステップと、撮像手段により出力された画像から参照被写体領域および対象被写体領域のいずれでもない対象背景領域を抽出するステップと、参照背景領域と対象背景領域とを比較するステップと、比較するステップにおける比較結果を通知するステップと、を含む。
【００２５】
この局面に従えば、撮像範囲を合わせる操作を容易にした撮像支援方法を提供することができる。
【００２６】
この発明のさらに他の局面によれば、撮像支援プログラムは、被写体を撮像し、画像を出力する撮像動作を実行する撮像手段を備えた撮像装置を制御するコンピュータで実行される撮像支援プログラムであって、記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から背景が表された参照背景領域を抽出するステップと、撮像手段により出力された画像から背景が表された対象背景領域を抽出するステップと、参照背景領域と対象背景領域とを比較するステップと、比較するステップにおける比較結果を通知するステップと、をコンピュータに実行させる。
【００２７】
この局面に従えば、撮像範囲を合わせる操作を容易にした撮像支援プログラムを提供することができる。
【００２８】
この発明のさらに他の局面によれば、撮像支援プログラムは、被写体を撮像し、画像を出力する撮像動作を実行する撮像手段を備えた撮像装置を制御するコンピュータで実行される撮像支援プログラムであって、記憶手段に記憶された画像のうちから選ばれた画像に基づく参照画像から被写体が表された参照被写体領域を抽出するステップと、撮像手段により出力された画像から被写体が表された対象被写体領域を抽出するステップと、参照画像から参照被写体領域および対象被写体領域のいずれでもない参照背景領域を抽出するステップと、撮像手段により出力された画像から参照被写体領域および対象被写体領域のいずれでもない対象背景領域を抽出するステップと、参照背景領域と対象背景領域とを比較するステップと、比較するステップにおける比較結果を通知するステップと、をコンピュータに実行させる。
【００２９】
この局面に従えば、撮像範囲を合わせる操作を容易にした撮像支援プログラムを提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態の１つにおけるデジタルスチルカメラの構成の概略を示すブロック図である。
【図２】第１の実施の形態におけるデジタルスチルカメラが備える制御部の機能の概要の一例をＥＥＰＲＯＭに記憶されるデータとともに示す機能ブロック図である。
【図３】参照背景領域の一例を示す図である。
【図４】撮像エリアの一例を示す図である。
【図５】検出エリアの一例を示す図である。
【図６】動きベクトル決定部の詳細な構成の一例を示す図である。
【図７】第１の実施の形態における撮像処理の流れの一例を示すフローチャートである。
【図８】変形例における比較部の構成の一例を示す図である。
【図９】第１の実施の形態の変形例における動きベクトル算出処理の流れの一例を示したフローチャートである。
【図１０】第２の実施の形態におけるデジタルスチルカメラが備える制御部の機能の概要の一例をＥＥＰＲＯＭに記憶されるデータとともに示す機能ブロック図である。
【図１１】第２の実施の形態における撮像処理の流れの一例を示すフローチャートである。
【図１２】第２の実施の形態の変形例におけるデジタルスチルカメラが備える制御部の機能の概要の一例をＥＥＰＲＯＭに記憶されるデータとともに示す機能ブロック図である。
【図１３】第２の実施の形態の変形例における撮像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００３２】
＜第１の実施の形態＞
図１は、本発明の実施の形態の１つにおけるデジタルスチルカメラの構成の概略を示すブロック図である。図１を参照して、デジタルスチルカメラ１は、デジタルスチルカメラ１の全体を制御する制御部１１と、フォーカスレンズおよびズームレンズを含む複数のレンズで構成されるレンズ群１３と、レンズ群１３を駆動するレンズ駆動部１５と、イメージセンサ１９と、コーデック（ＣＯＤＥＣ）２１と、画像を処理する信号処理回路２２と、液晶表示装置（ＬＣＤ）２３と、制御部１１が実行するためのプログラム等を記憶するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌe  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２５と、制御部１１の作業領域として用いられるＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２７と、メモリカード２９Ａが装着されるカードインターフェース（Ｉ／Ｆ）２９と、スピーカ３１と、ユーザの操作を受け付ける操作部３５と、を含む。
【００３３】
レンズ群１３は、デジタルスチルカメラ１本体の前面に設けられ、ＬＣＤ２３は、レンズ群１３が設けられる面とは反対のデジタルスチルカメラ１の背面に設けられる。レンズ群１３は、レンズ駆動部１５により制御され、フォーカスレンズを移動することにより焦点を合わせる。レンズ群１３は、ズームレンズを調整するズーム機構を有し、レンズ駆動部１５は、レンズ群１３のズーム量を変更する。
【００３４】
イメージセンサ１９は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の光電変換素子であり、その結像面がレンズ群１３の光軸に対して垂直となる。イメージセンサ１９は、レンズ群１３を介して結像面に結像する被写体の光学画像を光電変換し、画像データを制御部１１に出力する。制御部１１は、イメージセンサ１９から出力される画像データを受け付け、画像データをＳＤＲＡＭ２７に記憶する。ここでの画像データは、例えば、１画素がＲ（赤）Ｇ（緑）Ｂ（青）で構成されるビットマップ形式のデータである。なお、イメージセンサ１９は、ＣＭＯＳイメージセンサに限定されるものではなく、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを用いてもよい。この場合、ＣＣＤイメージセンサは、アナログの信号を出力するので、アナログ／デジタル変換器によってＣＣＤイメージセンサが出力するアナログの信号をデジタルの画像データに変換すればよい。なお、ここでは、光電変換素子としてのＣＭＯＳイメージセンサが出力するデジタルの画像データ、ＣＣＤイメージセンサが出力するアナログの信号を、総称して画像信号という。
【００３５】
イメージセンサ１９は、制御部１１により制御され、光電変換する時間が制御される。具体的には、制御部１１は、イメージセンサ１９に光電変換を開始させる場合、レンズ群１３とイメージセンサ１９との間に設けられたシャッタを開放する。これにより、イメージセンサ１９が光電変換を開始する。制御部１１は、光電変換させる時間が経過すると、シャッタを閉じ、イメージセンサ１９に画像データを出力させる。
【００３６】
信号処理回路２２は、ＳＤＲＡＭ２７に記憶された画像データを読み出し、画像データに対して種々の信号処理を施し、輝度信号と色差信号とで表される表色系のＹＵＶ形式に変換する。信号処理回路２２は、ＹＵＶ形式の画像データをＳＤＲＡＭ２７に記憶する。
【００３７】
制御部１１は、ＳＤＲＡＭ２７に記憶されたＹＵＶ形式の画像データからＲＧＢ信号を生成し、ＬＣＤ２３に出力する。これにより、ＬＣＤ２３にイメージセンサ１９が撮像して出力する画像が表示される。なお、ＬＣＤ２３に代えて、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを用いてもよい。
【００３８】
コーデック２１は、制御部１１により制御され、ＳＤＲＡＭ２７に記憶されたＹＵＶ形式の画像データを読出し、圧縮符合化し、画像データを圧縮符号化した符号化データをＳＤＲＡＭ２７またはＥＥＰＲＯＭ２５に記憶する。ここでは、画像データをＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式で圧縮符号化する。したがって、デジタルスチルカメラ１で静止画を撮像し記録する場合、ユーザがシャッタボタン３５Ａを押下すれば、ＳＤＲＡＭ２７に静止画の画像データが記憶され、コーデック２１により静止画の画像データがＪＰＥＧ方式で圧縮符号化されて、ＪＰＥＧ方式の符号化データがＳＤＲＡＭ２７またはＥＥＰＲＯＭ２５に記憶される。
【００３９】
操作部３５は、撮像を開始する指示を受け付けるためのシャッタボタン３５Ａおよび撮像モードを設定する指示を受け付けるためのモード設定ボタン３５Ｂを含む複数のボタンを含み、ユーザの操作を受け付ける。なお、操作部３５は、ＬＣＤ２３上に重畳されたタッチパネルを含むようにしてもよい。
【００４０】
カードＩ／Ｆ２９は、不揮発性メモリを備えたメモリカード２９Ａが装着される。制御部１１は、カードＩ／Ｆ２９を介して、メモリカード２９Ａにアクセス可能であり、ＳＤＲＡＭ２７に記憶された符号化データをメモリカード２９Ａに記憶したり、または、メモリカード２９Ａに記憶された符号化データを読み出してＳＤＲＡＭ２７に記憶したりする。
【００４１】
なお、撮像支援プログラムをＥＥＰＲＯＭ２５に記憶する例を説明するが、ＥＥＰＲＯＭ２５に限られず、メモリカード２９Ａに記憶された撮像支援プログラムを実行するようにしても良い。さらに、撮像支援プログラムを記憶する記録媒体としては、メモリカード２９Ａに限られず、磁気テープ、フレキシブルディスク、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）／ＭＯ（Ｍａｇｎｅｔｉｃ  Ｏｐｔｉｃａｌ  Ｄｉｓｃ／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ））、ＩＣカード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）などであってもよい。
【００４２】
本実施の形態におけるデジタルスチルカメラ１は、過去に撮像した画像と同じ背景に撮像範囲を合わせて２枚目以降の画像を撮像する際に、撮像範囲を合わせる操作を補助する機能を有する。過去に撮像した画像と背景を同一にして撮像する状況として、例えば、集合写真などを撮像する場合にデジタルスチルカメラ１を操作する人物と主要被写体となる人物とが入れ替わって撮像する第１の状況と、過去に訪れたことのある場所で撮像された画像の背景と一致させて撮像する第２の状況とがある。第１の状況と第２の状況とでは、撮像しようとする画像の背景を合わせる画像が異なる。ここでは、第１の状況で撮像する撮像モードを直前画像参照モードとし、第２の状況で撮像する撮像モードを過去画像参照モードとする。撮像モードは、ユーザが操作部３５の備えるモード設定ボタン３５Ｂを操作することにより、直前画像参照モードおよび過去画像参照モードのいずれかに設定される。
【００４３】
図２は、第１の実施の形態におけるデジタルスチルカメラ１が備える制御部の機能の概要の一例をＥＥＰＲＯＭに記憶されるデータとともに示すブロック図である。図２に示す機能は、デジタルスチルカメラ１が備える制御部１１が、ＥＥＰＲＯＭ２５に記憶された撮像支援プログラムを実行することにより、実現される。図２を参照して、制御部１１は、イメージセンサ１９を制御する撮像制御部６１と、ＬＣＤ２３を制御する表示制御部６３と、記憶制御部６７と、操作を受け付ける操作受付部６５と、撮像を補助する補助部６９とを備える。
【００４４】
操作受付部６５は、ユーザが操作部３５の備えるシャッタボタン３５Ａを半押すると、フォーカス指示を撮像制御部６１に出力し、ユーザがシャッタボタン３５Ａを全押すると、撮像指示を撮像制御部６１に出力する。
【００４５】
撮像制御部６１は、操作受付部６５から撮像指示が入力される前の段階では、イメージセンサ１９に所定時間間隔で画像データを出力させ、イメージセンサ１９により出力される画像データを表示制御部６３および補助部６９に出力する。表示制御部６３は、操作受付部６５から撮像指示が入力される前の段階で、撮像制御部６１から所定時間間隔で入力される画像データの画像をＬＣＤ２３に表示する。撮像指示が入力される前の段階でＬＣＤ２３により表示される画像を、スルー画像という。
【００４６】
撮像制御部６１は、フォーカス指示が入力されることに応じて、レンズ駆動部１５を制御して、イメージセンサ１９が所定の時間間隔で出力する画像データのコントラストが高くなるようにレンズ群１３のフォーカスレンズを調整する、いわゆるオートフォーカス機能によりフォーカスを合わせる。なお、オートフォーカス機能の方式は、これに限定されることなく、他の方式を用いるようにしてもよい。
【００４７】
撮像制御部６１は、操作受付部６５から撮像指示が入力されると、レンズ駆動部１５およびイメージセンサ１９を制御して、イメージセンサ１９に予め定められたシャッタ速度に対応する撮像時間だけ光電変換（露光）させ、イメージセンサ１９が出力する画像データを取得する。具体的には、撮像制御部６１は、操作受付部６５から撮像指示が入力されると、フォーカスレンズを固定し、予め設定されたシャッタ速度に対応する撮像時間の間、レンズ群１３に含まれるシャッタを開放することによってイメージセンサ１９による光電変換を開始させる。そして、撮像制御部６１は、撮像時間が経過するとシャッタを閉鎖し、イメージセンサ１９が出力する画像データを取得し、取得した画像データを表示制御部６３および記憶制御部６７に出力する。
【００４８】
表示制御部６３は、操作受付部６５が撮像指示を出力した後に撮像制御部６１から入力される画像データの画像をＬＣＤ２３に表示する。
【００４９】
記憶制御部６７は、ユーザがＬＣＤ２３に表示された画像を記憶する指示を操作部３５に入力すると、操作受付部６５が撮像指示を出力した後に撮像制御部６１から入力される画像データを、コーデックに圧縮符号化させ、圧縮符号化された画像データをＥＥＰＲＯＭ２５に記憶する。これにより、ＥＥＰＲＯＭ２５に画像データ１０１が記憶される。
【００５０】
操作受付部６５は、ユーザがモード設定ボタン３５Ｂを操作すると、撮像モードを直前画像参照モードと過去画像参照モードとのいずれかに設定する指示を受け付ける。操作受付部６５は、直前画像参照モードに設定する指示を受け付けると、撮像モードを直前画像参照モードに設定し、過去画像参照モードに設定する指示を受け付けると、撮像モードを過去画像参照モードに設定する。
【００５１】
補助部６９は、参照被写体領域抽出部７１と、参照背景領域抽出部７７と、対象被写体領域抽出部７９と、対象背景領域抽出部８５と、比較部８７と、通知部９３とを含む。
【００５２】
参照被写体領域抽出部７１は、ＥＥＰＲＯＭ２５に記憶されている画像データ１０１から主要被写体が表された被写体領域を抽出する。参照被写体領域抽出部７１は、撮像モードが直前画像参照モードに設定されている場合、ＥＥＰＲＯＭ２５に記憶されている画像データ１０１のうちから最後に記憶された画像データを参照画像に設定する。ＥＥＰＲＯＭ２５に最後に記憶された画像データは、直前に撮像されて記憶された画像データである。参照被写体領域抽出部７１は、撮像モードが過去画像参照モードに設定されている場合、ＥＥＰＲＯＭ２５に記憶されている画像データ１０１のうちユーザにより選択される画像データを参照画像に設定する。
【００５３】
参照被写体領域抽出部７１は、参照顔領域検出部７３と、参照被写体領域予測部７５とを含む。参照顔領域検出部７３は、参照画像から顔領域を検出する。顔領域を検出する方法は、色に基づき検出する方法と、形状に基づき検出する方法のいずれであってもよいし、それらを組み合わせてもよい。色に基づき検出する方法は、例えば、人の肌の色の範囲を予め定めておき、その範囲に含まれる色の画素の集合からなる領域を顔領域として検出する方法である。また、形状に基づき検出する方法は、人の顔の輪郭のパターンを複数種類準備しておき、そのパターンと一致するパターンの領域を顔領域として検出する方法である。参照顔領域検出部７３は、参照画像から顔領域を検出すると、検出された顔領域を参照被写体領域予測部７５に出力する。参照顔領域検出部７３は、参照画像から複数の顔領域が検出される場合、複数の顔領域を参照被写体領域予測部７５に出力する。
【００５４】
参照被写体領域予測部７５は、参照顔領域検出部７３から入力される顔領域に基づいて、参照画像から参照被写体領域を抽出する。具体的には、参照被写体領域予測部７５は、参照顔領域検出部７３から入力される顔領域を含む矩形の領域を矩形顔領域として特定する。参照画像から複数の顔領域が検出される場合、複数の顔領域それぞれを含む複数の矩形顔領域を特定する。そして、参照被写体領域予測部７５は、矩形顔領域を水平方向および垂直方向それぞれ所定の倍率に拡張した矩形の領域を参照被写体領域として抽出する。統計的に、人の肩幅は、顔の横幅の約３倍、人の背丈は、顔の縦方向の約７倍であることが知られている。ここでは、参照被写体領域予測部７５は、矩形顔領域を左右方向にそれぞれ矩形顔領域と同じ横幅分拡張し、横幅分拡張後の領域を下方向に矩形顔領域の縦方向の７倍分拡張した領域を参照被写体領域として予測する。参照被写体領域予測部７５は、参照顔領域検出部７３から複数の顔領域が入力される場合、複数の顔領域それぞれに対応する複数の参照被写体領域を予測し、予測された複数の参照被写体領域のすべてを含む１つの矩形の領域を参照被写体領域として抽出する。参照被写体領域予測部７５は、参照画像中の顔領域から予測した参照被写体領域を参照背景領域抽出部７７に出力する。
【００５５】
図３は、参照被写体領域の一例を示す図である。図３を参照して、参照被写体領域２０９は、第１参照被写体領域２０５と、第２参照被写体領域２０７とを含む。第１参照被写体領域２０５は、第１矩形顔領域２０１を含み、第２参照被写体領域２０７は、第２矩形顔領域２０３を含む。第１参照被写体領域２０５と第２参照被写体領域２０７とは、画像中の位置と大きさが異なるだけなので、ここでは第１参照被写体領域２０５について説明する。第１矩形顔領域２０１は、顔領域を含む矩形の領域として特定される。第１参照被写体領域２０５は、第１矩形顔領域２０１に基づいて特定される。具合的には、第１矩形顔領域２０１を左右方向にそれぞれ顔領域と同じ横幅分拡張し、横幅分拡張後の領域を下方向に顔領域の縦方向の７倍分拡張した矩形の領域が第１参照被写体領域２０５として特定される。そして、参照被写体領域２０９は、第１参照被写体領域２０５および第２参照被写体領域２０７を含む矩形の領域として特定される。
【００５６】
参照背景領域抽出部７７は、参照画像から参照被写体領域を除いた領域を参照背景領域として抽出し、抽出された参照背景領域を比較部８７および通知部９３に出力する。
【００５７】
対象被写体領域抽出部７９は、撮像制御部６１から入力される画像データを対象画像とし、対象画像から対象被写体領域を抽出する。撮像制御部６１は、イメージセンサ１９が所定時間間隔で出力する画像データを対象被写体領域抽出部７９および表示制御部６３に出力するので、表示制御部６３がＬＣＤ２３に表示する画像データと同じ画像データが対象被写体領域抽出部７９に入力される。対象被写体領域抽出部７９は、撮像制御部６１から所定時間間隔で入力される画像データそれぞれを対象画像としてもよいが、撮像制御部６１から所定時間間隔で入力される画像データのうちから間引いた画像データを参照画像としても良い。
【００５８】
対象被写体領域抽出部７９は、対象顔領域検出部８１と、対象被写体領域予測部８３とを含む。対象顔領域検出部８１は、対象画像から顔領域を検出する。対象画像に複数の顔領域が含まれる場合、複数の顔領域を検出する。対象顔領域検出部８１は、特定された顔領域を対象被写体領域予測部８３に出力する。
【００５９】
対象被写体領域予測部８３は、対象顔領域検出部８１によって検出された顔領域に基づいて、対象画像から対象被写体領域を抽出し、抽出された対象被写体領域を対象背景領域抽出部８５に出力する。なお、対象被写体領域予測部８３は、参照被写体領域予測部７５が参照画像から参照被写体領域を抽出する処理と、処理対象とする画像が異なるのみなので、ここでは説明を繰り返さない。
【００６０】
対象背景領域抽出部８５は、対象画像から対象被写体領域を除いた領域を対象背景領域として抽出し、抽出された対象背景領域を比較部８７に出力する。
【００６１】
比較部８７は、参照背景領域抽出部７７から入力された参照背景領域と対象背景領域抽出部８５から入力された対象背景領域とを比較する。比較部８７は、動きベクトル決定部８９と、判定部９１とを含む。
【００６２】
動きベクトル決定部８９は、参照背景領域と対象背景領域とから動きベクトルを算出し、算出された動きベクトルを判定部９１に出力する。動きベクトル決定部８９の詳細は後述するが、動きベクトルは、参照背景領域と対象背景領域とのずれ量と、そのずれの方向とを示す。
【００６３】
判定部９１は、動きベクトル決定部８９から入力される動きベクトルに基づいて、参照背景領域と対象背景領域とが一致するか否かを判定する。具体的には、判定部９１は、動きベクトルのスカラー量を所定のしきい値と比較し、スカラー量が所定のしきい値以下ならば、背景が一致していると判定し、スカラー量が所定のしきい値より大きければ、背景が一致していないと判定する。判定部９１は、背景が一致していると判定する場合、一致信号を通知部９３に出力し、背景が一致していないと判定する場合、不一致信号と動きベクトルとを通知部９３に出力する。
【００６４】
通知部９３は、判定部９１から一致信号または不一致信号が入力され、不一致信号が入力される場合には動きベクトルが入力される。通知部９３は、透過画像生成部９５と、音発生部９７と、メッセージ生成部９９とを含む。透過画像生成部９５は、参照背景領域抽出部７７から参照背景領域が入力される。透過画像生成部９５は、判定部９１から不一致信号が入力される場合、不一致信号とともに入力される動きベクトルのスカラー量に応じた透過率を決定し、決定された透過率で参照画像の参照背景領域を透明化処理した透過画像を生成する。透過画像生成部９５は、生成された透過画像を表示制御部６３に出力する。表示制御部６３は、透過画像生成部９５から透過画像が入力される場合、撮像制御部６１から入力される画像データに透過画像を合成した画像をＬＣＤ２３に表示する。
【００６５】
ここで、透過率は、画素の輝度値を上げる度合いを示し、動きベクトルのスカラー量と反比例する。動きベクトルのスカラー量が大きいほど透過率は低くなり、動きベクトルのスカラー量が小さいほど透過率は高くなる。
【００６６】
参照画像は、撮像モードが直前画像参照モードに設定されている場合は直前に撮像された画像であり、撮像モードが過去画像参照モードに設定されている場合はユーザにより指定された画像である。一方、対象画像は、ＬＣＤ２３に表示されているスルー画像と同じである。このため、撮像モードが直前画像参照モードに設定されている場合は直前に撮像された画像の背景領域の透過画像が、スルー画像に合成して表示される。さらに、直前に撮像された画像の背景領域と、スルー画像の背景領域とのずれ量が大きいほど、直前に撮像された画像の背景領域が濃く、はっきりと表示され、スルー画像の背景領域とのずれ量が小さいほど直前に撮像された画像の背景領域が薄く表示される。このため、デジタルスチルカメラ１を操作するユーザは、スルー画像と、透過画像とを同時に見ることができ、２つの画像のずれ量を確認することができる。したがって、ユーザがスルー画像が透過画像と一致するまで撮像範囲を変化させる操作が容易になる。また、ずれ量に応じて参照画像の透過率が変化するので、ずれ量を参照画像の輝度で通知することができる。
【００６７】
音発生部９７は、判定部９１から一致信号が入力される場合と不一致信号が入力される場合とで、異なる音を発生する。音発生部９７は、判定部９１から一致信号が入力される場合、第１の音をスピーカ３１に発生させ、不一致信号が入力されると、第２の音をスピーカ３１に発生させる。第１の音と第２の音とは、周波数が異なってもよいし、発生する時間が異なってもよいし、所定時間に発生する回数が異なってもよい。これにより、第１の音を聞くユーザは、これから撮像しようとする画像の背景が参照画像の背景と一致していることを知ることができ、第２の音を聞くユーザは、これから撮像しようとする画像の背景が参照画像の背景と一致していないことを知ることができる。
【００６８】
メッセージ生成部９９は、判定部９１から一致信号が入力されると、背景が一致していることを示す第１のメッセージを生成し、生成された第１のメッセージを表示制御部６３に出力する。メッセージ生成部９９は、判定部９１から不一致信号が入力されると、背景が不一致であることを示す第２のメッセージを生成し、生成された第２のメッセージを表示制御部６３に出力する。表示制御部６３は、第１のメッセージまたは第２のメッセージが入力されると、第１のメッセージまたは第２のメッセージをＬＣＤ２３に表示する。
【００６９】
次に動きベクトル決定部８９について説明する。動きベクトル決定部８９は、代表点マッチング法を用いて動きベクトルを決定する。代表点マッチング法とは、参照背景領域中の固定の複数の代表点の画素値と、対象背景領域中の代表点を含む検出エリア内のサンプリング点の画素値とを比較し、その差がもっとも少ない相関性の高いサンプリング点を求め、このサンプリング点と代表点との位置の差（偏移）を動きベクトルとして特定するものである。
【００７０】
代表点マッチング法を具体的に説明する。図４は、撮像エリアの一例を示す図である。図４を参照して、撮像エリアは所定範囲の映像エリアが形成されており、この映像エリア内には、４個の検出ブロックＡ、Ｂ、ＣおよびＤが設けられている。さらに、検出ブロックＡ〜Ｄそれぞれは、１６個の検出エリアに区分されている。
【００７１】
図５は、検出エリアの一例を示す図である。図５を参照して、検出エリアには、複数のサンプリング点が存在し、複数のサンプリング点のうちの１つが代表点として定められている。
【００７２】
図６は、動きベクトル決定部の詳細な構成の一例を示す図である。図６を参照して、動きベクトル決定部８９は、相関値演算部１２１と、累積加算部１２２と、最小値検出部１２３と、平均値算出部１２４と、動きベクトル発生部１２５とを含む。
【００７３】
対象背景領域および参照背景領域は、相関値演算部１２１に入力される。相関値演算部１２１は、対象背景領域の画素値と参照背景領域の画素値との差の絶対値、すなわち代表点と検出エリア内における代表点に対して偏移したサンプリング点との画素の相関値を演算する。相関値演算部１２１は、累積加算部１２２において、検出ブロック内の代表点に対して同一偏移を有するサンプリング点ごとに相関値を累積加算する。相関値演算部１２１は、この累積加算を４個の検出ブロックごとに行う。
【００７４】
累積加算部１２２は、検出ブロックごとサンプリング点ごとに累積加算した相関値を相関累積値として、最小値検出部１２３および平均値算出部１２４に出力する。最小値検出部１２３は、相関累積値が最小のサンプリング点の位置およびその最小値を検出する。また、平均値算出部１２４は、相関累積値の平均を算出する。そして、求められた最小位置、最小値及び平均値は、動きベクトル発生部１２５に入力される。
【００７５】
動きベクトル発生部１２５は各検出ブロック内の相関累積値の最小値が所定のしきい値よりも大きい検出ブロックおよび最小値／平均値が所定のしきい値よりも小さい検出ブロックから検出された動きベクトルを信頼性の低いものとして除去し、残りのものから１個の動きベクトルを特定する。
【００７６】
図７は、第１の実施の形態における撮像処理の流れの一例を示すフローチャートである。撮像処理は、制御部１１がＥＥＰＲＯＭ２５に記憶された撮像支援プログラムを実行することにより、制御部１１により実行される処理である。図７を参照して、制御部１１は、設定されている撮像モードによって処理を分岐する（ステップＳ０１）。撮像モードが直前画像参照モードに設定されているならば、処理をステップＳ０２に進めるが、撮像モードが過去画像参照モードに設定されているならば、処理をステップＳ０３に進める。
【００７７】
ステップＳ０２においては、直前に撮像された画像を取得し、処理をステップＳ０６に進める。ＥＥＰＲＯＭ２５に記憶されている画像データ１０１のうち最後に記憶された画像データを取得する。
【００７８】
ステップＳ０３においては、ＥＥＰＲＯＭ２５に記憶されている画像データ１０１のファイル名一覧をＬＣＤ２３に表示する。次のステップＳ０４においては、ファイル名を選択する指示を受け付けるまで待機状態となり（ステップＳ０４でＮＯ）、ファイル名を選択する指示を受け付けると（ステップＳ０４でＹＥＳ）、処理をステップＳ０５に進める。ステップＳ０５においては、ステップＳ０４において選択されたファイル名で特定される画像データを取得し、処理をステップＳ０６に進める。
【００７９】
ステップＳ０６においては、処理がステップＳ０２から進む場合、ステップＳ０２において取得された画像データを参照画像に設定する。一方、処理がステップＳ０５から進む場合、ステップＳ０４においてユーザにより選択された画像データを参照画像に設定する。そして、ステップＳ０６において設定された参照画像から顔領域を検出し（ステップＳ０７）、検出された顔領域に基づいて参照画像のうちで主要被写体が表された参照被写体領域を予測する（ステップＳ０８）。そして、参照画像のうちからステップＳ０８において予測された参照被写体領域を除いた領域を参照背景領域として抽出する（ステップＳ０９）。
【００８０】
ステップＳ１０においては、対象画像を取得し、処理をステップＳ１１に進める。イメージセンサ１９が所定時間間隔で出力する画像データを対象画像として設定する。そして、取得された対象画像から顔領域を検出し（ステップＳ１１）、検出された顔領域に基づいて対象画像のうちで主要被写体が表された対照被写体領域を予測する（ステップＳ１２）。そして、対象画像うちからステップＳ１２において予測された対象被写体領域を除いた領域を対象背景領域として抽出する（ステップＳ１３）。
【００８１】
ステップＳ１４においては、動きベクトル算出処理を実行し、処理をステップＳ１５に進める。動きベクトル算出処理は、上述した代表点マッチング法でステップＳ０８において抽出された参照背景領域と、ステップＳ１２において抽出された対象背景領域とから動きベクトルを算出する処理である。
【００８２】
ステップＳ１５においては、ステップＳ１４において算出された動きベクトルのスカラー量がしきい値Ｔ１以下であるか否かを判断する。動きベクトルのスカラー量がしきい値Ｔ１以下ならば処理をステップＳ１６に進めるが、そうでなければ処理をステップＳ１８に進める。
【００８３】
ステップＳ１６においては、背景が一致していることを示す第１のメッセージを生成し、生成された第１のメッセージをＬＣＤ２３に表示する。次のステップＳ１７においては、第１の音をスピーカ３１に発生させ、処理をステップＳ２３に進める。
【００８４】
ステップＳ１８においては、背景が不一致であることを示す第２のメッセージを生成し、生成された第２のメッセージをＬＣＤ２３に表示する。次のステップＳ１９においては、第２の音をスピーカ３１に発生させる。第２の音は、第１の音と周波数が異なる。
【００８５】
ステップＳ２０においては、ステップＳ１４において算出された動きベクトルのスカラー量に基づいて透過率Ｕ１を算出する。そして、算出された透過率Ｕ１を用いて、ステップＳ０９において抽出された参照背景領域から透過画像を生成し（ステップＳ２１）、生成された透過画像をスルー画像に重畳してＬＣＤ２３に表示し（ステップＳ２２）、処理をステップＳ２３に進める。
【００８６】
ステップＳ２３においては、シャッタボタン３５Ａが全押しされたか否かを判断する。シャッタボタン３５Ａが全押しされたならば処理をステップＳ２４に進めるが、そうでなければ処理をステップＳ１０に戻す。
【００８７】
ステップＳ２４においては、静止画を撮像する。次のステップＳ２５においては、決定ボタンが押下されたか否かを判断する。決定ボタンが押下されたならば処理をステップＳ２６に進めるが、そうでなければ処理をステップＳ１０に戻す。ステップＳ２６においては、ステップＳ２３において撮像された静止画を圧縮し、ＥＥＰＲＯＭ２５に記憶する。次のステップＳ２７においては、撮像の終了指示を受け付けたか否かを判断する。撮像の終了指示を受け付けたならば、撮像処理を終了するが、そうでなければ処理をステップＳ０１に戻す。
【００８８】
＜変形例＞
第１の実施の形態におけるデジタルスチルカメラ１は、対象画像の背景領域と参照画像の背景領域とのずれ量を検出するために、代表点マッチング法を利用して動きベクトルを算出するようにした。変形例におけるデジタルスチルカメラ１は、比較部８７を比較部８７Ａに変更して、代表点マッチング法とは異なる方法で動きベクトルを算出するようにしたものである。以下、第１の実施の形態におけるデジタルスチルカメラ１と異なる部分を主に説明する。
【００８９】
図８は、変形例における比較部の構成の一例を示す図である。図８を参照して、比較部８７Ａは、対象特徴点抽出部１１１と、参照特徴点抽出部１１３と、動きベクトル決定部８９Ａと、判定部９１と、を含む。なお、図２に示した機能と同一の機能には同じ符号を付し、ここでは説明を繰り返さない。
【００９０】
対象特徴点抽出部１１１は、対象背景領域における特徴点を対象特徴点として抽出し、抽出された対象特徴点を動きベクトル決定部８９Ａに出力する。特徴点は、画像中で特徴的な形状または色を有する点であり、例えば、画素値が所定の値以上の画素、画像中に占める割合が所定の値以下の色を有する画素、特徴的な形状、例えば、輪郭線等を構成する画素である。なお、特徴点は、１つの画素に限らず、同じ特徴を有する複数の画素の集合からなる特徴領域としてもよい。さらに、特徴点は、画像中の１つに限らず、複数を抽出するのが好ましい。対象特徴点抽出部１１１は、対象背景領域抽出部８５から入力された対象背景領域に存在する特徴点を対象特徴点として抽出し、抽出された対象特徴点を参照特徴点抽出部１１３および動きベクトル決定部８９Ａに出力する。
【００９１】
参照特徴点抽出部１１３は、参照背景領域抽出部７７から参照背景領域が入力され、対象特徴点抽出部１１１から対象特徴点が入力される。参照特徴点抽出部１１３は、対象特徴点と同じ特徴を有する特徴点を参照特徴点として参照背景領域から抽出し、抽出された参照特徴点を動きベクトル決定部８９Ａに出力する。
【００９２】
動きベクトル決定部８９Ａは、対象特徴点抽出部１１１から対象特徴点が入力され、参照特徴点抽出部１１３から参照特徴点が入力される。動きベクトル決定部８９Ａは、対象特徴点から参照特徴点に向かう動きベクトルを算出し、算出された動きベクトルを判定部９１に出力する。
【００９３】
図９は、第１の実施の形態の変形例における動きベクトル算出処理の流れの一例を示したフローチャートである。動きベクトル算出処理は、図７に示したステップＳ１４において実行される処理である。図９を参照して、ステップＳ３１においては、図７のステップＳ１３において抽出された対象背景領域から対象特徴点を抽出する。
【００９４】
次のステップＳ３２においては、図７のステップＳ０９において抽出された参照背景領域からステップＳ３１において抽出された対象特徴点と同じ特徴を有する特徴点を参照特徴点として抽出する。ステップＳ３３においては、ステップＳ３１において抽出された対象特徴点からステップＳ３２において抽出された参照特徴点へ向かう動きベクトルを算出し、処理を終了する。
【００９５】
＜第２の実施の形態＞
第１の実施の形態におけるデジタルスチルカメラ１は、動きベクトルを算出して、対象画像の背景と参照画像の背景とが一致しているか否かを判断するようにした。第２の実施の形態におけるデジタルスチルカメラ１は、２つの画像の差分に基づいて、２つの画像の背景が一致しているか否かを判断するようにしたものである。以下、第１の実施の形態におけるデジタルスチルカメラ１と異なる部分を主に説明する。
【００９６】
図１０は、第２の実施の形態におけるデジタルスチルカメラが備える制御部の機能の概要の一例をＥＥＰＲＯＭに記憶されるデータとともに示す機能ブロック図である。図１０を参照して、図２に示す機能ブロック図と異なる点は、比較部８７が比較部８７Ｂに変更された点、透過画像生成部９５が透過画像生成部９５Ａに変更された点である。その他の機能は図２に示した機能と同じなのでここでは説明を繰り返さない。
【００９７】
比較部８７Ｂは、背景差分算出部１１５と、判定部９１Ａとを含む。背景差分算出部１１５は、対象被写体領域予測部８３から対象被写体領域が入力され、対象背景領域抽出部８５から対象背景領域が入力され、参照被写体領域予測部７５から参照被写体領域が入力され、参照背景領域抽出部７７から参照背景領域が入力される。背景差分算出部１１５は、参照背景領域から対象被写体領域を除いた参照背景差分領域を抽出し、対象背景領域から参照被写体領域を除いた対象背景差分領域を抽出する。参照背景差分領域は、参照画像のうち参照被写体領域および対象被写体領域のいずれでもない領域である。対象背景差分領域は、対象画像のうち参照被写体領域および対象被写体領域のいずれでもない領域である。背景差分算出部１１５は、参照背景差分領域と対象背景差分領域との差分Ｄ１を算出し、算出された差分Ｄ１を判定部９１Ａに出力する。
【００９８】
判定部９１Ａは、背景差分算出部１１５から入力される差分Ｄ１を所定のしきい値Ｔ２と比較し、差分Ｄ１が所定のしきい値Ｔ２以下ならば、背景が一致していると判定し、差分Ｄ１が所定のしきい値Ｔ２より大きければ、背景が一致していないと判定する。判定部９１Ａは、背景が一致していると判定する場合、一致信号を通知部９３に出力し、背景が一致していないと判定する場合、不一致信号と差分とを通知部９３に出力する。
【００９９】
透過画像生成部９５Ａは、参照背景領域抽出部７７から参照背景領域が入力される。透過画像生成部９５Ａは、判定部９１Ａから不一致信号が入力される場合、不一致信号とともに入力される差分に応じた透過率を決定し、決定された透過率で参照画像の参照背景領域を透明化処理した透過画像を生成する。透過画像生成部９５Ａは、生成された透過画像を表示制御部６３に出力する。表示制御部６３は、透過画像生成部９５Ａから透過画像が入力される場合、撮像制御部６１から入力される画像データの画像に透過画像を合成した画像をＬＣＤ２３に表示する。
【０１００】
図１１は、第２の実施の形態における撮像処理の流れの一例を示すフローチャートである。撮像処理は、制御部１１ＡがＥＥＰＲＯＭ２５に記憶された撮像支援プログラムを実行することにより、制御部１１Ａにより実行される処理である。図１１を参照して、図７に示した撮像処理と異なる点は、ステップＳ１４がステップＳ４１〜ステップＳ４３に置き換えられた点、ステップＳ１５がステップＳ１５Ａに変更された点およびステップＳ２０がステップＳ２０Ａに変更された点である。その他の処理は、図７に示した処理と同じなのでここでは説明を繰り返さない。
【０１０１】
ステップＳ４１においては、ステップＳ０９において抽出された参照背景領域からステップＳ１２において予測された対象被写体領域を除いた領域を参照背景差分領域として抽出する。次のステップＳ４２においては、ステップＳ１３において抽出された対象背景領域からステップＳ０８において予測された参照被写体領域を除いた領域を対象背景差分領域として抽出する。そして、ステップＳ４１において抽出された参照背景差分領域とステップＳ４２において抽出された対象背景差分領域の差分Ｄ２を算出する（ステップＳ４３）。
【０１０２】
次のステップＳ１５Ａにおいては、ステップＳ４３において算出された差分Ｄ１がしきい値Ｔ２以下であるか否かを判断する。差分Ｄ１がしきい値Ｔ２以下ならば処理をステップＳ１６に進めるが、そうでなければ処理をステップＳ１８に進める。
【０１０３】
ステップＳ２０Ａにおいては、ステップＳ４３において算出された差分Ｄ１に基づいて透過率Ｕ２を算出する。そして、算出された透過率Ｕ２を用いて、ステップＳ４１において抽出された参照背景差分領域から透過画像を生成し（ステップＳ２１）、生成された透過画像をスルー画像に重畳してＬＣＤ２３に表示し（ステップＳ２２）、処理をステップＳ２３に進める。
【０１０４】
＜変形例＞
第２の実施の形態におけるデジタルスチルカメラ１は、参照背景差分領域および対象背景差分領域の差分Ｄ１から対象画像の背景と参照画像の背景とが一致しているか否かを判断するようにした。変形例におけるデジタルスチルカメラ１は、差分Ｄ１に加えて、参照画像の被写体領域と対象画像の被写体領域との差分Ｄ２を考慮して対象画像の背景領域と参照画像の背景領域とのずれ量を検出するようにした。以下、第２の実施の形態におけるデジタルスチルカメラ１と異なる部分を主に説明する。
【０１０５】
図１２は、第２の実施の形態の変形例におけるデジタルスチルカメラが備える制御部の機能の概要の一例をＥＥＰＲＯＭに記憶されるデータとともに示す機能ブロック図である。図１２を参照して、図１０に示す機能ブロック図と異なる点は、比較部８７Ｂが比較部８７Ｃに変更された点である。その他の機能は図１０に示した機能と同じなのでここでは説明を繰り返さない。
【０１０６】
比較部８７Ｃは、背景差分算出部１１５と、被写体差分算出部１１７と、重付差分算出部１１９と、判定部９１Ａとを含む。背景差分算出部１１５については上述したので、ここでは説明を繰り返さない。
【０１０７】
被写体差分算出部１１７は、対象被写体領域予測部８３から対象被写体領域が入力され、参照被写体領域予測部７５から参照被写体領域が入力される。被写体差分算出部１１７は、対象被写体領域と参照被写体領域とが重なる被写体の領域を特定し、特定された被写体の領域の差分Ｄ２を算出する。被写体差分算出部１１７は、算出された被写体の領域の差分Ｄ２を重付差分算出部１１９に出力する。
【０１０８】
重付差分算出部１１９は、被写体差分算出部１１７から入力された被写体領域の差分Ｄ２と背景差分算出部１１５から入力された背景領域の差分Ｄ１とに基づいて、重付差分ＤＷを算出する。重付差分ＤＷは、背景領域の差分Ｄ１をＷ１倍した値と被写体の領域の差分Ｄ２をＷ２倍した値との和である。重み付け係数Ｗ１は「１０」、重み付け係数Ｗ２は「３」が好ましい。重付差分算出部１１９は、算出された重付差分ＤＷを判定部９１Ａに出力する。
【０１０９】
判定部９１Ａは、背景差分算出部１１５から入力される重付差分ＤＷを所定のしきい値Ｔ３と比較し、重付差分ＤＷが所定のしきい値Ｔ３以下ならば、背景が一致していると判定し、重付差分ＤＷが所定のしきい値Ｔ３より大きければ、背景が一致していないと判定する。判定部９１Ａは、背景が一致していると判定する場合、一致信号を通知部９３に出力し、背景が一致していないと判定する場合、不一致信号と差分とを通知部９３に出力する。
【０１１０】
図１３は、第２の実施の形態の変形例における撮像処理の流れの一例を示すフローチャートである。図１３を参照して、図１１に示した撮像処理と異なる点は、ステップＳ１５ＡがステップＳ１５Ｂに変更された点、ステップＳ４３とステップＳ１５Ａとの間にステップＳ５１およびステップＳ５２が追加された点、およびステップＳ２０ＡがステップＳ２０Ｂに変更された点である。その他の処理は、図１１に示した処理と同じなのでここでは説明を繰り返さない。
【０１１１】
ステップＳ５１においては、ステップＳ０８において予測された参照被写体領域とステップＳ１２において予測された対象被写体領域とが重なる領域の差分Ｄ２を算出する。そして、ステップＳ４３において算出された差分Ｄ１と、ステップＳ５１において算出された差分Ｄ２とから重付差分ＤＷを算出する（ステップＳ５２）。重付差分ＤＷは、差分Ｄ１に重み付け係数Ｗ１を掛けた値と差分Ｄ２に重み付け係数Ｗ２を掛けた値との和である。
【０１１２】
次のステップＳ１５Ｂにおいては、ステップＳ５２において算出された重付差分ＤＷがしきい値Ｔ３以下であるか否かを判断する。重付差分ＤＷがしきい値Ｔ３以下ならば、処理をステップＳ１６に進めるが、そうでなければ処理をステップＳ１８に進める。
【０１１３】
ステップＳ２０Ｂにおいては、ステップＳ５２において算出された重付差分ＤＷに基づいて透過率Ｕ３を算出し、処理をステップＳ２１に進める。ステップＳ２１においては、透過率Ｕ３を用いて、ステップＳ４１において抽出された参照背景差分領域から透過画像を生成し、処理をステップＳ２２に進める。
【０１１４】
なお、本実施の形態におけるデジタルスチルカメラ１は、撮像してＥＥＰＲＯＭ２５に記憶された複数の画像データのうちから任意の画像データを参照画像とする例を示した。具体的には、撮像モードが直前画像参照モードに設定されている場合は、ＥＥＰＲＯＭ２５に最後に記憶された画像データを参照画像とし、撮像モードが過去画像参照モードに設定されている場合、ＥＥＰＲＯＭ２５に記憶されている画像データ１０１のうちユーザにより選択された画像データを参照画像とした。参照画像は、撮像してＥＥＰＲＯＭ２５に記憶された画像データに限らず、外部から入力される画像データ、例えば、パーソナルコンピュータからダウンロードした画像データであってもよい。また、参照画像は、画像データそのものではなく、画像を拡大処理し、拡大された画像から切り出した画像であってもよい。
【０１１５】
さらに、本実施の形態においては、主要被写体として人物を撮像する例を示したが、主要被写体となり得るのは人物に限らず、ペットやぬいぐるみなどの玩具であってもよい。この場合、本実施の形態においては、参照画像または背景画像から被写体が表された被写体領域を抽出する場合に、顔が表された顔領域を抽出し、その顔領域から所定の関係にある範囲を被写体領域とした。主要被写体を、ペットやぬいぐるみなどの玩具にする場合は、ペットやぬいぐるみなどの玩具が有する特徴、例えば、その主要被写体が有する特徴的な色や形状などを画像中から抽出するようにすればよい。
【０１１６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１１７】
＜付記＞
（１）  前記通知手段は、前記参照背景領域と前記対象背景領域とが一致していると判別された場合に通知する、請求項３、６および７のいずれかに記載の撮像装置。
【符号の説明】
【０１１８】
１  デジタルスチルカメラ、１１  制御部、１１Ａ  制御部、１３  レンズ群、１５  レンズ駆動部、１９  イメージセンサ、２１  コーデック、２２  信号処理回路、２３  ＬＣＤ、２５  ＥＥＰＲＯＭ、２７  ＳＤＲＡＭ、２９  カードＩ／Ｆ、２９Ａ  メモリカード、３１  スピーカ、３５  操作部、３５Ａ  シャッタボタン、３５Ｂ  モード設定ボタン、４１  バッテリ、６１  撮像制御部、６３  表示制御部、６５  操作受付部、６７  記憶制御部、６９  補助部、７１  参照被写体領域抽出部、７３  参照顔領域検出部、７５  参照被写体領域予測部、７７  参照背景領域抽出部、７９  対象被写体領域抽出部、８１  対象顔領域検出部、８３  対象被写体領域予測部、８５  対象背景領域抽出部、８７，８７Ａ，８７Ｂ，８７Ｃ  比較部、８９，８９Ａ  動きベクトル決定部、９１，９１Ａ  判定部、９３  通知部、９５，９５Ａ  透過画像生成部、９７  音発生部、９９  メッセージ生成部、１０１  画像データ、１１１  対象特徴点抽出部、１１３  参照特徴点抽出部、１１５  背景差分算出部、１１７  被写体差分算出部、１１９  重付差分算出部、１２１  相関値演算部、１２２  累積加算部、１２３  最小値検出部、１２４  平均値算出部、１２５  動きベクトル発生部。
【図１】
2011250351.tif 000003
【図２】
2011250351.tif 000004
【図３】
2011250351.tif 000005
【図４】
2011250351.tif 000006
【図５】
2011250351.tif 000007
【図６】
2011250351.tif 000008
【図７】
2011250351.tif 000009
【図８】
2011250351.tif 000010
【図９】
2011250351.tif 000011
【図１０】
2011250351.tif 000012
【図１１】
2011250351.tif 000013
【図１２】
2011250351.tif 000014
【図１３】
2011250351.tif 000015