(57)【特許請求の範囲】
【請求項１】
開口絞りを含み、画像を結像させる撮像光学系と、前記結像された画像の撮像を行なう撮像素子とを有した撮像手段と、
前記撮像手段で同一の焦点距離によって取得された複数の画像間の位置合わせを、前記画像中の合焦領域の動きを基準として行なって、前記複数の画像から１つの画像に合成した多重撮影画像を形成する画像処理手段と、
前記画像処理手段での前記多重撮影画像の形成を指示する合成指示手段と、
前記合成指示手段の指示に応じ、前記多重撮影画像を形成する前記複数の画像に対応する前記撮像手段による複数の前記撮影のすべてにおいて、前記開口絞りの絞り値を、前記合焦領域を含む特定領域に関する前記撮像光学系の焦点距離に応じて定まる絞り値よりも開放端側に設定するよう制御する絞り値制御手段と
を備え、
前記撮像手段は、前記合成指示手段が前記多重撮影画像の形成を指示したときに、前記絞り値制御手段で設定された絞り値で複数の前記画像を取得することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、
画像間の動きベクトルを測定する複数の特定領域の設定を行なう動きベクトル計測領域設定手段と、
前記動きベクトルの信頼度を算出する動きベクトル信頼度算出手段と、
前記算出した信頼度により複数の前記特定領域に対する動きベクトルを統合して複数画像間の補正ベクトルを算出する動きベクトル統合処理手段と、
前記複数画像中の少なくとも１つの画像に対し、主要となる特定領域を設定する主要領域設定手段と
を有したことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記絞り値制御手段は、本撮影に先立った事前の前記撮像手段での連続撮影で前記画像処理手段から多重撮影画像を得、複数画像間で計測する動きベクトルから前記本撮影時の前記開口絞りの絞り値を可変制御することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記絞り値制御手段は、前記撮影手段による被写体画像中の複数位置の焦点検出を行ない、複数の焦点検出結果に応じて前記開口絞りの絞り値を可変制御することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記絞り値制御手段は、前記多重撮影画像を形成する前記複数の画像の枚数が多いほど、前記開口絞りの絞り値を、より開放端側に設定することを特徴とする請求項１記載の撮像装置。
【請求項６】
前記絞り制御手段での絞り値設定に対応し、前記撮像素子での露光時間及び前記撮像素子で得る画像信号に対する増幅率を設定する露光条件設定手段をさらに具備したことを特徴とする請求項１記載の撮像装置。
【請求項７】
開口絞りを含み、画像を結像させる撮像光学系と、前記結像された画像の撮像を行なう撮像素子とを有した撮像部を備える撮像装置に内蔵したコンピュータが実行するプログラムにおいて、
前記撮像部で同一の焦点距離によって取得された複数の画像間の位置合わせを、前記画像中の合焦領域の動きを基準として行なって、前記複数の画像から１つの画像に合成した多重撮影画像を形成する画像処理ステップと、
前記画像処理ステップでの前記多重撮影画像の形成を指示する合成指示ステップと、
前記合成指示ステップでの指示に応じ、前記多重撮影画像を形成する前記複数の画像に対応する前記撮像部による複数の前記撮影のすべてにおいて、前記開口絞りの絞り値を、前記合焦領域を含む特定領域に関する前記撮像光学系の焦点距離に応じて定まる絞り値よりも開放端側に設定するよう制御する絞り値制御ステップと
をコンピュータに実行させ、
前記撮像部に、前記合成指示ステップで前記多重撮影画像の形成を指示したときに、前記絞り値制御ステップで設定された絞り値で複数の前記画像を取得させることを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重撮影機能を有するデジタルカメラ等に好適な撮像装置及び撮像プログラムに関する。
【背景技術】
【０００２】
電子スチルカメラに好適な手振れ補正技術の１つとして、手振れを生じない程度の速いシャッタ速度で複数枚の画像を連写撮影し、撮影後の処理でそれら複数枚の画像の位置合わせを行ないながら１つに合成することで、手振れのない画像を得る多重撮影技術が考えられている。
【０００３】
ここで複数枚の画像の重ね合わせを行なうにあたっては、複数枚の画像の画素レベルの情報を用いることで複数の画像間の動きベクトルを検出し、検出した動きベクトルに従って複数のフレーム間の位置ズレを補正し、重ね合わせを行なう。
【０００４】
前記画像の動きベクトルを検出する手段として、従来はブロックマッチング法や相関演算に基づく相関法が知られている。  
前記前者のブロックマッチング法は、入力された画像信号を複数の適当な大きさのブロック（例えば縦８画素×横８画素）に分割し、このブロック単位で前のフィールド、または前のフレームとの一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールドまたは前のフレームのブロックを探索する方法である。そして、画面間の相対的なずれ、すなわち画像間の位置的な相関が、そのブロックの動きベクトルで示されることになる。
【０００５】
ブロックマッチングでの相関の高いブロックの探索方法としては、自乗誤差ＳＳＤ、誤差の絶対値ＳＡＤによって評価する。マッチングを行なう基準ブロック領域Ｉ及び対象とするブロック領域Ｉ’において、画素位置ｐ∈Ｉ及び、ｑ∈Ｉ’(ｐ，ｑは２次元の値を持つ量で、Ｉ，Ｉ’は２次元の領域、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す）画素レベルをＬｐ，Ｌｑとすると、前記自乗誤差ＳＳＤ及び誤差の絶対値ＳＡＤは、
【数１】
0005179223.tif 000002
【０００６】
と定義され、自乗誤差ＳＳＤ及び誤差の絶対値ＳＡＤが共に小さいほど相関が高いと評価する。
【０００７】
また、前記後者の相互相関演算に基づく相関法では、ゼロ平均相関として、マッチングの基準ブロック領域Ｉ及び対象とするブロック領域Ｉ’の各々に含まれる画素ｐ∈Ｉ及び、ｑ∈Ｉ’の平均値Ａｖｅ（Ｌｐ），Ａｖｅ（Ｌｑ）を算出し、各ブロックに含まれる画素値との差分
【数２】
0005179223.tif 000003
【０００８】
として、ＮＣＣの大きいブロックを相関の高いブロックと評価し、最も相関の高いブロックＩ′とＩの間のズレを動きベクトルとする。
【０００９】
撮影対象、画像に含まれている被写体が静止している場合は、個々の領域での動きと画像全体の動きは一致しており、前記の相関演算を行なうブロックは任意の固定位置に配置して、その動きベクトルを算出すればよい。
【００１０】
なお、ノイズの影響や、ブロックが平坦部、またはブロックに比べて大きい構造のエッジ部にかかっており、信頼性の高い動きベクトルが得られない場合がある。このような場合を排除するべく、動きベクトルを算出する際の信頼性判定を行なう技術が公知となっている。（特許文献１、特許文献２）
また、撮影対象、画像に含まれている被写体に複数の動きが含まれている場合は、例えばブレ補正を目的として画像全体の動きベクトルを算出することが課題となる。この課題に対し、被写体を複数の領域に分割し、複数の領域のうちで動きベクトルの大きさや、領域の大きさなどで主要な領域を領域選択手段で選択して、その主要領域の動きを全体の動きとする技術が考えられている。（特許文献３）
この特許文献３では、  
・領域選択手段は、複数の領域のうち最も範囲が大きな領域を選択する。  
・領域選択手段は、複数の領域のうち最も動きベクトルが小さな領域を選択する。  
・複数の領域のうち前回選択した領域に重なる範囲が最も大きな領域を選択する。  
・最も範囲が大きな領域と、最も動きベクトルが小さな領域と、前回選択した領域に重なる範囲が最も大きな領域のいずれかを選択する。  
ものとしている。
【００１１】
主要領域と主要領域以外の背景に関する画像処理技術を開示するものとして、特許文献４と特許文献５がある。特許文献４では、主要領域と背景の合成を行なう際に背景にぼかし処理を行なう技術が開示されている。特許文献５においては、流し撮りの効果を得るために、分離した背景に対して流し撮りのフィルタ処理を行ない、後に合成処理を行なう。
【特許文献１】特開平８−１６３５７３号公報
【特許文献２】特許第３１６４１２１号
【特許文献３】特開平８−２５１４７４号公報
【特許文献４】特開２００３−１２５２８９号公報
【特許文献５】特開２００７−０７４０３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献３に開示の技術のように、主要領域の動きを補正するように重点的にブレ補正を行なうと、主要領域と異なる動きをとる主要領域以外の背景部分については、被写体の画像ずれが際立つ（多重像化）などが複数枚の重ね合わせ画像を行なう画像処理での大きな課題となる。主要領域に対して重点的にブレ補正を行なう場合には、撮影時から多重像化を低減するような条件での撮影することも考えられるが、使用者に対してその設定の煩雑さを低減しなければならない。
【００１３】
また、前記特許文献５で示したように、領域分割を行なって各領域の動きベクトルを求め、主要領域を重点的に位置合わせ行ない、主要領域以外にフィルタ処理を施すことで、多重像化する部分に対して画像処理を施すこともできる。
【００１４】
しかしながら、主要領域と主要領域以外の境界で画像の不自然さが生じない程度に画像処理するためには、領域を細かい画素単位で分割しなければならず、画像処理の内容にも工夫が必要となる。その結果として演算規模が大きくなると考えられる。
【００１５】
本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、焦点が合っていない画像領域において多重像化が際立たないような多重撮影画像を簡易に形成することが可能な撮像装置及び撮像プログラムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明の一態様は、開口絞りを含み、画像を結像させる撮像光学系と、前記結像された画像の撮像を行なう撮像素子とを有した撮像手段と、前記撮像手段で同一の焦点距離によって取得された複数の画像間の位置合わせを、前記画像中の合焦領域の動きを基準として行なって、前記複数の画像から１つの画像に合成した多重撮影画像を形成する画像処理手段と、前記画像処理手段での前記多重撮影画像の形成を指示する合成指示手段と、前記合成指示手段の指示に応じ、前記多重撮影画像を形成する前記複数の画像に対応する前記撮像手段による複数の前記撮影のすべてにおいて、前記開口絞りの絞り値を、前記合焦領域を含む特定領域に関する前記撮像光学系の焦点距離に応じて定まる絞り値よりも開放端側に設定するよう制御する絞り値制御手段とを備え、前記撮像手段は、前記合成指示手段が前記多重撮影画像の形成を指示したときに、前記絞り値制御手段で設定された絞り値で複数の前記画像を取得することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、多重撮影画像を形成する場合に、焦点が合っていない画像領域において多重像化が際立たないような多重撮影画像を簡易に形成することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下本発明を撮像装置に適用した場合の一実施形態について説明する。  
図１に本実施形態に係る撮像装置１０の主要な回路構成を示す。１００がこの撮像装置１０全体の動作の制御を行なうメインコントローラである。このメインコントローラ１００は、例えばＤＳＰ（デジタルシグナルプロセッサ）などのプロセッサが用いられる。なお、図中、実線による細線が制御信号、破線による太線が動きベクトルや信頼度等のデータ、実線による太線が画像データを表す。
【００１９】
撮像部１０１は、図示しないレンズ光学系とＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）等の固体撮像素子とを主たる構成要素とするもので、メインコントローラ１００は撮像部１０１の状態及び撮影動作を制御する。
【００２０】
処理枚数設定部１１０は、多重撮影機能の連続撮影フレーム数を設定するものであり、具体的にはブレ低減モードと測光状態とに応じて該フレーム数を設定する。
【００２１】
露出条件制御部１０７は、後述する如く撮像モードと前記撮像部１０１を構成するレンズ光学系の焦点距離とに応じて露出パラメータを決定し、撮像部１０１のレンズ光学系、撮像素子の露光時間、及び感度調整として撮像素子出力に対するゲインなどの状態を設定する。
【００２２】
撮影時に撮像部１０１から入力された画像データは、フレームメモリ１０２に一旦格納され、動きベクトル測定領域設定部１０３及び動きベクトル算出部１０４をはじめとする画像処理系の回路により基準となるフレームと対象フレームとの間の動きベクトルを算出する。
【００２３】
すなわち、動きベクトル測定領域設定部１０３は、フレームメモリ１０２に記憶された基準のフレームに対して、例えば後述する如く画像中に格子状にブロック領域を設定するようにして、所定の領域を設定する。
【００２４】
動きベクトル算出部１０４は、フレームメモリ１０２に格納された基準となるフレームと対象フレームの画像データと、動きベクトル測定領域設定部１０３で設定されたデータを使い、前出の自乗誤差ＳＳＤ及び誤差の絶対値ＳＡＤや正規化相互相関ＮＣＣ等の相関演算を用い、基準となるフレームに対して対象フレーム中の相関の高いブロック位置を算出する。
【００２５】
動きベクトル信頼度算出部１０５は、動きベクトル算出部１０４の算出結果に基づき、詳細は後述するが動きベクトルの信頼性判定を行なう。
【００２６】
主要領域設定部１０８は、画像中の主要被写体の情報を設定し、設定結果を動きベクトル統合処理部１０６へ送出する。
【００２７】
動きベクトル統合処理部１０６は、動きベクトル信頼度算出部１０５から得る信頼性と主要領域設定部１０８からの主要被写体の情報に従って動きベクトルのデータの統合を行ない、フレーム間の動きベクトルの代表値を算出してフレーム加算部１０９へ出力する。
【００２８】
図２に、前記動きベクトル統合処理部１０６の詳細な構成を示す。図示する如く、動きベクトル統合処理部１０６は、位置関係算出部１０６ａ、寄与度算出部１０６ｂ、及び統合演算処理部１０６ｃを備える。
【００２９】
位置関係算出部１０６ａは、主要領域の位置情報と動きベクトル測定領域の位置情報とを用いて位置関係を算出し、算出結果を寄与度算出部１０６ｂに出力する。寄与度算出部１０６ｂは、入力した位置関係の情報を用いて各動きベクトル測定ブロックの寄与度を算出し、算出結果を統合演算処理部１０６ｃに出力する。統合演算処理部１０６ｃは、各ブロックの動きベクトルと寄与度算出部１０６ｂからのブロック単位の寄与度とによりフレーム間の動きベクトルの代表値を算出し、次段のフレーム加算部１０９へ出力する。
【００３０】
フレーム加算部１０９は、フレームメモリ１０２から得る基準フレームと対象フレームの画像データに対し、動きベクトル統合処理部１０６からの補正ベクトルデータを用いてフレーム加算を行なう。
【００３１】
前記のような回路構成において、以下にその動作を説明する。  
ベクトルデータの信頼性は、移動した２つのブロックに含まれる画素値差分の自乗の和ＳＳＤを用いて下記のように評価する。
【数３】
0005179223.tif 000004
【００３２】
ここで、ｂｘｉ，ｂｙｉは動きベクトル測定領域設定部１０３で設定するマッチングブロックの重心位置、ｈ，ｖはマッチングブロックの水平、垂直方向の大きさであり、インデックスｉの数だけ用意される。ｂｘｊ，ｂｙｊは対象ブロックの重心位置であり、ブロックマッチングの探索範囲に対応して用意される。
【００３３】
ｉ番目のブロックの信頼性の統計は、ＳＳＤ（ｉ．ｊ）の最小値及び平均値との偏差によって評価し、各ブロックに対応付ける。ＳＳＤの信頼性の指標は領域の構造特徴と以下の３つの概念、すなわち  
（１）エッジ構造が鮮鋭な画像領域の場合、動きベクトルの信頼性が高く、結果としてＳＳＤの最小値を示す位置の誤差が少なく、ＳＳＤのヒストグラムでは最小値を示す位置付近に小さな差分値が集中する。したがって、ＳＳＤの最小値と平均値との差が大きくなる。  
（２）テクスチャや平坦な画像構造の場合、差分値のヒストグラムが全体に平坦となり、結果として最小値と平均値との差が小さくなる。  
（３）繰返し構造の場合、差分の最小値と最大値を示す位置が近い。差分が小さい値を示す位置が分散している。結果として最小値と平均値との差が小さくなる。  
で対応付けるものとする。
【００３４】
以上のような基準から、ｉ番目のブロック対応した、信頼性の高い動きベクトルを選択する。また信頼性に関しては各ブロックのエッジの量で信頼性を判定することもできる。  
こうして得た動きベクトルにより連続画像の位置合わせを行なうことで、より信頼性の高い多重撮影機能が実現できる。
【００３５】
図３により本発明での撮影条件の設定に関する処理内容を示す。
【００３６】
その当初に焦点距離を設定し（ステップＳ３０１）、合わせてＡＦ（自動合焦）機能によりフォーカスを測定する（ステップＳ３０２）。後述するように前記フォーカス測定時に、顔検出などの主要被写体を画像中から検出する場合もある。
【００３７】
次にＡＥ（自動露出）機能により被写界の輝度分布及び分光情報を測光した後（ステップＳ２０３）、撮影モードを設定する（ステップＳ３０４）。ここで撮影モードは、複数枚のブレ補正重ね合わせ処理の有無と複数枚使用の場合の使用枚数を設定する。この設定はこれよりも前に行なってもよいし、測光の結果と焦点距離を考慮して自動的に枚数を決定するようにしてもよい（ステップＳ３０５）。
【００３８】
重ね合わせによるブレ補正の有無は、ユーザからの指示を受けてメインコントローラ１００が設定する構成としてもよいし、メインコントローラ１００が自動的に判定する構成としてもよい。自動的に行なう場合、露光条件と焦点距離によって決まる。
【００３９】
露光条件であるＥＶ値（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）は、シャッタ速度と絞りによって決まる。すなわち、  
ＥＶ＝ＴＶ＋ＡＶ
例えばシャッタ速度が１／２のときＴＶ＝２となる。シャッタ速度が１／６０（１／６４）［秒］であれば、ＴＶ＝６となる。ＴＶとして、シャッタ速度の逆数を２の冪乗で近似した冪数を与える。ＡＶ値は、絞り値の２乗を２の冪乗で表したときの冪数を示す。たとえば、絞り値ＡＦ＝５．６であれば、  
ＡＶ＝２log２５．６＝log２３２＝５となる。
【００４０】
この値は、撮像素子の感度ＳＶと被写体の明るさＢＶの合計ＬＶと等しいときに、露光条件を満足していることになる。前記ＳＶ値は、ＩＳＯ感度に対して、  
ＳＶ＝log２０．３・ＩＳＯで与えられる。例えばＩＳＯ４００のときにＳＶ＝７となる。前記ＢＶ値は被写体の明るさで決まる値で、目安として、快晴であれば１０、明るい室内が３〜４、夜景が−２程度になる。以上を纏めると、
ＴＶ＋ＡＶ＝ＥＶ＝ＳＶ＋ＢＶ            …(A1)  
一方で、手ブレが生じない条件は、経験則で、焦点距離を３５［ｍｍ］版フィルムカメラに換算したときの逆数を秒で表した時間よりも短くなければならない。
【００４１】
例えば、焦点距離１２５［ｍｍ］の場合は、１／１２５［秒］よりも高速でシャッタを切れば、手ブレは許容できるほどの小さな量ということになる。
【００４２】
したがって、焦点距離が１２５［ｍｍ］、開放Ｆ値が４のレンズを使った場合に手ブレを生じない条件は  
１／１２５［秒］がＴＶ＝７、Ｆ＝４がＡＶ＝４  
となる。ここで、ＩＳＯ感度４００相当の撮像素子を用いると、ＳＶ＝７となり、被写体の明るさに相当するＢＶ値は上記式（Ａ１）より４となり、これよりも暗い被写体は露光不足となる。
【００４３】
したがって、自動的に複数枚のブレ補正重ね合わせ処理を行なうときは、カメラシステムは上記の撮影パラメータ（ＡＶ，ＳＶと焦点距離に対応するブレが生じないシャッタ速度）と被写体の明るさＢＶを考慮して決定される。
【００４４】
使用枚数と焦点距離を考慮して前記撮像部１０１を構成するレンズ光学系中の開口絞りによる絞り値を設定する（ステップＳ３０６）。このとき標準の設定では、絞り値は焦点距離と関連付けて、最も開放端側に設定する。
【００４５】
絞り値と焦点距離は、上記の説明のように焦点距離に依存して手ブレが生じないようなシャッタ速度が（経験的に）決まっている。そのため、撮像素子の感度と被写体の明るさが決まっているときには、絞り値（ＡＶ値）を決定したときに露光条件を満足するシャッタ速度が与えられるので、１枚撮影で手ブレを起こさずに露光条件を満足する焦点距離が決まってくる。
【００４６】
加えて、連続撮影の使用枚数によって標準の絞り値に対する調整を行なう。すなわち、使用枚数が多いほど一連の画像を取得するために時間が必要となり、被写体の動きによる、所謂、被写体振れを生じ易くなるため、これを回避するべく絞り値をより開放する方向に可変調整し、後述するシャッタ速度をより高く設定できるようにする。
【００４７】
なお、上記の式（Ａ１）の関係は１枚撮影のときの露光条件を表している。
【００４８】
より多くの連写枚数を用いる条件のときは、ＳＶ値が上がる（２枚使えば２倍）ことと等価である、上記の条件を満足するのであれば、よりＢＶ値の低い被写体で露出条件を満足できる。あるいは、ＢＶ値が同じであれば、ＡＶ値を上げることが可能となり、絞り値の制御範囲（使用可能範囲）は枚数によって異なると言える。
【００４９】
また、これとは異なり、連写枚数を増やした場合に、より絞りを開放するように制御することも考えられる。ブレ補正で特定の被写体の動きに重点をおいて画像の位置合わせを行なう場合、枚数が多いと背景部のズレがそれに伴って大きくなることが考えられる。このような場合に背景の多重像化を低減するために、絞りを開放側に設定するような制御を行なう。
【００５０】
次いで現時点での露出と焦点距離を考慮して手ブレを起こさない範囲内でのシャッタ速度と対応するＩＳＯ感度を設定し（ステップＳ３０７）、以上でこの図３による撮影条件の設定処理を終える。
【００５１】
また、設定したＩＳＯ感度に応じて、撮像部１０１を構成する撮像素子で得たアナログの画像信号に対するゲインが調整設定される。
【００５２】
このように、多重撮影に応じて絞り値をより開放側となるように設定し、また、多重撮影の枚数が多いほど絞り値をより開放側となるように設定することで、下記のように主要な被写体領域の寄与度を高めてブレ補正処理を行なう際に、被写界深度がより小さく（浅く）なるようにし、主要な被写体以外の前景及び背景をぼかすことで、主要な被写体の存在する領域以外の領域での多重像化が際立たないようにすることができる。
【００５３】
また、ＡＥ機能に基づいて露出と焦点距離を考慮し、手ブレを起こさない範囲内でのシャッタ速度と対応するＩＳＯ感度を設定するものとしたので、絞り値をより開放端側に設定しながらも、確実に手ブレの発生を抑止できる。
【００５４】
さらに、前記実施形態の方式によれば、主要被写体領域のブレを低減しながら、背景の不自然さを低減する画像を生成する際に、特別な被写体分離の処理を必要としないため、メインコントローラ１００を含め全体での処理負担を軽減できる。
【００５５】
以下に主要の被写体領域の寄与度を算出する処理内容について説明する。  
図４は、主要被写体の領域との包含関係を用いて寄与度を算出するフローチャートである。
【００５６】
すなわち、動きベクトル統合処理部１０６の位置関係算出部１０６ａでは、対象とするｉ番目のブロックの中心座標ｂｘｉ，ｂｘｊが
【数４】
0005179223.tif 000005
【００５７】
のように、主要領域に含まれているか否かを判定する（ステップＳ４０１）。寄与度算出部１０６ｂは、この判定結果が正で有れば寄与度Ｋｉ＝「１」とし（ステップＳ４０２）、反対に否であればＫｉ＝「０」とする（ステップＳ４０３）。
【００５８】
また寄与度算出の変形例としては、主要な被写体の領域と動きベクトル測定領域設定部１０３で得る動きベクトルを測定するブロック領域の重なる面積によって閾値処理を行なってもよい。
【００５９】
図５は、主要な被写体の領域と各動きベクトル測定領域との距離に応じて定義される寄与度を算出するフローチャートである。
【００６０】
すなわち、位置関係算出部１０６ａで前記領域間の距離  
Ｒｘｉ＝ｂｘｉ−ｂｘ０  
Ｒｙｉ＝ｂｙｉ−ｂｙ０                  …(7)   
の自乗が大きくなるほど寄与度が小さくなる関数を用い（ステップＳ５０１）、寄与度算出部１０６ｂが  
Ｋｉ＝exp(−Ｃ(Ｒｘｉ２＋Ｒｙｉ２))      …(8)   
で定義される寄与度を算出する（ステップＳ５０２）。
【００６１】
図６は、前記動きベクトル統合処理部１０６の統合演算処理部１０６ｃで実行される処理内容を示すフローチャートである。その当初には、信頼性Ｓｉが閾値（Ｓｔｈｒ）より大きいことを確認することで処理を行ない（ステップＳ６０１）、閾値以下の信頼性係数Ｓｉのブロックの寄与を０として（ステップＳ６０３）、統合結果が安定するようにしている（ステップＳ６０２）。  
信頼性係数Ｓｉ、動きベクトルの測定結果Ｖｉと寄与度Ｋｉを用いてフレーム補正ベクトルＶＦｒａｍｅを
【数５】
0005179223.tif 000006
【００６２】
と算出する（ステップＳ６０４）。なお前記式（９）の右辺の分母は正規化の係数である。  
また、動きベクトル統合処理部１０６における他の変形例としては、主要領域設定部１０８の出力する主要な被写体の領域情報と、動きベクトル測定領域設定部１０３の出力する動きベクトルの測定領域の情報とを用いて、予め選択された領域に対して動きベクトルを算出し、その領域内での信頼度に従って動きベクトルのデータを統合し、補正ベクトルを算出するものとしてもよい。
【００６３】
このように予め選択した領域での動きベクトルに重み付けを行なってその後の複数画像の位置合わせを行なうことにより、例えばユーザがフォーカス位置として中央スポットを指定している場合など、主要な被写体の存在する画像データ中の位置が予めわかっている場合には、より確実に手ブレの発生を抑止できる。
【００６４】
次に、前記図１の構成に代えて、主要な被写体として人物の顔が存在する画像中の領域を検出する他の構成例についても説明する。  
図７は、主要な被写体の領域を設定する手段として、人物の顔を検出する手段を用いた場合について説明するもので、基本的には前記図１に示した構成と同様であるので、同一部分には同一符号を付加してその説明を省略する。
【００６５】
しかして、撮像装置１０の出力する画像データは顔領域検出部７０１へも出力される。この顔領域検出部７０１は、入力された画像データ中の人物の顔の領域の位置と大きさを検出するもので、その検出結果を主要領域設定部７０２へ送出する。
【００６６】
主要領域設定部７０２は、顔領域検出部７０１からの検出結果を用いて、主要な被写体である人物の顔の存在する領域を決定し、決定結果を前記動きベクトル統合処理部１０６に出力する。
【００６７】
前記のような回路構成にあって、顔領域検出部７０１が実行する顔検出の方法としては、例えば「Ｐａｕｌ  Ｖｉｏｌａ，Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ：Ｒｏｂｕｓｔ  Ｒｅａｌｔｉｍｅ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｓｅｃｏｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｔａｔｉｓｔｉｃａｌ  ａｎｄ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｔｈｅｏｒｉｅｓ  ｏｆ  Ｖｉｓｉｏｎ−Ｍｏｄｅｌｉｎｇ，Ｌｅａｒｎｉｎｇ，Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｓａｍｐｌｉｎｇ  ２００１」に記載されているアルゴリズム及びその応用が用いられる。このアルゴリズムでは、人物の顔の位置とおよその大きさを検出することができる。
【００６８】
図８（Ａ）は、前記図１の動きベクトル測定領域設定部１０３が画像データ中から設定する、動きベクトル計測領域８０１を示しており、図８（Ｂ）は顔領域検出部７０１での顔検出の結果、検出された領域８０２を表している。
【００６９】
動きベクトル統合処理部１０６は、動きベクトルの計測と顔検出の２つの情報の統合によって、後述する図１０（Ｃ）に示す人物の顔の位置する領域について、特に優先的に動きベクトルデータを考慮することになる。
【００７０】
その場合、寄与度の計算は、前記図４、図５に示した方法や、領域の重なり面積を考慮した方法を用いる。動きベクトル統合処理部１０６は、動きベクトルの信頼度と顔領域と動きベクトル計測領域との位置関係から算出した寄与度を考慮して、前記図６に示した統合演算を行ない、フレーム間の補正ベクトルを算出する。
【００７１】
次に、前記図１の構成に代えて、主要な被写体を含む画像データ中の複数位置の焦点検出を行ない、その検出結果に応じた制御を行なう他の構成例について説明する。
【００７２】
図９は、複数領域の焦点検出を行なうことで主要な被写体の領域を設定する場合について説明するもので、基本的には前記図１に示した構成と同様であるので、同一部分には同一符号を付加してその説明を省略する。
【００７３】
しかして、９０１は前記撮像部１０１とは分岐した異なる画像情報の取得手段として焦点検出部９０１を設ける。この焦点検出部９０１では、焦点の検出に位相検出方式を採用するものとする。すなわち、位相検出は撮像光学系の瞳分割を行ない、撮像部１０１のレンズ光学系から分岐した異なるセパレータ光学系で結像した対応する２像間の位相差によって、被写体に対してフォーカス位置が合っているか否かを評価する。
【００７４】
デジタルカメラなどの撮像機器においては、撮影者が意図する主要被写体にフォーカス位置を設定することや、フォーカス位置によって撮影者が意図する主要被写体の位置を検出することが一般的に行なわれており、本願の焦点検出部９０１でも同様の手法を持って主要被写体の焦点位置を検出するものとする。
【００７５】
この焦点検出部９０１の検出結果に対し、主要領域設定部９０２が合焦点位置情報を参照することでフレームメモリ１０２上の主要領域を設定し、設定結果を前記動きベクトル統合処理部１０６に出力する。
【００７６】
前記のような回路構成にあって、図１０（Ａ）は前記図１、図２の動きベクトル測定領域設定部１０３が設定する動きベクトル計測領域１００１を、図１０（Ｂ）は焦点検出を行なう位置１００２をそれぞれ示している。焦点検出を行なう位置１００２の中で、前記の位相差検出によって合焦点位置を検出することができる。
【００７７】
合焦点位置と動きベクトル計測位置の情報を統合することによって、主要領域設定部９０２では図１０（Ｃ）中にハッチングで示すような合焦領域１００３を得て前記フレーム加算部１０９に出力するもので、動きベクトル統合処理部１０６ではそれら領域について特に優先的に動きベクトルデータを考慮することとなる。寄与度の計算方法としては、前記図４、図５に示した方法や、領域の重なり面積を考慮した方法が用いられる。
【００７８】
動きベクトル統合処理部１０６は、動きベクトルの信頼度と合焦点位置と動きベクトル計測領域との位置関係から算出された寄与度を考慮して、前記図６に示した統合演算を行ない、フレーム間の補正ベクトルを算出する。
【００７９】
このような構成での動作を実施することにより、画像データ中で主要な被写体の位置する領域をより正確に認識して当該領域での動きベクトルに基づいた多重画像の位置合わせを行なうことができる。
【００８０】
なお、焦点検出の方法は前述した位相差検出に限らず、撮像部１０１を構成する撮像素子の出力を用いたコントラスト検出方式を採用してもよい。その場合、例えば画像中の複数の区分領域（例えば縦５個×横５個の計２５個の領域）毎にコントラスト検出を行ない、最も高いコントラストが得られる領域を合焦領域と判定し、前記図９での構成と同じように合焦位置近傍の動きベクトルの寄与度を高めるものにして、フレーム間の移動ベクトルを求めるようにしてもよい。
【００８１】
なお、前記各実施形態においては、被写体の領域を複数に分割して領域毎に動きベクトルの演算を行なうものとしたが、本発明はそれに限ることなく、動きベクトルの演算はあらかじめ定めた所定の位置、例えば画像中心に対してのみ行ない、その位置での主要領域範囲内に起因する動きベクトルの寄与度を大きくして、フレームの動きベクトルを求める方法に対しても適用できる。
【００８２】
また、上記実施形態では説明しなかったが、被写体を含めて撮影条件が経時的に変化しないような撮影環境下では、本撮影に先立ってプリ撮影を行ない、そのプリ撮影時に撮像部１０１での連続撮影でフレームの動きベクトルを求めておくことにより、本撮影時の演算時間を大幅に短縮することができる。
【００８３】
すなわち、被写体と背景のブレの差が大きい場合、絞り値を開放にしておかないと、背景の２重像が際立ってしまう。そこで、プリ撮影によって被写体と背景動きの差を検出し、その差に応じた、すなわち差が大きいほど絞り値を開放側に設定するという制御を行なう構成とすることもできる。
【００８４】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施してもよい。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００８５】
【図１】本発明の一実施形態に係る撮像装置の回路構成を示すブロック図。
【図２】同実施形態に係る図１の動きベクトル統合処理部の詳細な回路構成を示すブロック図。
【図３】同実施形態に係る撮影条件の設定処理の内容を示すフローチャート。
【図４】同実施形態に係る主要被写体の領域との包含関係を用いて寄与度を算出する処理内容を示すフローチャート。
【図５】同実施形態に係る主要被写体領域と各動きベクトル測定領域間の距離に応た寄与度を算出する処理内容を示すフローチャート。
【図６】同実施形態に係る統合演算処理部での処理内容を示すフローチャート。
【図７】同実施形態に係る撮像装置の他の回路構成を示すブロック図。
【図８】同実施形態に係る画像データ中の動きベクトル計測領域と顔検出された領域とを例示する図。
【図９】同実施形態に係る撮像装置の他の回路構成を示すブロック図。
【図１０】同実施形態に係る画像中の動きベクトル計測領域、焦点検出を行なう位置、及び合焦領域を例示する図。
【符号の説明】
【００８６】
１０…撮像装置、１００…メインコントローラ、１０１…撮像部、１０２…フレームメモリ、１０３…動きベクトル測定領域設定部、１０４…動きベクトル算出部、１０５…動きベクトル信頼度算出部、１０６…動きベクトル統合処理部、１０６ａ…位置関係算出部、１０６ｂ…寄与度算出部、１０６ｃ…統合演算処理部、１０７…露出条件制御部、１０８…主要領域設定部、１０９…フレーム加算部、１１０…処理枚数設定部、７０１…顔領域検出部、７０２…主要領域設定部、９０１…焦点検出部、９０２…主要領域設定部。
【図１】
0005179223.tif 000007
【図２】
0005179223.tif 000008
【図３】
0005179223.tif 000009
【図４】
0005179223.tif 000010
【図５】
0005179223.tif 000011
【図６】
0005179223.tif 000012
【図７】
0005179223.tif 000013
【図８】
0005179223.tif 000014
【図９】
0005179223.tif 000015
【図１０】
0005179223.tif 000016