(57)【要約】【課題】被写体の３次元的な移動を検出するとともに、その被写体に対して確実にＡＦを行う。【解決手段】撮像画像から被写体領域の画像をテンプレート画像として抽出及び記憶する。また、撮像画像のうち被写体領域の一部に設けられた部分領域の画像をブロックテンプレート画像として抽出及び記憶する。新たに撮像した画像に対して、テンプレート画像を用いたパターンマッチングを行う。このパターンマッチングにより、テンプレート画像と最も相関が大きい画像の移動位置Ｘを検出する。また、ブロックテンプレート画像を用いたパターンマッチングにより、ブロックテンプレート画像と最も相関が大きい画像の移動位置Ｙ１〜Ｙ８を検出する。テンプレート画像の中心位置Ａ、ブロックテンプレート画像の中心位置Ｂ１〜Ｂ８、テンプレート画像の移動位置Ｘ及びブロックテンプレート画像の移動位置Ｙ１〜Ｙ８に基づいて、被写体画像の拡大縮小率を算出する。【選択図】図５
2009049563.tif 000002
【特許請求の範囲】
【請求項１】
周期的に撮像を行う撮像手段と、
前記撮像手段により得られる第１撮像画像のうち、被写体領域の画像をテンプレート画像として抽出及び記憶するテンプレート画像記憶手段と、
前記第１撮像画像のうち、前記被写体領域の一部に設けられた部分領域の画像をブロックテンプレート画像として抽出及び記憶するブロックテンプレート画像記憶手段と、
前記第１撮像画像とは異なる時間に撮像された第２撮像画像に対して、前記テンプレート画像を用いたパターンマッチングを行うことにより、前記テンプレート画像と最も相関が大きい画像の位置をテンプレート画像移動位置として検出する第１移動検出手段と、
前記第２撮像画像に対して、前記ブロックテンプレート画像を用いたパターンマッチングを行うことにより、前記ブロックテンプレート画像と最も相関が大きい画像の位置をブロックテンプレート画像移動位置として検出する第２移動検出手段と、
前記テンプレート画像の中心位置、前記ブロックテンプレート画像の中心位置、前記テンプレート画像移動位置、及び前記ブロックテンプレート画像移動位置に基づき、被写体の移動に応じて拡大または縮小した被写体画像の拡大縮小率を算出する拡大縮小率算出手段とを備えることを特徴とする移動検出装置。
【請求項２】
前記拡大縮小率算出手段は、前記テンプレート画像の中心位置から前記ブロックテンプレート画像の中心位置に向かうベクトルＶ、前記テンプレート画像移動位置から前記ブロックテンプレート画像移動位置に向かうベクトルＷ、及び前記ベクトルＶと前記ベクトルＷとのなす角θに基づいて、以下の式により、前記被写体画像の拡大縮小率を算出することを特徴とする請求項１記載の移動検出装置。
（拡大縮小率）＝｜Ｗ・ｃｏｓθ｜／｜Ｖ｜
【請求項３】
前記ブロックテンプレート画像記憶手段は、前記第１撮像画像のうち、前記被写体領域の一部に設けられた複数の部分領域の画像をブロックテンプレート画像として抽出及び記憶し、
前記第２移動検出手段は、前記第２撮像画像に対して、複数のブロックテンプレート画像を用いたパターンマッチングを行うことにより、各ブロックテンプレート画像について最も相関が大きい画像の移動位置をブロックテンプレート画像移動位置として検出し、
前記拡大縮小率算出手段は、前記テンプレート画像の中心位置、複数のブロックテンプレート画像の中心位置、前記テンプレート画像移動位置、及び複数のブロックテンプレート画像移動位置に基づき、前記被写体画像の拡大縮小率を算出することを特徴とする請求項１または２記載の移動検出装置。
【請求項４】
請求項１ないし３いずれか１項記載の移動検出装置と、
オートフォーカスの対象となる画像の範囲を示すＡＦ領域を設定するＡＦ領域設定手段と、
前記第１移動検出手段で検出した前記テンプレート画像移動位置に対応させて前記ＡＦ領域の中心位置を変更するとともに、前記拡大縮小率算出手段で算出した拡大縮小率に対応させて前記ＡＦ領域の大きさを変更するＡＦ領域変更手段と、
前記ＡＦ領域変更手段で変更されたＡＦ領域の画像に基づき、前記被写体に対してフォーカスを自動で合わせるオートフォーカス手段とを備えることを特徴とするオートフォーカスシステム。
【請求項５】
撮像手段により周期的に撮像を行い、
前記撮像手段により得られる第１撮像画像のうち、被写体領域の画像をテンプレート画像として抽出及び記憶し、
前記第１撮像画像のうち、前記被写体領域の一部に設けられた部分領域の画像をブロックテンプレート画像として抽出及び記憶し、
前記第１撮像画像とは異なる時間に撮像された第２撮像画像に対して、前記テンプレート画像を用いたパターンマッチングを行うことにより、前記テンプレート画像と最も相関が大きい画像の位置をテンプレート画像移動位置として検出し、
前記第２撮像画像に対して、前記ブロックテンプレート画像を用いたパターンマッチングを行うことにより、前記ブロックテンプレート画像と最も相関が大きい画像の位置をブロックテンプレート画像移動位置として検出し、
前記テンプレート画像の中心位置、前記ブロックテンプレート画像の中心位置、前記テンプレート画像移動位置、及び前記ブロックテンプレート画像移動位置に基づき、被写体の移動に応じて拡大または縮小した被写体画像の拡大縮小率を算出することを特徴とする移動検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の３次元的な移動を検出する移動検出装置及び方法に関する。また、本発明は、その移動検出装置及び方法を適用したオートフォーカスシステムに関する。
【背景技術】
【０００２】
デジタルカメラなどの電子式の撮像装置には、一般的に、撮像画像のコントラストに基づいてオートフォーカス（以下「ＡＦ」という）を行うコントラスト方式のＡＦが採用されている。このコントラスト方式のＡＦでは、撮像エリア内にＡＦエリアを設け、そのＡＦエリア内の画像のコントラストが最も高くなるように、フォーカスを自動で調整している。
【０００３】
フォーカスを合わせたい被写体が静止している場合には、比較的容易にＡＦエリアを設定することができる。その一方で、被写体が移動する場合には、その被写体がＡＦエリア内に入るように、カメラの向きやズーム倍率を変える必要があった。
【０００４】
そこで、撮像により得られる画像に基づいてパターンマッチングを行い、このパターンマッチングの結果に基づいて被写体の移動を検出し、その検出した被写体の移動に合わせてＡＦエリアの位置及び大きさを変更させる方法が提供されている（特許文献１及び２参照）。
【特許文献１】特開２００６−１８４７４２号公報
【特許文献２】特開２００６−２５８９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献では、被写体がカメラの撮像面に対して平行な方向に移動した場合には、その移動に合わせてＡＦエリアの位置を変更している。一方、被写体がカメラの撮像面に対して接近または離間する方向に移動し、撮像画像内における被写体の画像が拡大または縮小した場合には、直前のＡＦで用いた焦点距離と被写体距離に基づいて、ＡＦエリアの大きさを変更している。
【０００６】
しかしながら、上記特許文献では、直前のＡＦで用いた焦点距離と被写体距離に基づいてＡＦエリアの大きさを変更しているため、その変更後のＡＦエリアの大きさは、被写体の画像の拡大または縮小に対応していないことがある。この場合、ＡＦエリア内に占める被写体の画像の割合が変化し、その変化に応じてＡＦエリア内の画像のコントラストが変化する。コントラストが変化することで、被写体に対して確実にＡＦを行うことができない場合がある。
【０００７】
本発明は、被写体の３次元的な移動を検出する移動体検出装置及び方法を提供するとともに、その移動体検出装置及び方法の検出結果に基づき移動体に対してオートフォーカスを確実に行うオートフォーカスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、周期的に撮像を行う撮像手段と、前記撮像手段により得られる第１撮像画像のうち、被写体領域の画像をテンプレート画像として抽出及び記憶するテンプレート画像記憶手段と、前記第１撮像画像のうち、前記被写体領域の一部に設けられた部分領域の画像をブロックテンプレート画像として抽出及び記憶するブロックテンプレート画像記憶手段と、前記第１撮像画像とは異なる時間に撮像された第２撮像画像に対して、前記テンプレート画像を用いたパターンマッチングを行うことにより、前記テンプレート画像と最も相関が大きい画像の位置をテンプレート画像移動位置として検出する第１移動検出手段と、前記第２撮像画像に対して、前記ブロックテンプレート画像を用いたパターンマッチングを行うことにより、前記ブロックテンプレート画像と最も相関が大きい画像の位置をブロックテンプレート画像移動位置として検出する第２移動検出手段と、前記テンプレート画像の中心位置、前記ブロックテンプレート画像の中心位置、前記テンプレート画像移動位置、及び前記ブロックテンプレート画像移動位置に基づき、被写体の移動に応じて拡大または縮小した被写体画像の拡大縮小率を算出する拡大縮小率算出手段とを備えることを特徴とする。
【０００９】
前記拡大縮小率算出手段は、前記テンプレート画像の中心位置から前記ブロックテンプレート画像の中心位置に向かうベクトルＶ、前記テンプレート画像移動位置から前記ブロックテンプレート画像移動位置に向かうベクトルＷ、及び前記ベクトルＶと前記ベクトルＷとのなす角θに基づいて、以下の式により、前記被写体画像の拡大縮小率を算出することが好ましい。
（拡大縮小率）＝｜Ｗ・ｃｏｓθ｜／｜Ｖ｜
【００１０】
前記ブロックテンプレート画像記憶手段は、前記第１撮像画像のうち、前記被写体領域の一部に設けられた複数の部分領域の画像をブロックテンプレート画像として抽出及び記憶し、前記第２移動検出手段は、前記第２撮像画像に対して、複数のブロックテンプレート画像を用いたパターンマッチングを行うことにより、各ブロックテンプレート画像について最も相関が大きい画像の移動位置をブロックテンプレート画像移動位置として検出し、前記拡大縮小率算出手段は、前記テンプレート画像の中心位置、複数のブロックテンプレート画像の中心位置、前記テンプレート画像移動位置、及び複数のブロックテンプレート画像移動位置に基づき、前記被写体画像の拡大縮小率を算出することが好ましい。
【００１１】
本発明のオートフォーカスシステムは、上記記載の移動検出装置と、オートフォーカスの対象となる画像の範囲を示すＡＦ領域を設定するＡＦ領域設定手段と、前記第１移動検出手段で検出した前記テンプレート画像移動位置に対応させて前記ＡＦ領域の中心位置を変更するとともに、前記拡大縮小率算出手段で算出した拡大縮小率に対応させて前記ＡＦ領域の大きさを変更するＡＦ領域変更手段と、前記ＡＦ領域変更手段で変更されたＡＦ領域の画像に基づき、前記被写体に対してフォーカスを自動で合わせるオートフォーカス手段とを備えることを特徴とする。
【００１２】
本発明の移動検出方法は、撮像手段により周期的に撮像を行い、前記撮像手段により得られる第１撮像画像のうち、被写体領域の画像をテンプレート画像として抽出及び記憶し、前記第１撮像画像のうち、前記被写体領域の一部に設けられた部分領域の画像をブロックテンプレート画像として抽出及び記憶し、前記第１撮像画像とは異なる時間に撮像された第２撮像画像に対して、前記テンプレート画像を用いたパターンマッチングを行うことにより、前記テンプレート画像と最も相関が大きい画像の位置をテンプレート画像移動位置として検出し、前記第２撮像画像に対して、前記ブロックテンプレート画像を用いたパターンマッチングを行うことにより、前記ブロックテンプレート画像と最も相関が大きい画像の位置をブロックテンプレート画像移動位置として検出し、前記テンプレート画像の中心位置、前記ブロックテンプレート画像の中心位置、前記テンプレート画像移動位置、及び前記ブロックテンプレート画像移動位置に基づき、被写体の移動に応じて拡大または縮小した被写体画像の拡大縮小率を算出することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、被写体領域の画像をテンプレート画像としたパターンマッチングを行うだけでなく、その被写体領域の一部に設けられた部分領域の画像をブロックテンプレート画像としたパターンマッチングを行うことで、被写体の移動により、特に、撮像手段の撮像面に対して接近または離間する方向への移動により拡大または縮小した被写体画像の拡大縮小率を求めることができる。この被写体画像の拡大縮小率に合わせてＡＦ領域の大きさを変更することで、被写体に対して確実にオートフォーカスを行うことができる。
【発明を実施するための最良の形態】
【００１４】
図１に示すように、本発明の移動検出装置及び方法並びにオートフォーカスシステムを適用したデジタルカメラ１０は、撮像光学系１１を備えている。この撮像光学系１１にはフォーカスレンズ１１ａが含まれている。フォーカスレンズ１１ａは、レンズモータ１２の駆動により、光軸方向Ｌに移動する。フォーカスレンズ１１ａが移動することにより、焦点距離が変更される。なお、図示は省略するが、撮像光学系にはフォーカスレンズの他に、絞りやズームレンズが含まれている。
【００１５】
撮像光学系１１の後方には撮像素子１３が設けられている。撮像素子１３は、例えばＣＣＤイメージセンサから構成され、撮像光学系１１からの被写体光を複数の光電変換素子により撮像し、撮像信号を生成する。撮像素子１３から出力された撮像信号は、Ａ／Ｄ変換器１５によってデジタルの画像データに変換される。Ａ／Ｄ変換器１５はデータバス１６に接続されており、このデータバス１６を介して、画像データがＲＡＭ１８に記憶される。なお、データバス１６には、ＲＡＭ１８の他に、画像処理回路２０、マッチング処理回路２１、ＡＦ処理回路２２、ＣＰＵ２３、ＲＯＭ２４、ＬＣＤ２５が接続されている。
【００１６】
画像処理回路２０はＲＡＭ１８から画像データを読み出し、読み出した画像データに対して各種の画像処理を施す。画像処理が施された画像データは、ＲＡＭ１８に記憶されるとともにメモリーカード等の外部記憶装置（図示省略）に記憶される。また、画像処理回路２０では画像データから画像表示用の表示データが生成され、この表示データに基づいて画像がＬＣＤ２５に表示される。
【００１７】
マッチング処理回路２１は、パターンマッチングに用いられる画像を記憶するテンプレート画像記憶部２１ａと、パターンマッチングを行うマッチング処理部２１ｂを備えている。図２に示すように、テンプレート画像記憶部２１ａは、被写体領域２８の画像をテンプレート画像３０として記憶している。また、テンプレート画像記憶部２１ａは、被写体領域２８の一部に設けられた部分領域３２〜３９内の画像を、ブロックテンプレート画像４２〜４９として記憶している。なお、図２では、被写体を人物としているがこれに限る必要はない。また、部分領域の位置は図２に示す位置に限る必要はなく、また、部分領域の数も８に限る必要はない。
【００１８】
マッチング処理部２１ｂは、新たに撮像された撮像画像に対して、テンプレート画像３０を用いたパターンマッチングを行う。図３に示すように、このパターンマッチングにより、テンプレート画像３０と最も相関が大きい画像５０の位置Ｘが求められる。位置Ｘは、テンプレート画像３０の中心位置Ａが移動した位置であり、以下、位置Ｘをテンプレート画像移動位置Ｘとする。
【００１９】
また、マッチング処理部２１ｂは、撮像画像に対してブロックテンプレート画像４２〜４９を用いたパターンマッチングを行う。図４に示すように、このパターンマッチングにより、ブロックテンプレート画像４２〜４９と最も相関が大きい画像５２〜５９の位置Ｙ１〜Ｙ８が求められる。位置Ｙ１〜Ｙ８は、ブロックテンプレート画像４２〜４９の中心位置Ｂ１〜Ｂ８が移動した位置であり、以下、この位置Ｙ１〜Ｙ８をブロックテンプレート画像移動位置Ｙ１〜Ｙ８とする。なお、図４では、図が複雑になるのを避けるために、被写体の画像の図示を省略している。
【００２０】
ＡＦ処理回路２２は、ＡＦエリア設定変更部２２ａと、ＡＦ処理部２２ｂとを備えている。ＡＦエリア設定変更部２２ａは、撮像画像のうちオートフォーカスの対象となる画像の範囲をＡＦエリアとして設定する。また、ＡＦエリア設定変更部２２ａは、マッチング処理回路２１の処理結果に基づいて、ＡＦエリアの位置及び大きさを変更する。
【００２１】
図５に示すように、まず、ＡＦエリア６０の中心点をテンプレート画像移動位置Ｘに移動させる。移動後のＡＦエリアをＡＦエリア６０ａとする。次に、ブロックテンプレート画像の位置Ｂ１〜Ｂ８とブロックテンプレート画像移動位置Ｙ１〜Ｙ８との関係から、ＡＦエリアの拡大率Ｅを求める。なお、図５では、図４と同様に、図が複雑になるのを避けるために、被写体の画像の図示を省略している。
【００２２】
ＡＦエリアの拡大率Ｅは、以下のようにして求められる。まず、テンプレート画像の中心位置Ａからブロックテンプレート画像３２の中心位置Ｂ１に向かうベクトルＶ１と、テンプレート画像移動位置Ｘからブロックテンプレート画像移動位置Ｙ１に向かうベクトルＷ１を求める。次に、ベクトルＶ１とベクトルＷ１とのなす角θを求める。そして、ベクトルＶ１、ベクトルＷ１、及びそれらベクトルのなす角θに基づいて、以下の式により被写体の画像の拡大率Ｅ１を求める。
Ｅ１＝｜Ｗ１・ｃｏｓθ｜／｜Ｖ１｜・・・（式）
この拡大率Ｅ１と同様に、ブロックテンプレート画像の位置Ｂ１〜Ｂ８とブロックテンプレート画像移動位置Ｙ２〜Ｙ８との関係から、被写体の画像の拡大率Ｅ２〜Ｅ８を求める。そして、求めた拡大率Ｅ１〜Ｅ８の平均値を、ＡＦエリアの拡大率Ｅとする。そして、このＡＦエリアの拡大率Ｅに対応させてＡＦエリア６０ａの大きさを変更する。大きさ変更後のＡＦエリアを６０ｂとする。
【００２３】
なお、被写体の画像の拡大率Ｅ１〜Ｅ８の平均値をＡＦエリアの拡大率Ｅとしたが、これに限る必要はない。例えば、被写体の画像の拡大率Ｅ１〜Ｅ８のいずれか一つの拡大率をＡＦエリアの拡大率Ｅとしてもよい。また、被写体の画像の拡大率Ｅ１〜Ｅ８のうち最も大きい拡大率をＡＦエリアの拡大率Ｅとしてもよい。
【００２４】
ＡＦ処理部２２ｂは、撮像により得られた画像のうち、ＡＦ設定変更部２２ａで設定または変更されたＡＦエリア内の画像のコントラストを算出する。レンズ駆動部６０は、算出されたコントラストに基づいて、フォーカスレンズ１１ａを光軸方向Ｌに駆動させる。このフォーカスレンズ１１ａの移動は、ＡＦエリア５０内の画像のコントラストが極大値（最大値）となるまで行われる。
【００２５】
本発明の作用について、図６に示すフローチャートを参照しながら説明する。デジタルカメラ１０は、電源ＯＮにより移動体２８の撮像を開始する。撮像は周期的に行われ、撮像により得られた画像はＲＡＭ１８に記憶される。また、ＬＣＤ２５には撮像画像が表示される。
【００２６】
次に、被写体を被写体領域２８内に入れ、テンプレート画像作成ボタン（図示省略）を押す。これにより、撮像画像から被写体領域２８の画像がテンプレート画像３０として抽出され、また、部分領域３２〜３９の画像がブロックテンプレート画像４２〜４９として抽出される。抽出されたテンプレート画像３０及びブロックテンプレート画像４２〜４９は、テンプレート画像記憶部２１ａに記憶される。
【００２７】
次に、マッチング処理部２１ｂにおいて、新たに撮像された画像に対し、テンプレート画像３０を用いたパターンマッチングが行われる。このパターンマッチングにより、テンプレート画像３０と最も相関が大きい画像５０の位置、すなわち、テンプレート画像移動位置Ｘが検出される。一方、テンプレート画像３０と一致する画像４０が検出されない場合には、再度新たに撮像された画像に対して、パターンマッチングが行われる。
【００２８】
テンプレート画像移動位置Ｘが検出されると、ブロックテンプレート画像４２〜４９を用いたパターンマッチングが行われる。このパターンマッチングにより、ブロックテンプレート画像４２〜４９と最も相関が大きい画像５２〜５９の位置、すなわち、ブロックテンプレート画像移動位置Ｙ１〜Ｙ８が検出される。
【００２９】
次に、ＡＦエリア設定変更部２２ａは、ＡＦエリア６０の中心点をテンプレート画像移動位置Ｘに移動させる。そして、ブロックテンプレート画像の中心位置Ｂ１〜Ｂ８とブロックテンプレート画像移動位置Ｙ１〜Ｙ８との関係から、被写体の画像の拡大率Ｅを求める。そして、求めた被写体の画像の拡大率Ｅに基づいて、ＡＦエリア６０の大きさを拡大する。
【００３０】
そして、ＡＦ処理部２２ｂは、撮像された画像のうち、ＡＦエリア設定変更部２２ａにおいて拡大したＡＦエリア６０内の画像のコントラストを算出する。そして、この算出したコントラストに基づいて、フォーカスレンズ１１ａを駆動させ、ＡＦを行う。
【００３１】
ＡＦが完了すると、マッチング処理部２１で検出された画像に基づいて、テンプレート画像３０及びブロックテンプレート画像４２〜４９が更新される。そして、新たに撮像された画像に対してパターンマッチングを行い、被写体の移動の検出を行う。
【００３２】
なお、本実施形態では、被写体の画像が大きくなった場合におけるＡＦエリアの拡大率について説明したが、被写体の画像が小さくなった場合におけるＡＦエリアの縮小率についても、ＡＦエリアの拡大率の算出方法と同様にして求めることができる。
【００３３】
なお、本実施形態では、本発明の移動体検出装置及びオートフォーカスシステムをデジタルカメラに適用したが、これに限らず、ビデオカメラ等その他の撮像装置に適用してもよい。また、本発明は、３次元的に移動する移動体を追跡しながら撮影する監視装置に対しても適用することができる。
【図面の簡単な説明】
【００３４】
【図１】デジタルカメラの構成を示すブロック図である。
【図２】パターンマッチングに用いられるテンプレート画像及びブロックテンプレート画像を示す説明図である。
【図３】テンプレート画像移動位置Ｘを示す説明図である。
【図４】ブロックテンプレート画像移動位置Ｙ１〜Ｙ８を示す説明図である。
【図５】ＡＦエリアの位置及び大きさの変更方法を示す説明図である。
【図６】本発明の作用を表すフローチャートである。
【符号の説明】
【００３５】
１０  デジタルカメラ
２１  マッチング処理回路
２１ａ  テンプレート記憶部
２１ｂ  マッチング処理部
２２  ＡＦ処理回路
２２ａ  ＡＦエリア設定変更部
２２ｂ  ＡＦ処理部
２８  被写体領域
３０  テンプレート画像
３２〜３９  部分領域
４２〜４９  ブロックテンプレート画像
５０  （テンプレート画像と最も相関が大きい）画像
５２〜５９  （ブロックテンプレート画像と最も相関が大きい）画像
６０  ＡＦエリア
Ａ  テンプレート画像の中心位置
Ｂ１〜Ｂ８  ブロックテンプレート画像の中心位置
Ｘ  テンプレート画像移動位置
Ｙ１〜Ｙ８  ブロックテンプレート画像移動位置
【図１】
2009049563.tif 000003
【図２】
2009049563.tif 000004
【図３】
2009049563.tif 000005
【図４】
2009049563.tif 000006
【図５】
2009049563.tif 000007
【図６】
2009049563.tif 000008