(57)【要約】【課題】被写体の動きに追随してピント合わせを行うこと。【解決手段】カメラ１００は、画像の特徴毎に特徴量を算出し、特徴量により定まる少なくとも２つの領域を検出する領域検出手段と、フレーム間における少なくとも２つの領域の位置の変化を検出する位置変化検出手段と、位置変化検出手段による検出結果に基づいて、被写体までの距離が変化したか否を判定する判定手段とを備える。【選択図】図１
2013160879.tif 000002
【特許請求の範囲】
【請求項１】
画像の特徴毎に特徴量を算出し、前記特徴量により定まる少なくとも２つの領域を検出する領域検出手段と、
フレーム間における前記少なくとも２つの領域の位置の変化を検出する位置変化検出手段と、
前記位置変化検出手段による検出結果に基づいて、被写体までの距離が変化したか否を判定する判定手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記判定手段による判定結果に基づいて、コントラストＡＦ制御におけるＡＦレンズの駆動範囲を決定する決定手段と、
前記決定手段によって決定された前記駆動範囲内で前記ＡＦレンズを駆動させて合焦位置を特定する焦点調節手段とをさらに備えることを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記領域検出手段は、人物の顔を含む顔領域と人物の体を含む体領域とを検出し、
前記位置変化検出手段は、フレーム間での前記顔領域の中心と前記体領域の中心との距離の変化を検出し、
前記判定手段は、前記顔領域の中心と前記体領域の中心との距離が長くなった場合には、被写体までの距離は近くなったと判定し、前記顔領域の中心と前記体領域の中心との距離が短くなった場合には、被写体までの距離は遠くなったと判定することを特徴とする撮像装置。
【請求項４】
請求項１または２に記載の撮像装置において、
前記領域検出手段は、人物の顔を含む顔領域と人物の体を含む体領域とを検出し、
前記位置変化検出手段は、フレーム間での前記顔領域の重心と前記体領域の重心との距離の変化を検出し、
前記判定手段は、前記顔領域の重心と前記体領域の重心との距離が長くなった場合には、被写体までの距離は近くなったと判定し、前記顔領域の重心と前記体領域の重心との距離が短くなった場合には、被写体までの距離は遠くなったと判定することを特徴とする撮像装置。
【請求項５】
請求項３または４に記載の撮像装置において、
前記領域検出手段は、前記顔領域の焦点距離と、前記体領域の焦点距離とが同一である場合に、前記顔領域と前記体領域とは同一の人物から検出されたものであると判定することを特徴とする撮像装置。
【請求項６】
請求項１または２に記載の撮像装置において、
前記領域検出手段は、主要被写体を含む被写体領域と背景を含む背景領域とを検出し、
前記位置変化検出手段は、フレーム間で前記背景領域の位置が変化していない場合に、フレーム間での前記被写体領域と画角中心との間の距離の変化を検出し、
前記判定手段は、前記被写体領域と画角中心との間の距離が長くなった場合には、被写体までの距離は近くなったと判定し、前記被写体領域と画角中心との間の距離が短くなった場合には、被写体までの距離は遠くなったと判定することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記位置変化検出手段は、フレーム間で前記背景領域の位置が変化している場合には、
前フレームの前記背景領域の位置と、現フレームの前記背景領域の位置とに基づいて、前記画角中心の位置合わせを行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
次のような撮像装置が知られている。この撮像装置は、被写体の変化により測距エリアを変化させて焦点調節を行う（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６９７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の撮像装置は、合焦の方向が前ピンか後ピンかを予測することはできなかった。
【課題を解決するための手段】
【０００５】
本発明による撮像装置は、画像の特徴毎に特徴量を算出し、前記特徴量により定まる少なくとも２つの領域を検出する領域検出手段と、フレーム間における前記少なくとも２つの領域の位置の変化を検出する位置変化検出手段と、前記位置変化検出手段による検出結果に基づいて、被写体までの距離が変化したか否を判定する判定手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、合焦の方向が前ピンか後ピンかを予測することができる。
【図面の簡単な説明】
【０００７】
【図１】カメラの一実施の形態の構成を示すブロック図である。
【図２Ａ】第１の実施の形態におけるＡＦ制御処理の前半の流れを示すフローチャート図である。
【図２Ｂ】第１の実施の形態におけるＡＦ制御処理の後半の流れを示すフローチャート図である。
【図３】顔ラベル、体ラベル１、および体ラベル２の検出例を示す第１の図である。
【図４】顔ラベル、体ラベル１、および体ラベル２の検出例を示す第２の図である。
【図５】顔ラベル、体ラベル１、および体ラベル２の検出例を示す第３の図である。
【図６Ａ】第２の実施の形態におけるＡＦ制御処理の前半の流れを示すフローチャート図である。
【図６Ｂ】第２の実施の形態におけるＡＦ制御処理の後半の流れを示すフローチャート図である。
【図７】ラベル領域１と背景候補ラベルの検出例を示す図である。
【図８】ラベル領域１の移動例を示す第１の図である。
【図９】ラベル領域１の移動例を示す第２の図である。
【図１０】ラベル領域１の移動例を示す第３の図である。
【発明を実施するための形態】
【０００８】
―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００９】
レンズ１０２は、不図示のマウント部を介してカメラ１００に着脱可能な構成となっていてもよいし、カメラ１００と一体となっていてもよい。なお、レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＭＯＳなどのイメージセンサにより構成され、レンズ１０２を通過した光束による被写体像を光電変換してアナログ画像信号を生成し、生成したアナログ画像信号を制御装置１０４へ出力する。
【００１０】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１１】
制御装置１０４は、撮像素子１０３から入力されたアナログ画像信号をデジタル画像信号に変換し、種々の画像処理を施した後に所定の画像形式、例えばＪＰＥＧ形式の本画像データを生成する。また、制御装置１０４は、生成した本画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。
【００１２】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１３】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードがライブビューモードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。
【００１４】
本実施の形態におけるカメラ１００は、動画再生時やスルー画表示時に、フレーム内から主要被写体を検出して、フレーム間で追尾する被写体追尾機能を備えている。制御装置１０４は、被写体追尾中に、検出した主要被写体を含む被写体領域を対象としＡＦ（オートフォーカス）制御を行うことにより、主要被写体に合焦させながら被写体追尾を行う。ＡＦ制御の方法としては、例えば、レンズ１０２に含まれるＡＦレンズを至近側から無限遠側に駆動して焦点距離を変えながら、フレーム内に設定したＡＦ評価エリアのコントラスト評価値が最も高くなるＡＦレンズ位置を合焦位置として検出する方法、すなわちコントラスト評価値を用いた山登り制御による方法が用いられる。
【００１５】
このように、フレーム間で被写体を追尾する場合、被写体の移動に伴って焦点距離を変える必要がある。例えば、被写体がカメラ１００に近づく方向に移動した場合には、制御装置１０４は、手前（前ピン）方向にＡＦレンズを移動させて合焦位置を特定する必要があり、被写体がカメラ１００から遠ざかる方向に移動した場合には、制御装置１０４は、奥側（後ピン）方向にＡＦレンズを移動させて合焦位置を特定する必要がある。
【００１６】
このとき、上述したコントラスト評価値を用いた山登り制御による方法により、ＡＦレンズを至近側から無限遠側に全域スキャンを行って合焦位置を特定すると、処理に時間がかかり被写体の動きに追随できない可能性が生じる。そこで、本実施の形態では、制御装置１０４は、図２Ａ、図２Ｂに示す処理を実行して焦点の移動方向を判定し、被写体の動きに追随したＡＦ制御を実行する。なお、図２Ａ、図２Ｂに示す処理は、動画再生時やスルー画表示時に、フレーム間で被写体を追尾するための追尾モードに設定されると起動するプログラムとして、制御装置１０４によって実行される。
【００１７】
図２Ａ、図２Ｂを参照すると、ステップＳ１０において、制御装置１０４は、使用者から現在のフレーム内における被写体位置の指定を受け付ける。例えば、使用者がＡＦのマニュアル設定にてフレーム内における被写体の顔部分を指定することにより、被写体位置を指定する。その後、ステップＳ２０へ進む。
【００１８】
ステップＳ２０では、制御装置１０４は、使用者によって指定された被写体の顔部分を含む顔領域をフレーム内に設定し、該顔領域を対象として、色相を用いたラベリング処理を行って、顔領域内の画像からラベル領域１を検出する。なお、ラベリング処理としては、顔領域内の画像を色相に基づいて所定の閾値を用いて２値化することによって、画像内から白画素のまとまり（島）を抽出する。さらに、抽出した島を所定の評価値を用いて評価することにより、複数の島の中から主要被写体である可能性が高い島を選択し、選択した島をラベル領域１として検出する。これにより、ステップＳ２０で顔領域を対象としてラベリング処理を行うと、人物の顔によって構成される白画素の島をラベル領域１として検出することができる。なお、本実施の形態では、ステップＳ２０で検出されるラベル領域１を顔ラベル領域と呼ぶ。
【００１９】
その後、ステップＳ３０へ進み、制御装置１０４は、ステップＳ２０で検出した顔ラベル領域の下側に隣接する領域を上半身領域として設定し、該上半身領域を対象として色相を用いたラベリング処理を行う。そして、その結果検出された白画素の島のうち、ラベル領域１と同じ距離にある島を人物の上半身によって構成されるラベル領域２として検出する。また、制御装置１０４は、上半身領域内に縦方向に同一距離のラベル領域を２つ検出した場合には、それらをラベリング領域２およびラベリング領域３として検出する。なお、本実施の形態では、ステップＳ３０で検出されるラベリング領域２を体ラベル１と呼び、ラベリング領域３を体ラベル２と呼ぶ。上記ステップＳ２０およびステップＳ３０の処理により、例えば、図３に示すような顔ラベル３ａ、体ラベル１３ｂ、および体ラベル２３ｃが検出される。
【００２０】
その後、ステップＳ４０へ進み、制御装置１０４は、ステップＳ３０で検出したラベリング領域がラベリング領域２のみである場合、すなわちラベリング領域３が検出されなかった場合には、上記上半身領域の下側に隣接する領域を対象として色相を用いたラベリング処理を行って、ラベリング領域３、すなわち体ラベル２３ｃを検出する。その後、ステップＳ５０へ進む。
【００２１】
ステップＳ５０では、制御装置１０４は、ステップＳ２０〜Ｓ４０のそれぞれにおけるラベリング処理の条件（ラベリング条件）をバッファメモリに記録する。例えば、本実施の形態では、色相を用いたラベリング処理を行ったため、「色相を用いた」ことを示す情報や、２値化する際に用いた閾値の値等をバッファメモリに記録する。その後、ステップＳ６０へ進む。
【００２２】
ステップＳ６０では、制御装置１０４は、顔ラベル３ａ、体ラベル１３ｂ、体ラベル２３ｃのそれぞれの重心を算出する。例えば、図３に示すように、顔ラベル３ａの重心Ｌ１Ｇ１、体ラベル１３ｂの重心Ｌ２Ｇ１、および体ラベル２３ｃの重心Ｌ３Ｇ１を算出する。
【００２３】
その後、ステップＳ７０へ進み、制御装置１０４は、ステップＳ６０で算出した各重心間の距離を算出する。例えば、顔ラベル３ａの重心Ｌ１Ｇ１と体ラベル１３ｂの重心Ｌ２Ｇ１間の距離ｄ１、顔ラベル３ａの重心Ｌ１Ｇ１と体ラベル２３ｃの重心Ｌ３Ｇ１間の距離ｄ２、および体ラベル１３ｂの重心Ｌ２Ｇ１と体ラベル２３ｃの重心Ｌ３Ｇ１間の距離ｄ３を算出する。その後、ステップＳ８０へ進む。
【００２４】
ステップＳ８０では、制御装置１０４は、撮像素子１０３から次フレームを読み込んで、ステップＳ９０へ進む。ステップＳ９０では、制御装置１０４は、ステップＳ５０で記録した前フレームにおけるラベリング条件をバッファメモリから読み出して、ステップＳ１００へ進む。
【００２５】
ステップＳ１００では、制御装置１０４は、ステップＳ９０で読み出したラベリング条件に基づいて、ステップＳ８０で読み込んだフレームに対して、ステップＳ２０〜Ｓ４０４と同様のラベリング処理を実行する。これによって、ステップＳ８０で読み込んだフレームについても、顔ラベル、体ラベル１、体ラベル２が検出される。ここでは、ステップＳ１００で検出される各ラベルを、前フレームで検出された顔ラベル３ａ、体ラベル１３ｂ、体ラベル２３ｃと区別するために、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃと呼ぶこととする。このとき、被写体がカメラ１００に近づく方向に移動している場合には、図４に示すように、図３と比較して、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃは大きくなる。一方で、被写体がカメラ１００から遠ざかる方向に移動している場合には、図５に示すように、図３と比較して、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃは小さくなる。
【００２６】
その後、ステップＳ１１０へ進み、制御装置１０４は、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃのそれぞれの重心を算出する。例えば、図４や図５に示すように、顔ラベル４ａの重心Ｌ１Ｇ２、体ラベル１４ｂの重心Ｌ２Ｇ２、および体ラベル２４ｃの重心Ｌ３Ｇ２を算出する。
【００２７】
その後、ステップＳ１２０へ進み、制御装置１０４は、ステップＳ１１０で算出した各重心間の距離を算出する。例えば、顔ラベル４ａの重心Ｌ１Ｇ２と体ラベル１４ｂの重心Ｌ２Ｇ２間の距離ｄ１１、顔ラベル４ａの重心Ｌ１Ｇ２と体ラベル２４ｃの重心Ｌ３Ｇ２間の距離ｄ１２、および体ラベル１４ｂの重心Ｌ２Ｇ２と体ラベル２４ｃの重心Ｌ３Ｇ２間の距離ｄ１３を算出する。その後、ステップＳ１３０へ進む。
【００２８】
ステップＳ１３０〜Ｓ１５０の処理では、制御装置１０４は、被写体がカメラ１００に近づく方向に移動しているか否かを判定する。まず、ステップＳ１３０において、制御装置１０４は、ステップＳ１２０で算出したｄ１１とステップＳ７０で算出したｄ１とが、次式（１）に示す関係を満たすか否かを判断する。なお、次式（１）において、Ｋ１は、あらかじめ設定された閾値である。
ｄ１１−ｄ１＞Ｋ１  ・・・（１）
【００２９】
ステップＳ１３０で否定判断した場合には、後述するステップＳ１６０へ進む。これに対して、ステップＳ１３０で肯定判断した場合には、ステップＳ１４０へ進む。ステップＳ１４０では、制御装置１０４は、ステップＳ１２０で算出したｄ１２とステップＳ７０で算出したｄ２とが、次式（２）に示す関係を満たすか否かを判断する。なお、次式（２）において、Ｋ２は、あらかじめ設定された閾値である。
ｄ１２−ｄ２＞Ｋ２  ・・・（２）
【００３０】
ステップＳ１４０で否定判断した場合には、ステップＳ８０へ戻る。これに対して、ステップＳ１４０で肯定判断した場合には、ステップＳ１５０へ進む。ステップＳ１５０では、制御装置１０４は、ステップＳ１２０で算出したｄ１３とステップＳ７０で算出したｄ３とが、次式（３）に示す関係を満たすか否かを判断する。なお、次式（３）において、Ｋ３は、あらかじめ設定された閾値である。
ｄ１３−ｄ３＞Ｋ３  ・・・（３）
【００３１】
ステップＳ１５０で否定判断した場合には、ステップＳ８０へ戻る。これに対して、ステップＳ１５０で肯定判断した場合には、ステップＳ１９０へ進む。この場合、ステップＳ１３０〜Ｓ１５０の全てで肯定判断されているため、後のフレームの方が前のフレームよりも、全てのラベルの重心間の距離が長いことを意味している。よって、図４に示したように、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃは、図３と比較して大きくなっており、被写体はカメラ１００に近づく方向に移動していることがわかる。
【００３２】
ステップＳ１９０では、制御装置１０４は、現在のレンズ１０２の変倍率、現在の合焦位置、前フレームからの各ラベル間の重心距離の変化量に基づいて焦点範囲を算出することにより、現フレームにおいて被写体に合焦させるためのレンズ位置を推定する。ここでは、被写体はカメラ１００に近づく方向に移動しているため、現在の焦点距離よりも前ピン側に焦点範囲（スキャン範囲）が設定される。その後、ステップＳ２００へ進む。
【００３３】
ステップＳ２００では、制御装置１０４は、ＳＴＭ（ステッピングモーター）を駆動して、ステップＳ１９０で算出した前ピン側の焦点範囲の該初期位置にＡＦレンズを移動させる。その後、ステップＳ２１０へ進み、制御装置１０４は、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃのそれぞれの領域をコントラスト評価値算出用のＡＦ評価エリアに設定する。その後、ステップＳ２２０へ進む。
【００３４】
ステップＳ２２０では、制御装置１０４は、ステップＳ２００で設定した各ラベルに対応するＡＦ評価エリアを対象として、ステップＳ１９０で算出した焦点範囲内のコントラスト評価値を算出し、各ラベルごとにコントラスト評価値のピーク位置を求める。
【００３５】
その後、ステップＳ２３０へ進み、制御装置１０４は、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃのそれぞれに対応するＡＦ評価エリアのうち、最も至近側に評価値のピークが検出されたＡＦ評価エリアの評価値のピークに合焦させる。その後、ステップＳ２４０へ進み、制御装置１０４は、撮影露光を行う。
【００３６】
ステップＳ１６０〜ステップＳ１８０の処理では、制御装置１０４は、被写体がカメラ１００から遠ざかる方向に移動しているか否かを判定する。まず、ステップＳ１６０において、制御装置１０４は、ステップＳ１２０で算出したｄ１１とステップＳ７０で算出したｄ１とが、次式（４）に示す関係を満たすか否かを判断する。なお、次式（４）において、Ｌ１は、あらかじめ設定された閾値である。
ｄ１１−ｄ１＜Ｌ１  ・・・（４）
【００３７】
ステップＳ１６０で否定判断した場合には、ステップＳ８０へ戻る。これに対して、ステップＳ１６０で肯定判断した場合には、ステップＳ１７０へ進む。ステップＳ１７０では、制御装置１０４は、ステップＳ１２０で算出したｄ１２とステップＳ７０で算出したｄ２とが、次式（５）に示す関係を満たすか否かを判断する。なお、次式（５）において、Ｌ２は、あらかじめ設定された閾値である。
ｄ１２−ｄ２＜Ｌ２  ・・・（５）
【００３８】
ステップＳ１７０で否定判断した場合には、ステップＳ８０へ戻る。これに対して、ステップＳ１７０で肯定判断した場合には、ステップＳ１８０へ進む。ステップＳ１８０では、制御装置１０４は、ステップＳ１２０で算出したｄ１３とステップＳ７０で算出したｄ３とが、次式（６）に示す関係を満たすか否かを判断する。なお、次式（６）において、Ｌ３は、あらかじめ設定された閾値である。
ｄ１３−ｄ３＜Ｌ３  ・・・（６）
【００３９】
ステップＳ１８０で否定判断した場合には、ステップＳ８０へ戻る。これに対して、ステップＳ１８０で肯定判断した場合には、ステップＳ２５０へ進む。この場合、ステップＳ１６０〜Ｓ１８０の全てで肯定判断されているため、後のフレームの方が前のフレームよりも、全てのラベルの重心間の距離が短いことを意味している。よって、図５に示したように、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃは、図３と比較して小さくなっており、被写体はカメラ１００から遠ざかる方向に移動していることがわかる。
【００４０】
ステップＳ２５０では、制御装置１０４は、現在のレンズ１０２の変倍率、現在の合焦位置、前フレームからの各ラベル間の重心距離の変化量に基づいて焦点範囲を算出することにより、現フレームにおいて被写体に合焦させるためのレンズ位置を推定する。ここでは、被写体はカメラ１００から遠ざかる方向に移動しているため、現在の焦点距離よりも後ピン側に焦点範囲（スキャン範囲）が設定される。その後、ステップＳ２６０へ進む。
【００４１】
ステップＳ２６０では、制御装置１０４は、ＳＴＭ（ステッピングモーター）を駆動して、ステップＳ２５０で算出した後ピン側の焦点範囲の初期位置にＡＦレンズを移動させる。その後、ステップＳ２７０へ進み、制御装置１０４は、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃのそれぞれの領域をコントラスト評価値算出用のＡＦ評価エリアに設定する。その後、ステップＳ２８０へ進む。
【００４２】
ステップＳ２８０では、制御装置１０４は、ステップＳ２００で設定した各ラベルに対応するＡＦ評価エリアを対象として、ステップＳ２５０で算出した焦点範囲内のコントラスト評価値を算出し、各ラベルごとにコントラスト評価値のピーク位置を求める。
【００４３】
その後、ステップＳ２９０へ進み、制御装置１０４は、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃのそれぞれに対応するＡＦ評価エリアのうち、最も至近側に評価値のピークが検出されたＡＦ評価エリアの評価値のピークに合焦させる。その後、ステップＳ２００へ進み、制御装置１０４は、撮影露光を行う。
【００４４】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、フレーム内から顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃを検出し、フレーム間におけるそれぞれのラベルの重心間の距離の変化に基づいて、被写体までの距離が変化したか否を判定するようにした。これにより、被写体の動きに追随してＡＦ制御を行う場合に、前ピンか後ピンかを判定することができる。
【００４５】
（２）制御装置１０４は、各ラベルに対応するＡＦ評価エリアを対象として設定した焦点範囲内のコントラスト評価値を算出し、各ラベルごとにコントラスト評価値のピーク位置を求め、最も至近側に評価値のピークが検出されたＡＦ評価エリアの評価値のピークに合焦させるようにした。これによって、被写体の動きに追随して、精度高く被写体に合焦させることができる。
【００４６】
（３）制御装置１０４は、顔ラベル４ａ、体ラベル１４ｂ、体ラベル２４ｃのそれぞれの重心間の距離が長くなった場合には、被写体までの距離は近くなったと判定し、それぞれの重心間の距離が短くなった場合には、被写体までの距離は遠くなったと判定するようにした。これによって、被写体までの距離の変化を精度高く判定することができる。
【００４７】
―第２の実施の形態―
第２の実施の形態では、ラベリング処理によってフレーム内の背景領域から検出した背景ラベルを用いて焦点の移動方向を判定する方法について説明する。図６Ａ、図６Ｂは、第２の実施の形態におけるＡＦ制御処理の流れを示すフローチャート図である。図６Ａ、図６Ｂに示す処理は、動画の再生やスルー画の表示が開始されると起動するプログラムとして、制御装置１０４によって実行される。
【００４８】
図６Ａ、図６Ｂを参照すると、ステップＳ３１０において、制御装置１０４は、使用者からの指示に基づいて、カメラ１００のモードをフレーム間で被写体を追尾するための追尾モードに設定する。その後、ステップＳ３２０へ進み、制御装置１０４は、撮像素子１０３から入力されるフレーム画像を取り込んで、ステップＳ３３０へ進む。
【００４９】
ステップＳ３３０では、制御装置１０４は、取り込んだフレーム画像に対して、デモザイク処理、ＷＢ処理、ＮＲ処理、色マトリクス処理といった基本的な画像処理を施す。その後、ステップＳ３４０へ進み、制御装置１０４は、使用者から現在のフレーム内における被写体位置の指定を受け付ける。例えば、使用者がＡＦのマニュアル設定にてフレーム内における被写体の顔部分を指定することにより、被写体位置を指定する。その後、ステップＳ３５０へ進む。
【００５０】
ステップＳ３５０では、制御装置１０４は、ステップＳ３４０で設定した被写体位置において、上述したラベリング処理をどの評価値を用いて行うかを判定する。例えば、第１の実施の形態と同様に色相を用いてラベリング処理を行うか、あるいは輝度や色差といった他の評価値を用いてラベリング処理を行うかを判定する。その後、ステップＳ３６０へ進む。
【００５１】
ステップＳ３６０では、制御装置１０４は、ステップＳ３４０で設定した被写体位置を含む所定範囲内を対象として、ステップＳ３５０で判定した評価値を用いたラベリング処理を行って、ラベル領域１を検出する。また、制御装置１０４は、検出したラベル領域１の重心位置を算出する。
【００５２】
その後、ステップＳ３７０へ進み、制御装置１０４は、ラベル領域１の周辺領域を対象として、ラベリング処理を実行し、他のラベル領域を検出して、ステップＳ３８０へ進む。ステップＳ３８０では、制御装置１０４は、ステップＳ３７０でラベル領域１の周辺領域から他のラベルを検出した場合には、ラベル領域１と該他のラベル（以下、「ラベル領域２」と呼ぶ）とをコントラスト評価値算出用の領域（ウィンドウ）にセットして、ステップＳ３９０へ進む。
【００５３】
ステップＳ３９０では、制御装置１０４は、フレーム画像内を対象としてラベリング処理を行って、背景から抽出された白画素のまとまりを背景ラベルとして検出する。例えば、制御装置１０４は、フレーム間で動きのない被写体により構成される少なくとも１つの白画素のまとまりを背景ラベルの候補（背景候補ラベル）として検出する。これにより、例えば、図７に示すように、ラベルＡとラベルＢとが背景候補ラベルとして検出される。
【００５４】
その後、ステップＳ４００へ進み、制御装置１０４は、ステップＳ３９０で背景候補レベルを検出した場合には、そのラベル領域をコントラスト評価値算出用の領域（ウィンドウ）にセットして、ステップＳ４１０へ進む。
【００５５】
ステップＳ４１０では、制御装置１０４は、撮像素子１０３から次フレームを取り込んで、ステップＳ４２０へ進む。ステップＳ４２０では、制御装置１０４は、ＡＦレンズをあらかじめ決められた量駆動させながら、ステップＳ３８０とステップＳ４００でセットしたコントラスト評価値算出用の領域を対象として、コントラスト評価値の算出を行う。その後、ステップＳ４３０へ進む。
【００５６】
ステップＳ４３０では、制御装置１０４は、ステップＳ４２０で算出した各ラベルのコントラスト評価値のピーク位置を調べる。その後、ステップＳ４４０へ進み、制御装置１０４は、ラベル領域１のコントラスト評価値のピーク位置にＡＦレンズを駆動させて、ラベル領域１に合焦させる。その後、ステップＳ４５０へ進む。
【００５７】
ステップＳ４５０では、制御装置１０４は、ラベル領域２とラベル領域１の焦点距離が同一であるか否かを判断する。ステップＳ４５０で肯定判断した場合には、ラベル領域１とラベル領域２とに基づいて、上述した第１の実施の形態における処理を実行する。例えば、ラベル領域１を上述した顔ラベル、ラベル領域２を上述した体ラベル１に設定して、第１の実施の形態における処理を実行する。これに対して、ステップＳ４５０で否定判断した場合には、ステップＳ４６０へ進む。
【００５８】
ステップＳ４６０では、制御装置１０４は、背景候補ラベルの焦点距離が無限かほぼ無限であるか否かを判断する。ステップＳ４６０で否定判断した場合には、背景候補ラベルは背景から検出された背景ラベルではないと判断し、処理を終了する。これに対して、ステップＳ４６０で肯定判断した場合には、背景候補ラベルを背景ラベルに設定して、ステップＳ４７０へ進む。
【００５９】
ステップＳ４７０では、制御装置１０４は、撮像素子１０３から次フレームを取り込んで、ステップＳ４８０へ進む。ステップＳ４８０では、制御装置１０４は、上述したステップＳ３６０、Ｓ３７０、Ｓ３９０のそれぞれで実行したラベリング処理におけるラベリング条件を読み出して、ステップＳ４９０へ進む。ステップＳ４９０では、制御装置１０４は、現在のフレームにおいて、再度ラベリング処理を行って、上述したラベル領域１、ラベル領域２、背景ラベルのそれぞれを更新する。その後、ステップＳ５００へ進む。
【００６０】
ステップＳ５００では、制御装置１０４は、ステップＳ３９０で検出した背景ラベルの位置（初期位置）とステップＳ４９０で検出した背景ラベルの位置（更新位置）とを比較して、その位置に変化があったか否かを判断する。ステップＳ５００で肯定判断した場合には、ステップＳ５１０へ進み、制御装置１０４は、前フレームの背景ラベルの位置と、現フレームの背景ラベルの位置とに基づいて、画角中心の位置合わせを行う。具体的には、制御装置１０４は、現フレームの背景ラベルの位置を、前フレームの背景レベルの位置（初期位置）に移動補正し、背景ラベルの位置が初期位置であることを確認した上で、以降の処理で初期位置の座標系（画角中心の座標を含む）を使用する。この処理により、フレーム間で背景ラベルの位置が変化していないことが保証されるため、フレーム間でラベル領域１の位置が変化した場合には、その位置変化は被写体の移動に伴うものであると判定することができる。その後、ステップＳ５２０へ進む。これに対して、ステップＳ５００で否定判断した場合には、そのままステップＳ５２０へ進む。
【００６１】
ステップＳ５２０では、制御装置１０４は、ステップＳ３６０で検出したラベル領域１の位置（初期位置）とステップＳ４９０で検出したラベル領域１の位置（更新位置）とを比較して、その位置に変化があったか否かを判断する。ステップＳ５２０で否定判断した場合には、被写体までの距離に変化はないため、再ＡＦは不要と判定して、ステップＳ４７０へ戻る。これに対して、ステップＳ５２０で肯定判断した場合には、ステップＳ５３０へ進む。
【００６２】
ステップＳ５３０では、制御装置１０４は、ラベル領域１の位置の変化方向を算出して、ステップＳ５４０へ進む。ステップＳ５４０では、制御装置１０４は、ラベル領域１の変化方向を、画角中心からの法線方向成分とそれ以外の方向成分とに分割する。その後、ステップＳ５５０へ進み、ラベル領域１の変化方向に画角中心からの法線方向成分があるか否かを判断する。ステップＳ５５０で否定判断した場合には、被写体までの距離に変化はないため、再ＡＦは不要と判定して、ステップＳ４７０へ戻る。これに対して、ステップＳ５５０で肯定判断した場合には、ステップＳ５６０へ進む。
【００６３】
ステップＳ５６０では、制御装置１０４は、ラベル領域１の画角中心からの法線方向の移動成分に基づいて、ラベル領域１の画角中心からの法線方向の移動方向を算出する。これにより、ラベル領域１の法線方向の移動方向が、画角中心から遠ざかる方向か、画角中心に近づく方向かが検出される。例えば、図７に示すラベル領域１の位置７ａが図８に示す位置８ａに移動している場合には、ラベル領域１の法線方向の移動方向は、画角中心７ｂから遠ざかる方向であると判定される。また、図７に示すラベル領域１の位置７ａが図９に示す位置９ａに移動している場合には、ラベル領域１の法線方向の移動方向は、画角中心７ｂに近づく方向であると判定される。一方で、図７に示すラベル領域１の位置７ａが図１０に示す位置１０ａに移動している場合には、ラベル領域１の法線方向の移動方向は検出されないため、上述したステップＳ５５０で否定判断される。その後、ステップＳ５７０へ進む。
【００６４】
ステップＳ５７０では、制御装置１０４は、ラベル領域１の法線方向の移動方向が、画角中心から遠ざかる方向であるか否かを判断する。ステップＳ５７０で否定判断した場合、すなわちラベル領域１と画角中心との距離が短くなったと判断した場合には、ステップＳ５８０へ進む。ステップＳ５８０では、制御装置１０４は、被写体はカメラ１００から遠ざかる方向に移動したと判定し、ラベル領域１の法線方向の移動量に基づいて、ＡＦレンズを駆動させるスキャン範囲（焦点範囲）を計算する。ここでは、被写体はカメラ１００から遠ざかる方向に移動しているため、現在の焦点距離よりも後ピン側にスキャン範囲が設定される。制御装置１０４は、ＳＴＭ（ステッピングモーター）を駆動して、後ピン側のスキャン範囲の初期位置にＡＦレンズを移動させる。その後、ステップＳ６００へ進む。
【００６５】
これに対して、ステップＳ５７０で肯定判断した場合、すなわちラベル領域１と画角中心との距離が長くなったと判断した場合には、ステップＳ５９０へ進む。ステップＳ５９０では、制御装置１０４は、被写体はカメラ１００に近づく方向に移動したと判定し、ラベル領域１の法線方向の移動量に基づいて、ＡＦレンズを駆動させるスキャン範囲（焦点範囲）を計算する。ここでは、被写体はカメラ１００に近づく方向に移動しているため、現在の焦点距離よりも前ピン側にスキャン範囲が設定される。制御装置１０４は、ＳＴＭ（ステッピングモーター）を駆動して、前ピン側のスキャン範囲の初期位置にＡＦレンズを移動させる。その後、ステップＳ６００へ進む。
【００６６】
ステップＳ６００では、制御装置１０４は、ステップＳ５８０またはＳ５９０で算出したスキャン範囲内でＡＦレンズを駆動させて、該範囲内におけるコントラスト評価値のピーク位置を求める。その後、ステップＳ６１０へ進み、制御装置１０４は、ステップＳ６００で求めたピーク位置に合焦させるためにＳＴＭ（ステッピングモーター）を駆動してＡＦレンズを移動させて、ステップＳ６２０へ進む。ステップＳ６２０では、制御装置１０４は、撮影露光を行う。
【００６７】
以上説明した第２の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、フレーム間で背景領域の位置が変化していない場合に、フレーム間でのラベル領域１と画角中心との間の距離の変化を検出し、ラベル１と画角中心との間の距離が長くなった場合には、被写体までの距離は近くなったと判定し、ラベル１と画角中心との間の距離が短くなった場合には、被写体までの距離は遠くなったと判定するようにした。これによって、被写体の動きに追随してＡＦ制御を行う場合に、前ピンか後ピンかを判定することができる。
【００６８】
（２）制御装置１０４は、フレーム間で背景領域の位置が変化している場合には、前フレームの背景領域の位置と、現フレームの背景領域の位置とに基づいて、画角中心の位置合わせを行うようにした。これによって、使用者が撮影方向を変えながら被写体を追っているような場合にも本発明を適用することができる。
【００６９】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、該顔領域を対象として、色相を用いたラベリング処理を行って、顔領域内の画像からラベル領域を検出する例について説明したが、輝度や色差を用いたラベリング処理を行うようにしても良い。
【００７０】
（２）上述した第１の実施の形態では、顔ラベル、体ラベル１、および体ラベル２の合計３つのラベルを用いてＡＦ制御を行う例について説明した。しかしながら４つ以上のラベルを用いてもよい。
（３）上述した第１の実施の形態では、制御装置１０４は、フレーム間におけるそれぞれのラベルの重心間の距離の変化に基づいて、被写体までの距離が変化したか否を判定するようにしたが、フレーム間におけるそれぞれのラベルの中心間の距離の変化に基づいて、被写体までの距離が変化したか否を判定するようにしてもよい。ラベルの中心とは、例えばそのラベルを包含する矩形の中心又は多角形の中心である。このようにしても、被写体の動きに追随してＡＦ制御を行う場合に、前ピンか後ピンかを判定することができる。
【００７１】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００７２】
１００  カメラ、１０１  操作部材、１０２  レンズ、１０３  撮像素子、１０４  制御装置、１０５  メモリカードスロット、１０６  モニタ
【図１】
2013160879.tif 000003
【図２Ａ】
2013160879.tif 000004
【図２Ｂ】
2013160879.tif 000005
【図３】
2013160879.tif 000006
【図４】
2013160879.tif 000007
【図５】
2013160879.tif 000008
【図６Ａ】
2013160879.tif 000009
【図６Ｂ】
2013160879.tif 000010
【図７】
2013160879.tif 000011
【図８】
2013160879.tif 000012
【図９】
2013160879.tif 000013
【図１０】
2013160879.tif 000014