(57)【要約】【課題】オートフォーカス（ＡＦ）によりピントを合わせる対象被写体をパターンマッチングにより画面上で追尾する自動追尾機能において、前後フレームの撮影画像の差分抽出によって対象被写体の画像を抽出することによってパターンマッチングにおける基準パターン画像の取込範囲を適切な範囲に設定することができるオートフォーカスシステムを提供する。【解決手段】テレビカメラ等において追尾装置１６は、追尾する対象被写体の画像を基準パターン画像として記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と合致する画像をパターンマッチングにより検出し、対象被写体の位置を検出する。基準パターン画像は順次更新され、その際に新たに基準パターン画像を取り込む基準パターン枠の範囲が前後フレームの撮影画像の差分抽出によって対象被写体の画像の位置や大きさに応じた範囲に設定される。【選択図】      図１
2006267220.tif 000002
【特許請求の範囲】
【請求項１】
光学系により結像された被写体像を撮像する撮像手段と、
ピントを合わせる対象として追尾する対象被写体の画像を基準パターン画像として記憶する基準パターン画像記憶手段と、
前記撮像手段により得られた撮影画像の画面上において前記基準パターン画像記憶手段により記憶されている基準パターン画像と合致する画像を検出し、該検出した画像の画面上での位置を検出する基準パターン画像位置検出手段と、
前記基準パターン画像検出手段により検出された位置の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
前記撮像手段により順次得られた２つの撮影画像の差分を抽出して差画像を生成する差画像生成手段と、
前記差画像生成手段により生成された差画像に基づいて、前記撮像手段により得られた撮影画像から基準パターン画像を取り込む基準パターン画像取込範囲を設定する基準パターン画像取込範囲設定手段と、
前記撮像手段により得られた撮影画像から前記基準パターン画像取込範囲設定手段により設定された基準パターン画像取込範囲の画像を基準パターン画像として取り込む基準パターン画像取込手段と、
前記基準パターン画像取込手段により取り込まれた基準パターン画像を前記基準パターン画像記憶手段により記憶する基準パターン画像として設定する基準パターン画像設定手段と、
を備えたことを特徴とするオートフォーカスシステム。
【請求項２】
前記基準パターン画像設定手段は、前記基準パターン画像記憶手段により記憶されている基準パターン画像を前記基準パターン画像取込手段により取り込まれた基準パターン画像により更新する手段であることを特徴とする請求項１のオートフォーカスシステム。
【請求項３】
前記基準パターン画像設定手段は、前記基準パターン画像記憶手段により記憶する初期の基準パターン画像を前記基準パターン画像取込手段によって取り込まれた基準パターン画像により設定することを特徴とする請求項１又は２のオートフォーカスシステム。
【請求項４】
前記基準パターン画像取込範囲設定手段は、前記差画像生成手段により生成された差画像を２値化する２値化手段と、該２値化手段によって２値化された差画像の各画素について横方向に各画素の画素値を累積した累積値の分布と縦方向に各画素の画素値を累積した累積値の分布とを算出する累積値算出手段とを備え、該累積値算出手段により算出された累積値の分布に基づいて前記基準パターン画像取込範囲を設定することを特徴とする請求項１、２、又は、３のオートフォーカスシステム。
【請求項５】
前記オートフォーカス手段は、コントラスト方式のオートフォーカスであって、前記撮像手段により得られた撮影画像のうち所定のＡＦエリアの範囲内の画像のコントラストに基づいてフォーカス調整を行うと共に、前記基準パターン画像位置検出手段によって検出された位置に前記ＡＦエリアの位置を設定することを特徴とする請求項１、２、３、又は、４のオートフォーカスシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオートフォーカスシステムに係り、特にカメラの撮影画像の画面上において所望の対象被写体をピント合わせの対象として追尾する自動追尾機能を備えたオートフォーカスシステムに関する。
【背景技術】
【０００２】
テレビカメラのように撮影素子（ＣＣＤ等）により被写体の画像を電気信号（画像信号）に変換する撮像システムでは、オートフォーカス（以下、ＡＦと記す）の方式として一般的にコントラスト方式が採用されている。コントラスト方式は、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態（合焦状態）に自動でピント合わせを行う方式である。
【０００３】
コントラスト方式のようなＡＦでは、カメラの撮影範囲内にある被写体の全体をＡＦの対象とするのではなく、撮影範囲のうちの一部の範囲にある被写体のみを対象とすることが多い。コントラスト方式のＡＦでは、撮像素子の撮像エリア全体により取り込まれた画像信号のうち、ＡＦの対象とする範囲の画像信号を抽出し、その抽出した範囲の画像信号のコントラストが最も高くなるようにフォーカスを制御することによってＡＦの対象を一部の範囲の被写体のみに限定している。尚、本明細書ではカメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又は、カメラの撮影画像の画面上においてＡＦの対象とする被写体の画像範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠というものとする。
【０００４】
また、従来、撮影画像の画面上において単一のＡＦエリアが所定位置に固定して設定される場合、標準的には矩形のＡＦエリアが画面中央に設定されるが、操作者の操作によってＡＦエリアの位置を変更可能にしたものも知られている（例えば、特許文献１参照）。
【特許文献１】特開２００２−３６５５１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１のようにＡＦエリアを所望の位置に変更できるようにした場合において、ピントを合わせたい対象被写体が画面上で移動する物体の場合には、操作者はトラックボールやジョイスティック等の操作装置を操作してその対象被写体の動きに合わせてＡＦエリアの位置を動かす必要がある。そのため、その操作の手間や注意力を要するという問題があった。
【０００６】
そこで、移動する対象被写体に対してＡＦエリアを自動で追尾させるようにすると操作者がＡＦエリアの位置を操作する手間がなくなるため効果的である。例えば、ソース画像内から特定の基準パターン画像を検出する方法としていわゆるパターンマッチングの技術が知られており、その技術を応用することによって撮影画像の中から特定の対象被写体の画像を検出することができ、検出した対象被写体の位置にＡＦエリアを移動させることによってＡＦエリアを対象被写体に追尾させることができるようになる。
【０００７】
一方、パターンマッチングでは、撮影画像（映像）の画面上における対象被写体の形状や大きさが変化すると、対象被写体の画像として事前に記憶させておいた基準パターン画像と合致しなくなるため、対象被写体の画像を検出することが困難となる。そこで、パターンマッチングにより対象被写体の画像を検出した際に、その対象被写体の画像で基準パターン画像を更新するようにすると、次の検出時における基準パターン画像と対象被写体の画像とに大きな差異が生じることなく、対象被写体の画像を適切に検出することができる。
【０００８】
しかしながら、基準パターン画像を更新する場合であってもその基準パターン画像として撮影画像の中から取り込む画像の大きさが一定であると、例えば対象被写体が遠くに移動した場合やカメラのズームをワイド側に変更した場合のように、画面上での対象被写体の画像が小さくなった場合に、基準パターン画像の中に対象被写体以外の背景画像が多く含まれるようになる。基準パターン画像の中に対象被写体以外の画像が含まれると、対象被写体の画像の検出が難くなるという問題が生じる。
【０００９】
本発明はこのような事情に鑑みてなされたもので、ＡＦによりピントを合わせる対象被写体を画面上で自動で追尾する自動追尾機能において、対象被写体の画像の位置や大きさを考慮してパターンマッチングにおける基準パターン画像を適切な画像に自動で設定することができるオートフォーカスシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、請求項１に記載のオートフォーカスシステムは、光学系により結像された被写体像を撮像する撮像手段と、ピントを合わせる対象として追尾する対象被写体の画像を基準パターン画像として記憶する基準パターン画像記憶手段と、前記撮像手段により得られた撮影画像の画面上において前記基準パターン画像記憶手段により記憶されている基準パターン画像と合致する画像を検出し、該検出した画像の画面上での位置を検出する基準パターン画像位置検出手段と、前記基準パターン画像検出手段により検出された位置の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段により順次得られた２つの撮影画像の差分を抽出して差画像を生成する差画像生成手段と、前記差画像生成手段により生成された差画像に基づいて、前記撮像手段により得られた撮影画像から基準パターン画像を取り込む基準パターン画像取込範囲を設定する基準パターン画像取込範囲設定手段と、前記撮像手段により得られた撮影画像から前記基準パターン画像取込範囲設定手段により設定された基準パターン画像取込範囲の画像を基準パターン画像として取り込む基準パターン画像取込手段と、前記基準パターン画像取込手段により取り込まれた基準パターン画像を前記基準パターン画像記憶手段により記憶する基準パターン画像として設定する基準パターン画像設定手段と、を備えたことを特徴としている。
【００１１】
本発明によれば、ピント合わせの対象として追尾する対象被写体が移動物体のような場合に、撮像手段により順次得られる２つの撮影画像の差分を抽出することによってその移動物体のみの画像を抽出する。これによって対象被写体の画面上での位置や大きさを知ることができ、その位置や大きさに基づいて基準パターン画像として記憶する画像の取込範囲を設定することによって対象被写体の位置や大きさに対応した適切な基準パターン画像を設定することができる。
【００１２】
請求項２に記載のオートフォーカスシステムは、請求項１に記載の発明において、前記基準パターン画像設定手段は、前記基準パターン画像記憶手段により記憶されている基準パターン画像を前記基準パターン画像取込手段により取り込まれた基準パターン画像により更新する手段であることを特徴としている。
【００１３】
本発明は、基準パターン画像を順次更新するような場合に、その更新ために請求項１の基準パターン画像の設定に関する手段が適用される態様を示している。
【００１４】
請求項３に記載のオートフォーカスシステムは、請求項１又は２に記載の発明において、前記基準パターン画像設定手段は、前記基準パターン画像記憶手段により記憶する初期の基準パターン画像を前記基準パターン画像取込手段によって取り込まれた基準パターン画像により設定することを特徴としている。
【００１５】
本発明は、初期の基準パターン画像を設定する際に、請求項１の基準パターン画像の設定に関する手段が適用される態様を示している。
【００１６】
請求項４に記載のオートフォーカスシステムは、請求項１、２、又は、３に記載の発明において、前記差画像生成手段により生成された差画像を２値化する２値化手段と、該２値化手段によって２値化された差画像の各画素について横方向に各画素の画素値を累積した累積値の分布と縦方向に各画素の画素値を累積した累積値の分布とを算出する累積値算出手段とを備え、該累積値算出手段により算出された累積値の分布に基づいて前記基準パターン画像取込範囲を設定することを特徴としている。
【００１７】
本発明は、基準パターン画像取込範囲を差画像における横方向と縦方向の画素値の累積値分布に基づいて設定するようにした態様を示している。
【００１８】
請求項５に記載のオートフォーカスシステムは、請求項１、２、３、又は、４に記載の発明において、前記オートフォーカス手段は、コントラスト方式のオートフォーカスであって、前記撮像手段により得られた撮影画像のうち所定のＡＦエリアの範囲内の画像のコントラストに基づいてフォーカス調整を行うと共に、前記基準パターン画像位置検出手段によって検出された位置に前記ＡＦエリアの位置を設定することを特徴としている。
【００１９】
本発明は、オートフォーカス手段がコントラスト方式の場合を示し、ＡＦの対象範囲であるＡＦエリアの位置を対象被写体の位置に設定することによって対象被写体をピントを合わせる対象として自動追尾する態様を示している。
【発明の効果】
【００２０】
本発明に係るオートフォーカスシステムによれば、自動追尾機能において対象被写体の画像の位置や大きさを考慮してパターンマッチングにおける基準パターン画像を適切な画像に自動で設定することができるようになる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面に従って本発明に係るオートフォーカスシステムの好ましい実施の形態について詳説する。
【００２２】
図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。同図に示す撮像システムは、例えば放送用テレビカメラでの撮影に用いられる撮像システムであり、同図にはレンズ交換可能なカメラヘッド１０、カメラヘッド１０のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２、枠操作部１４、追尾装置１６等が示されている。
【００２３】
カメラヘッド１０には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施される。信号処理回路によって生成される所定形式の映像信号は、カメラヘッド１０の映像信号出力端子等から外部機器に出力される。また、カメラヘッド１０には、構図の確認等のためのビューファインダ（モニタ）１８が設置されており、そのビューファインダ１８にカメラヘッド１０からの映像信号が与えられ、カメラヘッド１０で撮影されているリアルタイムの画像（映像）がビューファインダ１８の画面上に表示されるようになっている。また、ビューファインダ１８の画面上にはオートフォーカス（ＡＦ）の対象範囲であるＡＦエリアの情報、例えば、ＡＦ枠も表示される。
【００２４】
レンズ装置１２は、カメラヘッド１０のレンズマウントに装着される図示しない撮影レンズ（光学系）を備えており、その撮影レンズにより被写体の像がカメラヘッド１０の撮像素子の撮像面に結像される。撮影レンズには、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、図示しないモータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、ズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。尚、本実施の形態のようにオートフォーカスに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作部（レンズ装置１２に接続されるコントローラの操作部等）から操作者の操作に従って出力されるコントロール信号に基づいて可動部の動作が制御されるが詳細は省略する。
【００２５】
また、同図に示すように、レンズ装置１２には、レンズ装置１２全体を統括制御するレンズＣＰＵ２０、オートフォーカス（ＡＦ）処理を実行するＡＦ処理部２２、ＡＦ用撮像回路２４等が搭載されている。ＡＦ用撮像回路２４は、ＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、撮像素子（ＣＣＤ等）や撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路２４の撮像素子をＡＦ用撮像素子という。また、ＡＦ用撮像回路２４から出力される映像信号は輝度信号とする。
【００２６】
ＡＦ用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラヘッド１０の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラヘッド１０の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる撮影画像は、カメラヘッド１０の撮像素子により取り込まれる撮影画像と一致している。尚、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラヘッド１０の撮像素子の撮影範囲を包含する大きな範囲であってもよい。また、ＡＦ用撮像素子を設けることなくカメラヘッド１０からの映像信号をＡＦ処理部２２に与えるようにしてもよい。
【００２７】
ＡＦ処理部２２は、ＡＦ用撮像回路２４から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象範囲であるＡＦエリアに対応する範囲の信号を１画面分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵ２０に与えられる。尚、ＡＦエリアの範囲は後述のようにレンズＣＰＵ２０により指定される。
【００２８】
レンズＣＰＵ２０は、詳細を後述するようにＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を枠操作部１４から取得してそのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部２２に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部２２から取得する共に、取得した焦点評価値が最大（極大）、即ち、ＡＦエリアの被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。
【００２９】
枠操作部１４は、上記ＡＦ枠の位置、大きさ、形状等のＡＦ枠の設定内容を操作者が指定するための操作部材を備えている。尚、図２に示すようにＡＦ枠４０は、カメラヘッド１０の撮像素子での撮影範囲又は撮影画像（の画面）に対してＡＦの対象範囲であるＡＦエリア４２の輪郭を示す。枠操作部１４は、その操作部材が操作者により操作されると、その操作に従ってＡＦ枠の位置等の設定内容を設定、変更する。尚、枠操作部１４の操作部材によるＡＦ枠の位置等の設定内容の変更は、操作前におけるＡＦ枠の設定内容を基準にしてその後の操作部材の操作量に対応する変更量分だけ設定内容に変更を加えることによって行われようになっている。例えばＡＦ枠の位置はトラックボールの回転方向及び回転量に対応する方向及び移動量分だけ変位するようになっている。また、撮影範囲（撮影画像の画面）内におけるＡＦ枠の位置（本実施の形態では矩形のＡＦ枠の中心位置）を決める点をＡＦポイントというものとすると、ＡＦ枠の位置はＡＦポイントの位置を設定することによって決定される。
【００３０】
一方、枠操作部１４の操作部材が操作されず、操作者によってＡＦ枠の設定内容の変更が指示さてれない状態では、後述する追尾装置１６から与えられるＡＦ枠情報によりＡＦ枠の設定内容を設定、変更する。枠操作部１４は、操作者の操作又は追尾装置１６からのＡＦ枠情報により設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をレンズＣＰＵ２０からの要求に従ってレンズＣＰＵ２０に送信する。これによってＡＦの対象範囲が、枠操作部１４において設定、変更されたＡＦ枠の範囲に設定される。
【００３１】
尚、追尾装置１６は、操作者が指定した対象物（対象被写体）の画像を撮影画像の画面上で検出しながらその対象物の画面上での移動に合わせてＡＦエリア（ＡＦ枠）の位置を自動で変更（自動追尾）する自動追尾機能を実現するための装置であり、操作者がＡＦ枠の変更のためのマニュアル操作を行っていない場合には追尾装置１６によるＡＦ枠の自動追尾が行われ、操作者がＡＦ枠の変更のためのマニュアル操作を行っている場合にはそのマニュアル操作が追尾装置１６よりも優先されて操作者のマニュアル操作に従ってＡＦ枠が変更される。自動追尾機能をオフしてマニュアル操作のみを有効にすることもできる。
【００３２】
また、枠操作部１４は、上述のように設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をカメラヘッド１０にも送信し、そのＡＦ枠をビューファインダ１８の画面上の対応する位置に表示させる。これによって操作者がビューファインダ１８を見ながらその時のＡＦ枠の位置等を認識することができるようになっている。
【００３３】
追尾装置１６は、画像処理部２６、画像入力部２８、シリアル通信インターフェース３０等を備えている。画像入力部２８は、上記ＡＦ用撮像回路２４により得られた映像信号（輝度信号）をＡＦ処理部２２を介して取得し、画像処理部２６からの要求に応じてその映像信号から得られる撮影画像の画像データを画像処理部２６に与える。
【００３４】
画像処理部２６は、詳細を後述する画像入力部２８から取得した撮影画像に基づいて、操作者によって指定された対象物の画面上での位置をパターンマッチング処理により検出する。その対象物の位置をＡＦ枠の位置（ＡＦポイント）として、ＡＦ枠の位置を示すＡＦ枠情報をシリアル通信インターフェース３０を介して上記枠操作部１４に送信する。
【００３５】
次に、追尾装置１６の画像処理部２６における追尾処理について図３のフローチャートを参照しながら詳説する。操作者は、まず、ビューファインダ１８の画面に表示された映像及びＡＦ枠を見ながら枠操作部１４の操作部材を操作し、ピント合わせの対象として追尾する対象物の全体又は一部をＡＦ枠に納める。これによって、レンズＣＰＵ２０におけるＡＦの処理によりその対象物にピントが合わせられる。
【００３６】
続いて、操作者は、枠操作部１４の決定ボタンを押す。これによって枠操作部１４から基準パターン画像の設定の指示（基準パターン画像の記憶指示）が画像処理部２６に与えられる。
【００３７】
画像処理部２６は、基準パターン画像の設定の指示が与えられると、そのときのＡＦ枠の設定内容を示すＡＦ枠情報を枠操作部１４からシリアル通信インターフェース３０を介して読み取ると共に、レンズ装置１２のＡＦ処理部２２から画像入力部２８に与えられている映像信号から１画面分（１フレーム分）の撮影画像（画像データ）を取り込む（ステップＳ１０）。尚、このとき取り込んだ撮影画像をＡ画像とする。また、ＡＦ処理部２２から画像入力部２８に与えられる映像信号が、例えば、１画面分（１フレーム分）の撮影画像を２フィールド分の映像信号によって構成するインターレース方式の映像信号とすると、画像入力部２８から１画面分として取り込む撮影画像は、１フィールド分の映像信号によって得られる撮影画像であってもよいし、２フィールド分の映像信号によって得られる撮影画像であってもよい。ノンインターレース方式の場合には１フレーム分の映像信号によって得られる撮影画像とする。
【００３８】
続いて画像処理部２６は、ステップＳ１０で取り込んだＡ画像のうち上記ＡＦ枠情報によって指定されたＡＦ枠の範囲を基準パターン枠の範囲としてその範囲内の画像をＡ画像から抽出し、基準パターン画像として設定（記憶）する（ステップＳ１２）。
【００３９】
ここで、基準パターン画像は、後述のパターンマッチング処理で使用する画像データであり、本実施の形態では初期の基準パターン画像を取り込む基準パターン枠の範囲はＡＦ枠の範囲と一致しているものとする。但し、初期の基準パターン枠をＡＦ枠と異なる大きさ（例えば少し大きめ）の範囲としてもよい。また、ＡＦ枠とは別に基準パターン枠をビューファインダ１８に表示させると共に、その基準パターン枠の範囲をＡＦ枠とは別の操作によって設定できるようにしてもよい。
【００４０】
ステップＳ１２における基準パターン画像の設定が終了すると、続いて画像処理部２６は、以下のステップＳ１４〜ステップＳ３２の処理を繰り返し実行する。まず、新たに１画面分の撮影画像を画像入力部２８から取り込む（ステップＳ１４）。尚、このステップＳ１４で取得した撮影画像をＢ画像というものとする。
【００４１】
次に画像処理部２６は、周知のパターンマッチング処理を実行し、Ｂ画像の範囲内において、基準パターン画像に合致する画像の範囲（位置）を検出する（ステップＳ１６）。
【００４２】
続いて画像処理部２６は、パターンマッチング処理により検出した位置に基づいて対象物が画面上で移動したか否かを判定する（ステップＳ１８）。ＹＥＳと判定した場合には、その対象物が移動した分だけＡＦエリアの位置（ＡＦポイント）をその移動方向と同一方向に変位させ、そのＡＦエリアの位置を示すＡＦ枠情報を枠操作部１４に送信する。これによってＡＦ枠の設定内容、即ち、ＡＦ枠の位置を更新する（ステップＳ２０）。ＡＦ枠の位置を更新すると、それに従ってレンズ装置１２におけるＡＦの対象範囲が更新されると共に、ビューファインダ１８の画面上に表示されるＡＦ枠の位置が更新される。ステップＳ１８においてＮＯと判定した場合には、ステップＳ２０の処理は実行しない。
【００４３】
次に画像処理部２６は、Ａ画像とＢ画像の差分により抽出される差画像Ｃを生成する（ステップＳ２２）。即ち、Ａ画像とＢ画像の対応する画素同士の画素値（輝度値）の差を求めその差の絶対値を各画素の画素値として有する差画像Ｃを生成する（Ｃ＝｜Ａ−Ｂ｜）。例えば、Ａ画像、Ｂ画像としてそれぞれ図４（Ａ）、（Ｂ）に示すような画像が得られたとする。これらの図には、画面上で移動する移動物体Ｍが追尾する対象物として簡略的に一定輝度で円形の画像により示されており、画面上で変化しない背景の図は省略されている。これらのＡ画像、Ｂ画像に対して差画像Ｃは図４（Ｃ）のような画像として生成される。同図（Ｃ）に示すように差画像Ｃでは変化のない背景画像が除去されてＡ画像とＢ画像での移動物体Ｍの画像に重なりが生じていない部分の画像のみが抽出される。
【００４４】
次に画像処理部２６は、ステップＳ２２で生成した差画像Ｃの各画素の画素値について、所定のしきい値以上の場合には１、しきい値未満の場合には０として差画像Ｃを２値化する（ステップＳ２４）。
【００４５】
次に画像処理部２６は、新たに１画面分の撮影画像を画像入力部２８から取り込み、その画像を新たなＡ画像としてＡ画像を更新する（ステップＳ２６）。尚、このＡ画像はステップＳ１４〜ステップＳ３２の反復処理に対して次の反復処理における差画像Ｃの生成（ステップＳ２２）に使用される。続いて、画像処理部２６は、２値化した差画像Ｃに対して２値累積値投影の処理を実行する（ステップＳ２８）。
【００４６】
ここで、２値累積値投影の処理について説明する。２値累積値投影は、２値化した差画像Ｃの各画素に対して水平方向（横方向）の同一ライン上に並んだ各画素の画素値を累積（積算）した水平方向累積値と、垂直方向（縦方向）の同一ライン上に並んだ各画素の画素値を累積した垂直方向累積値とを求め、各ラインの水平方向累積値と垂直方向累積値をぞれぞれ画面上に想定したＹ軸（横軸）とＸ軸（横軸）に投影する。これによって、Ｙ軸とＸ軸の各々に水平方向累積値と垂直方向累積値の分布を示す２値累積値投影分布を作成する。例えば、図４（Ｃ）のように生成された差画像Ｃに対して２値累積投影の処理を行うと、図５のような結果が得られる。図５においてＸ軸の各座標点（Ｘ座標値）には、同一Ｘ座標値にある画素（垂直方向の同一ライン上に並んだ画素）の画素値を累積した垂直方向累積値が投影され、Ｙ軸の各座標点（Ｙ座標値）には、同一Ｙ座標値にある画素（水平方向のライン上の画素）の画素値を累積した水平方向累積値が投影される。
【００４７】
次に画像処理部２６は、ステップＳ２８でのＸ軸、Ｙ軸への２値累積値投影の結果に基づいて基準パターン枠を更新する（ステップＳ３０）。例えば、Ｘ軸に投影された垂直方向累積値の総和（面積）に対して１〜９９パーセントの値となる範囲（画面左端及び右端からそれぞれ面積の１パーセント分の値となる範囲を除いた範囲）を基準パターン枠の横幅とし、Ｙ軸に投影された水平方向累積値の総和（面積）に対して１〜９９パーセントの値となる範囲（画面上端及び下端からそれぞれ面積の１パーセント分の値となる範囲を除いた範囲）を基準パターン枠の縦幅として矩形状の基準パターン枠を設定する。例えば、図５に示したような２値累積値投影の分布が得られたとすると、図６に示すような基準パターン枠４４が設定される。
【００４８】
このようにして基準パターン枠を設定（更新）すると、続いて画像処理部２６は、新たに設定した基準パターン枠の範囲を基準パターン画像の取込範囲としてＢ画像の中からその基準パターン枠内の画像を取り込み、その画像によって基準パターン画像を更新する（ステップＳ３２）。そして、ステップＳ１４に戻り、ステップＳ１４からの処理を繰り返す。
【００４９】
以上の処理により、ピント合わせの対象として追尾する対象物の画面上の位置や大きさに応じて基準パターン画像が適切な画像に更新され、パターンマッチングによる対象物の追尾が適切に行われるようになる。
【００５０】
尚、上記処理では、ＡＦエリア（ＡＦ枠）の大きさは基準パターン枠の更新とは無関係の大きさに設定されるようになっていたが、基準パターン枠の大きさと連動して（例えば、基準パターン枠の大きさと一致するように）ＡＦエリアの大きさも変更するようにしてもよい。
【００５１】
また、上記説明では、対象物が画面上で左右等に移動する場合を例示したが、本処理は、例えば、対象物が前後に移動した場合等に対象物の画像の大きさのみが変化した場合等にも有効である。
【００５２】
また、２値累積値投影に基づいて基準パターン枠を設定する場合に、上記処理では基準パターン枠の範囲を水平方向累積値の総和と垂直方向累積値の総和の各々が１〜９９パーセントとなる範囲としたが、これに限らない。例えば、他のパーセント範囲としてもよい。
【００５３】
次に、図３のステップＳ１２において初期の基準パターン画像を設定する際に、図３の基準パターン枠更新の処理と同様にしてその基準パターン画像を取り込む基準パターン枠を自動で適切な範囲に設定できるようにした場合について図７のフローチャートを用いて説明する。
【００５４】
図３のフローチャートで説明したように画像処理部２６は、基準パターン画像の設定の指示が与えられると、画像入力部２８から１画面分の撮影画像（Ａ画像）を取り込む（図３のステップＳ１０）。そして、図３のステップＳ１２に移行し、そのステップＳ１２の処理として図７のフローチャートの処理を開始する。
【００５５】
図７のフローチャートの処理に移行すると、画像処理部２６は、画像入力部２８から新たに１画面分の撮影画像をＢ画像として取り込む（ステップＳ５０）。続いて画像処理部２６は、図３のステップＳ２２と同様にＡ画像とＢ画像の差分により抽出される差画像Ｃを生成する（ステップＳ５２）。続いて、図３のステップＳ２４と同様に差画像Ｃを２値化し（ステップＳ５４）、その２値化した差画像Ｃの面積を求める（ステップＳ５６）。尚、求めた面積を変数ＡＲＥＡで表すものとする。次に画像処理部２６は、面積ＡＲＥＡが所定のしきい値（例えば５００）を超えたか否かにより対象物が移動したか否かを判定する（ステップＳ５８）。このステップＳ５８でＮＯと判定している間は、ステップＳ５０〜ステップＳ５８の処理を繰り返し実行する。
【００５６】
ステップＳ５８においてＹＥＳと判定した場合、画像処理部２６は、図３のステップＳ２８と同様に２値化した差画像Ｃに対して２値累積値投影の処理を行う（ステップＳ６０）。続いて、図３のステップＳ３０と同様にＸ軸、Ｙ軸への２値累積値投影の結果に基づいて基準パターン枠を設定する（ステップＳ６２）。そして、基準パターン枠を設定すると、Ｂ画像の中からその基準パターン枠内の画像を取り込み、その画像によって基準パターン画像を設定する（ステップＳ６４）。ステップＳ６４の処理が終了すると、図３のステップＳ１４に移行する。
【００５７】
以上の処理により、ピント合わせの対象として追尾する対象物の画面上の位置や大きさに応じて初期の基準パターン画像が適切な範囲の画像によって設定される。
【００５８】
尚、図７に示した基準パターン画像の初期設定の処理は、基準パターン画像の更新が図３のように行われない場合であっても適用できる。
【００５９】
以上、上記実施の形態では、レンズ装置１２、枠操作部１４、追尾装置１６は別体の装置として図示したが、いずれか２つ又は全ては一体の装置であってもよい。また、上記実施の形態では追尾装置１６の処理に関する操作部材（例えば、対象物を決定する決定スイッチ等）も枠操作部１４に設けるようにしたが、追尾装置１６に設けるようにしてもよい。
【００６０】
また、上記実施の形態では、ＡＦ用に映像信号をカメラヘッド１０の撮像素子とは別のＡＦ専用の撮像素子により取得するようにしたが、ＡＦ用としてカメラヘッド１０の撮像素子により得られる映像信号を用いてもよい。但し、上記実施の形態のようにＡＦ用の映像信号をＡＦ専用の撮像素子から得るようにすると、カメラヘッド１０が高精細度（ＨＤ）テレビジョンシステムに対応のものである場合にそのＨＤ信号を使用することなくＡＦを行うことができるため小型化・省電力化に有利である。
【００６１】
また、上記実施の形態ではコントラスト方式のＡＦを採用した場合について説明したが、コントラスト方式以外のＡＦを採用した場合であっても本発明を適用することができる。
【図面の簡単な説明】
【００６２】
【図１】図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。
【図２】図２は、ＡＦ枠を例示した図である。
【図３】図３は、追尾装置における追尾処理の処理手順を示したフローチャートである。
【図４】図４は、差画像の説明に使用した説明図である。
【図５】図５は、２値累積値投影の処理の説明に使用した説明図である。
【図６】図６は、基準パターン枠の設定（更新）の説明に使用した説明図である。
【図７】図７は、初期の基準パターン画像の設定に関する処理の一態様を示したフローチャートである。
【符号の説明】
【００６３】
１０…カメラヘッド、１２…レンズ装置、１４…枠操作部、１６…追尾装置、１８…ビューファインダ、２０…レンズＣＰＵ、２２…ＡＦ処理部、２４…ＡＦ用撮像回路、２６…画像処理部、２８…画像入力部、３０…シリアル通信インターフェース、４０…ＡＦ枠、４２…ＡＦエリア、４４…基準パターン枠
【図１】
2006267220.tif 000003
【図２】
2006267220.tif 000004
【図３】
2006267220.tif 000005
【図４】
2006267220.tif 000006
【図５】
2006267220.tif 000007
【図６】
2006267220.tif 000008
【図７】
2006267220.tif 000009