(57)【要約】【課題】対象被写体を画面上で追尾しながらオートフォーカス（ＡＦ）によりその対象被写体にピントを合わせる自動追尾機能において、追尾不能となった場合に、その旨を通知する通知手段を設けることによって、追尾不能であることを操作者が迅速に認知できるようにしたオートフォーカスシステムを提供する。【解決手段】テレビカメラ等において追尾装置１６は、追尾する対象被写体の画像を基準パターン画像として記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と最も合致する画像をパターンマッチングにより検出し、対象被写体の位置を検出する。もし、追尾不能となった場合には、基準パターン画像の取込範囲を示す基準パターン枠のビューファインダ１８での表示を点滅させる。【選択図】      図１
2006258943.tif 000002
【特許請求の範囲】
【請求項１】
カメラの撮影画像の画面上においてピントを合わせる対象として追尾する対象被写体の位置を検出する対象被写体位置検出手段と、
前記対象被写体位置検出手段によって検出された位置の被写体にピントが合うように前記カメラの光学系のフォーカス調整を行うオートフォーカス手段と、
前記対象被写体位置検出手段による前記対象被写体の位置の検出が正常に行われなかった場合に、追尾不能であることを通知する通知手段と、
を備えたことを特徴とするオートフォーカスシステム。
【請求項２】
前記カメラの撮影画像を表示するビューファインダを備え、
前記対象被写体位置検出手段は、前記対象被写体の画像を基準パターン画像として事前に記憶し、前記カメラの撮影画像の範囲内において、前記基準パターン画像と最も合致する画像の位置をパターンマッチング処理により検出することによって前記対象被写体の位置を検出する共に、前記基準パターン画像と最も合致した画像を新たな基準パターン画像として記憶し、
前記通知手段は、前記対象被写体位置検出手段による前記対象被写体の位置の検出が正常に行われた場合と正常に行われなかった場合とで識別できるように、前記ビューファインダに前記基準パターン画像が取り込まれた範囲を示す基準パターン枠を異なる態様で表示させることを特徴とする請求項１のオートフォーカスシステム。
【請求項３】
前記カメラの撮影画像を表示するビューファインダを備え、
前記オートフォーカス手段は、コントラスト方式のオートフォーカスであって、前記カメラの撮影画像のうち所定のＡＦエリアの範囲内の画像のコントラストに基づいてフォーカス調整を行うと共に、前記対象被写体位置検出手段によって検出された位置に前記ＡＦエリアの位置を設定し、
前記通知手段は、前記対象被写体位置検出手段による前記対象被写体の位置の検出が正常に行われた場合と正常に行われなかった場合とで識別できるように、前記ビューファインダに前記ＡＦエリアの範囲を示すＡＦ枠を異なる態様で表示させることを特徴とする請求項１のオートフォーカスシステム。
【請求項４】
前記オートフォーカス手段によりピントを合わせる前記画面上での位置を手動で変更する操作部と、該操作部に設けられた表示器を備え、
前記通知手段は、前記対象被写体位置検出手段による前記対象被写体の位置の検出が正常に行われた場合と正常に行われなかった場合とで識別できるように、前記表示器の表示態様を制御することを特徴とする請求項１のオートフォーカスシステム。
【請求項５】
前記対象被写体位置検出手段は、前記対象被写体の画像を基準パターン画像として事前に記憶し、前記カメラの撮影画像の範囲内において、前記基準パターン画像との合致の程度を示す相関値が最大となる位置を前記対象被写体の位置として検出し、
前記通知手段は、前記相関値が所定のしきい値より小さい場合に、前記対象被写体の位置の検出が正常に行われなかったと判断することを特徴とする請求項１、２、３、又は、４に記載のオートフォーカスシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオートフォーカスシステムに係り、特にカメラの撮影画像の画面上において所望の対象被写体を、ピントを合わせる対象として追尾する自動追尾機能を備えたオートフォーカスシステムに関する。
【背景技術】
【０００２】
テレビカメラのように撮影素子（ＣＣＤ等）により被写体の画像を電気信号（画像信号）に変換する撮像システムでは、オートフォーカス（以下、ＡＦと記す）の方式のとして一般的にコントラスト方式が採用されている。コントラスト方式は、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態（合焦状態）に自動でピント合わせを行う方式である。
【０００３】
コントラスト方式のようなＡＦでは、カメラの撮影範囲内にある被写体の全体をＡＦの対象とするのではなく、撮影範囲のうちの一部の範囲にある被写体のみを対象とすることが多い。コントラスト方式のＡＦでは、撮像素子の撮像エリア全体により取り込まれた画像信号のうち、ＡＦの対象とする範囲の画像信号を抽出し、その抽出した範囲の画像信号のコントラストが最も高くなるようにフォーカスを制御することによってＡＦの対象を一部の範囲の被写体のみに限定している。尚、本明細書ではカメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又は、カメラの撮影画像の全範囲のうちＡＦの対象とする被写体の画像範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠というものとする。
【０００４】
また、従来、撮影画像の画面上において単一のＡＦエリアが所定位置に固定して設定される場合、標準的には矩形のＡＦエリアが画面中央部に設定されるが、操作者の操作によってＡＦエリアの位置を変更可能にしたものも知られている（例えば、特許文献１参照）。
【特許文献１】特開２００２−３６５５１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ＡＦエリアを所望の位置に変更できるようにした場合において、ピントを合わせたい対象被写体が画面上で移動する物体の場合には、操作者はトラックボールやジョイスティック等の操作装置を操作してその対象被写体の動きに合わせてＡＦエリアの位置を動かす必要がある。そのため、その操作の手間や注意力を要するという問題があった。
【０００６】
そこで、移動する対象被写体に対してＡＦエリアを自動で追尾させるようにすると操作者がＡＦエリアの位置を操作する手間がなくなるため効果的である。例えば、所定の画像内から特定のパターン画像を検出する方法としていわゆるパターンマッチングの技術が知られており、その技術を応用することによって特定の対象被写体の画面上での位置を検出することができ、検出した対象被写体の位置にＡＦエリアを移動させることによってＡＦエリアを対象被写体に追尾させることができるようになる。
【０００７】
しかしながら、このようにピントを合わせる対象として所望の対象被写体を追尾する自動追尾機能を搭載したとしてもその機能が常に正常に動作するとは限らない。特に、ある時点まで自動追尾機能が正常に動作していたとしても、対象被写体やその背景等の画像に大きな変化があった場合等に自動追尾機能が正常に動作しなくなり追尾不能となるおそれがある。その場合に、そのまま自動追尾機能に依存していると、対象被写体の位置とＡＦによりピントが合わせられる位置とが大きくずれ、対象被写体からピントがずれるという不測の事態が生じる。そのため、追尾不能な場合には操作者がマニュアルでピントを合わせる位置（ＡＦエリアの位置）を変更するなどの対応が必要であるが、これまでは追尾が正常に行われているか否かを操作者が瞬時に認知できるような手段についての提案はなされていない。
【０００８】
本発明はこのような事情に鑑みてなされたもので、ＡＦによりピントを合わせる対象とする対象被写体を自動で追尾する自動追尾機能が正常に動作しているか否かを操作者が瞬時に認知できるようにしたオートフォーカスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、請求項１に記載のオートフォーカスシステムは、カメラの撮影画像の画面上においてピントを合わせる対象として追尾する対象被写体の位置を検出する対象被写体位置検出手段と、前記対象被写体位置検出手段によって検出された位置の被写体にピントが合うように前記カメラの光学系のフォーカス調整を行うオートフォーカス手段と、前記対象被写体位置検出手段による前記対象被写体の位置の検出が正常に行われなかった場合に、追尾不能であることを通知する通知手段と、を備えたことを特徴としている。
【００１０】
本発明によれば、ピントを合わせる対象とする対象被写体の追尾が不能になると、操作者がその旨を通知手段によって瞬時に認知することができるようになる。
【００１１】
請求項２に記載のオートフォーカスシステムは、請求項１に記載の発明において、前記カメラの撮影画像を表示するビューファインダを備え、前記対象被写体位置検出手段は、前記対象被写体の画像を基準パターン画像として事前に記憶し、前記カメラの撮影画像の範囲内において、前記基準パターン画像と最も合致する画像の位置をパターンマッチング処理により検出することによって前記対象被写体の位置を検出する共に、前記基準パターン画像と最も合致した画像を新たな基準パターン画像として記憶し、前記通知手段は、前記対象被写体位置検出手段による前記対象被写体の位置の検出が正常に行われた場合と正常に行われなかった場合とで識別できるように、前記ビューファインダに前記基準パターン画像が取り込まれた範囲を示す基準パターン枠を異なる態様で表示させることを特徴としている。
【００１２】
本発明では、対象被写体の位置を検出する方法としてパターンマッチングを使用する場合に、対象被写体の画像として基準パターン画像を取り込む範囲を示す基準パターン枠をビューファインダに表示させる共に、その表示の態様を変更することによって追尾不能であることを通知するようにしている。例えば、追尾が正常に行われている場合には、基準パターン枠を連続表示（非点滅表示）させ、追尾不能になった場合には、基準パターン枠を点滅表示させることや、基準パターン枠の表示色を変更すること等で追尾不能を操作者に通知することが可能である。
【００１３】
請求項３に記載のオートフォーカスシステムは、請求項１に記載の発明において、前記カメラの撮影画像を表示するビューファインダを備え、前記オートフォーカス手段は、コントラスト方式のオートフォーカスであって、前記カメラの撮影画像のうち所定のＡＦエリアの範囲内の画像のコントラストに基づいてフォーカス調整を行うと共に、前記対象被写体位置検出手段によって検出された位置に前記ＡＦエリアの位置を設定し、前記通知手段は、前記対象被写体位置検出手段による前記対象被写体の位置の検出が正常に行われた場合と正常に行われなかった場合とで識別できるように、前記ビューファインダに前記ＡＦエリアの範囲を示すＡＦ枠を異なる態様で表示させることを特徴としている。
【００１４】
本発明では、コントラスト方式のＡＦのようにＡＦ枠をビューファインダに表示させる場合に、そのＡＦ枠の表示の態様を変更することによって追尾不能であることを通知するようにしている。例えば、追尾が正常に行われている場合には、ＡＦ枠を連続表示（非点滅表示）させ、追尾不能になった場合には、ＡＦ枠を点滅表示させることや、ＡＦ枠の表示色を変更すること等で追尾不能を操作者に通知することが可能である。
【００１５】
請求項４に記載のオートフォーカスシステムは、請求項１に記載の発明において、前記オートフォーカス手段によりピントを合わせる前記画面上での位置を手動で変更する操作部と、該操作部に設けられた表示器を備え、前記通知手段は、前記対象被写体位置検出手段による前記対象被写体の位置の検出が正常に行われた場合と正常に行われなかった場合とで識別できるように、前記表示器の表示態様を制御することを特徴としている。
【００１６】
本発明では、ピントを合わせる位置を手動（マニュアル）で変更する操作部を備えている場合に、その操作部に追尾不能であることを示す表示させるようにしている。例えば、ＬＥＤ等のランプの発光状態や発光色を正常時と追尾不能時とで切り替えることによって追尾不能であることを操作者に通知することができる。
【００１７】
請求項５に記載のオートフォーカスシステムは、請求項１、２、３、又は、４に記載の発明において、前記対象被写体位置検出手段は、前記対象被写体の画像を基準パターン画像として事前に記憶し、前記カメラの撮影画像の範囲内において、前記基準パターン画像との合致の程度を示す相関値が最大となる位置を前記対象被写体の位置として検出し、前記通知手段は、前記相関値が所定のしきい値より小さい場合に、前記対象被写体の位置の検出が正常に行われなかったと判断することを特徴としている。
【００１８】
本発明は、対象被写体の位置の検出にパターンマッチング（正規化相関パターンマッチング）を使用した場合に、撮影画像の範囲内から基準パターン画像（対象被写体の画像）と最も合致する画像を検出したときの相関値が所定のしきい値より小さいときには、その検出した画像は基準パターン画像に合致しているとは認められないため、対象被写体の検出が正常に行われていないと判断するようにしている。
【発明の効果】
【００１９】
本発明に係るオートフォーカスシステムによれば、自動追尾機能が正常に動作しているか否かを操作者が瞬時に認知できるようになる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面に従って本発明に係るオートフォーカスシステムの好ましい実施の形態について詳説する。
【００２１】
図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。同図に示す撮像システムは、例えば放送用テレビカメラでの撮影に用いられる撮像システムであり、同図にはレンズ交換可能なカメラヘッド１０、カメラヘッド１０のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２、枠操作部１４、追尾装置１６等が示されている。
【００２２】
カメラヘッド１０には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施される。信号処理回路によって生成される所定形式の映像信号は、カメラヘッド１０の映像信号出力端子等から外部機器に出力される。また、カメラヘッド１０には、構図の確認等のためのビューファインダ（モニタ）１８が設置されており、そのビューファインダ１８にカメラヘッド１０からの映像信号が与えられ、カメラヘッド１０で撮影されているリアルタイムの画像（映像）がビューファインダ１８の画面上に表示されるようになっている。また、ビューファインダ１８の画面上にはオートフォーカス（ＡＦ）の対象範囲であるＡＦエリアの情報、例えば、ＡＦ枠も表示される。
【００２３】
レンズ装置１２は、カメラヘッド１０のレンズマウントに装着される図示しない撮影レンズ（光学系）を備えており、その撮影レンズにより被写体の像がカメラヘッド１０の撮像素子の撮像面に結像される。撮影レンズには、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、図示しないモータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、ズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。尚、本実施の形態のようにオートフォーカスに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作部（レンズ装置１２に接続されるコントローラの操作部等）から操作者の操作に従って出力されるコントロール信号に基づいて可動部の動作が制御されるが詳細は省略する。
【００２４】
また、同図に示すように、レンズ装置１２には、レンズ装置１２全体を統括制御するレンズＣＰＵ２０、オートフォーカス（ＡＦ）処理を実行するＡＦ処理部２２、ＡＦ用撮像回路２４等が搭載されている。ＡＦ用撮像回路２４は、ＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、撮像素子（ＣＣＤ等）や撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路２４の撮像素子をＡＦ用撮像素子という。また、ＡＦ用撮像回路２４から出力される映像信号は輝度信号とする。
【００２５】
ＡＦ用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラヘッド１０の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラヘッド１０の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる撮影画像は、カメラヘッド１０の撮像素子により取り込まれる撮影画像と一致している。尚、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラヘッド１０の撮像素子の撮影範囲を包含する大きな範囲であってもよい。また、ＡＦ用撮像素子を設けることなくカメラヘッド１０からの映像信号をＡＦ処理部２２に与えるようにしてもよい。
【００２６】
ＡＦ処理部２２は、ＡＦ用撮像回路２４から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象範囲であるＡＦエリアに対応する範囲の信号を１画面分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵ２０に与えられる。尚、ＡＦエリアの範囲は後述のようにレンズＣＰＵ２０により指定される。
【００２７】
レンズＣＰＵ２０は、詳細を後述するようにＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を枠操作部１４から取得してそのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部２２に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部２２から取得する共に、取得した焦点評価値が最大（極大）、即ち、ＡＦエリアの被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。
【００２８】
枠操作部１４は、上記ＡＦ枠の位置、大きさ、形状等のＡＦ枠の設定内容を操作者が指定するための操作部材を備えている。尚、図２に示すようにＡＦ枠５０は、カメラヘッド１０の撮像素子での撮影範囲又は撮影画像（の画面）に対してＡＦの対象範囲であるＡＦエリア５２の輪郭を示す。枠操作部１４は、その操作部材が操作者により操作されると、その操作に従ってＡＦ枠の位置等の設定内容を設定、変更する。尚、本実施の形態ではＡＦ枠の形状については特に言及しないものとし、縦横比が一定の矩形状に設定されているものとする。また、枠操作部１４の操作部材によるＡＦ枠の位置等の設定内容の変更は、操作前におけるＡＦ枠の設定内容を基準にしてその後の操作部材の操作量に対応する変更量分だけ設定内容に変更を加えることによって行われようになっている。例えばＡＦ枠の位置はトラックボールの回転方向及び回転量に対応する方向及び移動量分だけＡＦ枠が縦横方向に変位する。また、撮影範囲（撮影画像の画面）内におけるＡＦ枠の位置（本実施の形態では矩形のＡＦ枠の中心位置）を決める点をＡＦポイントというものとすると、ＡＦ枠の位置はＡＦポイントの位置を設定することによって決定される。
【００２９】
一方、枠操作部１４の操作部材が操作されず、操作者によってＡＦ枠の設定内容の変更が指示さてれない状態では、後述する追尾装置１６から与えられるＡＦ枠情報によりＡＦ枠の設定内容を設定、変更する。枠操作部１４は、操作者の操作又は追尾装置１６からのＡＦ枠情報により設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をレンズＣＰＵ２０からの要求に従ってレンズＣＰＵ２０に送信する。これによってＡＦの対象範囲が、枠操作部１４において設定、変更されたＡＦ枠の範囲に設定される。
【００３０】
尚、追尾装置１６は、操作者が指定した対象物（対象被写体）の画像を撮影画像上で検出しながらその対象物の画像の移動に合わせてＡＦエリア（ＡＦ枠）の位置を自動で変更（自動追尾）する自動追尾機能を実現するための装置であり、操作者によるＡＦ枠の変更のマニュアル操作が行われていない場合には追尾装置１６によるＡＦ枠の自動追尾が行われ、操作者によるＡＦ枠の変更のマニュアル操作が行われた場合にはそのマニュアル操作が追尾装置１６よりも優先されて操作者のマニュアル操作に従ってＡＦ枠が変更される。自動追尾機能をオフしてマニュアル操作のみを有効にすることもできる。
【００３１】
また、枠操作部１４は、上述のように設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をカメラヘッド１０にも送信し、そのＡＦ枠をビューファインダ１８の画面上の対応する位置に表示させる。これによって操作者がビューファインダ１８を見ながらその時のＡＦ枠の位置等を認識することができるようになっている。
【００３２】
更に、後述するように追尾装置１６は、ＡＦ枠を所望の対象物に自動追尾させるために、その対象物の画像を基準パターン画像として記憶し、パターンマッチング処理により画面上での対象物の位置を検出する処理を行っている。枠操作部１４は、追尾装置１６において基準パターン画像が取り込まれた範囲を基準パターン枠情報として追尾装置１６から取得し、その基準パターン枠情報をカメラヘッド１０に送信して基準パターン画像の取込範囲（輪郭）を示す基準パターン枠をビューファンダ１８の画面上の対応する位置に表示させることができるようになっている。また、その基準パターン枠の表示形態（連続表示、点滅表示等）も変更することができるようになっており、追尾機能が正常に動作している場合には、基準パターン枠を連続表示（非点滅表示）され、追尾機能が正常に動作していない場合、即ち、追尾不能な場合には、基準パターン枠が点滅表示されるようになっている。
【００３３】
追尾装置１６は、画像処理部２６、画像入力部２８、シリアル通信インターフェース３０等を備えている。画像入力部２８は、上記ＡＦ用撮像回路２４により得られた映像信号（輝度信号）をＡＦ処理部２２を介して取得し、画像処理部２６からの要求に応じてその映像信号から得られる撮影画像の画像データを画像処理部２６に与える。
【００３４】
画像処理部２６は、詳細を後述する画像入力部２８から取得した画像データに基づいて、操作者によって指定された対象物の画像の撮影画像（画面）上での移動を後述のようにパターンマッチング処理により検出し、その対象物の移動にＡＦ枠を追従させるためのＡＦ枠の位置（ＡＦポイント）を求める。そして、そのＡＦ枠の位置を示すＡＦ枠情報をシリアル通信インターフェース３０を介して上記枠操作部１４に送信し、ＡＦ枠を自動追尾させる際のＡＦ枠の位置を指定する。
【００３５】
次に、追尾装置１６における画像処理部２６での追尾処理について図３のフローチャートを参照しながら詳説する。操作者は、まず、ビューファインダ１８の画面に表示された映像及びＡＦ枠を見ながら枠操作部１４の操作部材を操作し、ピント合わせの対象として追尾する対象物の全体又は一部をＡＦ枠に納める。これによって、レンズＣＰＵ２０におけるＡＦの処理によりその対象物にピントが合わせられる。
【００３６】
続いて、操作者は、枠操作部１４の決定ボタンを押す。これによって枠操作部１４から基準パターン画像の設定の指示（基準パターン画像の記憶指示）が画像処理部２６に与えられる。
【００３７】
画像処理部２６は、基準パターン画像の設定の指示が与えられると、そのときのＡＦ枠の設定内容を示すＡＦ枠情報を枠操作部１４からシリアル通信インターフェース３０を介して読み取ると共に、レンズ装置１２のＡＦ処理部２２から画像入力部２８に与えられている映像信号から１画面分（１フレーム分）の撮影画像（画像データ）を取り込む（ステップＳ１０）。尚、このとき取り込んだ撮影画像をＡ画像とする。また、ＡＦ処理部２２から画像入力部２８に与えられる映像信号が、例えば、１画面分（１フレーム分）の撮影画像を２フィールド分の映像信号によって構成するインターレース方式の映像信号とすると、画像入力部２８から１画面分として取り込む撮影画像は、１フィールド分の映像信号によって得られる撮影画像であってもよいし、２フィールド分の映像信号によって得られる撮影画像であってもよい。本明細書では、１画面分の撮影画像を、インターレース方式における１フィールド分の映像信号又は２フィールド分の映像信号によって得られる撮影画像とする場合、又は、ノンインターレース方式における１フレーム分の映像信号によって得られる撮影画像とする場合であっても１画面を１フレームというものとする。
【００３８】
続いて画像処理部２６は、ステップＳ１０で取り込んだＡ画像のうち上記ＡＦ枠情報によって指定されたＡＦ枠よりも少し小さめの範囲を基準パターン枠の範囲としてその範囲内の画像をＡ画像から抽出し、基準パターン画像として設定（記憶）する（ステップＳ１２）。
【００３９】
ここで、基準パターン画像は、後述のパターンマッチング処理で使用する画像データであり、初期の基準パターン画像を設定する際の基準パターン枠は、例えば、ＡＦ枠と同じ範囲としてもよく、操作者が基準パターン画像の取込範囲として適切な範囲（位置、大きさ、形状の範囲）となるようにＡＦ枠の範囲を設定することによって基準パターン枠を設定してもよい。この場合、基準パターン画像の設定が終了した後に、ＡＦ枠をＡＦの対象範囲として適切な範囲に設定し直せばよい。また、初期の基準パターン画像の設定の際にもＡＦ枠とは別に基準パターン枠をビューファインダ１８に表示させると共に、その基準パターン枠の範囲をＡＦ枠とは別に操作者の操作によって設定できるようにしてもよい。
【００４０】
ステップＳ１２における基準パターン画像の設定が完了すると、続いて画像処理部２６は、以下のステップＳ１４〜ステップＳ２８の処理を繰り返し実行する。まず、新たに１画面分の撮影画像を画像入力部２８から取り込む（ステップＳ１４）。尚、このステップＳ１４で取得した撮影画像をＢ画像というものとする。
【００４１】
続いて、画像処理部２６は、Ｂ画像の画面範囲内に設定される所定のパターン検出範囲において、記憶されている基準パターン画像に最も合致する（最も相関値が高い）画像の範囲（位置）を周知のパターンマッチング処理により検出する。これによって、基準パターン画像として設定した対象物の画面上での位置を検出する（ステップＳ１６）。
【００４２】
例えば、基準パターン画像に最も合致する画像の位置を正規化相関パターンマッチングを使用して検出する場合には、次のようの相関値（相関係数）ｒの演算が行われる。
【００４３】
基準パターン画像の画素値をｇで表し、基準パターン画像との相関値ｒを求めるＢ画像の着目領域の画素値をｆで表すものとし、それらの領域内での各画素の画素値（輝度値）の総和を（Σｇ）、（Σｆ）、各画素の画素値の２乗和を（Σｇ２）、（Σｆ２）、基準パターン画像とＢ画像の着目領域の画像との対応する画素の画素値の積の総和を（Σｆｇ）、基準パターン画像の画素数をｎとすると、次式、
ｒ２＝｛ｎ（Σｆｇ）−ΣｆΣｇ｝２／［｛ｎΣｆ２−（Σｆ）２｝｛ｎΣｇ２−（Σｇ）２｝
により相関値ｒが算出される。そして、Ｂ画像のパターン検出範囲内において着目領域の位置を変化させながら各位置の着目領域に対して上式の演算を行うことによって、Ｂ画像のパターン検出範囲内における各位置の着目領域に対する相関値ｒが算出される。
【００４４】
相関値ｒは、０≦ｒ≦１の範囲の値をとり、基準パターン画像との合致度が高い画像を有する着目領域ほど１の値に近い相関値を示す。そこで、相関値ｒが最大となったときの着目領域の画像が基準パターン画像に最も合致する画像として検出される。そのときの着目領域の位置（範囲）が基準パターン画像に最も合致する画像の位置、即ち、追尾する対象物の画面上での位置として検出される。
【００４５】
次に画像処理部２６は、基準パターン画像がＢ画像内に検出されたか否かを判定する（ステップＳ１８）。上述のように正規化相関パターンマッチングにより基準パターン画像と最も合致する画像の位置を検出する場合、基準パターン画像が検出されたか否かは、基準パターン画像と最も合致する画像を検出したときの相関値（即ち、上述の各位置の着目領域に対する相関値ｒのうち最大を示した相関値）が、所定のしきい値以上か否かによって判定される。相関値が所定のしきい値以上の場合には、ステップＳ１８においてＹＥＳと判定され、相関値が所定のしきい値より小さい場合には、ステップＳ１８においてＮＯと判定される。
【００４６】
ステップＳ１８においてＹＥＳと判定した場合、画像処理部２６は、ステップＳ１６によって検出した対象物の位置に基づいてその対象物が画面上で移動したか否かを判定する（ステップＳ２０）。ＹＥＳと判定した場合には、その対象物が移動した分だけＡＦエリアの位置（ＡＦポイント）をその移動方向と同一方向に変位させ、そのＡＦエリアの位置を示すＡＦ枠情報を枠操作部１４に送信する。これによってＡＦ枠の設定内容、即ち、ＡＦ枠の位置を更新する（ステップＳ２２）。ＡＦ枠の位置を更新すると、それに従ってレンズ装置１２におけるＡＦの対象範囲が更新されると共に、ビューファインダ１８の画面上に表示されるＡＦ枠の位置が更新される。ステップＳ２０においてＮＯと判定した場合には、ステップＳ２２の処理は実行しない。
【００４７】
次に、画像処理部２６は、ステップＳ１６のパターンマッチング処理により基準パターン画像に最も合致する画像として検出したＢ画像内の画像を基準パターン画像として取り込み、その画像によって基準パターン画像を更新する（ステップＳ２４）。そして、その更新した基準パターン画像の取込範囲を示す基準パターン枠の範囲（輪郭）を示す基準パターン枠情報を枠操作部１４に送信する。これによって枠操作部１４を通じて図４（Ａ）に示すようにビューファイン１８の画面上に基準パターン枠５４を通常表示させる（ステップＳ２６）。尚、通常表示は後述の点滅表示に対して点滅しない連続表示である。また、同図に示すようにＡＦ枠５０と共に基準パターン枠５４が表示される。
【００４８】
一方、ステップＳ１８においてＮＯと判定した場合には、上述のような基準パターン画像の更新を行わず、それまでの基準パターン枠の範囲を示す基準パターン枠情報を枠操作部１４に送信すると共に、基準パターン画像が検出されなかったこと、即ち、追尾不能であることを示す追尾不能情報を枠操作部１４に送信する。これによって枠操作部１４を通じて図４（Ｂ）に示すようビューファインダ１８の画面上に基準パターン枠５４を点滅表示させる（ステップＳ２８）。このように基準パターン枠を点滅表示させることによって操作者が即座にその旨を認知することができ、ＡＦ枠の操作をマニュアルに切り替える等の対応を図ることができるようになっている。
【００４９】
以上のステップＳ２６又はステップＳ２８の処理が終了するとステップＳ１４の処理に戻り、ステップＳ１４からの処理を繰り返し実行する。
【００５０】
以上、上記実施の形態では、基準パターン枠をＡＦ枠とは別に設定する場合について説明したが、ＡＦ枠を基準パターン枠とすることも可能であり、その場合には、上記基準パターン枠の表示と同様に、ビューファインダ１８に表示されるＡＦ枠を通常表示から点滅表示に切り替えることによって追尾不能であること（自動追尾機能が正常に動作しているか否か）を操作者に通知するようにしてもよい。
【００５１】
また、ＡＦ枠を基準パターン枠とする場合に限らず（ＡＦ枠と基準パターン枠とが異なる場合）であっても、基準パターン枠をビューファインダ１８に表示させることなく、ビューファンダ１８に表示されるＡＦ枠を通常表示から点滅表示に切り替えることによって追尾不能であることを操作者に通知するようにしてもよい。
【００５２】
また、基準パターン枠やＡＦ枠を点滅表示させることによって追尾不能であることを通知するのではなく、枠の色を変える等、所望の方法で枠の表示態様を変えることによって追尾不能であることを通知するようにしてもよい。
【００５３】
更に、追尾不能であることを通知する方法として基準パターン枠やＡＦ枠を用いる以外に文字情報や警告ランプ等をビューファインダ１８の画面に表示させてもよいし、又は、枠操作部１４等にＬＥＤ等のランプを設置し、自動追尾機能が正常に動作しているか否かによってそのランプの表示状態を切り替える（消灯、点灯、点滅等）ようにしてもよい。
【００５４】
また、上記実施の形態では、ピントを合わせる対象として追尾する対象物の画面上での位置を検出する方法として、パターンマッチングを使用した場合について説明したが、他の方法を用いてもよい。例えば、追尾する対象物の色情報や対象物に取り付けた所定のマーク等に基づいて追尾する対象物の画面上での位置を検出することも可能である。このような他の方法を用いた場合であっても追尾不能な場合に所定の方法でその旨を操作者に通知することができる。
【００５５】
また、上記実施の形態では、レンズ装置１２、枠操作部１４、追尾装置１６は別体の装置として図示したが、いずれか２つ又は全ては一体の装置であってもよい。また、上記実施の形態では追尾装置１６の処理に関する操作部材（例えば、対象物を決定する決定スイッチ等）も枠操作部１４に設けるようにしたが、追尾装置１６に設けるようにしてもよい。
【００５６】
また、上記実施の形態では、ＡＦ用に映像信号をカメラヘッド１０の撮像素子とは別のＡＦ専用の撮像素子により取得するようにしたが、ＡＦ用としてカメラヘッド１０の撮像素子により得られる映像信号を用いてもよい。但し、上記実施の形態のようにＡＦ用の映像信号をＡＦ専用の撮像素子から得るようにすると、カメラヘッド１０が高精細度（ＨＤ）テレビジョンシステムに対応のものである場合にそのＨＤ信号を使用することなくＡＦを行うことができるため小型化・省電力化に有利である。
【００５７】
また、上記実施の形態ではコントラスト方式のＡＦを採用した場合について説明したが、コントラスト方式以外のＡＦを採用した場合であっても本発明を適用することができる。
【図面の簡単な説明】
【００５８】
【図１】図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。
【図２】図２は、ＡＦ枠を例示した図である。
【図３】図３は、追尾装置における追尾処理の処理手順を示したフローチャートである。
【図４】図４は、追尾不能であることの表示に使用される基準パターン枠を例示した図である。
【符号の説明】
【００５９】
１０…カメラヘッド、１２…レンズ装置、１４…枠操作部、１６…追尾装置、１８…ビューファインダ、２０…レンズＣＰＵ、２２…ＡＦ処理部、２４…ＡＦ用撮像回路、２６…画像処理部、２８…画像入力部、３０…シリアル通信インターフェース、５０…ＡＦ枠、５２…ＡＦエリア、５４…基準パターン枠
【図１】
2006258943.tif 000003
【図２】
2006258943.tif 000004
【図３】
2006258943.tif 000005
【図４】
2006258943.tif 000006