(57)【要約】      （修正有）【課題】オートフォーカス（ＡＦ）の対象範囲であるＡＦエリアをその対象被写体に自動追尾させるオートフォーカスシステムにおいて、フレーム間差分抽出によって前後フレーム間で比較する画像範囲をパターンマッチングを利用して適切に設定し、カメラがパン／チルト動作している場合にでも追尾できるようにする。【解決手段】追尾装置１６は、ＡＦエリアよりも大きめの範囲から取り込んだ画像を基準パターン画像として記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と最も合致する画像を検出する。そして、基準パターン画像と、検出した画像との差分画像を求めることによって移動物体の画像を抽出する。ピント合わせの対象とする対象被写体が移動している場合にはその対象被写体の位置を差分画像から求めることができ、ＡＦエリアの位置をその対象被写体の位置に合わせて変更することによって対象被写体を追尾することができる。【選択図】      図１
2006195341.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって現フレームの撮影画像よりも前に撮影された前フレームの撮影画像の範囲のうち、少なくとも静止物体の画像を含む基準パターン画像を取り込むための基準パターン画像取込範囲を設定する基準パターン画像取込範囲設定手段と、
前記前フレームの撮影画像のうち前記基準パターン画像取込範囲設定手段により設定された基準パターン画像取込範囲の画像を基準パターン画像として取り込む基準パターン画像取込手段と、
前記前フレームの撮影画像のうちピント合わせの対象として追尾する対象被写体の画像の位置を設定する対象被写体位置設定手段と、
前記対象被写体位置設定手段により設定された位置に基づいて、前記前フレームの撮影画像の範囲のうち前記対象被写体の画像と該対象被写体以外の画像を含む画像を取り込むための第１比較画像取込範囲を設定する第１比較画像取込範囲設定手段と、
前記前フレームの撮影画像のうち前記第１比較画像取込範囲設定手段により設定された第１比較画像取込範囲の画像を第１比較画像として取り込む第１比較画像取込手段と、
前記現フレームの撮影画像の範囲のうち前記基準パターン画像取込手段により取り込まれた基準パターン画像と最も合致する画像の範囲を検出する合致画像範囲検出手段と、
前記現フレームの撮影画像の範囲のうち、前記基準パターン画像取込範囲設定手段により設定された基準パターン画像取込範囲に対して前記合致画像範囲検出手段により検出された範囲が変位した方向及び大きさで前記第１比較画像取込範囲設定手段により設定された第１比較画像取込範囲を変位させた範囲を第２比較画像取込範囲として設定する第２比較画像取込範囲設定手段と、
前記現フレームの撮影画像のうち前記第２比較画像取込範囲設定手段により設定された第２比較画像取込範囲の画像を第２比較画像として取り込む第２比較画像取込手段と、
前記第１比較画像取込手段により取り込まれた第１比較画像と、前記第２比較画像取込手段により取り込まれた第２比較画像との差分を抽出することによって得られる差分画像に基づいて前記現フレームの撮影画像における前記対象被写体の画像の位置を検出する対象被写体位置検出手段と、
前記カメラの撮影範囲のうちピント合わせの対象とする位置を前記対象被写体位置設定手段により設定された位置から前記対象被写体位置検出手段により検出された位置に変更することによって前記対象被写体にピントが合うように前記カメラの光学系のフォーカス調整を行うオートフォーカス手段と、
を備えたことを特徴とするオートフォーカスシステム。
【請求項２】
前記基準パターン画像取込範囲設定手段と前記第１比較画像取込範囲設定手段は同一手段とし、前記第１比較画像を前記基準パターン画像として用いることを特徴とする請求項１のオートフォーカスシステム。
【請求項３】
前記第１比較画像取込範囲設定手段は、前記第１画像取込範囲の位置が前記対象被写体の位置に追従するように前記対象被写体位置検出手段により検出された位置に基づいて前記第１比較画像取込範囲を設定する位置を変更することを特徴とする請求項１又は２のオートフォーカスシステム。
【請求項４】
前記オートフォーカス手段は、前記カメラの撮影範囲内に設定されるＡＦエリアの範囲内の被写体をピント合わせの対象とすると共に、前記ＡＦエリアの位置を前記ピント合わせの対象とする位置として変更し、
第１比較画像取込範囲設定手段は、前記ＡＦエリアよりも大きい範囲を前記第１比較画像取込範囲として設定することを特徴とする請求項１、２、又は、３のオートフォーカスシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオートフォーカスシステムに係り、特にカメラの撮影範囲のうちオートフォーカス（ＡＦ）の対象とする位置（範囲）を自動で移動させて所望の対象被写体を追尾しながらピント合わせすることができるオートフォーカスシステムに関する。
【背景技術】
【０００２】
テレビカメラのように撮影素子（ＣＣＤ等）により被写体の画像を電気信号（画像信号）に変換する撮像システムでは、オートフォーカス（以下、ＡＦと記す）の方式として一般的にコントラスト方式が採用されている。コントラスト方式は、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態（合焦状態）に自動でピント合わせを行う方式である。
【０００３】
コントラスト方式のようなＡＦでは、カメラの撮影範囲内にある被写体の全体をＡＦの対象とするのではなく、撮影範囲のうちの一部の範囲にある被写体のみを対象とすることが多い。コントラスト方式のＡＦでは、撮像素子の撮像エリア全体により取り込まれた画像信号のうち、ＡＦの対象とする範囲の画像信号を抽出し、その抽出した範囲の画像信号のコントラストが最も高くなるようにフォーカスを制御することによってＡＦの対象を一部の範囲の被写体のみに限定している。尚、本明細書ではカメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又はカメラの撮影画像（の画面）の全範囲のうちＡＦの対象とする被写体の画像範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠というものとする。
【０００４】
また、単一のＡＦエリアが撮影範囲内の所定位置に固定して設定される場合、標準的には矩形のＡＦエリアが撮影範囲の中央部に設定されるが、操作者の操作によってＡＦエリアの位置を変更可能にしたものも知られている（例えば、特許文献１参照）。
【特許文献１】特開２００２−３６５５１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ＡＦエリアを所望の位置に変更できるようにした場合において、ピントを合わせたい対象被写体が撮影範囲内で移動する物体の場合には、操作者はトラックボールやジョイスティック等の操作装置を操作してその対象被写体の動きに合わせてＡＦエリアの位置を動かす必要がある。そのため、その操作の手間や注意力を要するという問題があった。
【０００６】
そこで、移動する対象被写体に対してＡＦエリアを自動で追尾させるようにすると操作者がＡＦエリアの位置を操作する手間がなくなるため効果的である。ＡＦエリアを所望の対象被写体に自動追尾させる方法としては、いわゆるフレーム間差分抽出による動体認識の技術を応用することが考えられる。これによれば、カメラで撮影される映像の現フレームの撮影画像と前フレームの撮影画像との差分を抽出することによって動体のみの画像を抽出する。これによって撮影範囲内での動体の位置を検出することができる。そして、その動体が、追尾する対象被写体であればＡＦエリアをその動体の位置に移動させることによってＡＦエリアを対象被写体に追尾させることができる。
【０００７】
このようなフレーム間差分抽出の方法は、比較的高速で移動する対象被写体の追尾も可能である等の利点がある。しかしながら、フレーム間差分抽出の方法のみでは、カメラがパン／チルト動作したときに対象被写体以外の画像も撮影範囲内で移動するため、対象被写体のみの画像を抽出することができず、ＡＦエリアを対象被写体に追尾させることができないという問題がある。
【０００８】
本発明はこのような事情に鑑みてなされたもので、カメラがパン／チルト動作した場合でもフレーム間差分抽出の方法を用いてピントを合わせる対象の対象被写体を適切に自動追尾することができるオートフォーカスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、請求項１に記載のオートフォーカスシステムは、カメラによって現フレームの撮影画像よりも前に撮影された前フレームの撮影画像の範囲のうち、少なくとも静止物体の画像を含む基準パターン画像を取り込むための基準パターン画像取込範囲を設定する基準パターン画像取込範囲設定手段と、前記前フレームの撮影画像のうち前記基準パターン画像取込範囲設定手段により設定された基準パターン画像取込範囲の画像を基準パターン画像として取り込む基準パターン画像取込手段と、前記前フレームの撮影画像のうちピント合わせの対象として追尾する対象被写体の画像の位置を設定する対象被写体位置設定手段と、前記対象被写体位置設定手段により設定された位置に基づいて、前記前フレームの撮影画像の範囲のうち前記対象被写体の画像と該対象被写体以外の画像を含む画像を取り込むための第１比較画像取込範囲を設定する第１比較画像取込範囲設定手段と、前記前フレームの撮影画像のうち前記第１比較画像取込範囲設定手段により設定された第１比較画像取込範囲の画像を第１比較画像として取り込む第１比較画像取込手段と、前記現フレームの撮影画像の範囲のうち前記基準パターン画像取込手段により取り込まれた基準パターン画像と最も合致する画像の範囲を検出する合致画像範囲検出手段と、前記現フレームの撮影画像の範囲のうち、前記基準パターン画像取込範囲設定手段により設定された基準パターン画像取込範囲に対して前記合致画像範囲検出手段により検出された範囲が変位した方向及び大きさで前記第１比較画像取込範囲設定手段により設定された第１比較画像取込範囲を変位させた範囲を第２比較画像取込範囲として設定する第２比較画像取込範囲設定手段と、前記現フレームの撮影画像のうち前記第２比較画像取込範囲設定手段により設定された第２比較画像取込範囲の画像を第２比較画像として取り込む第２比較画像取込手段と、前記第１比較画像取込手段により取り込まれた第１比較画像と、前記第２比較画像取込手段により取り込まれた第２比較画像との差分を抽出することによって得られる差分画像に基づいて前記現フレームの撮影画像における前記対象被写体の画像の位置を検出する対象被写体位置検出手段と、前記カメラの撮影範囲のうちピント合わせの対象とする位置を前記対象被写体位置設定手段により設定された位置から前記対象被写体位置検出手段により検出された位置に変更することによって前記対象被写体にピントが合うように前記カメラの光学系のフォーカス調整を行うオートフォーカス手段と、を備えたことを特徴としている。
【００１０】
本発明によれば、いわゆるフレーム間差分抽出の方法によって移動する対象被写体の位置を検出してその位置に追従するようにオートフォーカス手段によるピント合わせの対象とする位置を変更する場合において、少なくとも静止物体の画像を含む基準パターン画像を前フレームの撮影画像から取り込んでおき、現フレームの撮影画像においてその基準パターン画像に最も合致する画像の範囲を検出することによって撮影画像上で基準パターン画像が変位した方向及び大きさ、即ち、カメラがパン／チルト動作したことによる撮影画像上での静止物体の画像の変位の方向及び大きさを知ることができる。一方、前フレームの撮影画像の範囲に第１比較画像取込範囲を設定し、その範囲からピント合わせの対象とする対象被写体の画像とそれ以外の画像（静止物体の画像等）を含む画像を第１比較画像として取り込んでおく。そして、現フレームの撮影画像の範囲において、基準パターン画像が変位した方向と大きさで第１比較画像取込範囲を変位させた範囲を第２比較画像取込範囲としてその範囲の画像を第２比較画像として取り込むことによって、カメラがパン／チルト動作する前の第１比較画像取込範囲と同じ画角範囲の画像を取り込むことができる。その結果、第１比較画像と第２比較画像の差分を抽出して得られる差分画像によって静止物体の画像を取り除いた移動物体の画像のみを抽出することができ、対象被写体が移動している場合には差分画像から対象被写体の位置を検出することができる。その位置に基づいてオートフォーカス手段によるピント合わせの対象位置を変更することによってピント合わせの対象として対象被写体を自動追尾することができる。
【００１１】
請求項２に記載のオートフォーカスシステムは、請求項１に記載の発明において、前記基準パターン画像取込範囲設定手段と前記第１比較画像取込範囲設定手段は同一手段とし、前記第１比較画像を前記基準パターン画像として用いることを特徴としている。本発明のように差分画像を得るための第１比較画像を基準パターン画像として兼用し、第１比較画像を、カメラのパン／チルト動作による撮影画像上での静止物体の画像の変位の方向及び大きさを検出するための基本パターン画像として、また、差分画像を得るための画像として用いることもできる。
【００１２】
請求項３に記載のオートフォーカスシステムは、請求項１又は２に記載の発明において、前記第１比較画像取込範囲設定手段は、前記第１画像取込範囲の位置が前記対象被写体の位置に追従するように前記対象被写体位置検出手段により検出された位置に基づいて前記第１比較画像取込範囲を設定する位置を変更することを特徴としている。本発明では、第１比較画像内に対象被写体を含む必要があるため、対象被写体の位置に合わせて第１比較画像取込範囲の位置を変更するようにしている。
【００１３】
請求項４に記載のオートフォーカスシステムは、請求項１、２、又は、３に記載の発明において、前記オートフォーカス手段は、前記カメラの撮影範囲内に設定されるＡＦエリアの範囲内の被写体をピント合わせの対象とすると共に、前記ＡＦエリアの位置を前記ピント合わせの対象とする位置として変更し、第１比較画像取込範囲設定手段は、前記ＡＦエリアよりも大きい範囲を前記第１比較画像取込範囲として設定することを特徴としている。本発明では、オートフォーカス手段によりピントを合わせる対象を所定のＡＦエリアの範囲内の被写体として設定する場合に、第１比較画像取込範囲をそのＡＦエリアよりも大きい範囲とすることによって第１比較画像内に対象被写体とそれ以外（静止物体）の画像を含むようにしている。
【発明の効果】
【００１４】
本発明に係るオートフォーカスシステムによれば、カメラがパン／チルト動作した場合でもフレーム間差分抽出の方法を用いてピントを合わせる対象の対象被写体を適切に自動追尾することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面に従って本発明に係るオートフォーカスシステムの好ましい実施の形態について詳説する。
【００１６】
図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。同図に示す撮像システムは、例えば放送用テレビカメラでの撮影に用いられる撮像システムであり、同図にはレンズ交換可能なカメラヘッド１０、カメラヘッド１０のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２、枠操作部１４、追尾装置１６等が示されている。
【００１７】
カメラヘッド１０には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施される。信号処理回路によって生成される所定形式の映像信号は、カメラヘッド１０の映像信号出力端子等から外部機器に出力される。また、カメラヘッド１０には、構図の確認等のためのビューファインダ（モニタ）１８が設置されており、そのビューファインダ１８にカメラヘッド１０からの映像信号が与えられ、カメラヘッド１０で撮影されているリアルタイムの画像（映像）がビューファインダ１８の画面上に表示されるようになっている。また、ビューファインダ１８の画面上にはオートフォーカス（ＡＦ）の対象範囲であるＡＦエリアの情報、例えば、ＡＦ枠も表示される。
【００１８】
レンズ装置１２は、カメラヘッド１０のレンズマウントに装着される図示しない撮影レンズ（光学系）を備えており、その撮影レンズにより被写体の像がカメラヘッド１０の撮像素子の撮像面に結像される。撮影レンズには、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、図示しないモータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、ズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。尚、本実施の形態のようにオートフォーカスに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作部（レンズ装置１２に接続されるコントローラの操作部等）から操作者の操作に従って出力されるコントロール信号に基づいて可動部の動作が制御されるが詳細は省略する。
【００１９】
また、同図に示すように、レンズ装置１２には、レンズ装置１２全体を統括制御するレンズＣＰＵ２０、オートフォーカス（ＡＦ）処理を実行するＡＦ処理部２２、ＡＦ用撮像回路２４等が搭載されている。ＡＦ用撮像回路２４は、ＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、撮像素子（ＣＣＤ等）や撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路２４の撮像素子をＡＦ用撮像素子という。また、ＡＦ用撮像回路２４から出力される映像信号は輝度信号とする。
【００２０】
ＡＦ用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラヘッド１０の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラヘッド１０の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる撮影画像は、カメラヘッド１０の撮像素子により取り込まれる撮影画像と一致している。尚、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラヘッド１０の撮像素子の撮影範囲を包含する大きな範囲であってもよい。また、ＡＦ用撮像素子を設けることなくカメラヘッド１０からの映像信号をＡＦ処理部２２に与えるようにしてもよい。
【００２１】
ＡＦ処理部２２は、ＡＦ用撮像回路２４から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象範囲であるＡＦエリアに対応する範囲の信号を１画面分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵ２０に与えられる。尚、ＡＦエリアの範囲は後述のようにレンズＣＰＵ２０により指定される。
【００２２】
レンズＣＰＵ２０は、詳細を後述するようにＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を枠操作部１４から取得してそのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部２２に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部２２から取得する共に、取得した焦点評価値が最大（極大）、即ち、ＡＦエリアの被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。
【００２３】
枠操作部１４は、上記ＡＦ枠の位置、大きさ、形状等のＡＦ枠の設定内容を操作者が指定するための操作部材を備えている。尚、ＡＦ枠は、図２に示すようにカメラヘッド１０の撮像素子での撮影範囲又は撮影画像（の画面）に対してＡＦの対象範囲であるＡＦエリアの輪郭を示す。枠操作部１４は、その操作部材が操作者により操作されると、その操作に従ってＡＦ枠の位置等の設定内容を設定、変更する。尚、本実施の形態ではＡＦ枠の形状は縦横比が一定の矩形に制限されているものとする。また、枠操作部１４の操作部材によるＡＦ枠の位置や大きさ等の設定内容の変更は、操作前におけるＡＦ枠の設定内容を基準にしてその後の操作部材の操作量に対応する変更量分だけ設定内容に変更を加えることによって行われようになっている。例えばＡＦ枠の位置はトラックボールの回転方向及び回転量に対応する方向及び移動量分だけＡＦ枠が縦横方向に変位する。また、撮影範囲（撮影画像の画面）内におけるＡＦ枠の位置（本実施の形態では矩形のＡＦ枠の中心位置）を決める点をＡＦポイントというものとすると、ＡＦ枠の位置はＡＦポイントの位置を設定することによって決定される。
【００２４】
一方、枠操作部１４の操作部材が操作されず、操作者によってＡＦ枠の設定内容の変更が指示さてれない状態では、後述する追尾装置１６から与えられるＡＦ枠情報によりＡＦ枠の設定内容を設定、変更する。枠操作部１４は、操作者の操作又は追尾装置１６からのＡＦ枠情報により設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をレンズＣＰＵ２０からの要求に従ってレンズＣＰＵ２０に送信する。これによってＡＦの対象範囲が、枠操作部１４において設定、変更されたＡＦ枠の範囲に設定される。
【００２５】
尚、追尾装置１６は、操作者が指定した対象物（対象被写体）の画像を撮影画像上で検出しながらその対象物の画像の移動に合わせてＡＦエリア（ＡＦ枠）の位置を自動で変更（自動追尾）させるための装置であり、操作者によるＡＦ枠の変更の操作が行われていない場合には追尾装置１６によるＡＦ枠の自動追尾が行われ、操作者によるＡＦ枠の変更の操作が行われた場合にはその操作が追尾装置１６よりも優先されて操作者の操作に従ってＡＦ枠が変更される。
【００２６】
また、枠操作部１４は、上述のように設定、変更したＡＦ枠の設定内容を示すＡＦ枠情報をカメラヘッド１０にも送信し、そのＡＦ枠をビューファインダ１８の画面上の対応する位置に表示させる。これによって操作者がビューファインダ１８を見ながらその時のＡＦ枠の位置、大きさ、形状等を認識することができる。
【００２７】
追尾装置１６は、画像処理部２６、画像入力部２８、シリアル通信インターフェース３０等を備えている。画像入力部２８は、上記ＡＦ用撮像回路２４により得られた映像信号（輝度信号）をＡＦ処理部２２を介して取得し、画像処理部２６からの要求に応じてその映像信号から得られる撮影画像の画像データを画像処理部２６に与える。
【００２８】
画像処理部２６は、詳細を後述する画像入力部２８から取得した画像データに基づいて、操作者によって指定された対象物の画像の撮影画像（画面）上での移動を後述のように検出し、その対象物の移動にＡＦ枠を追従させるためのＡＦ枠の位置（ＡＦポイント）を求める。そして、そのＡＦ枠の位置を示すＡＦ枠情報をシリアル通信インターフェース３０を介して上記枠操作部１４に送信し、ＡＦ枠を自動追尾させる際のＡＦ枠の位置を指定する。
【００２９】
次に、追尾装置１６における画像処理部２６での追尾処理について図３のフローチャートを参照しながら詳説する。操作者は、まず、ビューファインダ１８の画面に表示された映像及びＡＦ枠を見ながら枠操作部１４の操作部材を操作し、ピント合わせの対象として追尾する対象物の全体又は一部をＡＦ枠に納める。これによって、レンズＣＰＵ２０におけるＡＦの処理によりその対象物にピントが合わせられる。
【００３０】
続いて、操作者は、枠操作部１４の決定ボタンを押す。これによって枠操作部１４から基準パターン画像の設定の指示（基準パターン画像の記憶指示）が画像処理部２６に与えられる。
【００３１】
画像処理部２６は、基準パターン画像の設定の指示が与えられると、そのときのＡＦ枠の設定内容を示すＡＦ枠情報を枠操作部１４からシリアル通信インターフェース３０を介して読み取ると共に、レンズ装置１２のＡＦ処理部２２から画像入力部２８に与えられている映像信号から１画面分（１フレーム分）の撮影画像（画像データ）を取り込む（ステップＳ１０）。尚、このとき取り込んだ撮影画像をＡ画像とする。また、ＡＦ処理部２２から画像入力部２８に与えられる映像信号が、例えば、１画面分（１フレーム分）の撮影画像を２フィールド分の映像信号によって構成するインターレース方式の映像信号とすると、画像入力部２８から１画面分として取り込む撮影画像は、１フィールド分の映像信号によって得られる撮影画像であってもよいし、２フィールド分の映像信号によって得られる撮影画像であってもよい。本明細書では、１画面分の撮影画像を、インターレース方式における１フィールド分の映像信号又は２フィールド分の映像信号によって得られる撮影画像とする場合、又は、ノンインターレース方式における１フレーム分の映像信号によって得られる撮影画像とする場合であっても１画面を１フレームというものとする。
【００３２】
続いて画像処理部２６は、ステップＳ１０で取り込んだＡ画像のうち上記ＡＦ枠情報によって指定されたＡＦ枠よりも少し大きめの範囲を基準パターン枠の範囲としてその範囲内の画像をＡ画像から抽出し、基準パターン画像として設定（記憶）する（ステップＳ１２）。記憶した基準パターン画像をＡ′画像とする。
【００３３】
ここで、図４（Ａ）に示すようなＡ画像が画像処理部２６に取り込まれ、ピント合わせの対象として追尾する対象物が丸形で簡易的に示した符号Ｍの物体であるものとする。このとき、操作者によってＡＦ枠が符号Ｆ１に示すように対象物Ｍを含む範囲に設定されたとすると、基準パターン枠はＡＦ枠Ｆ１と中心位置が一致し、且つ、ＡＦ枠Ｆ１より大きい符号Ｆ２で示す範囲に設定される。そして、基準パターン枠Ｆ２内の画像が同図（Ｂ）に示す基準パターン画像（Ａ′画像）として記憶される。
【００３４】
尚、基準パターン画像は、後述のパターンマッチング処理で使用する画像データであり、その基準パターン画像の取込範囲である基準パターン枠は、本実施の形態と異なる方法で設定する場合であってもよい。例えば、ＡＦ枠と同じ範囲を基準パターン枠とし、操作者が基準パターン画像の取込範囲として適切な範囲となるようにＡＦ枠を設定して基準パターン枠を設定してもよいし、ＡＦ枠とは別に基準パターン枠をビューファインダ１８に表示させ、その基準パターン枠の位置や大きさ等をＡＦ枠とは別に操作者の操作によって設定できるようにしてもよい。
【００３５】
図３のステップＳ１２における基準パターン画像（Ａ′画像）の設定が完了すると、続いて画像処理部２６は、以下のステップＳ１４〜ステップＳ２６の処理を繰り返し実行する。まず、新たに１フレーム分の撮影画像を画像入力部２８から取り込む（ステップＳ１４）。尚、このステップＳ１４で取得した撮影画像をＢ画像というものとする。また、Ｂ画像はＡ画像に対して例えば１フレーム後（１／３０秒後）に取り込まれた画像である。
【００３６】
続いて、画像処理部２６は、Ｂ画像の画面範囲内に設定される所定のパターン検出範囲において、記憶されている基準パターン画像（Ａ′画像）に最も合致する（最も相関値が高い）画像の範囲を周知のパターンマッチング処理により検出し、その範囲の画像をＢ画像から抽出してＢ′画像として記憶する（ステップＳ１６）。
【００３７】
ここで、図４（Ｃ）に示すようなＢ画像が画像処理部２６に取り込まれたとする。このＢ画像は、同図（Ａ）に示したＡ画像に対して、カメラがパンニング動作して対象物Ｍ以外の静止物体が撮影画像内で左方向に移動し、且つ、対象物Ｍが静止物体に対して右方向に移動した場合を示している。また、同図（Ａ）と同図（Ｃ）を比較すると簡易的に示した対象物Ｍの画像が丸形から三角形に変化しており、対象物Ｍの画像のパターンも変化している場合を示している。このＢ画像において同図（Ｂ）に示した基準パターン画像（Ａ′画像）と最も合致する画像範囲は基準パターン画像において対象物Ｍ以外の静止物体の画像が合致する画像範囲であり、その画像範囲がパターンマッチング処理により同図（Ｃ）の枠Ｆ３で示す範囲として検出される。即ち、カメラがパンニング動作する前における同図（Ａ）における基準パターン枠Ｆ２の画像範囲と同一の画角範囲となる画像範囲が枠Ｆ３の範囲として検出される。そして、その枠Ｆ３の範囲内の画像が同図（Ｄ）に示すようにＢ′画像として抽出される。
【００３８】
尚、パターン検出範囲は、撮影画像（Ｂ画像）の全範囲であってもよいし、パターンマッチング処理に要する時間や処理負担の軽減のため基準パターン枠より少し大きめの範囲としてもよい。
【００３９】
続いて図３において画像処理部２６は、記憶されている基準パターン画像（Ａ′画像）と、ステップＳ１６により記憶されたＢ′画像との差分を抽出することによって得られる差分画像（Ｃ画像）を求める。即ち、Ａ′画像とＢ′画像の対応する各画素の輝度値の差分の絶対値を求め、各画素の画素値がその求めた値となる画像を差分画像として求める（ステップＳ１８）。
【００４０】
そして、差分画像（Ｃ画像）として有効に抽出された画像の重心位置を求める（ステップＳ２０）。例えば、差分画像（Ｃ画像）の各画素について輝度値が所定のしきい値（有効に抽出されたと判断される値）より大きい場合には画素値を１、しきい値以下の場合には画素値を０として差分画像を２値化し、画素値が１となった画素の集合の重心位置を求める（ステップＳ２０）。尚、差分画像（Ｃ画像）における重心位置を求めると、その重心位置をＢ′画像における重心位置とすることによってＢ画像における重心位置を求めることができる。ステップＳ２０では、そのＢ画像における重心位置を求める。
【００４１】
ここで、図４（Ｂ）に示した基準パターン画像（Ａ′画像）と同図（Ｄ）に示したＢ′画像との差分画像（Ｃ画像）を求めると同図（Ｅ）に示すように、静止物体の画像が消去されて移動した対象物Ｍの画像のみが抽出される。そして、その抽出されたＡ′画像とＢ′画像での対象物Ｍの画像から同図（Ｅ）に示す重心Ｐの位置が求められる。
【００４２】
次に図３において画像処理部２６は、ステップＳ２０で求めた重心位置に基づいて対象物Ｍの画像が撮影画像上において移動したか否かを判定する（ステップＳ２２）。例えば、後述のＡＦ枠と基準パターン枠の更新処理（ステップＳ２４）において、ステップＳ２０で求めたＢ画像における重心位置にＡＦ枠と基準パターン枠の中心位置が一致するようにＡＦ枠と基準パターン枠の位置が変更されるようになっており、そのステップＳ２０で求めた重心位置が現在設定されているＡＦ枠及び基準パターン枠の中心位置と不一致となった場合には対象物Ｍが移動したと判定し、それ以外では対象物Ｍが移動していないと判定する。
【００４３】
図４（Ｅ）の場合、重心Ｐの位置が同図（Ａ）で示した基準パターン枠Ｆ２の中心位置と一致していない場合を示しており、対象物Ｍが移動したと判定される。
【００４４】
図３のステップＳ２２においてＹＥＳと判定した場合、画像処理部２６は、ＡＦ枠と基準パターン枠の中心位置がステップＳ２０で求めた重心位置に一致するようにＡＦ枠と基準パターン枠の位置を更新する（ステップＳ２４）。また、更新したＡＦ枠の位置を示すＡＦ枠情報を枠操作部１４に送信する。これによってＡＦ枠の設定内容、即ち、ＡＦ枠の位置を更新し、対象物の画像の位置にＡＦ枠を移動させる。
【００４５】
例えば、図４（Ｅ）における差分画像（Ｃ画像）における重心Ｐの位置が求まると、その位置と、同図（Ｄ）のＢ′画像を抽出した同図（Ｃ）の枠Ｆ３のＢ画像における位置とに基づいて、同図（Ｃ）のＢ画像における重心Ｐの位置が求められる。そのＢ画像における重心Ｐの位置が中心位置となるように同図（Ｆ）に示すようにＡＦ枠と基準パターン枠の位置が変更される。尚、Ｂ画像における対象物Ｍの位置と重心Ｐの位置とは完全に一致しないが、Ａ画像を取り込んでからＢ画像をとり込むまでの時間は非常に短く、Ｂ画像における対象物Ｍの位置が重心Ｐの位置としても大きな差異は生じない。また、初期に設定した基準パターン画像（Ａ画像）において対象物Ｍが基準パターン画像の中心位置にある場合には、差分画像（Ｃ画像）の中心位置に対して重心Ｐの位置までの長さを２倍にした長さとなる位置が対象物Ｍの位置となるため、その対象物Ｍの位置を求めることによって対象物Ｍの位置が中心位置となるようにＡＦ枠と基準パターン枠の位置を変更することができる。
【００４６】
次に図３において画像処理部２６は、更新した基準パターン枠の範囲の画像をＢ画像から抽出し、その画像を新たな基準パターン画像（Ａ′画像）として更新（記憶）する（ステップＳ２６）。図４（Ｆ）に示すように基準パターン枠Ｆ２の位置が更新されたとすると、その基準パターン枠Ｆ２の範囲内の画像がＢ画像から抽出され、同図（Ｇ）に示すような画像が基準パターン画像（Ａ′画像）として更新される。
【００４７】
以上の処理が終了すると、図３のステップＳ１４に戻り、Ｂ画像の取り込みの処理から繰り返し実行する。
【００４８】
以上の追尾処理によれば、カメラがパン／チルト動作することによって静止物体の画像を含む撮影画像の全体が画面上で変位する場合でも、その変位の向きと大きさを基準パターン画像と合致する画像を撮影画像内から検出することによって検出することができ、その変位の向きと大きさを考慮して差分画像を得るために２つのフレーム間で比較する画像範囲を適切に設定して移動する対象物Ｍの位置を検出することができる。
【００４９】
以上、上記実施の形態では、フレーム間での撮影画像全体の変位を検出するための基準パターン画像とフレーム間での差分画像を得るための画像（Ａ′画像）とを同一としたがこれらは個別に設定される範囲から得られる画像としてもよい。例えば、上記実施の形態において基準パターン画像（Ａ′画像）と称していた画像を、差分画像を得るためのみに用いる一方の画像（第１比較画像）とし、上記実施の形態において基準パターン枠と称していた枠もＡ画像から第１比較画像を取り込む範囲を示す第１比較画像取込枠というものとする。そして、その第１比較画像を用いてステップＳ１６のパターンマッチング処理を行わないものとする以外は、第１比較画像や第１比較画像取込枠に対する処理やそれらを用いた処理については、上記実施の形態において基準パターン画像や基準パターン枠に対する処理やそれらを用いた処理と同様に行うものとする。
【００５０】
一方、第１比較画像取込枠とは別に基準パターン枠を所望の範囲に設定できるようにし、Ａ画像のうちその基準パターン枠の範囲内の画像を、フレーム間での撮影画像全体の変位を検出するための基準パターン画像として取り込むようにする。この場合、基準パターン画像はピント合わせの対象とする対象物の画像を含む必要はなく、できるだけ静止物体の画像のみを含むように基準パターン枠を設定することが望ましい。
【００５１】
そして、Ｂ画像の範囲のうち基準パターン画像と最も合致する画像範囲を検出し、その画像範囲がＡ画像における基準パターン画像（基準パターン枠）の位置から変位した向き及び大きさを求める。これによって、カメラがパン／チルト動作したことによる撮影画像全体の変位の向き及び大きさを知ることができる。そして、その求めた変位の向き及び大きさ分だけ第１比較画像取込枠を変位させた範囲を第２比較画像取込枠とし、Ｂ画像のうちその第２比較画像取込枠内の画像を差分画像を得るための他方の画像（第２比較画像）として取り込む。尚、この第２比較画像は上記実施の形態におけるＢ′画像に相当する。
【００５２】
このようにして得られた第１比較画像と第２比較画像の差分を抽出することによって上記実施の形態と同様の差分画像（Ｃ画像）が得られ、その重心位置を求めることによって移動する対象物の位置を検出することができる。
【００５３】
尚、本形態において、上記実施の形態のステップＳ２６における基準パターン画像の更新は、第１比較画像の更新に相当し、本形態での基準パターン画像の更新は必ずしも必要ない。ただし、基準パターン画像を更新しない場合には、基準パターン画像が撮影画像内に存在する範囲でパン／チルト動作が行われる場合や、基準パターン画像の大きさが変化しない場合にのみ適応可能となる。適応可能なパン／チルト動作の範囲等に制限を設けないようにするためには、基準パターン画像をＢ画像内に含まれる画像によって更新すればよい。例えば、Ａ画像とＢ画像との間で画像パターンが変化しない同一被写体の画像範囲をできるだけカメラのパン／チルト動作の移動先側で検出してその画像範囲の画像を基準パターン画像として更新することが考えられる。又は、単に、Ｂ画像の所定範囲の画像を基準パターン画像として更新するようにしてもよい。
【００５４】
また、上記実施の形態において、レンズ装置１２のＡＦ用撮像回路２４（ＡＦ用撮像素子）により取得する映像信号のフレーム（フィールド）周波数は、カメラヘッド１０の撮像素子により得られる映像信号のフレーム周波数と一致している必要はなく、ＡＦ用撮像回路２４での映像信号のフレーム周波数を高くすることによって高速で移動する対象物、または、画像の変化が速い対象物に対する適応性が向上する。
【００５５】
また、上記実施の形態では、レンズ装置１２、枠操作部１４、追尾装置１６は別体の装置として図示したが、いずれか２つ又は全ては一体の装置であってもよい。また、上記実施の形態では追尾装置１６の処理に関する操作部材（例えば、対象物を決定する決定スイッチ等）も枠操作部１４に設けるようにしたが、追尾装置１６に設けるようにしてもよい。
【００５６】
また、上記実施の形態では、ＡＦ用に映像信号をカメラヘッド１０の撮像素子とは別のＡＦ専用の撮像素子により取得するようにしたが、ＡＦ用としてカメラヘッド１０の撮像素子により得られる映像信号を用いてもよい。但し、上記実施の形態のようにＡＦ用の映像信号をＡＦ専用の撮像素子から得るようにすると、カメラヘッド１０が高精細度（ＨＤ）テレビジョンシステムに対応のものである場合にそのＨＤ信号を使用することなくＡＦを行うことができるため小型化・省電力化に有利である。
【図面の簡単な説明】
【００５７】
【図１】図１は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。
【図２】図２は、ＡＦ枠を示した図である。
【図３】図３は、追尾装置における追尾処理の処理手順を示したフローチャートである。
【図４】図４は、追尾装置における追尾処理の説明に使用した説明図である。
【符号の説明】
【００５８】
１０…カメラヘッド、１２…レンズ装置、１４…枠操作部、１６…追尾装置、１８…ビューファインダ、２０…レンズＣＰＵ、２２…ＡＦ処理部、２４…ＡＦ用撮像回路、２６…画像処理部、２８…画像入力部、３０…シリアル通信インターフェース
【図１】
2006195341.tif 000003
【図２】
2006195341.tif 000004
【図３】
2006195341.tif 000005
【図４】
2006195341.tif 000006