(57)【要約】【課題】外部装置からの操作により意図する被写体を追尾する際の操作性を向上させる。【解決手段】撮像部で撮像された撮像画像を外部装置へ送信可能な撮像装置であって、前記撮像画像から被写体を検出する検出手段と、前記検出手段により検出された前記被写体を追尾するようにパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第１のモードと、前記外部装置からの操作によりパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第２のモードとを切り替え可能な制御手段と、を有し、前記制御手段は、前記第２のモードで動作中に、前記被写体が前記撮像画像における所定の領域に含まれる場合、前記第１のモードに切り替えるように制御することを特徴とする。【選択図】図５
2022002378.tif 000002
【特許請求の範囲】
【請求項１】
撮像部で撮像された撮像画像を外部装置へ送信可能な撮像装置であって、
前記撮像画像から被写体を検出する検出手段と、
前記検出手段により検出された前記被写体を追尾するようにパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第１のモードと、前記外部装置からの操作によりパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第２のモードとを切り替え可能な制御手段と、を有し、
前記制御手段は、前記第２のモードで動作中に、前記被写体が前記撮像画像における所定の領域に含まれる場合、前記第１のモードに切り替えるように制御することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１のモードに切り替えた後で、前記被写体が前記撮像画像の中央に位置するようにパン動作、及び又はチルト動作を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記被写体が前記撮像画像の中央に位置するようにパン動作、及び又はチルト動作を制御した後で、再び前記第２のモードに戻すように制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記被写体が前記撮像画像における前記所定の領域に含まれる場合であって、前記外部装置から指示された操作方向が前記被写体の移動方向を含む場合、前記撮像画像の中央よりも前記被写体の移動方向とは反対方向にずらした位置に前記被写体が位置するようにパン動作、及び又はチルト動作を制御することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御手段は、前記外部装置からの操作により前記第１のモードと前記第２のモードとを切り替えるように制御することを特徴とする請求項１乃至４何れか１項に記載の撮像装置。
【請求項６】
前記所定の領域は、前記撮像画像の端部のうちの少なくとも一方の端部が含まれるように設定されることを特徴とする請求項１乃至５何れか１項に記載の撮像装置。
【請求項７】
前記所定の領域は、前記被写体のサイズに基づいて設定されることを特徴とする請求項１乃至６何れか１項に記載の撮像装置。
【請求項８】
前記所定の領域は、前記被写体の移動速度に基づいて設定されることを特徴とする請求項１乃至７何れか１項に記載の撮像装置。
【請求項９】
前記検出手段は、追尾対象となる前記被写体として前記撮像画像から動体を検出することを特徴とする請求項１乃至８何れか１項に記載の撮像装置。
【請求項１０】
撮像装置と前記撮像装置と通信可能な外部装置とを含む撮像システムであって、
前記撮像装置は、
撮像部で撮像された撮像画像を前記外部装置へ送信する送信手段と、
前記撮像画像から被写体を検出する検出手段と、
前記検出手段により検出された前記被写体を追尾するようにパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第１のモードと、前記外部装置からの操作によりパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第２のモードとを切り替え可能な制御手段と、を有し、
前記外部装置は、
前記撮像装置から受信した前記撮像画像を表示画面に表示するように制御する表示制御手段を有し、
前記撮像装置の制御手段は、
前記第２のモードで動作中に、前記被写体が前記撮像画像における所定の領域に含まれる場合、前記第１のモードに切り替えるように制御することを特徴とする撮像システム。
【請求項１１】
撮像部で撮像された撮像画像を外部装置へ送信可能な撮像装置の制御方法であって、
前記撮像画像から被写体を検出する検出ステップと、
前記検出ステップにより検出された前記被写体を追尾するようにパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第１のモードと、前記外部装置からの操作によりパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第２のモードとを切り替え可能な制御ステップと、を含み、
前記制御ステップは、前記第２のモードで動作中に、前記被写体が前記撮像画像における所定の領域に含まれる場合、前記第１のモードに切り替えるように制御することを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１乃至９何れか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、撮像装置の制御方法、および撮像装置のためのプログラムに関する。
【背景技術】
【０００２】
インターネットの高速化によって、ネットワークを利用した映像の配信が行われるようになり、遠隔制御により撮像方向を変更するカメラも普及しつつある。撮像方向の制御は、撮像画像を表示する画面をユーザが確認しながら、画面内の操作パネル等を用いてパン（水平）方向、チルト（垂直）方向に操作することにより行われる。また、撮像画像から検出した動体が画面内に収まるように自動で撮像方向を制御する自動追尾機能を備えるカメラも知られている。特許文献１では、検出した動体を自動追尾する際に、動体が画面内に設けられた所定領域にある場合に自動追尾を停止することが開示されている。特許文献２では、手動操作で被写体を追尾して撮影を行う中で、追尾対象とする被写体を推定して、自動追尾に切り替えることが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１９−８３５８５号公報
【特許文献２】特開２０１７−２１６６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザが外部装置を手動操作して意図する被写体を追尾して撮影を行うことがある。この場合、操作の行き過ぎ等により追尾対象の被写体が外部装置の画面から外れてしまうことがある。
【０００５】
本発明は、以上を鑑みてなされるものであり、外部装置からの操作により意図する被写体を追尾する際の操作性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、撮像部で撮像された撮像画像を外部装置へ送信可能な撮像装置であって、前記撮像画像から被写体を検出する検出手段と、前記検出手段により検出された前記被写体を追尾するようにパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第１のモードと、前記外部装置からの操作によりパン動作、チルト動作、及びズーム動作のうちの少なくとも１つの動作を制御する第２のモードとを切り替え可能な制御手段と、を有し、前記制御手段は、前記第２のモードで動作中に、前記被写体が前記撮像画像における所定の領域に含まれる場合、前記第１のモードに切り替えるように制御することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、外部装置からの操作により意図する被写体を追尾する際の操作性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像システムの全体構成例を示す図である。
【図２】撮像装置の構成例を示すブロック図である。
【図３】外部装置の構成例を示すブロック図である。
【図４】第１の実施形態に係る画面例を示す図である。
【図５】追尾制御処理を示すフローチャートである。
【図６】第２の実施形態に係る画面例を示す図である。
【図７】第２の実施形態に係る画面例を示す図である。
【図８】第３の実施形態に係る画面例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の第１の実施形態について説明する。
【００１０】
＜第１の実施形態＞
（撮像システムの全体構成）
まず、図１を参照して撮像システム１００の全体構成例について説明する。この撮像システム１００は、パン（水平）動作、チルト（垂直）動作、及びズーム動作を行える撮像装置１０１、及び撮像装置１０１からの撮像画像や各種の情報を表示する外部装置１０３を含む。撮像装置１０１と外部装置１０３とは、ネットワーク１０２を介して通信可能である。なお図１の撮像システム１００は、撮像装置１０１および外部装置１０３がそれぞれ１つずつで構成されているが、その数に特に制限はない。
【００１１】
撮像装置１０１は、撮像画像を外部装置１０３へ送信可能である。撮像装置１０１は、外部装置１０３による遠隔操作により、パン動作、チルト動作、及びズーム動作を行う。即ち外部装置１０３のユーザは、外部装置１０３に表示される撮像画像を確認しながら、所望の撮像方向や画角で撮影することができる。ネットワーク１０２は、例えばＩＰネットワーク網であり、有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）等により構成される。外部装置１０３は、ネットワーク１０２を介して、撮像装置１０１から撮像画像を受信して表示するとともに、撮像装置１０１に対して各種の要求コマンドを送信する。
【００１２】
（撮像装置の構成例）
次に、図２を参照して撮像装置１０１の構成例について説明する。撮像装置１０１は、撮像光学系２１０、撮像素子２１１、パン動作、チルト動作、及びズーム動作を行う不図示の駆動系（例えば、各種のモータ）を駆動させる各種駆動部２１２、位置検知部２１３、及び画像処理部２１４を有する。更に撮像装置１０１は、各種駆動部２１２、位置検知部２１３、画像処理部２１４等の制御を行う制御部２２０、記憶部２３０、及びネットワーク１０２との間で通信を行うＮＷ通信部２４０を有する。
【００１３】
撮像光学系２１０はズームレンズやフォーカスレンズ、絞り機構等で構成され、撮像素子２１１に向けて光を集光している。撮像素子２１１はＣＣＤやＣＭＯＳ等の２次元のイメージセンサで構成され、受光面に集光された光を光電変換し、得られた電気信号を画像処理部２１４に供給する。撮像光学系２１０及び撮像素子２１１は、撮像部の一例である。
【００１４】
各種駆動部２１２は撮像装置１０１のパン方向、チルト方向、及びズーム倍率を変更する動作を行う。具体的には、各種駆動部２１２は、制御部２２０から提供された制御信号に基づいて、撮像装置１０１の撮像する光軸をパン方向、及びチルト方向に移動させる駆動系の駆動や、撮像光学系２１０のズームレンズを光軸方向に移動させる駆動系の駆動を行う。なお、各種駆動部２１２は、パン方向、チルト方向、及びズーム倍率のうちの少なくとも１つを変更する動作を行えればよい。位置検知部２１３は各種駆動部２１２で変更した機械的な位置の変化を、センサを用いて検出して、検出した位置情報を出力するエンコーダで構成されて、得られた位置情報を制御部２２０に供給する。制御部２２０は位置検知部２１３から供給された位置情報を記憶部２３０に記憶する。
【００１５】
画像処理部２１４は撮像素子２１１より供給された電気信号をデジタルデータに変換し、デモザイク処理をはじめ、画質を高める処理や、取得した光量を信号レベルとして高めるゲイン処理等の各種の画像処理を行う。画像処理部２１４は各種の画像処理を行って得られた画像データを制御部２２０に供給する。更に画像処理部２１４は撮像素子２１１に対して蓄積した電荷をクリアするリセット信号を出力する処理等を行う。また画像処理部２１４は制御部２２０の制御によりシャッタースピード、絞り値、ゲイン処理の設定を変更することで、撮像素子２１１に入射される光の量を調整する露光制御も行う。
【００１６】
制御部２２０は、駆動制御部２２１、画像表示生成部２２２、通信制御部２２３、動体検出部２２４、枠生成部２２５、モード選択部２２６、符号化部２２７、コマンド解釈部２２８、領域設定部２２９を有する。制御部２２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央処理装置）、ＣＰＵが実行するプログラムを格納するＲＯＭ、及びＣＰＵのワークエリアとして使用されるＲＡＭで構成できる。制御部２２０は、ＲＯＭに記憶されるプログラムを実行することにより、上記の各構成部（符号２２１〜２２７）として機能する。ただし、各構成部のうちのいくつかは、専用のハードウェアで実現されも構わない。制御部２２０は、送信手段、検出手段、及び制御手段の一例である。
【００１７】
駆動制御部２２１は、各種駆動部２１２のパン動作、チルト動作、及びズーム動作を制御するための制御信号を生成する。駆動制御部２２１は、後述する手動追尾モードで動作中、コマンド解釈部２２８から指示されたパン方向、チルト方向、及びズーム倍率の変化量を用いて制御信号を生成する。また駆動制御部２２１は、後述する自動追尾モードで動作中、追尾対象の被写体が、外部装置１０３の表示装置３０７の画面中央に戻るようなパン方向、及びチルト方向の角度を戻り量として算出する。この戻り量は、記憶部２３０から読み出した撮像装置１０１の位置情報、後述する枠生成部２２５で生成された検出枠の位置情報等を用いて算出される。駆動制御部２２１は、算出した戻り量を用いて制御信号を生成する。各種駆動部２１２は、駆動制御部２２１で生成された制御信号に基づき駆動系を駆動する。
【００１８】
画像表示生成部２２２は、画像処理部２１４から供給された画像データを外部装置１０３の表示装置３０７に表示するための画像情報を生成する。画像表示生成部２２２は、画像データからの領域の切出しや、所望の表示の大きさに拡大縮小を行うデジタルズーム処理等を行って画像情報を生成する。画像表示生成部２２２は生成された画像情報を符号化部２２７に提供する。
通信制御部２２３は、符号化部２２７が生成した符号化データを、ＮＷ通信部２４０を介して外部装置１０３に送信する。また通信制御部２２３は、ＮＷ通信部２４０を介して外部装置１０３から各種の要求コマンドを受信した場合、その要求コマンドをコマンド解釈部２２８に提供する。
【００１９】
動体検出部２２４は、追尾対象となる被写体として、画像処理部２１４から供給された画像データから動体を検出する。動体検出部２２４は例えば、以前の画像データと、現在の画像データを、フレーム間隔毎に比較して、比較結果から差分を抽出して、動きのある領域を特定し、動体として検出する。なお、動体検出部２２４は、背景差分法により、画像データから動体を検出してもよい。例えば、動体検出部２２４は、予め撮像された画像データを背景画像として保持し、現在の画像データと当該背景画像との差分の領域を、動体の領域として抽出するようにしてもよい。なお、本実施形態において、追尾対象とする被写体として画像から動体を検出する処理を実行するがこれに限らない。例えば、追尾対象の被写体を画像から検出する方法として、人物のパターンを用いたパターンマッチング等により人物検出の処理を実行してもよい。また、追尾対象となる被写体を画像から検出する処理として、特定の人物を検出する処理が用いられてもよい。この場合、例えば、予め特定の人物の顔の特徴量を保持しておき、当該特定の人物の顔の特徴量を用いて、画像から当該特定の人物の顔を検出する。
枠生成部２２５は、動体検出部２２４で検出した動体に重畳させる検出枠を生成する。検出枠は、例えば、動体を囲むような位置及びサイズで生成される。
【００２０】
モード選択部２２６は、撮像装置１０１が被写体の追尾動作を行う際に、追尾モードとして自動追尾モードおよび手動追尾モードのいずれか一方を選択する。自動追尾モードは、動体検出部２２４で検出した動体から指定された追尾対象の被写体を、自動で追尾するようにパン動作、チルト動作、及びズーム動作を制御するモードである。自動追尾モードは、第１のモードの一例である。手動追尾モードは、外部装置１０３からの操作による指示に従って、パン動作、チルト動作、及びズーム動作を制御して追尾対象の被写体を手動で追尾するモードである。手動追尾モードは、第２のモードの一例である。またモード選択部２２６は、手動追尾モードで動作中に、自動追尾モードに移行可能にする自動追尾モード移行機能を使用するか使用しないかを選択する。記憶部２３０は、選択中の追尾モードや、自動追尾モード移行機能を使用するか使用しないかの設定を記憶する。
【００２１】
符号化部２２７は、画像表示生成部２２２から得た画像情報を符号化し、符号化データを生成する。そして符号化部２２７は、通信制御部２２３へ符号化データを提供する。この符号化データは枠生成部２２５で生成された検出枠を表示装置３０７に表示するための情報や、後述する領域設定部２２９で設定された指定領域に対応する自動追尾移行枠を表示装置３０７に表示するための情報を含む。
コマンド解釈部２２８は、通信制御部２２３から提供された要求コマンドを解析し、その要求コマンドに応じた処理を実行する。外部装置１０３のマウスやコントローラ等の操作部３０６の操作によって撮像装置１０１の撮像方向やズーム率の変更が指示された場合、コマンド解釈部２２８は、外部装置１０３からの要求コマンドを解析する。コマンド解釈部２２８は、解析結果として得られたパン方向、チルト方向、及びズーム倍率の変化量を駆動制御部２２１へ提供する。
領域設定部２２９は、動体検出部２２４によって検出された動体が、撮像画像における指定領域（所定の領域）に侵入したか否かを判定する。領域設定部２２９が侵入したことを検出した場合であって、手動追尾モードが選択されている場合、追尾モードを手動追尾モードから自動追尾モードへ切り替えるように、モード選択部２２６へ伝達する。また領域設定部２２９は、指定領域の座標情報を設定する。
【００２２】
記憶部２３０は、指定したアドレスに書き込みを行うことが可能である。この記憶部２３０は、指定したアドレスから読み出しが可能な記憶装置（ＳＤＲＡＭ等）や不揮発性のデータの中から指定されたアドレスのデータを読み出す機能をもった記憶装置（ＦｌａｓｈＲＯＭ等）によって構成されている。記憶部２３０は、領域設定部２２９によって設定された指定領域の座標情報や、位置検知部２１３で検出される撮像装置１０１の位置情報等を記憶する。本実施形態において、ＳＤＲＡＭは高速な書き込みと読み出しが可能であるため、各構成部が実行するプログラムやプログラムによって実行される処理に必要なデータが記憶され、各種のプログラムを実行する作業領域としても使用される。また、ＦｌａｓｈＲＯＭ等の不揮発性記憶素子は各種プログラムやデータの永続的な記憶領域として使用される。なお、この記憶部２３０は外付けに使用することでも実現可能であり、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを使用してもよい。
ネットワーク（ＮＷ）通信部２４０は、ネットワーク１０２との通信を行うインターフェースである。
【００２３】
（外部装置の構成例）
次に、図３を参照して外部装置１０３の構成例について説明する。外部装置１０３は、ＰＣ（パーソナルコンピュータ）のような情報処理装置により構成される。外部装置１０３は、外部装置１０３の全体の制御を司るＣＰＵ３０１、ＢＩＯＳやブートプログラムを格納するＲＯＭ３０２、及びワークエリアとして機能するＲＡＭ３０３を有する。また、外部装置１０３は、ＯＳ（オペレーティングシステム）やカメラアプリケーション等を保持するＨＤＤ３０４、及びネットワーク１０２と通信するためのネットワークＩ／Ｆ３０５を有する。また、外部装置１０３は、撮像装置１０１の動作を指示するための操作部３０６を有する。操作部３０６は、ユーザからの操作を受け付けるキーボードやマウス、ジョイスティック、リモコンやタッチパネル等で構成される。また外部装置１０３は、表示装置３０７を有する。
【００２４】
上記の構成において、外部装置１０３の電源がＯＮになると、ＣＰＵ３０１はＲＯＭ３０２に格納されたブートプログラムに従ってＯＳをＨＤＤ３０４からＲＡＭ３０３にロードし実行することで、本装置が情報処理装置として機能する。これにより、操作部３０６及び表示装置３０７がユーザインターフェースとして機能する。そして、ユーザは操作部３０６を操作して、カメラアプリケーションプログラムの実行を指示することで、そのカメラアプリケーションがＨＤＤ３０４からＲＡＭ３０３にロード、実行されて、ＣＰＵ３０１が表示装置３０７の表示を制御するように機能する。ＣＰＵ３０１はネットワークＩ／Ｆ３０５を介して撮像装置１０１から受信した符号化データに基づいて、表示装置３０７に撮像画像、検出枠、及び自動追尾移行枠を表示するように制御する。ＣＰＵ３０１は表示制御手段の一例である。またＣＰＵ３０１は操作部３０６の操作により撮像装置１０１の撮像方向やズーム倍率の変更が指示された場合、指示された変更量を表す要求コマンドを生成し、生成した要求コマンドをネットワークＩ／Ｆ３０５を介して撮像装置１０１へ送信する。
【００２５】
（撮像装置の動作）
次に、本実施形態の撮像装置１０１の動作について、図４に示す外部装置１０３の表示装置３０７の画面例と、図５に示すフローチャートを用いて説明する。本実施形態の撮像装置１０１によって実行される処理として、撮像装置１０１のパン方向及びチルト方向を変更して被写体を追尾するように制御する追尾制御処理について説明する。
【００２６】
図４の画面例では、撮像装置１０１で撮像している撮像画像を表示装置３０７に表示している様子を示す。表示画面４０１が表示装置３０７の画面全体を示しており、表示画面４０１の左右両サイドには自動追尾移行枠４０２が配置されている。この自動追尾移行枠４０２は、上述の領域設定部２２９により設定される指定領域を表す枠であり、表示画面４０１のＸ軸、Ｙ軸の座標情報（Ｘ軸幅、Ｙ軸幅）により指定される。また本実施形態では、自動追尾移行枠４０２が表示画面４０１の左右両サイドに設けられているが、自動追尾移行枠４０２が表示画面４０１の上下左右のいずれかの端部の座標を含むように設けられていれば、自動追尾移行枠４０２の配置位置は特に限定されるものではない。表示画面４０１に表示される撮像画像には、被写体４０４の周囲を囲うように検出枠４０３が重畳表示されている。被写体４０４は、前述の動体検出部２２４によって検出された動体であり、追尾対象として指定されている。
【００２７】
撮像装置１０１は、検出枠４０３が自動追尾移行枠４０２内に侵入したことを検出した際に、手動追尾モードから、被写体４０４を自動追尾する自動追尾モードへと移行させて、被写体４０４を表示画面４０１内にとどまらせるような制御を行う。撮像装置１０１は、自動追尾移行枠４０２の座標情報を記憶部２３０に格納しておき、動体を検出した場合に、検出枠４０３が自動追尾移行枠４０２内に侵入したか否かの判定を行う。なお検出枠４０３の一部でも自動追尾移行枠４０２内に侵入した場合には、自動追尾移行枠４０２内に侵入したと判定される。
【００２８】
次に、図５に示すフローチャートを用いて、追尾制御処理の詳細について説明する。この追尾制御処理は、撮像装置１０１の制御部２２０がＲＯＭに記憶されるプログラムを実行することにより実現される。本フローチャートの処理は、撮像装置１０１が外部装置１０３に撮像画像の送信を開始し、外部装置１０３の表示装置３０７に撮像画像が表示された場合に開始する。
【００２９】
まず、Ｓ５０１では、通信制御部２２３が、ＮＷ通信部２４０を介して外部装置１０３から受信した要求コマンドをコマンド解釈部２２８に提供する。コマンド解釈部２２８が、コマンドを解釈して得た結果をモード選択部２２６に提供すると、モード選択部２２６が、手動追尾モードで動作させるか、自動追尾モードで動作させるかの選択を行う。モード選択部２２６が手動追尾モードを選択した場合、処理はＳ５０２へ進む。モード選択部２２６が自動追尾モードを選択した場合、処理はＳ５１０へ進む。なおモード選択部２２６は記憶部２３０から選択中の追尾モードを読み出して、手動追尾モードで動作させるか、自動追尾モードで動作させるかの選択を行ってもよい。
【００３０】
手動追尾の動作を行う場合、Ｓ５０２では、モード選択部２２６が、記憶部２３０から自動追尾モード移行機能を使用するか使用しないかの設定を読み出して、自動追尾モード移行機能を使用するか否かを判定する。モード選択部２２６が自動追尾モード移行機能を使用すると判定した場合、処理はＳ５０３へ進む。モード選択部２２６が自動追尾モード移行機能を使用しないと判定した場合、処理はＳ５０９へ進む。
自動追尾モード移行機能を使用する場合、Ｓ５０３では、動体検出部２２４が表示画面４０１内の動体を検出して、検出した動体に枠生成部２２５が生成した検出枠を重畳させるように、通信制御部２２３が外部装置１０３へ指示を送信する。また動体検出部２２４は重畳された検出枠のうち特定の検出枠を追尾対象に指定する。この場合に外部装置１０３の操作部３０６の操作により指定された検出枠を追尾対象としてもよい。また動体検出部２２４が検出した動体が１つであれば、その動体に重畳された検出枠を自動で追尾対象としてもよい。なお、追尾対象の被写体を画像から検出する処理として、パターンマッチング等を用いた人物検出の処理が実行される場合、例えば、画像から検出された人物に対し重畳された検出枠を指定するユーザ操作に基づき、当該検出枠に対応する人物を追尾対象とする。また、追尾対象となる被写体を画像から検出する処理として、特定の人物を検出する処理が用いられてもよい。この場合、例えば、予め特定の人物の顔の特徴量を保持しておき、当該特定の人物の顔の特徴量を用いて、画像から当該特定の人物の顔を検出し、検出した当該特定の人物を追尾対象としてもよい。
【００３１】
次にＳ５０４では、領域設定部２２９が、自動追尾移行枠４０２の座標情報を記憶部２３０から読み出して、自動追尾移行枠４０２を設定する。その後Ｓ５０５では、駆動制御部２２１が外部装置１０３からの操作によりパン動作、チルト動作及びズーム動作を行いながら被写体の撮像が継続されている状況で、領域設定部２２９が追尾対象の検出枠が自動追尾移行枠４０２に侵入したか否かの判定を行う。領域設定部２２９が追尾対象の検出枠が自動追尾移行枠４０２に侵入したと判定した場合、処理はＳ５０６へ進む。領域設定部２２９が追尾対象の検出枠が自動追尾移行枠４０２に侵入していないと判定した場合、処理はＳ５０８へ進む。
【００３２】
Ｓ５０５で侵入したと判定された場合、Ｓ５０６では、モード選択部２２６が追尾モードを自動追尾モードに切り替えて、駆動制御部２２１が追尾対象の被写体が表示画面４０１の中央に表示されるように、パン動作、及びチルト動作を制御する。その後、Ｓ５０７では、モード選択部２２６が追尾モードを再び手動追尾モードに切り替えて、手動追尾の動作が再開される。またＳ５０５では、追尾対象が指定されている状態で、手動追尾の動作が継続される。一方でＳ５０９では、追尾対象が指定されていない状態で、手動追尾の動作が継続される。
【００３３】
一方Ｓ５１０では、動体検出部２２４が表示画面４０１内の動体を検出して、検出した動体に枠生成部２２５が生成した検出枠を重畳させるように、通信制御部２２３が外部装置１０３へ指示を送信する。そして動体検出部２２４が重畳された検出枠のうち、特定の検出枠を追尾対象として指定し、追尾対象の被写体が表示画面４０１の中央に表示されるように、駆動制御部２２１がパン動作、及びチルト動作を制御する。以上のような自動追尾の動作の継続中に、Ｓ５１１では、モード選択部２２６が、追尾モードを手動追尾モードに切り替えるか否かの判定を行う。なおＳ５１１では、操作部３０６からの選択操作に応じて追尾モードを切り替えるようにしてもよいし、操作部３０６によりパン方向又はチルト方向の変更が指示された場合に手動追尾モードに切り替えるようにしてもよい。Ｓ５１１で手動追尾モードに切り替えると判定された場合、処理はＳ５０２へ進む。一方で自動追尾モードを継続すると判定された場合、Ｓ５１０の自動追尾の動作が継続される。
【００３４】
以上の様な第１の実施形態の撮像装置１０１によれば、外部装置からの操作により被写体を追尾する際に、操作の行き過ぎ等により意図する被写体が撮像対象から外れることが抑制されるようになる。即ち手動追尾における操作性を向上させることができる。
【００３５】
なお、第１の実施形態の撮像装置１０１が利用されるシーンとして、例えば陸上競技のリレー競争でバトンの引き渡し等を撮影する撮影シーンが考えられる。このような撮影シーンでは、バトンの引き渡し前は自動追尾モードで撮影していても、バトンの引き渡し時には外部装置１０３のユーザの操作により自動追尾モードを瞬時に解除して追尾対象の被写体を速やかに切り替えることが望ましい。そこで、図５のＳ５１１では、外部装置１０３の操作部３０６からの簡易的な操作により、自動追尾モードから手動追尾モードへの変更が撮像装置１０１に指示されるようにする。上記の簡易的な操作としては、例えば操作部３０６としてのマウスからの、左右同時クリック操作が挙げられる。また例えば操作部３０６としてのコントローラからの、特定のボタンの押下操作が挙げられる。更に特定のボタンを押下しながらコントローラが操作された場合に、手動追尾モードから自動追尾モードへの変更が指示されてもよい。
【００３６】
＜第２の実施形態＞
上述した第１の実施形態では、手動追尾の動作中に、意図する被写体が撮像対象から外れることを防ぐための自動追尾モード移行機能について説明をしたが、第２の実施形態では、自動追尾移行枠の設定を撮影状況に応じて調整する構成について説明する。第２の実施形態における撮像システム１００の構成について、第１の実施形態に示すものと同等箇所についての説明は省略する。
【００３７】
まず図６を参照して、追尾対象の被写体のサイズに応じた自動追尾移行枠の調整方法について説明する。図６（ａ）の６０１ａ、及び図６（ｂ）の６０１ｂはそれぞれ、撮像装置１０１で撮像している撮像画像を表示装置３０７で表示している様子を示している表示画面６０１ａ，６０１ｂが、表示装置３０７の画面全体を示す。また図６（ａ）の自動追尾移行枠６０２ａ、及び図６（ｂ）の自動追尾移行枠６０２ｂはそれぞれ、図４の自動追尾移行枠４０２に対応しており、図６（ａ）の検出枠６０３ａ、及び図６（ｂ）の検出枠６０３ｂはそれぞれ、図４の検出枠４０３に対応している。更に図６（ａ）の被写体６０４ａ、及び図６（ｂ）の被写体６０４ｂはそれぞれ、図４の被写体４０４に対応している。図６（ａ）と図６（ｂ）では、追尾対象の被写体のサイズが異なっていることを示している。図６（ａ）と図６（ｂ）の例では、被写体６０４ｂの画面上のサイズが、被写体６０４ａのＸ軸幅及びＹ軸幅をそれぞれ約３倍にしたサイズとなっている。
【００３８】
図６（ａ）のように追尾対象の被写体のサイズが小さい場合、操作部３０６を操作しているユーザは、被写体６０４ａの周囲の様子も把握したい意図があり、被写体がこのサイズとなるようなズーム設定で追尾操作を行っていると考えられる。そのため、自動追尾移行枠６０２ａの幅も小さく設定することで、ユーザの操作の邪魔になることがない。例えば、図４の自動追尾移行枠４０２の幅がＸ、Ｙ座標で１００×１０８０画素であってこれを基準設定とすると、図６（ａ）の自動追尾移行枠６０２ａの幅は基準設定より小さい５０×１０８０画素に設定される。
【００３９】
一方、図６（ｂ）のように追尾対象の被写体のサイズが大きい場合、操作部３０６を操作しているユーザは、被写体６０４ｂに注力して撮影したい意図があり、被写体がこのサイズとなうようなズーム設定で追尾操作を行っていると考えられる。このようにズーム設定が拡大設定となっている場合、撮像装置１０１の少しの移動で表示画面６０１ｂ内の被写体６０４ｂの位置が大きく動くため、ユーザの操作が難しくなる。そこで、被写体のサイズが大きい場合、図６（ｂ）のように自動追尾移行枠６０２ｂの幅を大きく設定することで、ユーザの操作により被写体が表示画面６０１ｂから損失することを防ぐことができる。例えば、図４の自動追尾移行枠４０２がＸ、Ｙ座標で１００×１０８０画素であってこれを基準設定とすると、図６（ｂ）の自動追尾移行枠６０２ｂは基準設定より大きい２００×１０８０画素に設定される。なお本実施形態では、被写体のサイズが小さい場合に自動追尾移行枠のサイズを小さく、大きい場合には大きく設定しているが、この限りではなく、ユーザの設定により自動追尾移行枠のサイズが選択されてもよい。
【００４０】
上記のように追尾対象の被写体のサイズに応じて自動追尾移行枠のサイズを変更する場合、記憶部２３０は被写体のサイズと自動追尾移行枠のサイズとの対応関係を表すデータを保持する。上述の図５のＳ５０４で、自動追尾移行枠を設定する際に、本実施形態では、領域設定部２２９が記憶部２３０から上記の対応関係を表すデータを読み出して、自動追尾移行枠を追尾対象の被写体のサイズに対応するサイズに設定する。なお、被写体のサイズは、動体検出部２２４が動体を検出する際に算出される。
【００４１】
次に図７を参照して、追尾対象の被写体の移動速度に応じた自動追尾移行枠の調整方法について説明する。図７（ａ）の７０１ａ、及び図７（ｂ）の７０１ｂはそれぞれ、撮像装置１０１で撮像している撮像画像を表示装置３０７で表示している様子を示している。表示画面７０１ａ，７０１ｂが表示装置３０７の画面全体を示す。また図７（ａ）の自動追尾移行枠７０２ａ、及び図７（ｂ）の自動追尾移行枠７０２ｂはそれぞれ、図４の自動追尾移行枠４０２に対応している。また図７（ａ）の検出枠７０３ａ，７０５ａ、及び図７（ｂ）の検出枠７０３ｂ，７０５ｂはそれぞれ、図４の検出枠４０３に対応している。更に図７（ａ）の被写体７０４ａ，７０６ａ、及び図７（ｂ）の被写体７０４ｂ，７０６ｂはそれぞれ、図４の被写体４０４に対応している。
【００４２】
図７（ａ）の矢印７０７ａ、及び図７（ｂ）の矢印７０７ｂはそれぞれ、１フレーム間での被写体の移動量を示す。図７（ａ）では１フレーム間に被写体７０４ａが被写体７０６ａへと移動していることを示す。図７（ｂ）では１フレーム間に被写体７０４ｂが被写体７０６ｂへと移動していることを示す。図示される通り、矢印７０７ａより矢印７０７ｂの方が大きいため、図７（ａ）に示す被写体より図７（ｂ）に示す被写体の方がより速い速度で移動していることがわかる。
【００４３】
図７（ｂ）のように追尾対象の被写体の移動速度が大きい場合、図７（ａ）のように追尾対象の移動速度が小さい場合と比較して、ユーザの操作が難しくなる。そこで、被写体の移動速度が大きい場合、図７（ｂ）のように自動追尾移行枠７０２ｂの幅を大きく設定することで、ユーザの操作により被写体が表示画面７０１ｂから損失するのを防ぐことができる。例えば、矢印７０７ａの長さが矢印７０７ｂより、約３倍長いとすると、自動追尾移行枠４０２をＸ、Ｙ座標で１００×１０８０画素を基準設定とした場合、図７（ｂ）の自動追尾移行枠７０２ａは、基準設定より大きい２００×１０８０画素に設定される。一方図７（ｂ）の自動追尾移行枠７０２ｂは、基準設定より大きい２００×１０８０画素に設定される。なお本実施形態では、被写体の速度が遅い場合に自動追尾移行枠のサイズを小さく、速い場合には大きく設定しているが、この限りではなく、ユーザの設定により自動追尾移行枠のサイズが選択されてもよい。
【００４４】
上記のように追尾対象の被写体の移動速度に応じて自動追尾移行枠のサイズを変更する場合、記憶部２３０は被写体の移動速度と自動追尾移行枠のサイズとの対応関係を表すデータを保持する。上述の図５のＳ５０４で、自動追尾移行枠を設定する際に、本実施形態では、領域設定部２２９が記憶部２３０から上記の対応関係を表すデータを読み出して、自動追尾移行枠を追尾対象の被写体の移動速度に対応するサイズに設定する。なお、被写体の移動速度は、動体検出部２２４が動体を検出する際に算出される。
【００４５】
以上の様な第２の実施形態の撮像装置１０１によれば、追尾対象の被写体のサイズや移動速度に応じて自動追尾移行枠を調整することによって、ユーザの操作性を妨げないようにしつつ、意図する被写体が撮像対象から外れることが更に抑制されるようになる。即ち手動追尾における操作性を向上させることができる。
【００４６】
＜第３の実施形態＞
上述した第２の実施形態では、自動追尾移行枠の設定を撮影状況に応じて調整する構成について説明したが、第３の実施形態では、操作部３０６の操作方向と追尾対象の被写体の移動方向とに基づいて戻り量を調整する構成について説明する。第３の実施形態における撮像システム１００の構成について、第１の実施の形態に示すものと同等箇所についての説明は省略する。
【００４７】
図８を参照して、戻り量の調整方法について説明する。図８（ａ）の８０１ａ、及び図８（ｂ）の８０１ｂはそれぞれ、撮像装置１０１で撮像している撮像画像を表示する表示画面を示している。表示画面８０１ａ，８０１ｂが、表示装置３０７の画面全体を示す。表示画面８０１ａ，８０１ｂにはそれぞれ、図４と同様の自動追尾移行枠４０２が設けられている。図８（ａ）の検出枠８０３ａ、及び図８（ｂ）の検出枠８０３ｂはそれぞれ、図４の検出枠４０３に対応しており、図８（ａ）の被写体８０４ａ、及び図８（ｂ）の被写体８０４ｂはそれぞれ、図４の被写体４０４に対応している。
【００４８】
図８（ａ）では、外部装置１０３から右方向の操作が指示されている状態で、追尾対象の被写体８０４ａが矢印８０２ａの方向（右方向）に移動している場合に、画面右側の自動追尾移行枠４０２で侵入を検出した場合の様子を示している。この場合、ユーザが被写体を追尾しようと右方向に操作しているにも関わらず画面右側で侵入が検出されているため、被写体の移動速度が想定以上に速く、操作が追いついていないことが予想される。そこで図８（ｂ）に示すように被写体８０４ａを矢印８０２ｂの方向（左方向）に戻すように、駆動制御部２２１がパン方向の移動を制御する。図８（ｂ）は、図８（ａ）の状態でパン方向の移動がなされた後の状態を示している。この場合、移動後の被写体８０４ｂを表示画面８０１ｂの中央よりも左寄りに戻すようにする。これによりユーザの操作がサポートされて、被写体が表示画面８０１ｂから損失することを防ぐことができる。なお図８（ａ）及び図８（ｂ）に示す例では、右方向に操作している際に、右側の自動追尾移行枠４０２で被写体８０４ａの侵入を検出したこととしている。逆に左方向に操作している際に、左側の自動追尾移行枠４０２で被写体の侵入を検出した場合には、被写体を右方向に移動させるように駆動制御部２２１がパン方向の移動を制御する。
【００４９】
上記のように操作部３０６の操作方向と追尾対象の被写体の移動方向とに基づいて戻り量を調整する場合の撮像装置１０１の制御について説明する。まず、領域設定部２２９が追尾対象の被写体が移動方向にある指定領域に侵入したと判定した場合、追尾モードを手動追尾モードから自動追尾モードへ切り替えるように、モード選択部２２６へ伝達する。モード選択部２２６が自動追尾モードへ切り替えると、駆動制御部２２１がコマンド解釈部２２８から指示されたパン方向（操作方向）の変化量と、追尾対象の被写体の移動方向とを用いて、操作方向が追尾対象の被写体の移動方向を含むか否かを判定する。なお被写体の移動方向は、動体検出部２２４が動体を検出する際に算出可能である。操作方向が追尾対象の被写体の移動方向を含むと判定された場合、駆動制御部２２１は、追尾対象の被写体が、外部装置１０３の表示装置３０７の表示画面の中央よりも移動方向とは反対方向にずらした位置に戻るようなパン方向の角度を戻り量として算出する。駆動制御部２２１は、算出した戻り量を用いて制御信号を生成し、各種駆動部２１２は、駆動制御部２２１で生成された制御信号に基づき駆動系を駆動する。
【００５０】
以上のような第３の実施形態の撮像装置１０１によれば、操作部３０６の操作方向と追尾対象の被写体の移動方向とに基づいて戻り量を調整することによって、ユーザが被写体を追尾しているにも関わらず操作が追いつていない場合に操作がサポートされる。これにより意図する被写体が撮像対象から外れることが更に抑制されるようになる。即ち手動追尾における操作性を向上させることができる。
【００５１】
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１０１：撮像装置、１０２：ネットワーク、１０３：外部装置、２１０：撮像光学系、２２１１：撮像素子、２１２：各種駆動部、２１３：位置検知部、２１４：画像処理部、２０：制御部、２３０：記憶部、２４０：ＮＷ通信部
【図１】
2022002378.tif 000003
【図２】
2022002378.tif 000004
【図３】
2022002378.tif 000005
【図４】
2022002378.tif 000006
【図５】
2022002378.tif 000007
【図６】
2022002378.tif 000008
【図７】
2022002378.tif 000009
【図８】
2022002378.tif 000010