(57)【要約】【課題】特定の被写体を追尾して撮像する際の撮像範囲を、撮像場面に応じて適切に設定すること。【解決手段】所定の被写体を追尾して撮像する撮像装置の撮像範囲を制御する制御装置は、所定の被写体と撮像装置との間の第１の距離の情報を取得し、第１の距離に少なくとも基づいて、撮像装置によって撮像される画像における所定の被写体の写る位置を設定し、設定された位置に応じて撮像範囲を制御する。【選択図】  図５
2019125946.tif 000002
【特許請求の範囲】
【請求項１】
所定の被写体を追尾して撮像する撮像装置の撮像範囲を制御する制御装置であって、
前記所定の被写体と前記撮像装置との間の第１の距離の情報を取得する取得手段と、
前記第１の距離に少なくとも基づいて、前記撮像装置によって撮像される画像における前記所定の被写体の写る位置を設定する設定手段と、
前記設定手段によって設定された前記位置に応じて前記撮像範囲を制御する制御手段と、
を有することを特徴とする制御装置。
【請求項２】
前記設定手段は、前記第１の距離が所定の閾値より小さい場合に、前記画像において水平方向の中央の領域に前記所定の被写体を写すように前記設定を行い、前記第１の距離が前記所定の閾値より大きい場合に、前記画像において水平方向の中央からずれた所定の領域に前記所定の被写体を写すように前記設定を行う、
ことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記設定手段は、前記第１の距離が所定回数連続して所定の閾値より小さいと判定される場合に、前記画像において水平方向の中央の領域に前記所定の被写体を写すように前記設定を行い、前記第１の距離が所定回数連続して前記所定の閾値より大きいと判定される場合に、前記画像において水平方向の中央からずれた所定の領域に前記所定の被写体を写すように前記設定を行う、
ことを特徴とする請求項１に記載の制御装置。
【請求項４】
前記取得手段は、さらに、前記追尾の対象ではない他の所定の被写体と前記撮像装置との間の第２の距離を取得し、
前記設定手段は、前記第２の距離にさらに基づいて、前記撮像装置によって撮像される画像における前記所定の被写体の写る水平方向の位置を設定する、
ことを特徴とする請求項１に記載の制御装置。
【請求項５】
前記設定手段は、前記第１の距離と前記第２の距離との差が所定の閾値より大きい場合に、前記画像において水平方向の中央の領域に前記所定の被写体を写すように前記設定を行い、前記差が前記所定の閾値より小さい場合に、前記画像において水平方向の中央からずれた所定の領域に前記所定の被写体を写すように前記設定を行う、
ことを特徴とする請求項４に記載の制御装置。
【請求項６】
前記設定手段は、前記第１の距離と前記第２の距離との差が所定回数連続して所定の閾値より大きいと判定される場合に、前記画像において水平方向の中央の領域に前記所定の被写体を写すように前記設定を行い、前記差が所定回数連続して前記所定の閾値より小さいと判定される場合に、前記画像において水平方向の中央からずれた所定の領域に前記所定の被写体を写すように前記設定を行う、
ことを特徴とする請求項４に記載の制御装置。
【請求項７】
前記取得手段は、前記撮像装置によって撮像された画像において、前記他の所定の被写体に取り付けられた所定の指標のサイズを特定することにより、前記第２の距離を取得する、
ことを特徴とする請求項４から６のいずれか１項に記載の制御装置。
【請求項８】
前記取得手段は、測距センサを用いて前記第２の距離を取得する、
ことを特徴とする請求項４から６のいずれか１項に記載の制御装置。
【請求項９】
前記取得手段は、さらに、水平方向における前記所定の被写体の位置と前記他の所定の被写体の端部の位置とを取得し、
前記設定手段は、前記所定の被写体の位置と前記他の所定の被写体の前記端部の位置とにさらに基づいて、前記撮像装置によって撮像される画像における前記所定の被写体の写る水平方向の位置を設定する、
ことを特徴とする請求項４から８のいずれか１項に記載の制御装置。
【請求項１０】
前記取得手段は、前記撮像装置によって撮像された画像において、前記所定の被写体に取り付けられた所定の指標のサイズを特定することにより、前記第１の距離を取得する、
ことを特徴とする請求項１から９のいずれか１項に記載の制御装置。
【請求項１１】
前記取得手段は、測距センサを用いて前記第１の距離を取得する、
ことを特徴とする請求項１から９のいずれか１項に記載の制御装置。
【請求項１２】
前記制御手段は、前記設定手段による設定が水平方向の中央の領域に前記所定の被写体を写す設定から水平方向の中央からずれた所定の領域に前記所定の被写体を写す設定へと変化した場合、当該変化の後の設定に応じて前記撮像範囲を制御した後に当該撮像範囲の制御を停止する、
ことを特徴とする請求項１から１１のいずれか１項に記載の制御装置。
【請求項１３】
前記制御手段は、前記撮像範囲の制御を停止している間に、前記設定手段による設定が水平方向の中央からずれた所定の領域に前記所定の被写体を写す設定から水平方向の中央の領域に前記所定の被写体を写す設定へと変化した場合、前記撮像範囲の制御の停止を解除する、
ことを特徴とする請求項１２に記載の制御装置。
【請求項１４】
前記取得手段は、さらに、前記撮像装置のズームの状態を取得し、
前記設定手段は、前記ズームの状態にさらに基づいて、前記撮像装置によって撮像される画像における前記所定の被写体の写る水平方向の位置を設定する、
ことを特徴とする請求項１から１３のいずれか１項に記載の制御装置。
【請求項１５】
所定の第１の被写体を追尾して撮像する撮像装置の撮像範囲を制御する制御装置であって、
前記第１の被写体と、前記第１の被写体とは異なる所定の第２の被写体との距離の情報を取得する取得手段と、
前記距離に基づいて、前記撮像装置によって撮像される画像における前記第１の被写体の写る位置を設定する設定手段と、
前記設定手段によって設定された前記位置に応じて前記撮像範囲を制御する制御手段と、
を有することを特徴とする制御装置。
【請求項１６】
請求項１から１５のいずれか１項に記載の制御装置を有する撮像装置。
【請求項１７】
所定の被写体を追尾して撮像する撮像装置の撮像範囲を制御する制御装置の制御方法であって、
取得手段が、前記所定の被写体と前記撮像装置との間の第１の距離の情報を取得する取得工程と、
設定手段が、前記第１の距離に少なくとも基づいて、前記撮像装置によって撮像される画像における前記所定の被写体の写る位置を設定する設定工程と、
制御手段が、前記設定工程において設定された前記位置に応じて前記撮像範囲を制御する制御工程と、
を有することを特徴とする制御方法。
【請求項１８】
所定の第１の被写体を追尾して撮像する撮像装置の撮像範囲を制御する制御装置の制御方法であって、
取得手段が、前記第１の被写体と、前記第１の被写体とは異なる所定の第２の被写体との距離の情報を取得する取得工程と、
設定手段が、前記距離に基づいて、前記撮像装置によって撮像される画像における前記第１の被写体の写る位置を設定する設定工程と、
制御手段が、前記設定手段によって設定された前記位置に応じて前記撮像範囲を制御する制御工程と、
を有することを特徴とする制御方法。
【請求項１９】
コンピュータを、請求項１から１５のいずれか１項に記載の制御装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の被写体を追尾して撮像する撮像装置に関する。
【背景技術】
【０００２】
パン・チルト制御等によって撮像範囲を自在に変更できるカメラ等の撮像装置を用いて、特定の被写体を自動追尾して撮像を行うシステムが存在する。このようなシステムでは、自動追尾の対象の被写体が撮像画像内の指定位置にくるように設定が行われる。そして、自動追尾システムでは、この被写体が写る指定位置の設定が重要である。特許文献１では、追尾対象の人物（物体）の移動方向や注目方向の前方の撮像領域が大きくなるように指定位置を設定する手法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２２９３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、追尾対象の被写体の監視のための手法が検討されているが、撮像場面によっては、視線方向や移動方向の撮像領域が大きくなるような設定が適切でない場合がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、特定の被写体を追尾して撮像する際の撮像範囲を、撮像場面に応じて適切に設定する技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様による制御装置は、所定の被写体を追尾して撮像する撮像装置の撮像範囲を制御する制御装置であって、前記所定の被写体と前記撮像装置との間の第１の距離の情報を取得する取得手段と、前記第１の距離に少なくとも基づいて、前記撮像装置によって撮像される画像における前記所定の被写体の写る位置を設定する設定手段と、前記設定手段によって設定された前記位置に応じて前記撮像範囲を制御する制御手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、特定の被写体を追尾して撮像する際の撮像範囲を、撮像場面に応じて適切に設定することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置のハードウェア構成例を示すブロック図である。
【図２】撮像装置の機能構成例を示すブロック図である。
【図３】追尾対象の被写体を画像中央位置に写す場合の自動追尾中の撮像画像の例を示す模式図である。
【図４】撮像が行われる場面の例を説明する図である。
【図５】撮影装置において実行される処理の流れの例を示すフローチャートである。
【図６】追尾対象の被写体を画像中央からずれた位置に写す場合の自動追尾中の撮像画像の例を示す模式図である。
【図７】撮像が行われる場面の例を説明する図である。
【図８】撮影装置において実行される処理の流れの例を示すフローチャートである。
【図９】追尾対象外の被写体の右端および左端が検出される場面の例を示す模式図である。
【図１０】撮像装置において実行される処理の流れの例を示すフローチャートである。
【図１１】撮像装置において実行される処理の流れの例を示すフローチャートである。
【図１２】撮像装置において実行される処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、添付の図面を用いて説明する。本実施形態では、一例において、パン・チルト・ズームにより撮像範囲を設定可能な撮像装置が、所定の被写体（人物）を追尾して撮像する場合について説明する。ただし、これに限られず、撮像装置の撮像範囲を制御可能であると共に撮像装置の外部に存在する制御装置が、撮像装置を制御するような構成が用いられてもよい。なお、このような制御装置は、例えば撮像装置が設置される雲台を制御することによって撮像装置における撮像範囲を制御してもよいし、撮像装置に対して外部から指示信号を入力することによって撮像装置にパン・チルト・ズームを制御させてもよい。また、このような制御装置は、撮像装置ごとに個別に設置されてもよいし、複数の撮像装置に対して１つ設置されてもよい。また、撮像装置に対する信号は、専用の物理的な信号線を用いて送信されてもよいし、汎用的なネットワーク回線を介して送信されてもよい。すなわち、撮像装置の撮像範囲の制御を実行可能な限りにおいて、任意の形態の制御装置に対して以下の議論を適用することができる。
【００１０】
本実施形態の撮像装置は、一例において、所定の被写体を追尾して撮像する際に、その被写体と撮像装置自身の距離に応じて、撮像によって得られる画像のうちのどの位置にその被写体を写すかを設定し、それに応じて撮像範囲を制御する。例えば所定の位置に固定設置された撮像装置と位置変動のない物体（静止物体又は準静止物体）との間の距離は予め特定可能であり、被写体と撮像装置との間の距離は、撮像装置とその物体との間の距離に対応しうる。ここで、被写体が所定の物体と十分に近い位置に存在する状況には、被写体がその所定の物体を使用している状況が含まれうる。例えば、撮像装置が学校に設置されている状況において、追尾対象の被写体が教師であり、所定の物体がホワイトボードや黒板であるものとする。このとき、教師がホワイトボード等に接近している場合は、教師がホワイトボードを使用して説明を行っていることが想定される。この場合、教師を常に中心にして撮像を行うと、ホワイトボードが写されないこととなり、例えば、授業の欠席者のための録画としては適切ではなくなる。このため、撮像装置は、自装置と被写体（例えば教師）との間の距離の情報を取得して、その情報に基づいて、必要に応じて所定の物体（例えばホワイトボード）が撮像範囲内に収まるように、撮像される画像における被写体の位置を設定しうる。これによれば、撮像装置は、場面に応じて追尾対象の被写体の撮像画像内での位置を適切に設定することができる。例えば、撮像装置は、被写体を写すだけで十分な場面では被写体を中心に撮像を行い、所定の物体を写すことが重要な場面では被写体と共にその物体を撮像するように撮像範囲を制御することができる。なお、撮像装置は、所定の物体の位置に基づいて、所定の物体を写す場合の撮像範囲の設定値を事前に保持しておくことができ、被写体と共にその物体を撮像する際の撮像範囲を、その事前に保持された設定値に基づいて設定することができる。
【００１１】
また、撮像装置は、別の一例において、第１の被写体（例えば追尾対象の人物）と第２の被写体（例えば静止物体や準静止物体）との間の距離の情報を取得してもよい。このような構成によれば、撮像装置と第２の被写体との位置関係が事前に取得されていない状況であっても、適切に撮像範囲を特定することができる。また、撮像装置は、被写体以外の物体の位置と被写体の位置との関係から、撮像によって得られる画像のうちのどの位置にその被写体を写すかを設定してもよい。例えば、撮像装置は、撮像装置から見たときに物体の右寄りに被写体が位置する場合、被写体の位置を中心から右側にずらして物体と被写体とが写るように撮像範囲を決定しうる。
【００１２】
さらに、撮像装置は、別の一例において、追尾対象の被写体と追尾対象外の被写体との位置関係や、ズームの設定に基づいて、画像内での追尾対象を写す位置を決定しうる。これによれば、必要に応じて追尾対象外の被写体が適切に写されるように、追尾対象の被写体の撮像位置を決定することができる。また、撮像装置は、追尾対象外の被写体を写すような制御の後には、撮像範囲を固定して、追尾対象の被写体の動きによらずに追尾対象外の被写体を安定的に写すようにすることができる。
【００１３】
以下では、撮像装置の構成と処理の流れのいくつかの例について説明する。
【００１４】
（装置構成）
図１に、本実施形態の撮像装置のハードウェア構成例を示す。撮像装置は、一例において、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、外部記憶装置１０４、入出力回路１０５、及び撮像回路１０６を含んで構成される。ＣＰＵ１０１は、汎用のプロセッサであり、撮像装置全体を制御し、また、後述の撮像回路１０６による撮像範囲の設定処理等の各種処理を実行する。ＣＰＵ１０１が例えばＲＯＭ１０３や外部記憶装置１０４に記憶されたプログラムを実行することによって、各種処理が実行される。なお、ＣＰＵ１０１は、撮像装置が有するプロセッサの一例であり、同様の機能を実現可能なＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールドプログラマブルゲートアレイ）等のゲートアレイ回路等と置き換えられてもよい。ＲＡＭ１０２は、例えば、撮像回路１０６が撮像した画像の一時保存等、情報を一時的に保存するために用いられる。なお、ＲＡＭ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークメモリとしても用いられうる。ＲＯＭ１０３は、例えば、ＣＰＵ１０１によって実行されるべきプログラムやパラメータ等の各種情報を記憶する。外部記憶装置１０４は、例えば、ＣＰＵ１０１によって実行されるべきプログラムや、撮像回路１０６によって撮像された映像等の処理結果の情報を記憶する。なお、ＲＡＭ１０２、ＲＯＭ１０３、及び外部記憶装置１０４は、情報を記憶する構成の一例であり、これら以外の構成が用いられてもよい。入出力回路１０５は、情報の入力と出力とを行う。入出力回路１０５は、例えば、ユーザによる操作の受付や、ディスプレイ（不図示）への撮像した画像の表示等を行う。また、入出力回路１０５は、有線ネットワークまたは無線ネットワークへ接続するための通信インタフェースであってもよく、ネットワークを介して情報の入出力を行ってもよい。撮像回路１０６は、撮像を行うための回路であり、レンズや撮像素子、撮像に関する各種処理を実行可能な回路を含む。撮像回路１０６は、一例において、パン・チルト・ズーム制御を実行可能に構成される。
【００１５】
なお、上述のように、撮像装置を外部から制御する制御装置が用いられる場合は、制御装置は、図１の構成において撮像回路１０６を含まない構成をとりうる。制御装置は、例えばＣＰＵ１０１がプログラムを実行することにより、パン・チルト・ズーム制御信号を撮像装置に送信することにより、または、撮像装置が設置される雲台等を制御することにより、撮像装置の撮像範囲を制御しうる。なお、制御装置が撮像装置に内包されてもよく、この場合、制御装置は、例えば、撮像回路１０６以外の構成によって実現され、撮像回路１０６の撮像範囲を制御するように構成されうる。
【００１６】
続いて、撮像装置の機能構成例について、図２を用いて説明する。撮像装置は、一例において、撮像部２０１、画像処理部２０２、パン・チルト制御部２０３、システム制御部２０４、記憶部２０５、通信処理部２０６、自動追尾制御部２０７、被写体認識部２０８、距離取得部２０９、及び、被写体位置制御部２１０を有する。
【００１７】
撮像部２０１は撮像回路１０６によって被写体を撮像し、撮像によって得られた画像の電気信号への変換を行う。画像処理部２０２は、撮像部２０１によって変換された電気信号に対して画像処理や圧縮符号化処理を行い、画像データを生成する。画像データは、システム制御部２０４へ伝達される。パン・チルト制御部２０３は、不図示のパン駆動部またはチルト駆動部の操作制御を行う制御部であり、パン方向またはチルト方向への回転駆動制御を行う。システム制御部２０４は、通信処理部２０６を介して、生成された画像データをクライアント装置に配信する。また、システム制御部２０４は、通信処理部２０６を介して受信したカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、システム制御部２０４は、画像処理部２０２に対する画質調整の設定や、撮像部２０１に対するズームやフォーカス制御の設定等の、撮影パラメータの設定指示を行う。例えば、撮像部２０１は、伝達された指示に基づいて、レンズ制御を行う。また、システム制御部２０４は、パン・チルト制御部２０３に対してパンまたはチルト方向の回転指示も行う。記憶部２０５は、画質調整のパラメータやネットワークの設定等の設定値を記憶する。記憶部２０５にこのような設定値が記憶されることにより、撮像装置が再起動された場合等においても、以前に設定した値を用いて撮像装置を動作させることができる。通信処理部２０６は、ＬＡＮによるネットワーク通信の処理を行う。自動追尾制御部２０７は、被写体認識部２０８によって認識された自動追尾対象の被写体の撮像画像内での位置を特定して、撮像画像内の所定の位置でその被写体が写されるように回転角度を計算し、システム制御部２０４に対してパン・チルト制御指示を行う。被写体認識部２０８は、画像処理部２０２で生成された撮像画像内から顔や体の形状などを抽出し、被写体を認識する処理を行う。被写体認識部２０８は、例えば、顔認識によるパターンで追尾対象の被写体を認識しうるが、色、輪郭、動体認識等の他の認識技術によって追尾対象の被写体が認識されてもよい。また、追尾対象の被写体は人物に特定されず、例えば（背景または前景の）物体であってもよい。この場合、物体の認識を行う物体認識技術が使用されうる。距離取得部２０９は、画像処理部２０２で生成された撮像画像内に含まれる既知サイズの指標から、カメラと被写体との間の距離を算出して取得する処理を行う。例えば、被写体の顔や体の各パーツのサイズデータを既知サイズの指標として与え、画像データの指標領域（各パーツ）の占めるピクセル数から、カメラと被写体との距離が算出される。また、２次元バーコードのような既知サイズの指標をバッチとして被写体に取り付けて、画像データ内のその指標を認識して、指標の占めるピクセル数からカメラと被写体との距離が算出されてもよい。被写体位置制御部２１０は、追尾対象の被写体を撮像画像内のどの位置で写すかを、距離取得部２０９によって取得された距離情報に基づいて決定する。そして、被写体位置制御部２１０は、自動追尾制御部２０７に対して、決定した被写体を写す撮像画像内での位置を指示する。
【００１８】
（処理の流れ）
続いて、撮像装置（または制御装置）が実行する処理の流れについて説明する。
【００１９】
撮像部２０１で撮影され、画像処理部２０２により生成された画像は、被写体認識部２０８によって画像解析され、例えば事前にターゲットとして定められた所定の被写体が写っているかが判定される。そして、被写体認識部２０８によって所定の被写体が写っていると判定された場合に、自動追尾制御部２０７は、画像内の所定の位置にその所定の被写体が写るように、撮像範囲を設定する。図３は、所定の被写体（被写体３０１）が撮像画像３００内の中央位置に来るように自動追尾制御を行った場合の例を示している。なお、被写体領域３０２は、被写体認識部２０８によって所定の被写体が写っていると認識された領域を示している。なお、図３では、認識された領域が矩形領域の場合の例を示しているが、この領域は矩形領域でなくてもよい。また、認識された領域は、図３のように表示されなくてもよく、撮像装置において内部的に認識されるだけであってもよい。図３の例では、追尾対象の被写体が撮像画像内の中央位置に写るように自動追尾制御を行っているため、撮像画像のほぼ中央付近に被写体３０１が写る。画像には、追尾対象の被写体の他に、追尾対象外の被写体も写る。図３では、一例として、ホワイトボード３０３が、被写体３０１の背面にある追尾対象外の被写体として写っている。なお、図３は、被写体３０１がホワイトボード３０３を用いて説明を行っている場面を撮像した画像であり、この場合、ホワイトボード３０３も撮像することが望ましい被写体である。しかしながら、追尾対象の被写体３０１が画像の中央に写るように自動追尾制御が行われる結果、ホワイトボード３０３の一部が撮像範囲外となり、ホワイトボード３０３に書かれた文字の一部を視認することができない。
【００２０】
このため、本実施形態の撮像装置は、このような追尾対象外の被写体を写すことが有益な場面において、その追尾対象外の被写体を含むような撮像範囲を設定するための処理を実行する。以下では、このような処理のいくつかの例について説明する。
【００２１】
（処理例１）
撮像装置は、追尾対象の被写体３０１と、撮像装置との距離に応じて、被写体３０１を画像の中央に写るようにするか否かを決定しうる。すなわち、撮像装置が固定されている場合、ホワイトボード３０３と撮像装置との間の距離は、おおむね固定されており、撮像装置は、事前にその距離を例えばユーザ入力等によって取得することができる。そして、追尾対象の被写体３０１と自装置との間の距離と、事前に取得していたホワイトボード３０３と自装置との間の距離との差が小さい場合、被写体３０１とホワイトボード３０３とが近い位置に存在すると判定することが可能である。そして、被写体３０１とホワイトボード３０３とが近い位置に存在する場合、被写体３０１がホワイトボード３０３を使用していると推定することができる。このため、本実施形態の撮像装置は、被写体３０１と自装置との距離に応じて被写体３０１がホワイトボード３０３を使用していると推定される場合には、ホワイトボード３０３の全体または所定の割合が写るように、被写体３０１を写す位置を決定する。
【００２２】
この処理を実行する際の場面の例を図４に示す。カメラ４０１は、本実施形態にかかる撮像装置であり、追尾対象の被写体３０１と追尾対象外の被写体（ホワイトボード３０３）を撮像している。被写体３０１は、一例として、既知のサイズ及びパターンを有する２次元マーカが印刷されたバッチ４０３を装着する。距離取得部２０９は、この２次元マーカが写っている撮像画像を画像解析することにより、カメラ４０１とバッチ４０３との３次元相対位置を特定することができる。なお、２次元マーカを用いた相対位置の算出方法は公知技術であるため、ここでの詳細な説明については省略する。距離取得部２０９は、この３次元相対位置から奥行距離情報を取得することによって、被写体３０１とカメラ４０１との間の距離であるＤｓｔＴ４０２を取得することができる。なお、本実施形態では、２次元マーカを用いる例を示したが、これ以外の方法によって、カメラ４０１と被写体３０１との間の距離が特定されてもよい。例えば、被写体の顔や体の各パーツのサイズデータを既知サイズの指標として与えておき、画像データにおいて各パーツの占める領域のピクセル数から、カメラ４０１と被写体３０１との間の距離が算出されてもよい。また、距離取得部２０９は、例えば、深度センサ等の測距センサによって実現されてもよく、被写体までの距離を取得する等、画像解析によらずにカメラ４０１と被写体３０１との間の距離を特定してもよい。さらに、カメラ４０１の内部の距離取得部２０９がカメラ４０１と被写体３０１との間の距離を推定するのではなく、カメラ４０１の外部にある距離測定装置がカメラ４０１と被写体３０１との間の距離を測定してもよい。この場合、距離取得部２０９は、その距離測定装置からカメラ４０１へ入力された測定結果の情報を取得しうる。また、距離取得部２０９は、上述の距離測定手法を複数個組み合わせて用いてもよい。このように、距離取得部２０９は、様々な手法のうちの少なくともいずれかを用いてカメラ４０１と被写体３０１との間の距離を取得する。
【００２３】
そして、被写体位置制御部２１０は、距離取得部２０９が取得した距離ＤｓｔＴ４０２が所定距離（閾値ＳｔＴ）より小さいか否かに応じて、撮像画像内において被写体３０１を写す位置を設定する。ここで、ＳｔＴは、例えばユーザが不図示のＰＣを操作することによって設定される設定値であり、（例えばカメラ４０１の通信処理部２０６を介して）カメラ４０１の記憶部２０５に設定値として予め記憶される。また、ＳｔＴは、例えば、カメラ４０１とホワイトボード３０３との間の距離に応じて定まりうる。例えば、ＤｓｔＴ４０２がＳｔＴ以上である場合に、被写体３０１がホワイトボード３０３と十分に接近している状態であると判定可能な距離として設定される。そして、被写体位置制御部２１０は、例えば、ＤｓｔＴ４０２が所定距離ＳｔＴより小さい場合は、被写体３０１を中心位置に写すように被写体３０１の位置を決定する。また、被写体位置制御部２１０は、例えば、ＤｓｔＴ４０２が所定距離ＳｔＴ以上である場合は、被写体３０１の位置を右側にシフトして、ホワイトボード３０３が写るようにする。このとき、被写体位置制御部２１０は、ホワイトボード３０３が写るようなカメラ４０１の撮像範囲の設定値をあらかじめ保持しておき、被写体３０１が画像内に写る範囲で、その設定値方向にカメラ４０１の撮像範囲をシフトさせるような処理を行ってもよい。また、被写体位置制御部２１０は、ＤｓｔＴ４０２がＳｔＴ以上であるか否かに応じて、被写体が写る位置を中央と規定するパターンＡと、被写体が写る位置を中央より右側の所定の位置とするパターンＢとのいずれかを使用すると決定しうる。この場合、パターンごとに定まる被写体が写るべき位置に被写体が収まるように、撮像範囲が設定される。図５に、被写体位置制御部２１０が実行するこのような処理の流れの一例を示す。
【００２４】
被写体位置制御部２１０は、まず、追尾対象の被写体と撮像装置との間の距離の値（ＤｓｔＴ）を取得する（Ｓ５０１）。図４の例では、被写体位置制御部２１０は、被写体３０１とカメラ４０１との間の距離ＤｓｔＴ４０２を取得する。そして、被写体位置制御部２１０は、Ｓ５０１で取得されたＤｓｔＴと閾値ＳｔＴとを比較する（Ｓ５０２）。被写体位置制御部２１０は、距離ＤｓｔＴが閾値ＳｔＴより小さい場合（Ｓ５０２でＹＥＳ）に画像内での被写体の位置を中央とするパターンＡを使用すると決定する（Ｓ５０３）。また、被写体位置制御部２１０は、距離ＤｓｔＴが閾値ＳｔＴ以上である場合（Ｓ５０２でＮＯ）には、画像内での被写体の位置を中央より右側の所定の位置とするパターンＢを使用すると決定する（Ｓ５０４）。例えば、背面の被写体（ホワイトボード３０３）がカメラから４．５ｍの距離に固定してあるものとし、カメラ４０１から４．０ｍの距離を閾値ＳｔＴとしたとする。この場合、被写体位置制御部２１０は、距離ＤｓｔＴが４．０ｍ未満の場合には画像内の被写体の位置はパターンＡ（中央）を使用し、距離ＤｓｔＴが４．０ｍ以上の場合にはパターンＢ（右寄り）を使用する、という決定を行う。
【００２５】
被写体位置制御部２１０は、決定した被写体位置を自動追尾制御部２０７に通知する（Ｓ５０５）。自動追尾制御部２０７は、通知を受けた位置に追尾対象被写体が映るように撮像範囲を設定する。自動追尾制御部２０７は、例えば、カメラ４０１を回転させる角度を計算し、システム制御部２０４に対して、パン・チルト制御を指示する。なお、Ｓ５０２の比較において所定回数連続して同じ比較結果になった場合にのみ、画像内の被写体の位置のパターンを決定してもよい。これによれば、距離ＤｓｔＴと閾値ＳｔＴとの差が非常に小さくなる位置に被写体が存在する場合に、画像内の被写体の位置のパターンが頻繁に切り替えられることを防ぐことが可能となる。
【００２６】
図６に、図５の処理によってパターンＢの使用が決定され、被写体３０１が撮像画像において中央から右側にずれた位置において写される場合に、撮像によって得られる画像６００の例を示す。被写体領域６０１は、被写体認識部２０８によって所定の被写体が写っていると認識された領域を示している。図６に示すように、被写体領域６０１が撮像された画像の中央より右寄りの位置において写されることにより、被写体３０１の左側が広く撮影されるようになる。この結果、自動追尾対象外の被写体であるホワイトボード３０３が撮像範囲内に収まり、ホワイトボード３０３に記述された文字列がすべて見えるように撮像されうる。
【００２７】
（処理例２）
処理例１では、自動追尾対象である被写体と撮像装置との間の距離を用いて、被写体を画像内のどの位置に写すかを決定する方法について説明した。本処理例では、自動追尾対象外の被写体と撮像装置との間の距離をも取得することにより、自動追尾対象の被写体と自動追尾対象外の被写体との間の距離指標を特定し、その指標値に基づいて画像内で被写体が写される位置を決定する。
【００２８】
本処理を実行する際の場面の例を図７に示す。カメラ４０１は、追尾対象の被写体３０１と追尾対象外の被写体であるホワイトボード３０３を撮像する。被写体３０１には、図４の場合と同様に、２次元マーカが印刷されたバッチ４０３が装着されている。距離取得部２０９は、この２次元マーカが映っている撮像画像を画像解析することによって、カメラ４０１と追尾対象の被写体３０１との間の距離ＤｓｔＴ７０２を特定する。また、本処理では、追尾対象の被写体３０１に装着されたバッチ４０３の２次元マーカとはパターンが異なる２次元マーカ７０４が、追尾対象外の被写体（ホワイトボード３０３）に対して貼りつけられる。距離取得部２０９は、その２次元マーカ７０４を用いて、追尾対象外の被写体（ホワイトボード３０３）とカメラ４０１との間の距離ＤｓｔＢ７０３を特定する。なお、本例では、カメラと追尾対象の被写体及び追尾対象外の被写体のそれぞれとの間の距離を画像データ中の情報に基づいて算出する場合について説明したが、これに限られない。例えば、深度センサ等の測距センサをカメラ４０１に搭載して、各被写体までの距離を取得するようにしてもよい。距離取得部２０９は、カメラと追尾対象の被写体及び追尾対象外の被写体のそれぞれとの間の距離（ＤｓｔＴ及びＤｓｔＢ）を取得すると、これらの被写体間距離に対応する距離指標を、｜ＤｓｔＴ−ＤｓｔＢ｜を計算することによって取得する。
【００２９】
被写体位置制御部２１０は、この距離指標の値が大きいほど追尾対象の被写体と追尾対象外の被写体との距離が遠く、この距離指標の値が小さいほど追尾対象の被写体と追尾対象外の被写体との距離が近いと推定する。そして、被写体位置制御部２１０は、その推定結果に基づいて、撮像される画像において追尾対象の被写体を写す位置を設定する。図８を用いて、この時の処理の流れの例について説明する。まず、被写体位置制御部２１０は、追尾対象の被写体（被写体３０１）とカメラ４０１との間の距離ＤｓｔＴ７０２と、追尾対象外の被写体（ホワイトボード３０３）とカメラ４０１との間の距離ＤｓｔＢ７０３とを取得する（Ｓ８０１、Ｓ８０２）。次に、被写体位置制御部２１０は、取得した距離の値から、距離指標Ｌｄ＝｜ＤｓｔＢ−ＤｓｔＴ｜を算出する（Ｓ８０３）。そして、被写体位置制御部２１０は、距離指標Ｌｄと閾値ＳｔＤとを比較する（Ｓ８０４）。ここで、ＳｔＤは、例えばユーザが不図示のＰＣを操作することによって設定される設定値であり、（例えばカメラ４０１の通信処理部２０６を介して）カメラ４０１の記憶部２０５に設定値として予め記憶される。なお、閾値ＳｔＤは、一例において、講師がホワイトボードを使用する際の講師とホワイトボードとの距離等、追尾対象外の被写体が使用される期間における追尾対象の被写体と追尾対象外の被写体との距離に関する統計値から決定されうる。被写体位置制御部２１０は、距離指標ＬｄがＳｔＤ未満である場合（Ｓ８０４でＹＥＳ）、被写体３０１の位置を右側にシフトしてホワイトボード３０３が写るようにするパターンＢを使用することを決定する（Ｓ８０５）。被写体位置制御部２１０は、距離指標ＬｄがＳｔＤ以上である場合（Ｓ８０４でＮＯ）、被写体３０１の位置を中央に写すようにするパターンＡを使用することを決定する（Ｓ８０６）。
【００３０】
被写体位置制御部２１０は、決定した被写体位置を自動追尾制御部２０７に通知する（Ｓ８０７）。自動追尾制御部２０７は、通知を受けた位置に追尾対象被写体が映るように撮像範囲を設定する。自動追尾制御部２０７は、例えば、カメラ４０１を回転させる角度を計算し、システム制御部２０４に対して、パン・チルト制御を指示する。なお、Ｓ８０４の比較において所定回数連続して同じ比較結果になった場合にのみ、画像内の被写体の位置のパターンを決定してもよい。これによれば、距離指標Ｌｄと閾値ＳｔＤとの差が非常に小さくなる位置に各被写体が存在する場合に、画像内の被写体の位置のパターンが頻繁に切り替えられることを防ぐことが可能となる。
【００３１】
本処理例によれば、追尾対象外の被写体の位置が固定されていない場合や、その被写体とカメラとの距離が事前に判明していない場合であっても、撮像される画像内において被写体を写す位置を適切に決定することができる。
【００３２】
（処理例３）
上述の処理例では、追尾対象の被写体と追尾対象外の被写体との、撮像される画像内での横方向（水平方向）の位置関係について、一定の関係（追尾対象の被写体が、追尾対象外の被写体の右側に存在する関係）があることが分かっている場合について説明した。本処理例では、この水平方向の位置関係を考慮して、追尾対象の被写体を撮像される画像内のどの位置に写すかを決定する。
【００３３】
本処理を実行する際の場面の例を図９に示す。撮像画像９００は、追尾対象の被写体３０１を含んでおり、被写体領域９０１は、被写体３０１を認識した領域を示している。図９の例では、被写体領域９０１の水平方向の中心がＴｐ９０４によって表されている。この中心位置Ｔｐ９０４は、被写体認識部２０８による画像解析によって、被写体領域９０１が認識され、その認識された領域に基づいて特定可能である。また、図９において、追尾対象外の被写体は、被写体３０１の背面にあるホワイトボード３０３である。本例では、さらに、ホワイトボード３０３の水平方向における端部（左端Ｌｅ９０２及び右端Ｒｅ９０３）が、被写体認識部２０８による画像解析によって検出される。
【００３４】
被写体位置制御部２１０は、この追尾対象外の被写体の両端（左端Ｌｅ９０２及び右端Ｒｅ９０３）の位置と、被写体３０１の中心位置Ｔｐ９０４との関係に従って、撮像される画像のどの位置に被写体３０１を写すかの設定を行う。図１０を用いて、この時の処理の流れの例について説明する。なお、図１０におけるＳ１００１〜Ｓ１００５は、図８のＳ８０１〜Ｓ８０４及びＳ８０６と同様であるため、説明を省略する。なお、Ｓ１００１〜Ｓ１００５の処理は、Ｓ５０１〜Ｓ５０３と置き換えられてもよい。この場合、Ｓ５０２で距離ＤｓｔＴが閾値ＳｔＴ以上であると判定された場合に、処理が後述のＳ１００６に移ることとなる。
【００３５】
被写体位置制御部２１０は、Ｓ１００４において距離指標ＬｄがＳｔＤ未満であると判定された場合（Ｓ１００４でＹＥＳ）、続いて、追尾対象外の被写体の左端及び右端の、撮像画像内での水平方向の位置を取得する（Ｓ１００６）。被写体位置制御部２１０は、さらに、追尾対象の被写体の、撮像画像内での水平方向の中心位置を取得する（Ｓ１００７）。被写体位置制御部２１０は、例えば、追尾対象の被写体の中心位置の座標値Ｔｐと追尾対象外の被写体の左端及び右端の座標値（ＬｅおよびＲｅ）を取得する。そして、被写体位置制御部２１０は、Ｓ１００６及びＳ１００７で取得した座標値Ｔｐ、Ｌｅ及びＲｅに基づいて、｜｜Ｔｐ−Ｒｅ｜−｜Ｔｐ−Ｌｅ｜｜が所定の閾値ＳｔＣより小さいか否かを判定する（Ｓ１００８）。すなわち、被写体位置制御部２１０は、Ｓ１００８において、追尾対象の被写体が、追尾対象外の被写体の水平方向における中心付近に位置するかを判定する。被写体位置制御部２１０は、追尾対象の被写体が、水平方向において追尾対象外の被写体の中心付近に位置している場合、すなわち、｜｜Ｔｐ−Ｒｅ｜−｜Ｔｐ−Ｌｅ｜｜がＳｔＣより小さい場合（Ｓ１００８でＹＥＳ）、処理をＳ１００５に進める。すなわち、この場合、被写体位置制御部２１０は、追尾対象の被写体を撮像される画像の中心に写すことにより、追尾対象外の被写体の全体を写すことが可能であると考えられるため、パターンＡを使用することを決定する（Ｓ１００５）。
【００３６】
一方、｜｜Ｔｐ−Ｒｅ｜−｜Ｔｐ−Ｌｅ｜｜がＳｔＣ以上である場合（Ｓ１００８でＮＯ）、被写体位置制御部２１０は、｜Ｔｐ−Ｒｅ｜と｜Ｔｐ−Ｌｅ｜とを比較する（Ｓ１００９）。この比較により、追尾対象の被写体が、追尾対象外の被写体の左側と右側のどちら側に寄って存在しているかが判定される。すなわち、｜Ｔｐ−Ｌｅ｜の方が大きい場合（Ｓ１００９でＹＥＳ）は、追尾対象の被写体の中心と追尾対象外の被写体の左端との距離が大きいため、追尾対象の被写体は、追尾対象外の被写体の右側に寄って存在していることとなる。このため、被写体位置制御部２１０は、｜Ｔｐ−Ｌｅ｜の方が大きい場合（Ｓ１００９でＹＥＳ）に、撮像される画像において追尾対象の被写体を右寄りに写すパターンＢを使用することを決定する（Ｓ１０１０）。一方、｜Ｔｐ−Ｒｅ｜の方が大きい場合は（Ｓ１００９でＮＯ）、追尾対象の被写体の中心と追尾対象外の被写体の右端との距離が大きいため、追尾対象の被写体は、追尾対象外の被写体の左側に寄って存在していることとなる。このため、被写体位置制御部２１０は、｜Ｔｐ−Ｒｅ｜の方が大きい場合（Ｓ１００９でＮＯ）に、撮像される画像において追尾対象の被写体を左寄りに写すパターンＣを使用することを決定する（Ｓ１０１１）。これにより、追尾対象の被写体の左側または右側に偏って位置する追尾対象外の被写体を十分に写すことが可能となる。
【００３７】
被写体位置制御部２１０は、決定した被写体位置を自動追尾制御部２０７に通知する（Ｓ１０１２）。自動追尾制御部２０７は、通知を受けた位置に追尾対象被写体が映るように撮像範囲を設定する。自動追尾制御部２０７は、例えば、カメラ４０１を回転させる角度を計算し、システム制御部２０４に対して、パン・チルト制御を指示する。なお、Ｓ１００４、Ｓ１００８及びＳ１００９の比較において所定回数連続して同じ比較結果になった場合にのみ、画像内の被写体の位置のパターンを決定してもよい。
【００３８】
（処理例４）
上述のような撮像範囲の制御により、追尾対象の被写体を中央以外の位置で写すようにされた場合、追尾対象外の被写体を安定的に撮像できることが重要である。これに対して、追尾対象外の被写体が撮像されるように撮像範囲が設定された後に、追尾対象の被写体の動きに応じて撮像範囲が細かく動くと、追尾対象外の被写体を安定的に撮像することができない場合がありうる。このため、本処理例では、自動追尾制御部２０７が、追尾対象の被写体を撮像範囲の中央からずれた位置で写すとの通知を受信した場合に、撮像範囲の制御の停止（パン・チルトのロック）を行う。図１１に、本処理の流れの例を示す。
【００３９】
自動追尾制御部２０７は、まず、被写体位置制御部２１０から、被写体を写すべき、撮像される画像における位置のパターン（例えば上述のパターンＡ及びパターンＢのいずれか）の通知を受信する（Ｓ１１０１）。そして、自動追尾制御部２０７は、前回の通知からパターンの変化があったか否かを確認し（Ｓ１１０２）、変化がない場合（Ｓ１１０２でＮＯ）には処理をＳ１００１に戻す。一方、自動追尾制御部２０７は、前回の通知からパターンの変化があった場合（Ｓ１１０２でＹＥＳ）、そのパターンの変化が、パターンＡからパターンＢへの変化であるかを判定する（Ｓ１１０３）。そして、自動追尾制御部２０７は、パターンの変化がパターンＡからパターンＢへの変化であった場合（Ｓ１１０３でＹＥＳ）、画像内で被写体が写されるべき位置を調整して撮像範囲を制御した後に、制御をロックすることをシステム制御部２０４に指示する。この指示により、パターンＡからパターンＢに変化した場合は、パターンＢで指定される位置に被写体３０１が写されるように撮像範囲が制御された後に撮像範囲が変化しないように、撮像範囲のロックが行われる。これにより、追尾対象外の被写体が撮像されるように撮像範囲が設定された後に、追尾対象の被写体の動きに応じて撮像範囲が細かく動くことを防ぎ、安定的に追尾対象外の被写体を撮像することが可能となる。なお、自動追尾制御部２０７は、パターンの変化がパターンＢからパターンＡへの変化である場合（Ｓ１１０３でＮＯ）は、撮像範囲のロックを解除することをシステム制御部２０４に対して指示する（Ｓ１１０５）。これにより、追尾対象の被写体が追尾対象外の被写体を使用しない状況となった際に、追尾対象の被写体の動きに合わせて、撮像範囲を変更可能な状態へと移行することができる。
【００４０】
（処理例５）
追尾対象の被写体を画像内の中央に写されるように撮像が行われている間に、ズームが広角設定の場合、画像内での追尾対象の被写体の位置を変更せずとも追尾対象外の被写体をすべて写すことができる場合がある。本処理例では、ズームの状態を考慮して、追尾対象の被写体の、撮像される画像内での位置を決定する方法について説明する。図１２は、この処理の流れの例を示す図である。この処理は被写体位置制御部２１０によって実行される。なお、Ｓ１２０１〜Ｓ１２０４及びＳ１２０８と、Ｓ８０１〜Ｓ８０４及びＳ８０６とは同様であるため、説明を省略する。なお、Ｓ１２０１〜Ｓ１２０４及びＳ１２０８の処理は、Ｓ５０１〜Ｓ５０３と置き換えられてもよい。この場合、Ｓ５０２で距離ＤｓｔＴが閾値ＳｔＴ以上であると判定された場合に、処理が後述のＳ１２０５に移ることとなる。
【００４１】
被写体位置制御部２１０は、Ｓ１２０４において距離指標ＬｄがＳｔＤ未満であると判定された場合（Ｓ１２０４でＹＥＳ）、続いて、撮像部２０１からズーム値Ｚｍを取得する（Ｓ１２０５）。次に、被写体位置制御部２１０は、ズーム値Ｚｍが閾値Ｚｗより小さいか（広角であるか）否かを確認する（Ｓ１２０６）。そして、被写体位置制御部２１０は、ズーム値Ｚｍが閾値Ｚｗより小さい場合（Ｓ１２０６でＹＥＳ）は、画像内に被写体の位置としてパターンＡを使用することを決定する（Ｓ１２０８）。一方、被写体位置制御部２１０は、ズーム値Ｚｍが閾値Ｚｗ以上である場合（Ｓ１２０６でＮＯ）は、画像内の追従対象の被写体の位置の設定としてパターンＢを使用することを決定する（Ｓ１２０７）。そして、被写体位置制御部２１０は、決定した被写体位置を自動追尾制御部２０７に通知する（Ｓ１２０９）。自動追尾制御部２０７は、通知を受けた位置に追尾対象被写体が映るように撮像範囲を設定する。自動追尾制御部２０７は、例えば、カメラ４０１を回転させる角度を計算し、システム制御部２０４に対して、パン・チルト制御を指示する。これにより、不必要に追従対象の被写体を中央からずれた位置に写すことがなくなる。
【００４２】
上述の処理では、少なくともカメラと追尾対象の所定の被写体との間の距離に基づいて、撮像される画像におけるその所定の被写体の水平方向の位置を決定しているが、これに限られない。すなわち、追尾対象の所定の被写体（例えば人物）と追尾対象外の別の所定の被写体（例えばホワイトボード）との間の距離を特定可能であれば、その距離に基づいて、所定の被写体の撮像される画像における水平方向の位置を決定してもよい。例えば、カメラとは別に、例えば撮像を行うカメラの視線方向と直交する方向（すなわち、カメラから見て深さ方向）において、被写体間距離を特定可能なセンサを用意しておき、このセンサによる被写体間距離に基づいて所定の被写体の位置を決定してもよい。このとき、センサによる（カメラから見た）深さ方向の被写体間距離と、カメラによって撮像される画像を解析することで得られる水平方向の被写体間距離によって、被写体間距離をより正確に特定してもよい。この場合、被写体間距離が小さい場合は、追尾対象外の所定の被写体についても撮像されるように、撮像範囲が設定される。これにより、追尾対象の所定の被写体と共に追尾対象外の被写体を撮像されるべき場面において、追尾対象の所定の被写体のみならず、その追尾対象外の被写体を適切に撮像することができる。
【００４３】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４４】
２０１：撮像部、２０２：画像処理部、２０３：パン・チルト制御部、２０４：システム制御部、２０５：記憶部、２０６：通信処理部、２０７：自動追尾制御部、２０８：被写体認識部、２０９：距離取得部、２１０：被写体位置制御部、３０１：被写体、３０２：被写体領域、３０３：ホワイトボード（追尾対象外の被写体）、４０１：カメラ
【図１】
2019125946.tif 000003
【図２】
2019125946.tif 000004
【図３】
2019125946.tif 000005
【図４】
2019125946.tif 000006
【図５】
2019125946.tif 000007
【図６】
2019125946.tif 000008
【図７】
2019125946.tif 000009
【図８】
2019125946.tif 000010
【図９】
2019125946.tif 000011
【図１０】
2019125946.tif 000012
【図１１】
2019125946.tif 000013
【図１２】
2019125946.tif 000014