(57)【要約】【課題】移動する被写体を追いかけて撮像する場合であっても、撮像装置を操作者が所望する撮像方向に向けて撮像可能な遠隔操作装置を提供する。【解決手段】遠隔操作装置は、撮像装置で撮像された映像を表示する表示部と、表示部に表示させる映像に、撮像装置の撮像中心目標を示す目標枠を合成する合成部と、目標枠を移動させる移動操作を受け付ける操作部と、を備える。さらに遠隔操作装置は、目標枠の合成位置を算出するとともに、撮像装置の撮像方向を移動させる移動方向及び移動量を算出する演算部と、演算部で算出した移動方向及び移動量を記憶する記憶部とを備える。演算部は、操作部で受け付けられた移動操作に応じて、目標枠の合成位置を算出し、操作部で受け付けられた移動操作と、記憶部に記憶された過去の移動方向及び移動量に基づき、撮像装置の撮像方向を移動させる移動方向及び移動量を算出する。【選択図】図１
2020039023.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像された映像を表示する表示部と、
前記表示部に表示させる映像に、前記撮像装置の撮像中心目標を示す目標枠を合成する合成部と、
前記目標枠を移動させる移動操作を受け付ける操作部と、
前記目標枠の合成位置を算出するとともに、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する演算部と、
前記演算部で算出した移動方向及び移動量を記憶する記憶部と
を備え、
前記演算部は、
前記操作部で受け付けられた移動操作に応じて、前記目標枠の合成位置を算出し、
前記操作部で受け付けられた移動操作と、前記記憶部に記憶された過去の移動方向及び移動量とに基づき、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する
ことを特徴とする遠隔操作装置。
【請求項２】
前記演算部は、前記記憶部に記憶された過去の移動方向及び移動量に基づき、前記撮像装置における現時点での撮像中心であると予測される位置を算出し、
前記合成部は、前記演算部で算出した結果に基づき、前記撮像装置における現時点での撮像中心であると予測される位置を示す撮像中心枠を、前記表示部に表示させる映像に合成する
ことを特徴とする請求項１に記載の遠隔操作装置。
【請求項３】
前記合成部は、前記目標枠の表示形態と異なる表示形態の前記撮像中心枠を合成する
ことを特徴とする請求項２に記載の遠隔操作装置。
【請求項４】
請求項１〜３のいずれか１項に記載の遠隔操作装置と、前記撮像装置とを備えることを特徴とする撮像システム。
【請求項５】
撮像装置で撮像されて伝送された映像を表示部に表示する表示ステップと、
前記表示部に表示させる映像に、前記撮像装置の撮像中心目標を示す目標枠を合成する合成ステップと、
前記目標枠を移動させる移動操作を受け付ける操作ステップと、
前記目標枠の合成位置を算出するとともに、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する演算ステップと、
前記演算ステップで算出した移動方向及び移動量を記憶する記憶ステップと
を含み、
前記演算ステップは、
前記操作ステップで受け付けられた移動操作に応じて、前記目標枠の合成位置を算出し、
前記操作ステップで受け付けられた移動操作と、前記記憶ステップで記憶された過去の移動方向及び移動量とに基づき、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する
ことを特徴とする遠隔操作方法。
【請求項６】
遠隔操作装置に、
撮像装置で撮像されて伝送された映像を表示部に表示する表示ステップと、
前記表示部に表示させる映像に、前記撮像装置の撮像中心目標を示す目標枠を合成する合成ステップと、
前記目標枠を移動させる移動操作を受け付ける操作ステップと、
前記目標枠の合成位置を算出するとともに、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する演算ステップと、
前記演算ステップで算出した移動方向及び移動量を記憶する記憶ステップと
を実行させるためのプログラムであり、
前記演算ステップは、
前記操作ステップで受け付けられた移動操作に応じて、前記目標枠の合成位置を算出し、
前記操作ステップで受け付けられた移動操作と、前記記憶ステップで記憶された過去の移動方向及び移動量とに基づき、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔操作装置、撮像システム、遠隔操作方法、及びプログラムに関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置の撮像方向をネットワーク経由で遠隔操作するシステムでは、操作者はネットワーク伝送により遅延した映像を見ながら撮像装置の撮像方向を操作するため、操作者が望むような撮像方向にすることができない場合がある。また、ネットワーク伝送時に映像信号を圧縮する場合、更に映像の遅延は大きくなる。
【０００３】
特許文献１には、ネットワーク経由で撮像装置の撮像方向を遠隔操作するシステムにおいて、現在撮像装置が撮像していると予想される画像の中心位置と範囲を示す指示枠を撮像画像に合成表示させることで撮像方向移動操作を補助するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２９８９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載のシステムでは、移動する被写体を追いかけて撮像する場合、操作者が所望する撮像方向での撮像ができないことがある。従って、遠隔操作により、移動する被写体を追いかけて撮像する場合であっても、撮像装置を操作者が所望する撮像方向に向けて撮像できるようにする手法が望まれる。
【０００６】
本発明は、上記の点に鑑みなされたものであり、移動する被写体を追いかけて撮像する場合であっても、撮像装置を操作者が所望する撮像方向に向けて撮像可能な遠隔操作装置、撮像システム、遠隔操作方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、撮像装置で撮像された映像を表示する表示部と、前記表示部に表示させる映像に、前記撮像装置の撮像中心目標を示す目標枠を合成する合成部と、前記目標枠を移動させる移動操作を受け付ける操作部と、前記目標枠の合成位置を算出するとともに、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する演算部と、前記演算部で算出した移動方向及び移動量を記憶する記憶部とを備え、前記演算部は、前記操作部で受け付けられた移動操作に応じて、前記目標枠の合成位置を算出し、前記操作部で受け付けられた移動操作と、前記記憶部に記憶された過去の移動方向及び移動量とに基づき、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出することを特徴とする遠隔操作装置を提供する。
【０００８】
本発明は、撮像装置で撮像されて伝送された映像を表示部に表示する表示ステップと、前記表示部に表示させる映像に、前記撮像装置の撮像中心目標を示す目標枠を合成する合成ステップと、前記目標枠を移動させる移動操作を受け付ける操作ステップと、前記目標枠の合成位置を算出するとともに、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する演算ステップと、前記演算ステップで算出した移動方向及び移動量を記憶する記憶ステップとを含み、前記演算ステップは、前記操作ステップで受け付けられた移動操作に応じて、前記目標枠の合成位置を算出し、前記操作ステップで受け付けられた移動操作と、前記記憶ステップで記憶された過去の移動方向及び移動量とに基づき、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出することを特徴とする遠隔操作方法を提供する。
【０００９】
本発明は、遠隔操作装置に、撮像装置で撮像されて伝送された映像を表示部に表示する表示ステップと、前記表示部に表示させる映像に、前記撮像装置の撮像中心目標を示す目標枠を合成する合成ステップと、前記目標枠を移動させる移動操作を受け付ける操作ステップと、前記目標枠の合成位置を算出するとともに、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する演算ステップと、前記演算ステップで算出した移動方向及び移動量を記憶する記憶ステップとを実行させるためのプログラムであり、前記演算ステップは、前記操作ステップで受け付けられた移動操作に応じて、前記目標枠の合成位置を算出し、前記操作ステップで受け付けられた移動操作と、前記記憶ステップで記憶された過去の移動方向及び移動量とに基づき、前記撮像装置の撮像方向を移動させる移動方向及び移動量を算出することを特徴とするプログラムを提供する。
【発明の効果】
【００１０】
本発明によれば、遠隔操作により、移動する被写体を追いかけて撮像する場合であっても、撮像装置を操作者が所望する撮像方向に向けて撮像することが可能な遠隔操作装置、撮像システム、遠隔操作方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る遠隔操作装置を備えた撮像システムの一構成例を示すブロック図である。
【図２】図１における遠隔操作装置で実行される撮像方向制御の流れの一例を説明するためのフローチャートである。
【図３】実施の形態１における目標枠の表示例を示す図である。
【図４】バスケットボールのコート上を人が移動する様子を説明するための模式図である。
【図５】実施の形態１における操作の具体例を説明するための図である。
【図６】実施の形態１における操作の具体例を説明するための別の図である。
【図７】実施の形態２における撮像中心枠の表示例を示す図である。
【図８】実施の形態２における操作の具体例を説明するための図である。
【図９】固定物の前を人が横切る様子を説明するための図である。
【図１０】比較例に係るシステムにおいて、図９の場面を撮像した際に遠隔操作側の表示部に表示される画像を説明するための図である。
【発明を実施するための形態】
【００１２】
比較例として、図９及び図１０を参照しながら、特許文献１に記載のシステムのように、遅延して表示された画像に対し、現在の撮像方向を示す枠を表示させるシステムについて説明する。図９は、固定物の前を人が横切る様子を説明するための図で、図１０は、図９の場面を撮像した際に遠隔操作側の表示部（モニタ）に表示される画像を説明するための図である。
【００１３】
ここでは、この比較例に係るシステムにおいて、図９に示すように、固定物である木９５及び自動販売機９６と移動体（人）９７を遠隔操作カメラで撮像する場合を想定して説明を行う。図９において、小文字のアルファベット（ａ〜ｉ）は横方向の位置を示す。また、大文字のアルファベット（Ａ〜Ｄ）は時間ｔを示し、時間ｔが、Ａ→Ｂ→Ｃ→Ｄの順に経過する様子を示している。図９において、木９５は位置ｃから位置ｅの間に存在する固定物で、自動販売機９６は位置ｆから位置ｈの間に存在する固定物である。図９において、人９７は時間ｔの経過とともに、その位置をｃ→ｅ→ｇ→ｉと変化させるように移動する移動体である。
【００１４】
モニタに表示される画像はネットワーク伝送に伴う遅延により、遅延した画像となる。例えば、図１０に示すように、時間ｔ＝Ｂの時にモニタに表示される画像９１ｂは時間ｔ＝Ａの時点で撮像された画像となるものとする。同様に、時間ｔ＝Ｃの時の画像９１ｃは時間ｔ＝Ｂの時点で撮像された画像、時間ｔ＝Ｄの時の画像９１ｄは時間ｔ＝Ｃの時点で撮像された画像となるものとする。
【００１５】
モニタに表示された矩形の破線の枠９２ｂ，９２ｃ，９２ｄは、それぞれ時間ｔ＝Ｂ，Ｃ，Ｄにおける撮像装置の撮像中心の予測位置を示す撮像中心枠で、モニタに表示される画像に合成表示される。操作者は、遅延した画像を見ながらも、このような枠の表示により、現在のカメラの撮像中心を認識することができる。
【００１６】
このような比較例に係るシステムにおいて、先ず固定物の位置を基準にカメラを遠隔操作する場合について説明する。例えば、時間ｔ＝Ｂの時に位置ｄを中心に撮像し、時間ｔ＝Ｃの時に位置ｅを中心に撮像し、時間ｔ＝Ｄの時に位置ｆを中心に撮像する、といった計画を立てて撮像方向を遠隔操作する場合を例に挙げる。このような計画で遠隔操作を行う場合には、図１０で例示したように、遅延した画像に現時点での撮像装置の撮像中心位置を表示するなどの方法で、計画通りの操作、即ち操作者が所望する撮像方向で撮像するような操作が可能である。
【００１７】
一方で、このようなシステムにおいて、移動体である人９７を基準に（撮像中心とすべく）撮像装置を遠隔操作する場合について説明する。このシステムでは、図９に示すように時間ｔ＝Ｂで人９７は位置ｅにいるが、図１０の画像９１ｂに示すようにモニタに表示される画像は遅延しているため、時間ｔ＝Ａでの撮像画像となり、人９７が位置ｃにいるように表示されることになる。
【００１８】
操作者は、この画像９１ｂを見て撮像装置の撮像中心を位置ｃに合わせるように操作することで、枠９２ｂの中心が位置ｃになるようになり、撮像される画像の中心が位置ｃとなる。しかし、時間ｔ＝Ｂにおいて人９７は位置ｅにいるため、撮像した画像は人９７が撮像中心にはならず、操作者が所望する画像を撮像できないことになる。
このように、上記比較例では、遠隔操作により、移動する被写体を追いかけて撮像する場合には、所望する画像を撮像することができない。
【００１９】
＜実施の形態１＞
本実施の形態に係る遠隔操作装置及びその遠隔操作装置を備えた撮像システムについて、図を参照しながら説明する。図１は、本実施の形態に係る遠隔操作装置を備えた撮像システムの一構成例を示すブロック図である。
【００２０】
図１に示すように、本実施の形態に係る撮像システムは、遠隔操作装置１００と、撮像装置２００とから構成され、遠隔操作装置１００と撮像装置２００とがネットワークＮを介して接続されたシステムである。ネットワークＮは、有線又は無線のＬＡＮ（Local Area Network）とすることができるが、これに限ったものではない。
【００２１】
遠隔操作装置１００は、操作部１０１、演算部１０２、記憶部１０３、合成部１０４、通信部１０５、及び表示部１０６を備えることができる。
【００２２】
操作部１０１は、撮像装置２００の撮像方向を遠隔操作するための操作を受け付ける。操作部１０１は、例えば、ボタン、スイッチ等のハードウェアキーで構成することができる。ハードウェアキーは、パン及びチルト制御に対応するために、上下左右の計４方向の操作に対応して設ければ良い。無論、操作部１０１は、上記移動操作以外の操作も受け付け可能なように構成することができる。操作部１０１は、受け付けた操作を各ハードウェアキーのオンオフ信号として、演算部１０２に送る。
【００２３】
演算部１０２は、操作部１０１から受け取った信号から、操作方向と操作量を判別し、操作信号を生成する。操作方向は、例えばどの方向に対応するハードウェアキーが押下されたかで判別することができる。操作量は、例えばそのハードウェアキーが一定時間内に押下された回数又は連続して押下された時間などにより判別することができる。左右方向の操作信号が撮像装置における撮像方向のパン操作に対応し、上下方向の操作信号が撮像方向のチルト操作に対応する。
【００２４】
演算部１０２は、生成した操作信号を合成部１０４に送る。合成部１０４は、通信部１０５を介して撮像装置２００から映像信号を受け取る。また、合成部１０４は、演算部１０２から受け取った操作信号を元に目標枠を生成して、生成した目標枠を映像信号に重畳する。
【００２５】
合成部１０４は、目標枠を重畳した映像信号を表示部１０６に送り、表示部１０６に表示させる。表示部１０６は、液晶モニタや有機ＥＬ（Electro-Luminescence）モニタなどのディスプレイで構成することができる。表示部１０６は遠隔操作装置１００に含めず、遠隔操作装置に対し外部接続される構成とすることもできる。
【００２６】
また、演算部１０２は、生成した操作信号と、記憶部１０３から受け取った前回の移動信号とから、次回の移動信号を算出し、算出した次回の移動信号を記憶部１０３と通信部１０５に送る。ここで、移動信号は、移動方向及び移動量を示す信号とすることができる。ここで、移動量は、移動速度（単位時間辺りの移動量）とすることができる。
【００２７】
記憶部１０３は、例えばＲＡＭ（Random Access Memory）で構成され、演算部１０２で算出した移動信号を記憶する。通信部１０５は演算部１０２から受け取った移動信号をネットワークＮ経由で撮像装置２００に送る。
【００２８】
演算部１０２及び合成部１０４は、例えば、ＣＰＵ（Central Processing Unit）、作業用メモリ、及び不揮発性の記憶装置などによって、或いは集積回路（Integrated Circuit）によって実現される。この記憶装置にＣＰＵによって実行されるプログラム（制御プログラム）を格納しておき、ＣＰＵがそのプログラムを作業用メモリに読み出して実行することで、機能を果たすことができる。合成部１０４の記憶装置には目標枠を示す画像を記憶しておくこともできる。
【００２９】
上述のプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータ（遠隔操作装置１００を含むコンピュータ）に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク各種）を含む。さらに、この例は、ＣＤ／ＤＶＤ−ＲＯＭ（Read Only Memory）、ＣＤ／ＤＶＤ−Ｒ、ＣＤ／ＤＶＤ−Ｒ／Ｗなどの光ディスク媒体を含む。さらに、この例は、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００３０】
撮像装置２００は、撮像部２０１、撮像方向制御部２０２、及び通信部２０３を備えることができる。撮像部２０１で撮像した映像信号は、通信部２０３からネットワークＮを介して遠隔操作装置１００へ送信される。撮像方向制御部２０２は、撮像部２０１の撮像方向を移動させる機構（パン・チルト機構）を備え、遠隔操作装置１００から通信部２０３経由で受け取った移動信号に基づき撮像部２０１の撮像方向を移動させる。
【００３１】
その他、図示しないが、撮像装置２００は、撮像部２０１で撮像した映像信号を圧縮する圧縮部などを備えることができ、圧縮後の映像データを遠隔操作装置１００に伝送するように構成することができる。同様に遠隔操作装置１００は、撮像装置２００から伝送された圧縮映像データを伸張する伸張部などを備えることができる。なお、映像信号の圧縮及び伸張方式は問わない。また、映像信号は圧縮せずに伝送しても良い。
【００３２】
次に、図２及び図３を併せて参照しながら、撮像方向制御の流れを説明する。図２は撮像方向制御の流れの一例を説明するためのフローチャートである。
【００３３】
操作部１０１は、操作者の操作を受け付け、受け付けた操作に基づく信号を演算部１０２に送る（Ｓ１）。演算部１０２は、操作部１０１から受け取った信号から、操作方向と操作量を判別し、操作信号を生成して合成部１０４に送る。このとき演算部１０２は、ｘ方向の操作信号Ｓｘ（ｎ）とｙ方向の操作信号Ｓｙ（ｎ）をそれぞれ生成し、合成部１０４に送る。合成部１０４は、演算部１０２から受け取った操作信号に基づいて目標枠を生成し、通信部１０５を経由して撮像装置２００から受け取った映像信号に目標枠を合成する（Ｓ２）。
【００３４】
ここで、Ｓｘ（ｎ）は、操作部１０１における左右方向の操作の大きさに相当し、右へ操作した場合にはプラスの値、左に操作した場合にはマイナスの値となり、その操作量に応じて大きさ（絶対値）が変わる。例えば操作回数が多い程、又は操作時間が長い程、Ｓｘ（ｎ）の絶対値は大きくなる。Ｓｙ（ｎ）は、操作部１０１における上下方向の操作の大きさに相当し、上へ操作した場合にはプラスの値、下に操作した場合にはマイナスの値となり、その操作量に応じて大きさ（絶対値）が変わる。例えば操作回数が多い程又は操作時間が長い程、Ｓｙ（ｎ）の絶対値は大きくなる。
【００３５】
目標枠の表示例を図３に示す。図３では表示部１０６の左右方向をｘ軸、上下方向をｙ軸とし、表示画像の中心座標を（ｘ，ｙ）＝（０，０）とする。ｘ方向の操作信号Ｓｘ（ｎ）をａ、ｙ方向の操作信号Ｓｙ（ｎ）をｂとすると、目標枠２０は、座標（ａ，ｂ）を中心とした画像として表示される。操作信号Ｓｘ（ｎ）及びＳｙ（ｎ）の絶対値は、表示部１０６の画面上の距離に相当する。
【００３６】
目標枠２０として表示する画像は、例えば、合成部１０４に含まれる記憶装置に予め記憶させておくことができる。目標枠２０の形状、色等の表示形態は問わない。操作者は、表示部１０６に表示された映像と、映像に重畳された目標枠２０を確認しながら操作部１０１の操作を行う。
【００３７】
記憶部１０３には後述するように、前回の移動信号が記憶されている。演算部１０２は、前回の移動信号と今回の操作信号とから次回の移動信号を算出する（Ｓ３）。
ｘ方向の前回の移動信号をＶｘ（ｎ−１）、ｙ方向の前回の移動信号をＶｙ（ｎ−１）とする。ｘ方向の次回の移動信号Ｖｘ（ｎ）とｙ方向の次回の移動信号Ｖｙ（ｎ）は、それぞれ式１、式２で算出される。
Ｖｘ（ｎ）＝Ｖｘ（ｎ−１）＋Ｓｘ（ｎ）  ・・・（式１）
Ｖｙ（ｎ）＝Ｖｙ（ｎ−１）＋Ｓｙ（ｎ）  ・・・（式２）
【００３８】
演算部１０２は、算出した移動信号Ｖｘ（ｎ），Ｖｙ（ｎ）を、通信部１０５を介してネットワークＮ経由で撮像装置２００に送信するとともに、記憶部１０３に送る。記憶部１０３は、移動信号Ｖｘ（ｎ），Ｖｙ（ｎ）を記憶する。
【００３９】
撮像装置２００の通信部２０３は、遠隔操作装置１００から受け取った移動信号Ｖｘ（ｎ），Ｖｙ（ｎ）を撮像方向制御部２０２に送る。撮像方向制御部２０２は、受け取った移動信号Ｖｘ（ｎ），Ｖｙ（ｎ）に基づき、撮像部２０１の撮像方向を制御する（Ｓ４）。
【００４０】
撮像方向制御部２０２は、移動信号Ｖｘ（ｎ）がプラスの値であれば右方向に、単位時間Ｔｄ当たり表示部１０６の画面上の距離に換算してＶｘ（ｎ）移動するように、パン・チルト機構を制御する。同様に撮像方向制御部２０２は、移動信号Ｖｘ（ｎ）がマイナスの値であれば左方向に、単位時間Ｔｄ当たり表示部１０６の画面上の距離に換算してＶｘ（ｎ）移動するように、パン・チルト機構を制御する。
【００４１】
撮像方向制御部２０２は、移動信号Ｖｙ（ｎ）がプラスの値であれば上方向に、単位時間Ｔｄ当たり表示部１０６の画面上の距離に換算してＶｙ（ｎ）移動するように、パン・チルト機構を制御する。同様に撮像方向制御部２０２は、移動信号Ｖｙ（ｎ）がマイナスの値であれば下方向に、単位時間Ｔｄ当たり表示部１０６の画面上の距離に換算してＶｙ（ｎ）移動するように、パン・チルト機構を制御する。
【００４２】
単位時間Ｔｄは、ネットワーク遅延時間に近い時間とすることが望ましい。具体的には、本システムでネットワーク遅延時間を数回測定し、その平均値を単位時間Ｔｄとすればよい。また、ネットワーク遅延時間の予測値を任意に設定しても良い。
以降、Ｓ１からＳ４を繰り返す。
【００４３】
以上説明したように、操作者の操作による操作信号Ｓｘ（ｎ），Ｓｙ（ｎ）に対し、前回の移動信号Ｖｘ（ｎ−１），Ｖｙ（ｎ−１）を加算した信号を次回の移動信号Ｖｘ（ｎ），Ｖｙ（ｎ）とする。よって、移動する被写体に対しても操作者が所望する撮像方向での撮像が可能となる。
【００４４】
次に、上述のような構成の遠隔操作装置１００における操作の具体例について、図４〜図６を併せて参照しながら説明する。ここでは、説明を簡単にするため、操作部１０１が移動操作として右方向へのパン操作を受け付けた場合を例に挙げて説明する。但し、左方向へのパン操作、上方向又は下方向へのチルト操作についても基本的に同様の考え方で制御を行うことができ、他の方向へ向ける操作を受け付けた場合についても、基本的にそれらを組み合わせた考え方で制御を行うことができる。
【００４５】
図４は、バスケットボールのコート上を人が移動する様子を説明するための模式図である。バスケットの試合中に左から右に向けてドリブルシュートする選手（人）を撮像中心に捉えるべく、遠隔操作装置１００で撮像装置２００の撮像方向を制御する場合を想定する。図４の左側を自ゴール、右側を相手ゴールとする。図４では、便宜上、選手の動きを時系列で重ねて表示しており、選手４０が時間の経過とともに、選手４１の位置に移動し、以降同様に、順に選手４２〜４９の位置へと移動する様子を示す。なお、選手４０〜４９で示す位置は、それぞれ時刻ｔ＝Ｔ０〜Ｔ９における選手の位置であるものとして説明する。なお、この説明において、時刻Ｔ０，Ｔ１の間隔、時刻Ｔ１，Ｔ２の間隔など、Ｔ０〜Ｔ９における隣り合う時刻同士の間隔は一定（等間隔）に限らない。
【００４６】
先ず、選手が自ゴールから離れる様子を、図５を併せて参照しながら説明する。
最初（ｔ＝Ｔ０）に選手４０の位置を撮像中心として撮像しているとする。この状態で選手は移動していないので、操作者は撮像方向を固定して撮像している。次の瞬間（ｔ＝Ｔ１）、選手はボールを受け取り、相手ゴールに向かって移動を開始し、選手４１の位置に移動する。このときの撮像中心はまだ選手４０の位置であり、撮像した画像は図５のｔ＝Ｔ１における画像１０６ａのようになる。操作者は、選手を撮像中心とすべく、操作部１０１により目標枠２０の中心を選手４１に合わせる操作を行う。この操作により、画像１０６ａにおける選手４１の位置に目標枠２０が合成される。このとき、操作方向を右方向とし、操作量をα１とすると、操作信号Ｓｘ（ｎ）はα１となる。また、撮像方向固定状態からの操作なので、前回の移動信号Ｖｘ（ｎ−１）は０となり、式１より移動信号Ｖｘ（ｎ）はα１となる。撮像方向制御部２０２は、移動信号Ｖｘ（ｎ）を受け取り、撮像中心が画面上の距離に換算して単位時間Ｔｄ当たりα１だけ右側に移動するように撮像部２０１の撮像方向を移動させる。
【００４７】
選手の移動速度は選手４０の位置（ｔ＝Ｔ０での位置）から選手４２の位置（ｔ＝Ｔ２での位置）の間で加速している。そのため、次のタイミングの映像では図５のｔ＝Ｔ２における画像１０６ｂのように、選手の位置はまだ撮像中心より右方向にある。そこで操作者は、選手を撮像中心とすべく、操作部１０１により目標枠２０の中心を選手４２の位置に合わせる操作を行う。この操作により、画像１０６ｂにおける選手４２の位置に目標枠２０が合成される。このときの操作信号Ｓｘ（ｎ）をα２とする。前回の移動信号Ｖｘ（ｎ）がα１であるので、次回の移動信号Ｖｘ（ｎ）は、式１よりα１＋α２となる。これを繰り返すことで徐々に撮像方向の移動は選手に追いつき、選手を撮像中心に捉えることができる。
【００４８】
図５のｔ＝Ｔ３における画像１０６ｃのように、選手４３の位置（ｔ＝Ｔ３での位置）で選手を撮像中心に捉えると、操作者は目標枠２０を撮像中心の選手に合わせる操作を行う。この操作により、画像１０６ｃにおける選手４３の位置に目標枠２０が合成される。このとき、操作信号Ｓｘ（ｎ）は０となり、撮像方向制御部２０２は、撮像装置２００の撮像方向を前回と同じ方向に同じ速度で移動し続ける。その後、選手が同じ速度で移動し続ける限り、操作信号Ｓｘ（ｎ）が０の状態で撮像部２０１は選手を撮像中心に捉え続けることができる。
【００４９】
次に、選手が相手ゴールに近づいた様子を、図６を併せて参照しながら説明する。
選手は相手ゴール手前まで等速に近いスピードで移動するため、図６のｔ＝Ｔ５〜Ｔ７における画像１０６ｄ〜１０６ｅに示すように、選手４５〜４６の位置では、選手はまだ撮像中心に収まっている。しかし、選手は相手ゴール付近でシュート操作のために減速し、図６のｔ＝Ｔ７における画像１０６ｆに示すように、選手４７の位置では撮像方向の移動が選手を追い越してしまう。このため、操作者は操作部１０１により目標枠２０を左方向に移動させるように操作する。このときの操作方向は左であり、その操作量をα４とすると、次回の移動信号Ｖｘ（ｎ）は、式１によりα３−α４となる。｜α４｜＜｜α３｜の場合、右方向への撮像方向の移動量は小さくなり、選手の減速に対応することができる。
【００５０】
以上のように、本実施の形態に係る撮像システムでは、撮像目標に目標枠２０を合わせることにより生成した操作信号に対し、前回の移動信号を加算して次回の移動信号を生成し、生成した次回の移動信号に基づいて撮像装置の撮像方向を制御する。よって、本実施の形態によれば、移動する被写体を的確に捉えることができる。
【００５１】
上記説明では、操作信号に対し前回の移動信号を加算する例を示したが、操作信号に加算するのは前回の移動信号だけでなく、過去数回分の移動信号から算出した信号を加算する構成としても良い。また、この場合、現在に近い移動信号ほど重み付けを大きくするような重み付けをしてもよい。
【００５２】
＜実施の形態２＞
実施の形態２では、実施の形態１の動作に加え、現時点での撮像中心の予測位置を示す枠を表示する。即ち、本実施の形態における合成部１０４は、撮像目標を示す目標枠に加え、撮像装置２００における現時点での撮像中心であると予測される位置を示す撮像中心枠を、表示部１０６に表示させる映像に合成する。なお、上記現時点とは、撮像中心枠の表示時点を指す。
【００５３】
撮像中心枠の表示例を図７に示す。ネットワーク遅延の時間が一定しないため、現時点での撮像中心位置を正確に算出することは困難であるが、前回の移動信号の値から、おおよその位置を予測することができる。例えば、ｘ方向の前回の移動信号Ｖｘ（ｎ−１）をｃ、ｙ方向の前回の移動信号Ｖｙ（ｎ−１）をｄとすると、図７に示すように、座標（ｃ，ｄ）を中心とした画像として撮像中心枠２２が合成表示される。
【００５４】
撮像中心枠２２として表示する画像は、例えば、合成部１０４に含まれる記憶装置に予め記憶させておくことができる。撮像中心枠２２の形状、色等の表示形態は問わないが、目標枠２０と形状や色を異ならせることが望ましい。
【００５５】
実施の形態２における操作の具体例を、図８を参照しながら説明する。図８は実施の形態１で説明した図４における、選手４５の位置（ｔ＝Ｔ５での位置）から選手４７の位置（ｔ＝Ｔ７での位置）での撮像状況を示す。図８のｔ＝Ｔ５における画像１０６ｇにおいては、選手４５の位置で選手は等速で移動しており、ｘ方向の前回の移動信号Ｖｘ（ｎ）がα３であるとして説明する。この場合、操作者がこの映像を見ている時点での撮像装置２００の撮像中心位置は、この映像の中心位置に対しα３程度右側にあることが予測される。従って、合成部１０４は、映像の中心に対し、α３だけ右側である座標（α３，０）を中心として、撮像中心枠２２を合成表示させる。
【００５６】
次に、図８のｔ＝Ｔ６における画像１０６ｈに示すように、選手が等速移動を続けて選手４６の位置に来た時点において、撮像中心位置は映像の中心に対しα３だけ右側になり、その位置に撮像中心枠２２が合成表示される。ここで、操作者は撮像中心枠２２を見ることで、現時点での撮像中心が既に相手ゴール下まで来ていることを確認できる。このため操作者は選手がシュートのために減速することを予測することができる。操作者は選手が減速することを予測し、操作部１０１により目標枠２０を左方向に移動させるように操作する。
【００５７】
このときの操作方向は左であり、その操作量をα６とすると、次回のｘ方向の移動信号Ｖｘ（ｎ）は、式１によりα３−α６となる。｜α６｜＜｜α３｜の場合、撮像装置２００の撮像方向の移動量は小さくなり、図８のｔ＝Ｔ７における画像１０６ｉに示すように、選手４７の位置においても選手を撮像中心に捉え続けることができる。
【００５８】
以上のように、操作時点での撮像中心の予測位置を示す撮像中心枠２２を表示することで、操作者に現時点での撮像中心を認識させることができるので、操作者はより早い段階で選手の移動予測を行うことができ、より的確な遠隔操作を行うことができる。
【００５９】
図８では、目標枠２０を四角枠とし、撮像中心枠２２を丸枠とした例を挙げている。このように、目標枠２０と撮像中心枠２２の表示形態を異なるものとすることが好ましい。これにより、目標枠２０と撮像中心枠２２を、操作者が容易に識別できるようになる。表示形態を異ならせる手段は、例示したように異なる形状とすることができるが、例えば異なる色、点滅の有無等とすること、或いはそれらのうちの複数の組み合わせとすることもできる。
【００６０】
以上のように、本実施の形態に係る撮像システムでは、目標枠２０に加えて、現時点での撮像中心であると予測される位置を示す撮像中心枠２２を表示している。よって、本実施の形態によれば、実施の形態１による効果に加え、より早い段階で撮像方向を操作することができるようになり、より的確に移動する被写体を捉えることができる。
【００６１】
上記説明では、撮像中心位置を前回の移動信号の値から予測する例を示したが、この予測は、前回の移動信号だけでなく過去数回分の移動信号の値に基づき実行する構成としても良い。また、この場合、現在に近い移動信号ほど重み付けを大きくするような重み付けをしてもよい。
【００６２】
＜他の実施の形態等＞
実施の形態１，２では、撮像装置２００と遠隔操作装置１００とがネットワークＮ経由で接続されることを前提として説明した。但し、ネットワーク接続に限らず、遠隔操作装置１００が撮像装置２００の撮像方向を制御可能なように、撮像装置２００に有線又は無線で接続されていればよい。また、実施の形態１，２に係る撮像システムでは、遠隔操作装置１００は、遠隔制御のための移動信号を撮像装置２００に送信すること、並びに、撮像装置２００から映像データを受信することが可能であればよく、これらは異なる経路で送受されてもよい。
【００６３】
また、実施の形態１，２に係る遠隔操作装置１００は、携帯電話機（スマートフォンと称されるものも含む）、通信機能付きの設置型又は可搬型のＰＣ（Personal Computer）、タブレット端末などとすることもできる。
【００６４】
また、操作部１０１は、例えば、表示部１０６に設けたタッチパネル、或いは、タッチパネルとハードウェアキーの組み合わせで構成することもできる。操作部１０１としてタッチパネルを備えた場合、合成部１０４が撮像方向を移動させるような複数の矢印画像を合成させるように構成しておくことができる。その場合、操作部１０１は、矢印画像に対するタッチ操作を、その矢印画像に対応する方向に移動させる操作として受け付けることができる。或いは、操作部１０１としてタッチパネルを備えた場合、操作部１０１は、タッチ操作を、タッチ前の目標枠の位置からタッチされた位置に向かって移動させる操作として受け付けることもできる。
【００６５】
さらに、上述した様々な実施の形態において、遠隔操作装置における遠隔操作処理の手順を説明したように、本発明は、遠隔操作方法としての形態も採り得る。この遠隔操作方法は、次の表示ステップ、合成ステップ、操作ステップ、演算ステップ、及び記憶ステップを含む。上記表示ステップは、撮像装置で撮像されて伝送された映像を表示部に表示する。上記合成ステップは、上記表示部に表示させる映像に、上記撮像装置の撮像中心目標を示す目標枠を合成する。上記操作ステップは、上記目標枠を移動させる移動操作を受け付ける。上記演算ステップは、上記目標枠の合成位置を算出するとともに、上記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する。上記記憶ステップは、上記演算ステップで算出した移動方向及び移動量を記憶する。そして、上記演算ステップは、上記操作ステップで受け付けられた移動操作に応じて、上記目標枠の合成位置を算出する。また、上記演算ステップは、上記操作ステップで受け付けられた移動操作と、上記記憶ステップで記憶された過去の移動方向及び移動量とに基づき、上記撮像装置の撮像方向を移動させる移動方向及び移動量を算出する。
【００６６】
なお、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、発明は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
【符号の説明】
【００６７】
２０  目標枠、２２  撮像中心枠
１００  遠隔操作装置、１０１  操作部、１０２  演算部、１０３  記憶部、
１０４  合成部、１０５  通信部、１０６  表示部、
２００  撮像装置、２０１  撮像部、２０２  撮像方向制御部、２０３  通信部。
【図１】
2020039023.tif 000003
【図２】
2020039023.tif 000004
【図３】
2020039023.tif 000005
【図４】
2020039023.tif 000006
【図５】
2020039023.tif 000007
【図６】
2020039023.tif 000008
【図７】
2020039023.tif 000009
【図８】
2020039023.tif 000010
【図９】
2020039023.tif 000011
【図１０】
2020039023.tif 000012