(57)【要約】【課題】撮影者が注目する被写体を容易に撮像できるようにする。【解決手段】リモートコントロール装置６０は、前方正面の注目被写体ＯＢまでの距離を測距部で測定する。また、リモートコントロール装置６０は、初期状態からの動きをモーションセンサ部で測定して、測定された距離と動きを示す被写体位置情報を通信部から撮像装置２０へ送信する。撮像装置２０に設けられた被写体位置算出部は、リモートコントロール装置６０からの被写体位置情報に基づき、撮像装置２０の初期状態の方向に対する注目被写体ＯＢの方向を被写体位置算出部で算出する。被写体位置算出部の算出結果に基づき方向制御信号を生成して雲台４０へ出力することで、撮像装置２０の撮像方向を注目被写体ＯＢの方向とすることができる。【選択図】        図１
2020155923.tif 000002
【特許請求の範囲】
【請求項１】
被写体までの距離を測定する測距部と、
初期状態からの動きを測定するモーションセンサ部と、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写体位置情報を制御対象機器に送信する通信部と
を備えるリモートコントロール装置。
【請求項２】
前記初期状態は前記測距部と前記制御対象機器の撮像部を対向させた状態であり、前記測距部で測定された前記撮像部までの距離と前記撮像部の方向を基準とする
請求項１に記載のリモートコントロール装置。
【請求項３】
表示部をさらに備え、
前記通信部は、前記制御対象機器の撮像部で生成された撮像画像を受信して、
前記表示部は、前記通信部で受信した撮像画像を表示する
請求項１に記載のリモートコントロール装置。
【請求項４】
前記表示部をユーザの眼の位置として、前記測距部をユーザの前方正面に位置する被写体までの距離を測定する位置として、前記表示部と前記測距部を保持するホールド部をさらに備える
請求項３記載のリモートコントロール装置。
【請求項５】
被写体までの距離を測距部で測定することと、
初期状態からの動きをモーションセンサ部で測定することと、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写体位置情報を制御対象機器に通信部から送信すること
を含むリモートコントロール方法。
【請求項６】
リモートコントロール装置から被写体までの距離と初期状態からの前記リモートコントロール装置の動きを示す被写体位置情報に基づき、制御対象機器の撮像部における前記初期状態の方向に対する前記被写体の方向を算出する被写体位置算出部
を備える撮像制御装置。
【請求項７】
前記初期状態は前記リモートコントロール装置の測距部と前記制御対象機器の撮像部を対向させた状態であり、前記測距部の方向を前記制御対象機器の基準とする
請求項６に記載の撮像制御装置。
【請求項８】
前記被写体位置算出部は、前記リモートコントロール装置または前記制御対象機器に設けた
請求項６に記載の撮像制御装置。
【請求項９】
前記制御対象機器の撮像部の撮像方向を、前記被写体位置算出部で算出された前記被写体の方向とする方向制御信号を生成する撮像方向制御部をさらに備える
請求項６に記載の撮像制御装置。
【請求項１０】
前記撮像方向制御部は、前記リモートコントロール装置または前記制御対象機器に設けた
請求項９に記載の撮像制御装置。
【請求項１１】
前記被写体位置算出部は、前記撮像部から前記被写体までの距離を算出する
請求項６に記載の撮像制御装置。
【請求項１２】
前記制御対象機器の撮像部のフォーカス位置を、前記被写体位置算出部で算出された前記被写体までの距離の位置とするフォーカス制御信号を生成するフォーカス制御部をさらに備える
請求項１１に記載の撮像制御装置。
【請求項１３】
前記フォーカス制御部は、前記リモートコントロール装置または前記制御対象機器に設けた
請求項１２に記載の撮像制御装置。
【請求項１４】
リモートコントロール装置から被写体までの距離と初期状態からの前記リモートコントロール装置の動きを示す被写体位置情報に基づき、制御対象機器の撮像部における初期状態に対する前記被写体の方向を被写体位置算出部で算出すること
を含む撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、リモートコントロール装置と撮像制御装置およびその方法に関し、撮像者が注目する被写体を容易に撮像できるようにする。
【背景技術】
【０００２】
従来、撮像システムでは、リモートコントロール装置によって撮像装置の撮像方向を操作することが行われている。例えば、特許文献１では、撮像装置、リモート雲台、リモート雲台を操作する操作装置、操作装置と無線通信を行う携帯端末を用いてシステムを構成して、携帯端末では、撮像装置の撮像映像を確認できるように構成されている。また、リモート雲台の操作主体を操作装置から携帯端末へ切り替えて、携帯端末からリモート雲台を操作して、所望の位置を撮像装置で撮像することが可能とされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０６８０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮影者が携帯端末を操作してリモート雲台を制御する場合、撮影者は携帯端末の操作中にシーンの変化を把握できない。したがって、所望のシーンを見逃してしまうおそれがある。また、撮影者は携帯端末の操作を行う必要があるため、集中して例えばスポーツ観戦等を行うことができない。
【０００５】
そこで、この技術では撮影者が注目する被写体を容易に撮像できるリモートコントロール装置と撮像制御装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、
被写体までの距離を測定する測距部と、
初期状態からの動きを測定するモーションセンサ部と、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写体位置情報を制御対象機器に送信する通信部と
を備えるリモートコントロール装置にある。
【０００７】
この技術においては、被写体までの距離を測定する測距部と制御対象機器の撮像部を対向させた状態を初期状態としてキャリブレーションを行い、測距部で測定された撮像部までの距離と撮像部の方向を基準とする。また、制御対象機器の撮像部で生成された撮像画像を表示する表示部はユーザの眼の位置として、測距部はユーザの前方正面に位置する被写体までの距離を測定する位置として、ホールド部によって保持される。モーションセンサ部は、初期状態からの動きを測定する。通信部は、測距部で測定された距離とモーションセンサ部で測定された動きを示す被写体位置情報を制御対象機器に送信する。または、通信部は、制御対象機器の撮像部で生成された撮像画像を表示部へ出力する。
【０００８】
この技術の第２の側面は、
被写体までの距離を測距部で測定することと、
初期状態からの動きをモーションセンサ部で測定することと、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写体位置情報を制御対象機器に通信部から送信すること
を含むリモートコントロール方法にある。
【０００９】
この技術の第３の側面は、
リモートコントロール装置から被写体までの距離と初期状態からの前記リモートコントロール装置の動きを示す被写体位置情報に基づき、制御対象機器の撮像部における前記初期状態の方向に対する前記被写体の方向を算出する被写体位置算出部
を備える撮像制御装置にある。
【００１０】
この技術においては、リモートコントロール装置の測距部と制御対象機器の撮像部を対向させた状態を初期状態としてキャリブレーションを行い、測距部の方向を制御対象機器の基準とする。被写体位置算出部は、リモートコントロール装置から被写体までの距離と初期状態からのリモートコントロール装置の動きを示す被写体位置情報に基づき、制御対象機器の撮像部における初期状態の方向に対する被写体の方向を算出する。また、被写体位置算出部は、制御対象機器の撮像部から被写体までの距離を算出する。被写体位置算出部は、リモートコントロール装置または制御対象機器に設ける。
【００１１】
また、制御対象機器の撮像部の撮像方向を、被写体位置算出部で算出された被写体の方向とする方向制御信号を生成する撮像方向制御部を備えてもよく、制御対象機器の撮像部のフォーカス位置を、被写体位置算出部で算出された被写体までの距離の位置とするフォーカス制御信号を生成するフォーカス制御部を備えてもよい。撮像方向制御部またはフォーカス制御部は、リモートコントロール装置または制御対象機器に設けてもよい。
【００１２】
この技術の第４の側面は、
リモートコントロール装置から被写体までの距離と初期状態からの前記リモートコントロール装置の動きを示す被写体位置情報に基づき、制御対象機器の撮像部における初期状態に対する前記被写体の方向を被写体位置算出部で算出すること
を含む撮像制御方法にある。
【図面の簡単な説明】
【００１３】
【図１】撮像システムの構成を示す図である。
【図２】リモートコントロール装置を例示した図である。
【図３】第１の実施の形態の構成を例示した図である。
【図４】撮像制御部の機能構成を例示した図である。
【図５】撮像システムの動作を例示したフローチャートである。
【図６】被写体位置算出部の動作を説明するための図である。
【図７】被写体位置算出部の他の動作を説明するための図である。
【図８】第２の実施の形態の構成を例示した図である。
【図９】第２の実施の形態の動作を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像システムについて
２．実施の形態について
２−１．第１の実施の形態
２−１−１．第１の実施の形態の構成
２−１−２．第１の実施の形態の動作
２−１−３．第１の実施の形態の動作例
２−１−４．第１の実施の形態の他の動作例
２−２．第２の実施の形態
２−３．他の実施の形態
３．応用例
【００１５】
＜１．撮像システムについて＞
図１は、本技術のリモートコントロール装置と撮像装置を用いた撮像システムの構成を示している。
【００１６】
撮像システム１０は、撮像装置２０と雲台４０とリモートコントロール装置６０を有している。撮像装置２０は、雲台４０に固定されており、雲台４０によって撮像方向をパン方向やチルト方向に変更可能とされている。また、撮像装置２０とリモートコントロール装置６０は無線または有線の伝送路を介して通信を行うことができるように構成されている。リモートコントロール装置６０は、ユーザ（撮影者）の例えば頭部に装着できるように構成されている。なお、リモートコントロール装置６０は、ユーザが手に持つことができるように構成されてもよい。
【００１７】
リモートコントロール装置６０は、制御対象機器である撮像装置２０あるいは撮像装置２０と雲台４０の遠隔操作を行い、離れた位置からユーザが撮像対象として注目する被写体（「注目被写体」ともいう）を撮像装置２０で撮像できるようにする。リモートコントロール装置６０は、注目被写体ＯＢまでの距離と注目被写体ＯＢの方向を示す動き情報を含む被写体位置情報を生成する。また、撮像装置２０あるいはリモートコントロール装置６０は、撮像装置２０とリモートコントロール装置６０の相対位置関係、およびリモートコントロール装置６０で生成された被写体位置情報に基づき、撮像装置２０の撮像方向を注目被写体の方向とする方向制御信号を生成して雲台４０へ出力する。雲台４０は、方向制御信号に基づき撮像装置２０を移動させて、注目被写体ＯＢを撮像装置２０で撮像できるようにする。
【００１８】
＜２．実施の形態について＞
次に、実施の形態について説明する。なお、実施の形態では、リモートコントロール装置６０がユーザの頭部に装着できるように構成されている場合を例示する。
【００１９】
図２は、リモートコントロール装置を例示している。なお、図２の（ａ）はリモートコントロール装置の外観、図２の（ｂ）はリモートコントロール装置の使用状態を示している。リモートコントロール装置６０は、ホールド部６１、アーム部６２、接眼ブロック６３、回路ブロック６４および電源部６５を有している。
【００２０】
ホールド部６１は、リモートコントロール装置６０がユーザの頭部に装着されたときに、頭部からリモートコントロール装置６０が外れないようにリモートコントロール装置６０を保持する。ホールド部６１は、例えば上面から視てＵ字状のネックバンド６１０と、ネックバンド６１０の先端に設けられた耳当て部６１１Ｌ，６１１Ｒで構成されている。ホールド部６１は、湾曲部分がユーザの後頭部（あるいは頸部）に接した状態で、耳当て部６１１Ｌ，６１１Ｒによって頭部を挟持して、あるいは耳当て部６１１Ｌ，６１１Ｒが耳に係止されて、ユーザの頭部に対して所定の位置で保持される。
【００２１】
ホールド部６１の一方の端部には、前方に延出するアーム部６２が設けられており、アーム部６２の先端には接眼ブロック６３が設けられている。
【００２２】
接眼ブロック６３は、表示部７３を有しており、電子ビューファインダとしての動作を行う。また、接眼ブロック６３は、測距部７１１を有しており、リモートコントロール装置６０を装着したユーザの前方正面に位置する被写体を注目被写体として、注目被写体までの距離を測定する。
【００２３】
一方の耳当て部６１１Ｒには、回路ブロック６４が設けられており、回路ブロック６４にはモーションセンサ部７１２と通信部７２が設けられている。他方の耳当て部６１１Ｌには電源部６５が設けられている。モーションセンサ部７１２は、例えば３軸加速度と３軸角速度及び３軸地磁気（方位）を検出する９軸センサを用いて構成されており、リモートコントロール装置６０の位置変化や姿勢変化の変化量等を示す動き情報を生成する。
【００２４】
通信部７２は、測距部７１１で測定した注目被写体ＯＢまでの距離とモーションセンサ部７１２で生成した動き情報を含む被写体位置情報を撮像装置２０へ送信する。また、通信部７２は撮像装置２０から送信された画像信号を受信して接眼ブロック６３の表示部７３へ出力する。電源部６５は、通信部７２、表示部７３、測距部７１１およびモーションセンサ部７１２に対して電力供給を行う。なお、図２の（ａ）に示す電源部６５やモーションセンサ部７１２および通信部７２の配置は例示であって、他の位置に設けられていてもよい。
【００２５】
ユーザに装着されたリモートコントロール装置６０は、図２の（ｂ）に示すように、表示部７３がユーザの眼の位置であり、測距部７１１がユーザの前方正面に位置する被写体までの距離を測定する位置とされた状態でホールド部６１によって保持される。
【００２６】
＜２−１．第１の実施の形態＞
＜２−１−１．第１の実施の形態の構成＞
次に、第１の実施の形態について説明する。第１の実施の形態では、撮像装置２０の位置が固定されており、雲台４０によって撮像装置２０の撮像方向がパン方向やチルト方向に移動可能とされている。また、リモートコントロール装置６０の位置は固定であってもよく、移動可能であってもよい。
【００２７】
図３は、第１の実施の形態の構成を例示している。撮像装置２０は、撮像光学系ブロック２１、撮像部２２、画像処理部２３、通信部２４、姿勢検出部２８、制御部３０を有している。また撮像装置２０は、表示部２５、記録部２６、出力部２７を有してもよい。
【００２８】
撮像光学系ブロック２１は、フォーカスレンズを用いて構成されており、被写体光学像を撮像部２２の撮像面に結像させる。また、撮像光学系ブロック２１には、ズームレンズやアイリス機構等が設けられてもよい。
【００２９】
撮像部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子と信号処理部を有している。撮像素子は、光電変換を行い被写体光学像に応じた画像信号を生成する。信号処理部は、撮像素子で生成された画素信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正、現像処理等を行う。撮像部は、生成した画像信号を画像処理部２３へ出力する。また、撮像部２２は、生成した画像信号を記録部２６や出力部２７へ出力する
画像処理部２３は、撮像部２２から供給された画像信号をリモートコントロール装置６０の表示部７３の表示解像度に応じた画像信号に変換して、変換後の画像信号を通信部２４へ出力する。また、画像処理部２３は、撮像部２２から供給された画像信号を表示部２５の表示解像度に応じた画像信号に変換して表示部２５へ出力する。
【００３０】
姿勢検出部２８は、撮像装置２０の姿勢を検出して姿勢検出結果を制御部３０へ出力する。
【００３１】
通信部２４は、リモートコントロール装置６０と通信を行い、画像処理部２３から供給された画像信号をリモートコントロール装置６０へ送信する。また、リモートコントロール装置６０から送信された被写体位置情報を受信して制御部３０へ出力する。
【００３２】
表示部２５は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部２５は画像処理部２３から供給された画像信号に基づき、撮像装置２０で生成した撮像画像を表示する。また、表示部２５は、制御部３０からの制御信号に基づき撮像装置２０のメニュー表示等を行う。
【００３３】
記録部２６は、撮像装置２０に固定されている記録媒体、あるいは着脱可能の記録媒体を用いて構成されている。記録部２６は、制御部３０からの制御信号に基づき、撮像部２２で生成された画像信号を記録媒体に記録する。また、出力部２７は、制御部３０からの制御信号に基づき、撮像部２２で生成された画像信号を外部機器へ出力する。
【００３４】
制御部３０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭは、ＣＰＵにより実行される各種プログラムを記憶する。ＲＡＭは、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザ操作に応じた動作が撮像装置２０で行われるように各部を制御する。また、制御部３０には、リモートコントロール装置６０から供給された被写体位置情報に基づき、注目被写体ＯＢを撮像装置２０で撮像するように制御する撮像制御部３１が設けられている。
【００３５】
図４は、撮像制御部の機能構成を例示している。撮像制御部３１は、被写体位置算出部３１１と撮像方向制御部３１２およびフォーカス制御部３１３を有している。なお、撮像装置２０の被写界深度が大きくフォーカス調整が不要である場合、撮像制御部３１は、フォーカス制御部３１３を有していなくともよい。
【００３６】
被写体位置算出部３１１は、姿勢検出部２８の姿勢検出結果とリモートコントロール装置６０から供給された被写体位置情報に基づき、注目被写体の方向または方向と注目被写体までの距離とを算出する。なお、注目被写体の方向と注目被写体までの距離の算出の詳細については後述する。被写体位置算出部３１１は、注目被写体の方向の算出結果を撮像方向制御部３１２へ出力して、注目被写体までの距離の算出結果をフォーカス制御部３１３へ出力する。
【００３７】
撮像方向制御部３１２は、注目被写体の方向の算出結果に基づき、撮像装置２０の撮像方向が注目被写体の方向となるように方向制御信号を生成して雲台４０へ出力する。また、フォーカス制御部３１３は、注目被写体までの距離の算出結果に基づき、撮像装置２０のフォーカス位置が注目被写体となるようにフォーカス制御信号を生成して撮像光学系ブロック２１へ出力する。
【００３８】
図３に戻り、リモートコントロール装置６０について説明する。リモートコントロール装置６０は、被写体位置情報生成部７１、通信部７２、表示部７３を有している。また、被写体位置情報生成部７１は、測距部７１１とモーションセンサ部７１２を有している。
【００３９】
上述したように、測距部７１１は、リモートコントロール装置６０を装着しているユーザの前方正面に位置する注目被写体までの距離を測定する。モーションセンサ部７１２は、リモートコントロール装置６０の位置変化や姿勢変化の変化量等を示す動き情報を生成する。被写体位置情報生成部７１は、測距部７１１で測定した注目被写体までの距離とモーションセンサ部７１２で生成した動き情報を含む被写体位置情報を生成して通信部７２へ出力する。
【００４０】
通信部７２は、被写体位置情報生成部７１で生成された被写体位置情報を撮像装置２０へ送信する。また、通信部７２は、撮像装置２０から送信された画像信号を受信して表示部７３へ出力する。
【００４１】
表示部７３は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部７３は通信部７２で受信された画像信号に基づき、撮像装置２０で生成された撮像画像を表示する。
【００４２】
＜２−１−２．第１の実施の形態の動作＞
図５は、撮像システムの動作を例示したフローチャートである。ステップＳＴ１で撮像システム１０はキャリブレーション処理を行う。撮像システム１０は、撮像装置２０とリモートコントロール装置６０が対向する状態を初期状態として、例えばリモートコントロール装置６０によって撮像装置２０までの距離を算出して基準距離とする。また、撮像装置２０はリモートコントロール装置６０の方向を基準方向、リモートコントロール装置６０は撮像装置２０の方向を基準方向としてステップＳＴ２に進む。
【００４３】
ステップＳＴ２でリモートコントロール装置は注目被写体の位置を測定する。ユーザは、キャリブレーション処理後に注目被写体が前方正面となるように姿勢を変更して、リモートコントロール装置６０は、測距部７１１で前方正面に位置する注目被写体までの距離を測定して、モーションセンサ部７１２で基準方向を基準とした注目被写体方向への姿勢変化量（角度）を示す動き情報を生成する。また、ユーザが移動する場合、リモートコントロール装置６０のモーションセンサ部７１２では、移動した距離と方向を示す動き情報を生成する。リモートコントロール装置は、測定した距離と動き情報を含む被写体位置情報を撮像装置２０へ送信してステップＳＴ３に進む。
【００４４】
ステップＳＴ３で撮像装置の撮像制御部は注目被写体撮像制御を行う。撮像制御部３１は、リモートコントロール装置６０から供給された被写体位置情報に基づき、撮像装置２０における注目被写体方向と注目被写体までの距離を算出する。また、撮像制御部３１は、注目被写体方向に基づき方向制御信号を生成して、注目被写体までの距離に基づきフォーカス制御信号を生成してステップＳＴ４に進む。
【００４５】
ステップＳＴ４で雲台と撮像装置は駆動処理を行う。雲台４０はステップＳＴ３で生成された方向制御信号に基づき撮像装置２０の撮像方向を注目被写体方向に移動させる。また、撮像装置２０では、ステップＳＴ３で生成されたフォーカス制御信号に基づき撮像光学系ブロック２１を駆動して、焦点位置が注目被写体の位置となるようにフォーカス調整を行いステップＳＴ２に戻る。なお、撮像装置２０の被写界深度が大きい場合はフォーカス調整を行わなくてもよい。
【００４６】
＜２−１−３．第１の実施の形態の動作例＞
次に、第１の実施の形態の動作例について説明する。図６は、撮像制御部における被写体位置算出部の動作を説明するための図である。なお、図６では、雲台４０に取り付けられた撮像装置２０の位置を「Ａ」、リモートコントロール装置６０の位置を「Ｂ」、注目被写体の位置を「Ｃ」として示している。
【００４７】
撮像システム１０では、撮像装置２０とリモートコントロール装置６０を対向させてキャリブレーションを行い、このときの撮像装置２０とリモートコントロール装置６０の姿勢を初期状態とする。また、リモートコントロール装置６０は、初期状態において撮像装置２０までの距離Ｄabを測定して撮像装置２０へ送信する。
【００４８】
その後、リモートコントロール装置６０を装着したユーザは、撮像装置２０から注目被写体の方向に向きを変えて、リモートコントロール装置６０の測距部７１１は、位置Ｂから位置Ｃまでの距離Ｄbcを測定する。また、モーションセンサ部７１２は、基準方向（位置Ａの方向）に対する位置Ｃの方向の角度θabcを測定する。リモートコントロール装置は距離Ｄbcと角度θabcを被写体位置情報として撮像装置２０へ送信する。
【００４９】
撮像装置２０の被写体位置算出部３１１は、式（１）に基づき撮像装置の位置Ａから被写体の位置Ｃまでの距離Ｄacを算出する。
【００５０】
【数１】
2020155923.tif 000003
【００５１】
また、被写体位置算出部３１１は、式（２）に基づき撮像装置２０における基準方向（位置Ｂの方向）に対する位置Ｃの方向の角度θbacを算出する。
【００５２】
【数２】
2020155923.tif 000004
【００５３】
被写体位置算出部３１１は、算出した角度θbacを撮像方向制御部３１２へ出力することで、撮像方向制御部３１２では、撮像装置２０の撮像方向を基準方向（位置Ｂの方向）に対して角度θbacの方向とする方向制御信号を生成して雲台４０へ出力する。したがって、撮像装置２０の撮像方向を、注目被写体の方向とすることができる。
【００５４】
被写体位置算出部３１１は、算出した距離Ｄacをフォーカス制御部３１３へ出力することで、フォーカス制御部３１３では、撮像装置２０の焦点位置を距離Ｄacとするフォーカス制御信号を生成して撮像光学系ブロック２１へ出力する。したがって、撮像装置２０の焦点を注目被写体に合わせることができる。
【００５５】
また、ユーザは注目被写体を追従するように姿勢を変えれば、リモートコントロール装置６０では注目被写体までの距離や注目被写体を追従する動き情報を示す新たな被写体位置情報が生成されて撮像装置２０へ送信される。したがって、撮像装置２０は、新たな被写体位置情報に基づき撮像方向制御やフォーカス制御を行うことで、撮像方向やフォーカス位置を注目被写体に追従させて、注目被写体に焦点が合った撮像画像を連続して取得できるようになる。
【００５６】
さらに、撮像装置２０で取得された撮像画像は、リモートコントロール装置６０の表示部７３に表示されるので、注目被写体に焦点が合っている状態で撮像動作が行われているか確認できるようになる。
【００５７】
＜２−１−４．第１の実施の形態の他の動作例＞
次に、第１の実施の形態の他の動作例として、注目被写体だけでなくユーザの位置が移動する場合について説明する。
【００５８】
図７は、撮像制御部における被写体位置算出部の他の動作を説明するための図である。なお、図７では、雲台４０に取り付けられた撮像装置２０の位置を「Ａ」、リモートコントロール装置６０の位置を「Ｂ」、注目被写体の位置を「Ｃ」、移動後のリモートコントロール装置６０の位置を「Ｂ’」、移動後の注目被写体の位置を「Ｃ’」として示している。また、位置Ａと位置Ｂを結ぶ直線と位置Ｂ’と位置Ｃ’を結ぶ直線との交点を「ｑ」とする。
【００５９】
撮像システム１０では、撮像装置２０とリモートコントロール装置６０を対向させてキャリブレーションを行い、このときの撮像装置２０とリモートコントロール装置６０の姿勢を初期状態とする。また、リモートコントロール装置６０は、初期状態において撮像装置２０までの距離Ｄabを測定して撮像装置２０へ送信する。
【００６０】
その後、リモートコントロール装置６０を装着したユーザは、撮像装置２０から注目被写体の方向に向きを変えて、リモートコントロール装置６０の測距部７１１は、位置Ｂから位置Ｃまでの距離Ｄbcを測定する。また、モーションセンサ部７１２は、基準方向（位置Ａの方向）に対する位置Ｃの方向の角度θabcを測定する。リモートコントロール装置は距離Ｄbcと角度θabcを被写体位置情報として撮像装置２０へ送信する。
【００６１】
撮像装置２０の被写体位置算出部３１１は、式（１）に基づき撮像装置の位置Ａから被写体の位置Ｃまでの距離Ｄacを算出する。
【００６２】
リモートコントロール装置６０を装着したユーザが位置Ｂから位置Ｂ’に移動した場合、リモートコントロール装置６０のモーションセンサ部７１２は、位置Ｂから位置Ｂ’までの距離Ｄbb'と角度θaqc'を測定する。また、リモートコントロール装置６０の測距部７１１は、位置Ｂ’から移動後の被写体の位置Ｃ’までの距離Ｄb'c'を測定する。リモートコントロール装置６０は距離Ｄbb'と距離Ｄb'c'と角度θaqc'の測定結果を被写体位置情報として撮像装置２０へ送信する。
【００６３】
撮像装置２０の被写体位置算出部３１１は、距離Ｄabと距離Ｄbb'に基づいて距離Ｄb'aを算出する。さらに、被写体位置算出部３１１は、式（３）に基づきリモートコントロール装置６０が位置Ｂであるときの基準方向（位置Ａの方向）に対する移動後の位置Ｂ’の方向の角度θabb’を算出する。
【００６４】
【数３】
2020155923.tif 000005
【００６５】
また、被写体位置算出部３１１は、式（４）に基づき撮像装置２０における基準方向（位置Ｂの方向）から交点ｑまでの距離Ｄbqを算出する。なお、角度θbb'c'は、角度θabB'と角度θaqc'に基づいて算出される。
【００６６】
【数４】
2020155923.tif 000006
【００６７】
被写体位置算出部３１１は、距離Ｄabから距離Ｄbqを減算することで距離Ｄqaを算出する。また、被写体位置算出部３１１は、例えば距離Ｄbb'と角度θabb'，θbb'qに基づいて距離Ｄb'qを算出して、算出した距離Ｄb'qを距離Ｄb'c'から減算することで距離Ｄc'qを算出する。さらに、被写体位置算出部３１１は、式（５）に基づき距離Ｄac'を算出する。
【００６８】
【数５】
2020155923.tif 000007
【００６９】
また、被写体位置算出部３１１は、式（６）に基づき撮像装置２０における基準方向（位置Ｂの方向）に対する位置Ｃ’の方向の角度θbac'を算出する。
【００７０】
【数６】
2020155923.tif 000008
【００７１】
被写体位置算出部３１１は、算出した角度θbac'を撮像方向制御部３１２へ出力することで、撮像方向制御部３１２では、撮像装置２０の撮像方向を基準方向（位置Ｂの方向）に対して角度θbac'の方向とする方向制御信号を生成して雲台４０へ出力する。したがって、撮像装置２０の撮像方向を、移動後の注目被写体の方向とすることができる。
【００７２】
また、被写体位置算出部３１１は、算出した距離Ｄac'をフォーカス制御部３１３へ出力することで、フォーカス制御部３１３では、撮像装置２０の焦点位置を距離Ｄac'とするフォーカス制御信号を生成して撮像光学系ブロック２１へ出力する。したがって、撮像装置２０の焦点を移動後の注目被写体に合わせることができる。
【００７３】
また、ユーザは注目被写体を追従するように姿勢と位置を変えれば、リモートコントロール装置６０では注目被写体までの距離や注目被写体を追従する動き情報を示す新たな被写体位置情報が生成されて撮像装置２０へ送信される。したがって、撮像装置２０は、新たな被写体位置情報に基づき撮像方向制御やフォーカス制御を行うことで、ユーザが移動しても撮像方向やフォーカス位置を注目被写体に追従させて、注目被写体に焦点が合った撮像画像を連続して取得できるようになる。
【００７４】
さらに、撮像装置２０で取得された撮像画像は、リモートコントロール装置６０の表示部７３に表示されるので、注目被写体に焦点が合っている状態で撮像動作が行われているか確認できるようになる。
【００７５】
＜２−２．第２の実施の形態＞
上述の第１の実施の形態では、撮像装置２０の位置が固定されている場合について説明したが、撮像装置２０は移動可能であってもよい。次に、第２の実施の形態として、撮像装置が移動可能である場合について説明する。
【００７６】
図８は、第２の実施の形態の構成を例示している。撮像装置２０は、撮像光学系ブロック２１、撮像部２２、画像処理部２３、通信部２４ａ、位置姿勢検出部２９、制御部３０、駆動制御部３５を有している。また撮像装置２０は、表示部２５、記録部２６、出力部２７を有してもよい。
【００７７】
撮像光学系ブロック２１は、フォーカスレンズを用いて構成されており、被写体光学像を撮像部２２の撮像面に結像させる。また、撮像光学系ブロック２１には、ズームレンズやアイリス機構等が設けられてもよい。
【００７８】
撮像部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子と信号処理部を有している。撮像素子は、光電変換を行い被写体光学像に応じた画像信号を生成する。信号処理部は、撮像素子で生成された画素信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正、現像処理等を行う。撮像部は、生成した画像信号を画像処理部２３へ出力する。また、撮像部２２は、生成した画像信号を記録部２６や出力部２７へ出力する
画像処理部２３は、撮像部２２から供給された画像信号をリモートコントロール装置６０の表示部７３の表示解像度に応じた画像信号に変換して、変換後の画像信号を通信部２４へ出力する。また、画像処理部２３は、撮像部２２から供給された画像信号を表示部２５の表示解像度に応じた画像信号に変換して表示部２５へ出力する。
【００７９】
通信部２４は、リモートコントロール装置６０と通信を行い、画像処理部２３から供給された画像信号をリモートコントロール装置６０へ送信する。また、リモートコントロール装置６０から送信された被写体位置情報を受信して制御部３０へ出力する。さらに、通信部２４は、外部機器と通信を行い、画像処理部２３から供給された画像信号を外部機器へ送信する。
【００８０】
表示部２５は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部２５は画像処理部２３から供給された画像信号に基づき、撮像装置２０で生成した撮像画像を表示する。また、表示部２５は、制御部３０からの制御信号に基づき撮像装置２０のメニュー表示等を行う。
【００８１】
記録部２６は、撮像装置２０に固定されている記録媒体、あるいは着脱可能の記録媒体を用いて構成されている。記録部２６は、制御部３０からの制御信号に基づき、撮像部２２で生成された画像信号を記録媒体に記録する。また、出力部２７は、制御部３０からの制御信号に基づき、撮像部２２で生成された画像信号を外部機器へ出力する。
【００８２】
位置姿勢検出部２９は、例えば測位衛星等から送信された測位信号を受信して位置を測定する測位信号処理部や９軸センサ等のモーションセンサを有している。位置姿勢検出部２９は、撮像装置２０の位置や姿勢、位置移動量や姿勢変化量等を検出して位置姿勢検出結果を制御部３０へ出力する。
【００８３】
制御部３０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭは、ＣＰＵにより実行される各種プログラムを記憶する。ＲＡＭは、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザ操作に応じた動作が撮像装置２０で行われるように各部を制御する。また、制御部３０には、リモートコントロール装置６０から供給された被写体位置情報に基づき、注目被写体ＯＢを撮像装置２０で撮像するように制御する撮像制御部３１が設けられている。
【００８４】
撮像制御部３１は、上述の図４に示すように撮像制御部３１は、被写体位置算出部３１１と撮像方向制御部３１２およびフォーカス制御部３１３を有している。
【００８５】
被写体位置算出部３１１は、位置姿勢検出部２９から供給された位置姿勢検出結果とリモートコントロール装置６０から供給された被写体位置情報に基づき、注目被写体の方向と注目被写体までの距離とを算出する。被写体位置算出部３１１は、注目被写体の方向の算出結果を撮像方向制御部３１２へ出力して、注目被写体までの距離の算出結果をフォーカス制御部３１３へ出力する。
【００８６】
撮像方向制御部３１２は、注目被写体の方向の算出結果に基づき、撮像装置２０の撮像方向が注目被写体の方向となるように方向制御信号を生成して駆動制御部３５へ出力する。また、フォーカス制御部３１３は、注目被写体までの距離の算出結果に基づき、撮像装置２０のフォーカス位置が注目被写体となるようにフォーカス制御信号を生成して撮像光学系ブロック２１へ出力する。
【００８７】
姿勢制御部３５は、撮像制御部３１からの駆動制御信号に基づき、撮像装置２０を搭載した移動体の姿勢を、撮像装置２０の撮像方向が注目被写体の方向となるように制御する。例えば移動体４５がドローン等の無人飛行体である場合、無人飛行体に搭載された撮像装置２０の撮像方向が注目被写体の方向となるように飛行姿勢を制御する。
【００８８】
リモートコントロール装置６０について説明する。リモートコントロール装置６０は、被写体位置情報生成部７１、通信部７２、表示部７３を有している。また、被写体位置情報生成部７１は、測距部７１１とモーションセンサ部７１２を有している。
【００８９】
測距部７１１は、リモートコントロール装置６０を装着しているユーザの前方正面に位置する注目被写体までの距離を測定する。モーションセンサ部７１２は、リモートコントロール装置６０の位置変化や姿勢変化の変化量等を示す動き情報を生成する。被写体位置情報生成部７１は、測距部７１１で測定した注目被写体までの距離とモーションセンサ部７１２で生成した動き情報を含む被写体位置情報を生成して通信部７２へ出力する。
【００９０】
通信部７２は、被写体位置情報生成部７１で生成された被写体位置情報を撮像装置２０へ送信する。また、通信部７２は、撮像装置２０から送信された画像信号を受信して表示部７３へ出力する。
【００９１】
表示部７３は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部７３は通信部７２で受信された画像信号に基づき、撮像装置２０で生成された撮像画像を表示する。
【００９２】
このような第２の実施の形態では、例えば上述の第１の実施の形態の他の動作例と同様な処理を行い撮像装置が初期状態であるときの方向を基準として注目被写体の方向を示す角度と注目被写体までの距離を算出する。さらに、注目被写体の方向を示す角度と注目被写体までの距離を、位置姿勢検出部２９で検出した初期状態からの撮像装置２０の移動方向や移動量に報じて補正して、注目被写体の方向と注目被写体までの距離を算出する。
【００９３】
次に、第２の実施の形態の動作について、図９を用いて説明する。なお、図９では、無人飛行体に取り付けられた撮像装置２０の位置を「Ａ」、リモートコントロール装置６０の位置を「Ｂ」、注目被写体の位置を「Ｃ」として示している。また、撮像装置２０の位置を「Ａ’」として示している。また、位置Ａをｘｙｚ座標の原点として位置Ｂと位置Ｃはｘｙ平面上にあり、位置Ａ，Ｂはｘ座標軸上の位置とするとする。
【００９４】
撮像制御部３１は、第１の実施の形態と同様な処理を行うことで、撮像装置２０が位置Ａであるときの注目被写体の方向を示す角度θbacと注目被写体までの距離Ｄacを算出できる。また、位置姿勢検出部２９では、位置Ａから位置Ａ’までの距離Ｄaa'と位置Ａに対する位置Ａ’の方向Ｆmaを検出できる。したがって、角度θbacと注目被写体までの距離Ｄacに対して距離Ｄaa'と方向Ｆmaに基づき補正処理を行う。例えば撮像装置２０がｚ方向に移動した場合、注目被写体の方向はｘ軸方向を基準とした角度θbacとｚ軸方向を基準とした角度θaa'cで示される方向となる。また、距離Ｄa'cは距離Ｄacと距離Ｄaa'に基づいて算出すればよい。なお、角度θaa'cは、距離Ｄa'c，Ｄac，Ｄaa'に基づいて算出できる。また、位置Ａ'がｚ方向だけでなくｘ方向やｙ方向に移動する場合、ｘ軸を基準とした角度の補正とｚ軸を基準とした角度の算出を、注目被写体の方向を示す角度θbacと距離Ｄaa'と方向Ｆmaに基づいて行えば、移動後の撮像装置の撮像方向を注目被写体の方向とすることができる。
【００９５】
このように、第２の実施の形態によれば、撮像装置２０が三次元方向に移動する場合であっても、リモートコントロール装置６０で示された注目被写体を移動体に設けられた撮像装置２０で撮像できる。また、移動体やリモートコントロール装置が移動しても、注目被写体を撮像し続けることができるようになる。
【００９６】
＜２−３．他の実施の形態＞
上述の実施の形態では、撮像制御部が撮像装置に設けられている場合を例示したが、撮像制御部３１はリモートコントロール装置６０に設けられてもよい。例えば、第１の実施の形態と同様に撮像装置２０の位置が固定されている場合、撮像装置２０から位置や姿勢の検出結果を取得しなくとも、上述のような演算処理を行うことで、撮像装置２０における注目被写体の方向や注目被写体までの距離を算出できる。したがって、リモートコントロール装置６０で方向制御信号やフォーカス制御信号を生成して撮像装置２０へ出力してもよい。また、リモートコントロール装置６０から方向制御信号を雲台４０へ出力してもよい。
【００９７】
また、撮像制御部３１の一部の機能、例えば被写体位置算出部３１１をリモートコントロール装置６０に設けて、撮像装置２０における注目被写体の方向と注目被写体までの距離を示す被写体位置算出結果をリモートコントロール装置６０から撮像装置２０へ送信してもよい。
【００９８】
また、リモートコントロール装置６０は、上述の実施の形態のようにユーザの頭部に装着する構成に限られない。例えば、リモートコントロール装置を棒状や円柱状あるいは角柱状として、先端方向を注目被写体方向として被写体位置情報を生成する構成であってもよい。
【００９９】
＜３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術システムや監視システム等に適用されてもよい。
【０１００】
例えば、図２に示すリモートコントロール装置は術者（医師）に装着して、撮像装置は術部を撮像できるように配置する。また、雲台は撮像装置の撮像方向を少なくとも術部範囲で移動可能とする。このようにリモートコントロール装置と撮像装置と雲台を設ければ、術者が注目する患部部分を撮像装置で追従しながら撮影することができる。
【０１０１】
また、図２に示すリモートコントロール装置は監視者に装着して、撮像装置は監視対象領域を撮像できるように配置する。また、雲台は撮像装置の撮像方向を少なくとも監視対象範囲で移動可能とする。このようにリモートコントロール装置と撮像装置と雲台を設ければ、監視者が注目する監視対象者を撮像装置で追従しながら撮影することができる。
【０１０２】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１０３】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１０４】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０５】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１０６】
また、本技術のリモートコントロール装置は以下のような構成も取ることができる。
（１）  被写体までの距離を測定する測距部と、
初期状態からの動きを測定するモーションセンサ部と、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写体位置情報を制御対象機器に送信する通信部と
を備えるリモートコントロール装置。
（２）  前記初期状態は前記測距部と前記制御対象機器の撮像部を対向させた状態であり、前記測距部で測定された前記撮像部までの距離と前記撮像部の方向を基準とする（１）に記載のリモートコントロール装置。
（３）  表示部をさらに備え、
前記通信部は、前記制御対象機器の撮像部で生成された撮像画像を受信して、
前記表示部は、前記通信部で受信した撮像画像を表示する（１）または（２）に記載のリモートコントロール装置。
（４）  前記表示部をユーザの眼の位置として、前記測距部を前記ユーザの前方正面に位置する被写体までの距離を測定する位置として、前記表示部と前記測距部を保持するホールド部をさらに備える（３）に記載のリモートコントロール装置。
【０１０７】
また、本技術の撮像制御装置は以下のような構成も取ることができる。
（１）  リモートコントロール装置から被写体までの距離と初期状態からの前記リモートコントロール装置の動きを示す被写体位置情報に基づき、制御対象機器の撮像部における前記初期状態の方向に対する前記被写体の方向を算出する被写体位置算出部
を備える撮像制御装置。
（２）  前記初期状態は前記リモートコントロール装置の測距部と前記制御対象機器の撮像部を対向させた状態であり、前記測距部の方向を前記制御対象機器の基準とする（１）に記載の撮像制御装置。
（３）  前記被写体位置算出部は、前記リモートコントロール装置または前記制御対象機器に設けた（１）または（２）に記載の撮像制御装置。
（４）  前記制御対象機器の撮像部の撮像方向を、前記被写体位置算出部で算出された前記被写体の方向とする方向制御信号を生成する撮像方向制御部をさらに備える（１）乃至（３）のいずれかに記載の撮像制御装置。
（５）  前記撮像方向制御部は、前記リモートコントロール装置または前記制御対象機器に設けた（４）に記載の撮像制御装置。
（６）  前記被写体位置算出部は、前記撮像部から前記被写体までの距離を算出する（１）乃至（５）のいずれかに記載の撮像制御装置。
（７）  前記制御対象機器の撮像部のフォーカス位置を、前記被写体位置算出部で算出された前記被写体までの距離の位置とするフォーカス制御信号を生成するフォーカス制御部をさらに備える（６）に記載の撮像制御装置。
（８）  前記フォーカス制御部は、前記リモートコントロール装置または前記制御対象機器に設けた（７）に記載の撮像制御装置。
【符号の説明】
【０１０８】
１０・・・撮像システム
２０・・・撮像装置
２１・・・撮像光学系ブロック
２２・・・撮像部
２３・・・画像処理部
２４・・・通信部
２５・・・表示部
２６・・・記録部
２７・・・出力部
２８・・・姿勢検出部
２９・・・位置姿勢検出部
３０・・・制御部
３１・・・撮像制御部
３５・・・駆動制御部
４０・・・雲台
４５・・・移動体
６０・・・リモートコントロール装置
６１・・・ホールド部
６２・・・アーム部
６３・・・接眼ブロック
６４・・・回路ブロック
６５・・・電源部
７１・・・被写体位置情報生成部
７２・・・通信部
７３・・・表示部
３１１・・・被写体位置算出部
３１２・・・撮像方向制御部
３１３・・・フォーカス制御部
６１０・・・ネックバンド
６１１Ｌ，６１１Ｒ・・・耳当て部
７１１・・・測距部
７１２・・・モーションセンサ部
【図１】
2020155923.tif 000009
【図２】
2020155923.tif 000010
【図３】
2020155923.tif 000011
【図４】
2020155923.tif 000012
【図５】
2020155923.tif 000013
【図６】
2020155923.tif 000014
【図７】
2020155923.tif 000015
【図８】
2020155923.tif 000016
【図９】
2020155923.tif 000017