(57)【要約】【課題】  雲台に主カメラと広角撮影用カメラを搭載した撮影システムにおいて撮影タイミングを計りやすくする。【解決手段】  撮影用の主カメラと、主カメラよりも広角な映像を撮影する広角撮影用カメラと、主カメラと広角撮影用カメラが取り付けられた雲台と、主カメラと広角撮影用カメラがパン、チルト、ロールの少なくともいずれか１つの旋回を同一の旋回軸で行うように雲台を駆動する駆動部と、主カメラと広角撮影用カメラの映像を伝送路に出力する映像処理部を有する撮影システムである。【選択図】  図１
2020036168.tif 000002
【特許請求の範囲】
【請求項１】
撮影用の主カメラと、
前記主カメラよりも広角な映像を撮影する広角撮影用カメラと、
前記主カメラと前記広角撮影用カメラが取り付けられた雲台と、
前記主カメラと前記広角撮影用カメラがパン、チルト、ロールの少なくともいずれか１つの旋回を同一の旋回軸で行うように前記雲台を駆動する駆動部と、
前記主カメラと前記広角撮影用カメラの映像を伝送路に出力する映像処理部を有することを特徴とする撮影システム。
【請求項２】
前記主カメラのファインダに表示される映像を撮影するファインダ撮影用カメラを有し、
前記映像処理部は、前記ファインダ撮影用カメラの映像を、前記主カメラの映像に代えて前記伝送路に出力することを特徴とする請求項１に記載の撮影システム。
【請求項３】
前記映像処理部は、１つの伝送路にそれぞれのカメラの映像を出力することを特徴とする請求項１または２に記載の撮影システム。
【請求項４】
前記映像処理部は、それぞれのカメラの映像を合成して前記伝送路に出力する請求項１から３の何れか１項に記載の撮影システム。
【請求項５】
前記映像処理部は、それぞれのカメラの映像の画角の関係が認識できるように前記映像の合成を行うことを特徴とする請求項４に記載の撮影システム。
【請求項６】
前記ファインダ撮影用カメラは、前記主カメラよりも低消費電力で撮影することを特徴とする請求項２に記載の撮影システム。
【請求項７】
前記ファインダ撮影用カメラは、前記主カメラよりも低画素で撮影することを特徴とする請求項２に記載の撮影システム。
【請求項８】
前記ファインダ撮影用カメラは、前記主カメラよりも低フレームレートで撮影することを特徴とする請求項２に記載の撮影システム。
【請求項９】
前記主カメラと前記広角撮影用カメラの双方の映像から被写体を認識する被写体認識部を有し、前記駆動部は、前記被写体認識部の結果をもとに追尾動作が可能であることを特徴とする請求項１から８の何れか１項に記載の撮影システム。
【請求項１０】
撮影用の主カメラと、前記主カメラよりも広角な映像を撮影する広角撮影用カメラが取り付けられる雲台と、
前記主カメラと前記広角撮影用カメラがパン、チルト、ロールの少なくともいずれか１つの旋回を同一の旋回軸で行うように前記雲台を駆動する駆動部と、
前記主カメラと前記広角撮影用カメラの映像を伝送路に出力する映像処理部を有することを特徴とする雲台システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを搭載した雲台を有する撮影システムに関し、カメラがパン、チルト、ロールの少なくともいずれか１つの旋回を行うように雲台を駆動する撮影システムに関する。
【背景技術】
【０００２】
従来から、カメラを遠隔操作して撮影を行うシステムが存在する。例えば、スポーツ会場において普段は人が入れないような場所から撮影を行うことで、付加価値の高い映像を提供する場合である。カメラを搭載した雲台をあらかじめ会場に設置しておき、雲台とカメラを遠隔操作することによって、会場内のカメラと離れた場所や会場外から競技を撮影することが可能である。このようなシステムの一例として、複数のカメラを組み合わせたシステムが知られている。
【０００３】
例えば、特許文献１には、撮影用の主カメラとは別に、この主カメラよりも広角な画像を取得可能な固定の広角撮影用カメラを使用することで、主カメラでの撮影のタイミングを計りやすく、かつ、被写体の追尾性能を向上させたシステムが開示されている。また、特許文献２に、広角撮影用カメラを使用することで主カメラによる被写体の追尾性能を向上させたシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２０４７９５号公報
【特許文献２】特開２０１４−２４１５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１、２に開示された撮影システムでは、撮影用の主カメラと広角撮影用カメラのどちらか一方のみ、もしくは、各カメラが独立して旋回するため、それぞれのカメラが別の動きを行い、カメラ制御に関して同期をとる必要があった。また、カメラを旋回した際にカメラ間でずれが生じないよう、設置場所や旋回軸に関する高度な調整が必要であった。特に、カメラ間の位置補正の精度が十分でなかったり、制御遅延が大きかったりすると、追尾性能に大きく影響してしまうという問題があった。
【０００６】
そこで、本発明は、カメラを雲台に搭載した撮影システムにおいて、撮影タイミングを計りやすくすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の実施態様によれば、撮影用の主カメラと、前記主カメラよりも広角な映像を撮影する広角撮影用カメラと、前記主カメラと前記広角撮影用カメラが取り付けられた雲台と、前記主カメラと前記広角撮影用カメラがパン、チルト、ロールの少なくともいずれか１つの旋回を同一の旋回軸で行うように前記雲台を駆動する駆動部と、前記主カメラと前記広角撮影用カメラの映像を伝送路に出力する映像処理部を有することを特徴とする撮影システムである。
【発明の効果】
【０００８】
本発明によれば、カメラを雲台に搭載した撮影システムにおいて、撮影タイミングを計りやすくすることが可能である。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態の斜視図である。
【図２】第１の実施形態のブロック図である。
【図３】第１の実施形態の主カメラとファインダ撮影用カメラの構成を示す図である。
【図４】第１の実施形態の主カメラと広角撮影用カメラで撮影した映像の例である。
【図５】第１の実施形態において、主カメラと広角撮影用カメラが同一の旋回軸でパン、チルトの旋回を行うように雲台に取り付けられた場合の例である。
【図６】本発明の第２の実施形態の斜視図である。
【図７】第２の実施形態のブロック図である。
【図８】第２の実施形態の広角撮影用カメラを使用した追尾時のインタフェースＣＰＵの処理のフローチャートである。
【図９】第２の実施形態の広角撮影用カメラと主カメラとしてのビデオカメラを使用した追尾時のインタフェースＣＰＵの処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明の実施形態を詳細に説明する。ただし、実施形態に示される各構成要素は例示であり、本発明を限定するものではない。
【００１１】
（第１の実施形態）
図１の斜視図と図２のブロック図を参照して、本発明の第１の実施形態の構成を説明する。
【００１２】
本実施形態のカメラ旋回システムは操作器１０と雲台システム２０から構成される。撮影者が操作器１０を操作すると、操作内容に応じた操作命令が操作器１０からネットワークを介して雲台システム２０に送信される。そして雲台システム２０は、受信した操作命令に応じた制御を行うことで、操作器１０から雲台システム２０を遠隔操作することが可能となる。
【００１３】
雲台システム２０は、雲台ヘッド２１、主カメラ２２、広角撮影用カメラ２３、ファインダ撮影用カメラ２４から構成される。
【００１４】
雲台ヘッド２１は、インタフェース部２１１と駆動制御部２１２から構成され、インタフェース部２１１は主に通信および映像の処理を行い、駆動制御部２１２は主に各種モータの制御を行う。
【００１５】
インタフェース部２１１は、インタフェースＣＰＵ２１１１と映像処理部２１１２と通信部２１１３から構成される。駆動制御部２１２は、駆動制御ＣＰＵ２１２１とズーム、ロール、チルト、パンの各モータ制御部２１２２（２１２２ａ〜２１２２ｄ）と各モータ２１２３（２１２３ａ〜２１２３ｄ）から構成される。
【００１６】
操作器１０からの操作命令は、通信部２１１３を介してインタフェースＣＰＵ２１１１に送られる。操作命令がパン駆動制御命令であった場合、駆動制御部２１２に駆動命令が送られ、駆動制御ＣＰＵ２１２１を介してパン制御部２１２２ａに指令を与える。そして、パン駆動制御命令に応じてパンモータ２１２３ａを駆動する。
【００１７】
同様に、操作命令がチルト駆動制御命令であった場合、チルト制御部２１２２ｂを介してチルトモータ２１２３ｂを制御する。また、操作命令がロール制御命令であった場合、ロール制御部２１２２ｃを介してロールモータ２１２３ｃを制御する。さらにまた、操作命令がズーム制御命令であった場合には、ズーム制御部２１２２ｄを介してズームモータ２１２３ｄを制御する。よって、駆動制御部２１２は、各カメラの駆動部として機能する。
【００１８】
映像処理部２１１２は、主カメラ２２、広角撮影用カメラ２３、ファインダ撮影用カメラ２４のそれぞれから出力される映像をインタフェースＣＰＵ２１１１に送る。インタフェースＣＰＵ２１１１は、各カメラからの映像と、操作器１０において各カメラを操作するために利用することができる通信データ（例えば、カメラの位置や姿勢などに関する情報）とを、通信部２１１３を介して操作器１０に表示されるように送出する。なお、各カメラからの映像を操作器１０に送出する際に１つの伝送路を用いることで、映像ごとに複数の伝送路を用いる場合と比較して映像間の遅延を小さくすることができる。なお、下述するように、操作器１０に送出される映像は一部のカメラからの映像でもよい。
【００１９】
次に、主カメラ２２とファインダ撮影用カメラ２４の構成の一例を図３に示す。
【００２０】
主カメラ２２は、静止画撮影のための一眼レフカメラ２２１とレンズ装置２２２から構成される。主カメラ２２による撮影が行われていない通常時は、図示するように可動ミラー２２１１がメカニカルシャッタ２２１２の前に傾斜配置されており、レンズ装置２２２を通過した光束は可動ミラー２２１１よって上部に反射され、焦点板２２１３に一度結像する。焦点板２２１３に結像した光束は、ペンタプリズム２２１４および接眼レンズ２２１５を通過してファインダ撮影用カメラ２４に到達する。
【００２１】
主カメラによる撮影時は、可動ミラー２２１１が不図示の回転軸を中心に上部に跳ね上げられるように回転する。この場合、レンズ装置２２２を通過した光束はメカニカルシャッタ２２１２を通過して不図示の撮像素子に到達する。
【００２２】
上述したように、主カメラ２２とファインダ撮影用カメラ２４を構成することによって、主カメラ２２で撮影される映像と同一の映像がファインダ撮影用カメラ２４で撮影することが可能である。
【００２３】
ここで、例えばファインダ撮影用カメラ２４として主カメラ２２と比べて低画素、低フレームレートのカメラを用いることによって低遅延の映像伝送が可能となる。つまり撮影を行う際にインタフェース部２１１からネットワークを介して操作器１０に出力される映像として、広角撮影用カメラ２３とファインダ撮影用カメラ２４の映像を用いることで、操作者の撮影タイミングのずれを抑制することができる。また、ファインダ撮影用カメラ２４として主カメラ２２と比べて低消費電力のカメラを用いることで、雲台システム２０の消費電力を抑制することが可能となる。なお、ファインダ撮影用カメラ２４が、主カメラ２２と比べて低画素、低フレームレート、低消費電力の条件を１つでも満たせば、満たした条件に応じた効果を得ることが可能である。
【００２４】
次に、主カメラ２２と広角撮影用カメラ２３の撮影映像の関係について、図４の例を用いて説明する。
【００２５】
図４（ａ）〜（ｃ）は、移動する被写体を主カメラ２２で撮影して得られた映像を時系列に並べた例である。また、図４（ｄ）〜（ｆ）は、同様に広角撮影用カメラ２３で撮影して得られた映像を並べた例であり、説明の便宜上、主カメラ２２の撮影範囲を破線で記している。
【００２６】
主カメラ２２で移動する被写体を撮影しようとした場合、図４（ａ）〜（ｃ）のように、被写体を確認できるのは一部の映像であって短期間である。さらに、図４（ｂ）のように、映像内に大きく被写体を撮影しようとする場合、画角内の被写体の移動速度が速いと、操作者は撮影タイミングを合わせることが非常に難しい。特に雲台システム２０（主カメラ２２）と操作器１０の間で伝送遅延が存在するような場合には、撮影者が操作器１０の画面で被写体を認識してから操作器１０を操作して撮影を開始したのでは間に合わない可能性がある。
【００２７】
一方、図４（ｄ）〜（ｆ）のように、広角撮影用カメラ２３の映像を確認することによって、撮影者は被写体の位置をより正確に確認することができる。このため、主カメラ２２の画角による映像で確認する場合と比較して、撮影タイミングを被写体に合わせることが容易となる。
【００２８】
このように広角撮影用カメラ２３からの映像を用いることで、移動する被写体の撮影タイミングを的確に知ることが可能となる。また、被写体の位置を知ることができるため、被写体の位置に応じて、カメラのパン、チルト動作を行うことも容易となる。
【００２９】
以上のように、主カメラ２２とは別に広角撮影用カメラ２３とファインダ撮影用カメラ２４を設け、広角撮影用カメラ２３とファインダ撮影用カメラからの映像によりライブビューを行うことで撮影者が撮影タイミングを探りやすくなる。
【００３０】
なお、広角撮影用カメラ２３とファインダ撮影用カメラ２４からの映像をそれぞれの画角の関係が認識できるように合成し、合成した映像を操作器１０に送出するようにしてもよい。
【００３１】
また、主カメラ２２、広角撮影用カメラ２３、ファインダ撮影用カメラ２４のそれぞれが共通する同一の旋回軸で旋回動作を行うため、例えばカメラ間のずれなどの旋回の影響を受けることがなく、複雑な補正や連携を必要としない。さらに、それぞれのカメラからの映像を、インタフェースＣＰＵ２１１１が１つの伝送路で送出することで、別々の伝送方法または伝送路により遅延量に差が出る現象を抑制することができる。よって、より撮影タイミングを計りやすい撮影システムを構築することができる。
【００３２】
次に図５を用いて本実施形態の変形例を説明する。
【００３３】
図１で示した例では、広角撮影用カメラ２３は、主カメラ２２およびファインダ撮影用カメラ２４とパンのみが同一の旋回軸となるような位置に取り付けられている。ここで、図５のように広角撮影用カメラ２３の取り付け位置を変更して、広角撮影用カメラ２３が、パンとチルトのどちらにおいても、主カメラ２２およびファインダ撮影用カメラ２４と同一の旋回軸で動作するようにしてもよい。さらに別の変形例として、広角撮影用カメラ２３をレンズ装置２２２に括り付けることによって、パン、チルト、ロールのいずれの旋回動作においても、主カメラ２２と同一の旋回軸となるようにしてもよい。
【００３４】
また、図２において、映像処理部２１１２と通信部２１１３をインタフェースＣＰＵ２１１１と別の構成にしたが、それぞれを１つに統合した構成にしてもよい。さらにまた、映像処理部２１１２が各カメラからの映像を取得する役割としたが、各カメラを制御する機能を持たせ、インタフェースＣＰＵ２１１１から各カメラの設定を制御可能としてもよい。
【００３５】
さらにまた、インタフェース部２１１からネットワークへの出力は広角撮影用カメラ２３とファインダ撮影用カメラ２４としたが、ファインダ撮影用カメラ２４と主カメラ２２のどちらを出力するかを選択可能としてもよい。
【００３６】
なお、ズーム制御はズーム制御部２１２２ｄを介して制御するものとしたが、主カメラ２２がズーム制御機能を持つ場合には、主カメラ２２を介して制御してもよい。各モータ制御部２１２２についても、駆動制御ＣＰＵ２１２１と別構成としたが、一体の構成にしてもよい。また、インタフェースＣＰＵ２１１１と駆動制御ＣＰＵ２１２１を１つのＣＰＵで制御してもよい。
【００３７】
以上述べたように、本実施形態によれば、主カメラ２２と広角撮影用カメラ２３が、パン、チルト、ロールの少なくともいずれか１つを同一の旋回軸で行うように、雲台のモータを駆動する。よって、広角撮影用カメラ２３で被写体を俯瞰した広角画像を得たうえで、主カメラ２２の撮影範囲を認識できる。よって、撮影者は主カメラ２２による撮影タイミングを計りやすい。
【００３８】
また、主カメラ２２の代わりにファインダ撮影用カメラ２４を用いて映像出力することによって、操作器１０の側でより低遅延で映像を表示することができ、更に撮影タイミングを的確に計ることが可能となる。
【００３９】
（第２の実施形態）
図６の斜視図と図７のブロック図を参照して、本発明の第２の実施形態の構成を説明する。第２の実施形態は、主カメラ２２として、動画撮影用のビデオカメラを用いた形態である。
【００４０】
第２の実施形態は、第１の実施形態と比較してファインダ撮影用カメラ２４、ロール制御部２１２２ｃ、ロールモータ２１２３ｃが削除されている。動画撮影の場合は、主カメラ２２をロールさせて撮影する可能性が低いためであるが、第１の実施形態のようにロール可能な構成にしてもよい。
【００４１】
また、映像処理部２１１２の代わりに追尾処理部２１１４が構成されている。さらに、追尾処理部２１１４は、主カメラ２２と広角撮影用カメラ２３の双方の映像から追尾すべき被写体を認識して画像内の被写体の位置を算出する。特に言及がない限り、他の構成は第１の実施形態と同じである。
【００４２】
追尾時のインタフェースＣＰＵ２１１１の処理について、図８のフローチャートを参照して説明する。
【００４３】
インタフェースＣＰＵ２１１１は、まずステップＳ１０１において、追尾処理部２１１４に広角撮影用カメラ２３における被写体の位置の取得を要求し、被写体の位置を取得できればステップＳ１０２に進む。被写体の位置を取得できなかった場合は、処理を終了する。
【００４４】
次にステップＳ１０２において、駆動制御ＣＰＵ２１２１から、現在のパン、チルト、ズーム位置を取得してステップＳ１０３へ進む。さらにステップＳ１０３において、被写体の位置と現在のパン、チルト、ズーム位置から、目標位置を算出し、ステップＳ１０４へ進む。ステップＳ１０４では、算出された目標位置を駆動制御ＣＰＵ２１２１へ通知し、パン、チルト、ズームを駆動させることで被写体の追尾を行う。
【００４５】
上述したように、広角撮影用カメラ２３を使用して追尾動作を行うことが可能であるが、主カメラ２２であるビデオカメラの映像も使用してもよい。広角撮影用カメラ２３に加えてビデオカメラの映像も追尾動作に使用する場合のインタフェースＣＰＵ２１１１の処理について、図９のフローチャートをもとに説明する。
【００４６】
インタフェースＣＰＵ２１１１は、まず図８と同様に、ステップＳ１０１、ステップＳ１０２の処理を行い、広角撮影用カメラ２３における被写体の位置が取得できればステップＳ２０１に進み、取得できなければ処理を終了する。
【００４７】
次にステップＳ２０１において、主カメラ２２における被写体の位置の取得を要求して取得できればステップＳ２０２へ進み、取得できなければステップＳ２０３へ進む。ステップＳ２０２では、取得した主カメラ２２における被写体の位置をもとに目標位置を決定し、ステップＳ１０４へ進む。ステップＳ２０３では、取得した広角撮影用カメラ２３における被写体の位置をもとに目標位置を決定し、ステップＳ１０４へ進む。ステップＳ１０４以降は図８と同様に処理することで、被写体の追尾を行う。つまり、インタフェースＣＰＵ２１１１が被写体認識部として機能し、主カメラ２２と広角撮影用カメラ２３の双方の映像から被写体を認識して、その被写体認識の結果をもとに追尾動作を行う。
【００４８】
以上のように、追尾性能の向上や撮影タイミングを計りやすくすることを目的とした、主カメラ２２と広角撮影用カメラ２３が連携して追尾動作を行うシステムにおいて、各々のカメラを同一旋回軸で旋回させることで、旋回時のずれの影響を無くすことができる。これによって、複雑な補正や連携を必要とすることがなく、より簡易的なシステムで実現することができる。
【００４９】
本実施形態では、映像処理部２１１２の代わりに追尾処理部２１１４を構成したが、それぞれを別に備える構成としてもよいし、インタフェースＣＰＵ２１１１と統合して一つの構成としてもよい。
【００５０】
なお、図９のフローチャートにおいて、広角撮影用カメラ２３において被写体を認識できない場合には追尾動作を終了するものとしたが、この際にも主カメラ２２の被写体認識処理を確認するようにしてもよい。また、主カメラ２２で被写体が認識された際には、必ず主カメラ２２を優先するフローとしたが、条件に応じて切り替えられるようにしてもよい。
【００５１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５２】
また、本発明は、上述した実施形態の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１０  操作器
２０  雲台システム
２１  雲台ヘッド
２１１  インタフェース部
２１１１  インタフェースＣＰＵ
２１１２  映像処理部
２１１３  通信部
２１２  駆動処理部
２１２１  駆動制御ＣＰＵ
２１２２  モータ制御部
２１２３  モータ
２２  主カメラ
２３  広角撮影用カメラ
２４  ファインダ撮影用カメラ
【図１】
2020036168.tif 000003
【図２】
2020036168.tif 000004
【図３】
2020036168.tif 000005
【図４】
2020036168.tif 000006
【図５】
2020036168.tif 000007
【図６】
2020036168.tif 000008
【図７】
2020036168.tif 000009
【図８】
2020036168.tif 000010
【図９】
2020036168.tif 000011