(57)【要約】      （修正有）【課題】撮像装置を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御が可能となる技術を実現する。【解決手段】遠隔操作装置は、撮像装置と通信する通信手段と、撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、映像データを表示する表示手段と、表示された映像の所定の範囲を指定する指定手段と、指定された範囲の映像データから所定の情報を取得する取得手段と、所定の情報とパラメータとを撮像装置へ送信する送信手段と、を有し、撮像装置は、撮像手段と、遠隔操作装置と通信する通信手段と、遠隔操作装置へ映像データと撮影時のパラメータを送信する送信手段と、遠隔操作装置から通信用データを受信する受信手段と、所定の情報とパラメータとを取得する取得手段と、制御用データを生成し撮像手段を制御する制御手段と、を有する。【選択図】図３
2015032910.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を遠隔操作する遠隔操作装置であって、
前記撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、
前記映像データを表示する表示手段と、
前記表示手段により表示された映像の所定の範囲を指定する指定手段と、
前記指定手段により指定された範囲の映像データから所定の情報を取得する取得手段と、
前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信手段と、を有することを特徴とする遠隔操作装置。
【請求項２】
前記パラメータは、映像データの各フレーム撮影時の露出制御値であり、
前記所定の情報は、輝度データまたは輝度のヒストグラムの情報であることを特徴とする請求項１に記載の遠隔操作装置。
【請求項３】
前記パラメータは、映像データの各フレーム撮影時のホワイトバランス制御値であり、
前記所定の情報は、色データであることを特徴とする請求項１に記載の遠隔操作装置。
【請求項４】
前記パラメータは、映像データの各フレーム撮影時の被写体の距離情報であることを特徴とする請求項１に記載の遠隔操作装置。
【請求項５】
前記受信手段は、前記パラメータに代えて、映像データのフレーム番号を受信し、
前記送信手段は、前記所定の情報とフレーム番号とを前記撮像装置へ送信することを特徴とする請求項２ないし４のいずれか１項に記載の遠隔操作装置。
【請求項６】
前記所定の情報に基づいて前記パラメータを補正して制御用データを算出する算出手段を更に有し、
前記送信手段は、前記算出手段により算出された制御用データを前記撮像装置へ送信することを特徴とする請求項１ないし５のいずれか１項に記載の遠隔操作装置。
【請求項７】
前記撮像装置において制御用データに基づいて撮像した映像が前記表示手段に表示されるまで、処理中であるこをユーザに通知する通知手段を更に有することを特徴とする請求項１ないし６のいずれか１項に記載の遠隔操作装置。
【請求項８】
遠隔操作装置により操作が可能な撮像装置であって、
撮像手段と、
前記遠隔操作装置と通信する通信手段と、
前記通信手段を介して前記遠隔操作装置へ映像データと当該映像の撮影時のパラメータを送信する送信手段と、
前記通信手段を介して前記遠隔操作装置から通信用データを受信する受信手段と、
前記受信手段により受信した通信用データに含まれる、前記映像データの所定の範囲から得られた所定の情報とパラメータとを取得する取得手段と、
前記取得手段により取得された前記所定の情報と前記パラメータとを用いて制御用データを生成し、当該制御用データに基づいて前記撮像手段を制御する制御手段と、を有することを特徴とする撮像装置。
【請求項９】
前記パラメータは、映像データの各フレーム撮影時の露出制御値であり、
前記所定の情報は、輝度データまたは輝度のヒストグラムの情報であり、
前記制御用データは、前記所定の範囲の画像の明るさを所定の明るさに調整するための露出制御用データであることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記パラメータは、映像データの各フレーム撮影時のホワイトバランス制御値であり、
前記所定の情報は、色データであり、
前記制御用データは、前記所定の範囲の画像の色を所定の色に調整するためのホワイトバランス制御用データであることを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記パラメータは、映像データの各フレーム撮影時の被写体の距離情報であり、
前記制御用データは、前記指定された範囲の被写体に焦点を合わせるためのフォーカス制御用データであることを特徴とする請求項８に記載の撮像装置。
【請求項１２】
前記取得手段により取得された所定の情報に基づいてパラメータを補正して前記制御用データを算出する算出手段を更に有することを特徴とする請求項８ないし１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記送信手段は、前記パラメータに代えて、映像データのフレーム番号を送信し、
前記制御手段は、所定のフレーム数だけフレーム番号に対応する制御用情報を記憶している記憶手段を有し、
前記算出手段は、前記記憶手段から取得した前記フレーム番号に対応する制御用情報を用いて前記制御用データを算出することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記制御用データは、前記指定された範囲の被写体の明るさが適正になるような露出制御値であり、
撮像素子の電荷蓄積時間、信号処理におけるゲイン補正、絞りおよび減光フィルタの制御用データを含むことを特徴とする請求項９に記載の撮像装置。
【請求項１５】
前記制御用データは、前記指定された範囲の被写体の色が白色になるようなホワイトバランス制御値であることを特徴とする請求項１０に記載の撮像装置。
【請求項１６】
撮像装置を遠隔操作する遠隔操作装置の制御方法であって、
前記撮像装置と通信する通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信ステップと、
表示手段に表示された映像の所定の範囲を指定する指定ステップと、
前記指定された範囲の映像データから所定の情報を取得する取得ステップと、
前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信ステップと、を有することを特徴とする制御方法。
【請求項１７】
遠隔操作装置により操作が可能な撮像装置の制御方法であって、
前記遠隔操作装置と通信する通信手段を介して前記遠隔操作装置へ映像データと当該映像の撮影時のパラメータを送信する送信ステップと、
前記通信手段を介して前記遠隔操作装置から通信用データを受信する受信ステップと、
前記受信した通信用データに含まれる、前記映像データの所定の範囲から得られた所定の情報と前記パラメータとを取得する取得ステップと、
前記取得された前記所定の情報と前記パラメータとを用いて制御用データを生成し、当該制御用データに基づいて撮像手段を制御する制御ステップと、を有することを特徴とする制御方法。
【請求項１８】
遠隔操作装置により撮像装置を遠隔操作するシステムであって、
前記遠隔操作装置は、
前記撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、
前記映像データを表示する表示手段と、
前記表示手段により表示された映像の所定の範囲を指定する指定手段と、
前記指定手段により指定された範囲の映像データから所定の情報を取得し、パラメータを生成する生成手段と、
前記通信手段を介して前記所定の情報とパラメータとを前記撮像装置へ送信する送信手段と、を有し、
前記撮像装置は、
撮像手段と、
前記遠隔操作装置と通信する通信手段と、
前記通信手段を介して前記遠隔操作装置へ映像データと当該映像の撮影時のパラメータを送信する送信手段と、
前記通信手段を介して前記遠隔操作装置から通信用データを受信する受信手段と、
前記受信手段により受信した通信用データに含まれる、前記映像データの所定の範囲から得られた所定の情報とパラメータとを取得する取得手段と、
前記取得手段により取得された前記所定の情報と前記パラメータとを用いて制御用データを生成し、当該制御用データに基づいて前記撮像手段を制御する制御手段と、を有することを特徴とするシステム。
【請求項１９】
コンピュータを、請求項１ないし７のいずれか１項に記載された遠隔操作装置の各手段として機能させるためのプログラム。
【請求項２０】
コンピュータを、請求項８ないし１５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を遠隔操作する技術に関する。
【背景技術】
【０００２】
例えば、特許文献１には、テレビカメラを遠隔で操作するカメラ制御装置において、映像の送出から表示までの時間差に応じて、操作者が映像を見ながらカメラを手動操作したときの操作位置を補正する技術が記載されている。また、特許文献２には、カメラを遠隔で操作するシステムにおいて、通信の遅延の影響を受けずに操作者が所望するズーミングやフォーカス状態が得られるように、ズーミングやフォーカスの操作を停止した時点に表示されていた映像に対応する光学系の設定情報をカメラに送り、カメラ側で光学系の設定を戻す技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０６−０２２１９３号公報
【特許文献２】特開２０１０−０６２８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１，２記載の技術は、カメラの動きを手動操作する場合には適しているが、表示されている映像の特定の領域から画像情報を読み取り、その画像情報に基づいてカメラを制御する場合、以下のような課題がある。すなわち、
例えば、操作装置側の表示画面上で指定された領域の明るさを調整する場合、カメラ側に指定領域の位置情報を送信しても通信の遅延によって既に指定領域外へ被写体が移動してしまい、操作者の意図通りに被写体の明るさを調整できないことがある。このような問題は、明るさ調整以外の場合でも同様に、表示画面上の特定の領域の画像情報に基づいてカメラを操作するときに発生すると想定される。
【０００５】
本発明は、上記課題に鑑みてなされ、その目的は、操作装置側の表示画面上で指定された特定の領域から得られる情報に基づいて撮像装置を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御結果が得られる技術を実現することである。
【課題を解決するための手段】
【０００６】
上記課題を解決し、目的を達成するために、本発明の遠隔操作装置は、撮像装置を遠隔から操作する遠隔操作装置であって、前記撮像装置と通信する通信手段と、前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、前記映像データを表示する表示手段と、前記表示手段により表示された映像の所定の範囲を指定する指定手段と、前記指定手段により指定された範囲の映像データから所定の情報を取得する取得手段と、前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、操作装置側の表示画面上で指定された特定の領域から得られる情報に基づいて撮像装置を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御結果を得ることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る実施形態の撮像装置の構成を示すブロック図。
【図２】本発明に係る実施形態の遠隔操作装置の構成を示すブロック図。
【図３】実施形態１による遠隔操作による撮影制御処理を示すフローチャート。
【図４】実施形態２による遠隔操作による撮影制御処理を示すフローチャート。
【図５】実施形態３による遠隔操作による撮影制御処理を示すフローチャート。
【図６】実施形態４による遠隔操作による撮影制御処理を示すフローチャート。
【図７】実施形態５による遠隔操作による撮影制御処理を示すフローチャート。
【図８】本実施形態のシステム構成図。
【発明を実施するための形態】
【０００９】
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１０】
以下、本発明を、ビデオカメラなどの撮像装置と、スマートフォンなどの遠隔操作装置とを通信可能に接続して構成されたシステムにより実現した実施形態について説明する。なお、本発明は、これに限られず、例えば、遠隔操作装置として、例えば携帯電話や携帯型のメディアプレーヤ、いわゆるタブレットデバイス、パーソナルコンピュータ（ＰＣ）などの情報処理装置により実現することもできる。
【００１１】
［概要説明］
従来のシステムでは、通信の遅延の影響により操作者の意図したタイミングで撮像装置を操作できないことがある。例えば、タッチパネルで特定の被写体領域を指定し、タッチした被写体にフォーカスを固定したり、露出制御や色補正を行う場合において、タッチしたときに既に指定した被写体が移動していたとすると、指定した領域には別の被写体が存在していると考えられる。この場合、撮像装置側では操作者が意図した被写体とは違う別の被写体を対象にフォーカス制御や露出制御、色補正などが実施されてしまうため、操作者の意図通りの制御結果が得られない。
【００１２】
これに対して、本実施形態のシステムは、上記のような通信の遅延の影響を受けずに操作者の意図通りの制御結果が得られるように、撮像装置側から逐次送信される映像を遠隔操作装置側の表示画面に表示し、当該表示画面上で操作者が指定した特定の被写体領域から得られる所定の情報に基づいて撮像装置を遠隔操作するものである。
【００１３】
具体的には、図８に示すように、まず、撮像装置１００側から通信用データとして、映像データ（ストリーミングデータ）と当該映像の撮影時のパラメータ（露出制御値、ホワイトバランス制御値、距離情報、フレーム番号など）を送信する。
【００１４】
遠隔操作装置２００では、撮像装置１００から受信した通信用データに含まれる映像を表示し、表示画面２１０上でタッチされた被写体領域２１１から輝度データや色データ、距離情報などの情報を算出し、撮影パラメータと共に撮像装置１００へ送信する。
【００１５】
撮像装置１００では、遠隔操作装置２００から受信した上記情報と撮影パラメータを用いて、タッチされた被写体領域の明るさや色を所望のレベルに調整するためのパラメータを補正して制御用データを算出する。
【００１６】
そして、撮像装置１００は、上記算出した制御用データに従い、露出制御（撮像素子の電荷蓄積時間、信号処理におけるゲイン補正、絞りや減光フィルタなど）や色補正、フォーカス制御などを行う。
【００１７】
このようにして、遠隔操作装置側の表示画面上で指定された特定の領域から得た所定の情報に基づいて撮像装置を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御結果を得ることが可能となる。
【００１８】
＜撮像装置の構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。
【００１９】
図１において、レンズ群１０１は、フォーカスレンズやズームレンズ、絞りや減光フィルタなどを含む。レンズ群１０１に入射した被写体の光像は、ＣＭＯＳイメージセンサ等の撮像素子１０２の受光面上に結像され、電気信号に変換されて撮像信号処理部１０３に出力される。
【００２０】
撮像信号処理部１０３は、撮像素子１０２から得たアナログ信号をデジタル信号に変換し、ゲイン補正などの輝度補正やホワイトバランス（ＷＢ）などの色補正、その他の信号処理などを施した後、映像信号処理部１０４に出力する。
【００２１】
映像信号処理部１０４は、撮像信号処理部１０３で信号処理された映像信号に対して符号化処理を施し、記録再生処理部１０５に出力する。
【００２２】
記録再生処理部１０５は、符号化処理された映像信号に対して、記録に適した形式に変換した映像データを生成し、メモリカードなどの記録媒体１０６に記録する。記録媒体１０６は、装置に着脱可能に構成しても良いし、装置に内蔵されていても良い。
【００２３】
また、映像信号処理部１０４では、記録再生処理部１０５で符号化処理された映像データに、当該映像データ撮影時の撮影パラメータを付加して通信処理部１０７へ出力する。
【００２４】
通信処理部１０７は、遠隔操作装置２００などの外部装置と接続するための通信インターフェースである。撮像装置１００は、通信処理部１０７を介して外部装置とデータのやりとりを行うことができる。なお、本実施形態では、通信処理部１０７は外部装置と無線ＬＡＮなどのアンテナ１０８を介して通信するためのインターフェースを含む。
【００２５】
通信処理部１０７は、映像信号処理部１０４で生成された映像データと撮影パラメータとを通信に適した形式に変換して通信用データを生成し、アンテナ１０８を介して送信する。
【００２６】
一方、遠隔操作装置２００から送信された通信用データをアンテナ１０８で受信し、受信したデータを通信処理部１０７で撮像装置１００で使用可能な形式へ変換し、制御演算部１０９へ送出する。
【００２７】
露出制御部１１０は、制御演算部１０９から受けた露出制御用データに従って、撮像素子１０２の電荷蓄積時間、絞りや減光フィルタなどを調整して露出制御を行う。
【００２８】
フォーカス制御部１１１は、制御演算部１０９から受けたフォーカス制御用データに従って、フォーカスレンズを所定の位置に駆動して被写体に合焦させる。
【００２９】
制御演算部１０９は、ＣＰＵ、不揮発性メモリ（ＲＯＭ）、作業用メモリ（ＲＡＭ）などを有し、不揮発性メモリには、制御演算部１０９で実行される本実施形態の制御プログラムが格納される。遠隔操作装置２００と通信するためのプログラムも不揮発性メモリに格納されている。作業用メモリは、撮像素子１０２、撮像信号処理部１０３、映像信号処理部１０４、記録再生処理部１０５、通信処理部１０７で処理されたデータを一時的に保持するバッファメモリや制御演算部１０９の作業エリアとして使用される。制御演算部１０９は、通信処理部１０７で受信した情報や、各ブロックからの各種情報を受けて、装置全体の動作を制御する。
【００３０】
＜遠隔操作装置の構成＞次に、図２を参照して、本実施形態の遠隔操作装置の構成及び機能の概略について説明する。
【００３１】
図２において、通信処理部２０２は、アンテナ２０１を介して遠隔地に存在する撮像装置１００から通信用データを受信し、通信用データに含まれる映像データや撮影パラメータその他の情報を取得して、制御演算部２０４へ送出する。
【００３２】
また、通信処理部２０２は、撮像装置１００から受信した映像データを表示部２０３へ出力する。表示部２０３は、ＬＣＤなどからなり、通信処理部２０２から逐次出力される映像データや撮影パラメータなどの補助情報やカメラの状態情報などを表示する。
【００３３】
操作部２０５は、ユーザ操作を受け付けるタッチパネル等を含み、ユーザ操作を受け付けると、その操作信号を制御演算部２０４へ送出する。ユーザ操作には、例えば、露出制御やＷＢ制御において映像中の特定の被写体領域を指定して明るさや色を調整する操作やフォーカス制御において映像中の特定の被写体領域を指定してピントが合うように焦点距離を調整する操作が含まれる。
【００３４】
制御演算部２０４は、ＣＰＵ、不揮発性メモリ（ＲＯＭ）、作業用メモリ（ＲＡＭ）などを有し、不揮発性メモリには、制御演算部２０４で実行されるプログラムが格納される。作業用メモリは、通信処理部２０２で処理されたデータを一時的に保持するバッファメモリや制御演算部２０４の作業エリアとして使用される。撮像装置１００と通信するためのプログラムも不揮発性メモリに格納され、遠隔操作アプリケーションとしてインストールされているものとする。なお、本実施形態の遠隔操作装置２００の処理は、遠隔操作アプリケーションにより提供されるプログラムを読み込むことにより実現される。なお、遠隔操作アプリケーションは遠隔操作装置２００にインストールされたＯＳの基本的な機能を利用するためのプログラムを有しているものとする。
【００３５】
制御演算部２０４は、通信処理部２０２で映像データや撮影パラメータを受信し、操作部２０５により表示画面上で指定された特定の被写体領域の映像データから輝度データや色データ、被写体距離情報などの情報を取得し、撮像装置１００へ送信する。
【００３６】
＜遠隔操作による撮影制御処理＞次に、図３を参照して、本実施形態のシステムを構成する撮像装置１００（図３（ａ））と遠隔操作装置２００（図３（ｂ））により露出制御を行う実施形態１について説明する。なお、図３（ａ）の処理は、撮像装置１００の制御演算部１０９が操作信号や制御プログラムを実行することにより実現される。また、図３（ｂ）の処理は、遠隔操作装置２００の制御演算部２０４が操作信号やプログラムに従い、遠隔操作アプリケーションのプログラムを実行することにより実現される。
【００３７】
図３の処理は、撮像装置１００および遠隔操作装置２００の各プログラムが起動され、両者が通信可能に接続されたことに応じて開始される。
【００３８】
図３（ａ）において、ステップＳ３０１では、撮像装置１００の制御演算部１０９は、撮像素子１０２での電荷蓄積時間、撮像信号処理部１０３でのゲイン処理、露出制御部１１０での絞りや減光フィルタの制御などに用いた露出制御用パラメータを取得する。
【００３９】
ステップＳ３０２では、制御演算部１０９は、映像信号処理部１０４で符号化処理が施された映像データを取得する。
【００４０】
ステップＳ３０３では、制御演算部１０９は、ステップＳ３０１、Ｓ３０２で取得した露出制御用パラメータと映像データを通信処理部１０７により通信に適した形態に変換して通信用データを生成する。
【００４１】
ステップＳ３０４では、制御演算部１０９は、ステップＳ３０３で生成した通信用データを遠隔操作装置２００へ送信する。
【００４２】
上記のように撮像装置１００から送信された通信用データは、図３（ｂ）のステップＳ３１１において遠隔操作装置２００の通信処理部２０２で受信される。
【００４３】
ステップＳ３１２では、制御演算部２０４は、ステップＳ３１１で受信した通信用データから映像データと露出制御用パラメータを取得し、ステップＳ３１３にて映像データを表示部２０３に表示する。
【００４４】
ステップＳ３１４では、制御演算部２０４は、操作部２０５から表示画面の特定領域を指定するための操作信号が入力されたか判定する。そして、操作信号の入力がない場合は、遠隔操作装置２００は処理を終了し、撮像装置１００もステップＳ３０５にて通信用データが受信されないため処理を終了する。
【００４５】
一方、ステップＳ３１４で操作信号が入力された場合の処理について説明する。
【００４６】
ステップＳ３１５では、遠隔操作装置２００の制御演算部２０４は、ユーザ操作により一点の座標が指定された場合はその座標を中心に所定範囲の輝度データを取得し、領域が指定された場合はその領域の輝度データを取得する。この輝度データは、指定された領域を複数に分割した各輝度の平均値でも良いし、輝度の最大値や最小値、輝度の分布を示すヒストグラム情報であっても良い。
【００４７】
ステップＳ３１６では、制御演算部２０４は、ステップＳ３１５で取得した輝度データと露出制御用パラメータとを通信処理部２０２により通信に適した形式に変換して通信用データを生成し、ステップ３１７で撮像装置１００へ送信する。
【００４８】
上記のように遠隔操作装置２００から送信された通信用データは、図３（ａ）のステップＳ３０５において撮像装置１００の通信処理部１０７で受信される。
【００４９】
ステップＳ３０６では、撮像装置１００の制御演算部１０９は、ステップＳ３０５で受信した通信用データから輝度データと露出制御用パラメータとを取得する。
【００５０】
ステップＳ３０７では、制御演算部１０９は、ステップＳ３０６で取得した輝度データと露出制御用パラメータを用いて、操作部２０５により指定された特定の被写体領域の明るさが所定の明るさ（例えば、適正露出）になるように露出制御用データを算出する。
【００５１】
ステップＳ３０８では、制御演算部１０９は、ステップＳ３０７で算出された露出制御用データを露出制御部１１０へ送出し、露出制御を行う。
【００５２】
ステップＳ３０７で算出される露出制御用データは、輝度データが平均輝度値であり、被写体の明るさを適正にする場合には、適正輝度値との差分から補正が必要な露出段差を算出し、ステップＳ３０６の露出制御用パラメータを補正することで算出可能である。
【００５３】
［実施形態２］次に、図４を参照して、実施形態２の遠隔操作による撮影制御処理について説明する。
【００５４】
上記実施形態１では撮像装置１００の露出制御を行う例を説明したが、一部の処理内容を変更することでホワイトバランス（ＷＢ）制御にも応用できる。そこで、以下では、上記実施形態１に対する相違部分に着目して、本発明のシステムによりＷＢ制御を行う実施形態２について説明する。つまり、本実施形態では、撮影パラメータとして露出制御用パラメータの代わりにホワイトバランス制御用パラメータを扱うことになる。
【００５５】
なお、本実施形態の撮像装置１００や遠隔操作装置２００の構成や通信形態は、実施形態１と同一であるため説明を省略する。
【００５６】
図４において、ステップＳ４０１で取得するＷＢ制御用パラメータは、ＲＧＢの画像信号や色差信号のそれぞれに対するゲイン値となる。
【００５７】
また、ステップＳ４１５で、操作部２０５により指定された特定の被写体領域から取得されるデータは、輝度データではなく色データとなる。ここで色データとは、平均の色差値や平均のＲＧＢ値を含む。また、所定の色域に入る画素の色差値やＲＧＢ値のみの平均値でも良い。
【００５８】
ステップＳ４０７では、制御演算部１０９は、ステップＳ４０６で取得した色データとＷＢ制御用パラメータを用いて、操作部２０５により指定された特定の被写体領域の色が所定の色になるようにホワイトバランス制御用データを算出する。例えば、ＷＢ制御用パラメータがＲＧＢ信号に対するゲイン値、色データが色差信号の場合に、被写体の色を白色に調整するには、色データの色差信号であるＲ−Ｙ、Ｂ−Ｙの値が０になるようにＲＧＢの各値に対するゲイン値を算出し、ステップＳ４０６で取得したＷＢ制御用パラメータを補正する。
【００５９】
そして、ステップＳ４０８では、制御演算部１０９は、ステップＳ４０７で算出されたＷＢ制御用データに従い、撮像信号処理部１０３により撮像信号に対してＷＢ処理を行う。
【００６０】
［実施形態３］次に、図５を参照して、実施形態３の遠隔操作による撮影処理について説明する。
【００６１】
上記実施形態１では撮像装置１００の露出制御を行う例を説明したが、一部の処理内容を変更することでフォーカス制御にも応用できる。そこで、以下では、上記実施形態１に対する相違部分に着目して、本発明のシステムによりフォーカス制御を行う実施形態３について説明する。つまり、本実施形態では、撮影パラメータとして露出制御用パラメータの代わりに被写体までの距離情報を扱うことになる。
【００６２】
なお、本実施形態の撮像装置１００や遠隔操作装置２００の構成や通信形態は、実施形態１と同一であるため説明を省略する。
【００６３】
図５において、ステップＳ５０１では、撮像信号処理部１０３は、撮像信号の各画素単位もしくは画面を複数の領域に分割した各領域単位で被写体までの距離情報を取得し、距離情報マップを生成する。
【００６４】
ステップＳ５１５では、遠隔操作装置２００の制御演算部２０４は、ステップＳ５０１で生成された距離情報マップから、ユーザ操作により指定された特定の被写体の距離情報を取得する。
【００６５】
ステップＳ５１６では、制御演算部２０４は、ステップＳ５１５で取得した距離情報を通信処理部２０２により通信に適した形式に変換して通信用データを生成する。
【００６６】
ステップＳ５０７では、制御演算部１０９は、ステップＳ５０６で取得した距離情報を用いて、操作部２０５により指定された特定の被写体に合焦させるようなフォーカス制御用データを算出する。
【００６７】
ステップＳ５０８では、制御演算部１０９は、ステップＳ５０７で算出されたフォーカス制御用データをフォーカス制御部１１１へ送出し、フォーカス制御を行う。
【００６８】
［実施形態４］次に、図６を参照して、実施形態４の遠隔操作による撮影制御処理について説明する。
【００６９】
上記実施形態１〜３では、撮像装置１００から遠隔操作装置２００へ、撮影時に用いた露出制御用パラメータ、ＷＢ制御用パラメータもしくは被写体距離情報を送信したが、これらの代わりに映像データのフレーム番号を送信することでも同様の処理が可能となる。そこで、以下では、上記実施形態１〜３に対する相違部分に着目して、本発明のシステムにおいてフレーム番号を用いる実施形態について説明する。
【００７０】
なお、本実施形態の撮像装置１００や遠隔操作装置２００の構成や通信形態は、実施形態１〜３と同一であるため説明を省略する。
【００７１】
図６において、ステップＳ６０１では、撮像装置１００の制御演算部１０９は、映像データの各フレーム撮影時の制御用情報をフレーム番号と対応させて作業用メモリに一時的に保持させる。なお、メモリに保持させるフレーム数は、往復の通信による遅延時間を考慮して十分なマージンを持たせた上で設定する。例えば秒間３０フレームの撮影において往復の通信による遅延時間が最大３秒の場合、マージン含めて１００フレーム分程度の制御用情報を記憶させ、それ以前のデータは削除しても構わない。なお、制御用情報とは、露出制御では露出制御用パラメータであり、ＷＢ制御ではホワイトバランス制御用パラメータであり、フォーカス制御では距離情報マップを含む。
【００７２】
ステップＳ６０３では、制御演算部１０９は、通信処理部１０７により映像データとフレーム番号を通信に適した形式に変換した通信用データを生成し、ステップＳ６０４で遠隔操作装置２００へ送信する。
【００７３】
ステップＳ６１５では、遠隔操作装置２００の制御演算部２０４は、ユーザ操作により指定された特定の被写体領域の情報とフレーム番号を取得する。ここで取得される情報は、露出制御では輝度データであり、ＷＢ制御では色データであり、フォーカス制御では座標情報となる。ここでは、これらの情報をまとめて領域情報と称する。
【００７４】
ステップＳ６１６では、制御演算部２０４は、通信処理部２０２により領域情報とフレーム番号を通信に適した形式に変換し、ステップＳ６１７で撮像装置１００へ送信する。
【００７５】
ステップＳ６０６では、撮像装置１００の通信処理部１０７が遠隔操作装置２００が受信した通信用データから、領域情報とフレーム番号を取得する。
【００７６】
ステップＳ６０７では、制御演算部１０９は、ステップＳ６０６で取得したフレーム番号に対応する制御用情報をメモリから取得する。
【００７７】
ステップＳ６０８では、制御演算部１０９は、メモリから取得した領域情報と制御用情報を用いて、適切な制御を行うための制御用データを算出し、ステップＳ６０９で制御演算部１０９が各部の制御を行う。ここで、例えば露出制御を行う場合は、領域情報である輝度データと制御用情報である露出制御用パラメータを用いて、実施形態１で説明したように適切な露出制御用データが算出される。また、ＷＢ制御を行う場合は、色データとＷＢ制御用パラメータを用いることで、実施形態２で説明したように適切なＷＢ制御用データが算出される。さらに、フォーカス制御を行う場合は、特定の被写体領域の座標情報と距離情報マップから被写体距離情報を取得し、実施形態３で説明したように適切なフォーカス制御用データが算出される。
【００７８】
［実施形態５］次に、図７を参照して、実施形態５の遠隔操作による撮影制御処理について説明する。
【００７９】
上記実施形態４では、遠隔操作装置２００では特定の被写体領域の情報を取得し、撮像装置１００で適切な制御用データを算出していたが、制御用データを遠隔操作装置２００側で算出することも可能である。そこで、以下では、上記実施形態４に対する相違部分に着目して、本発明のシステムにおいて遠隔操作装置２００で制御用データを算出する実施形態５について説明する。
【００８０】
なお、本実施形態の撮像装置１００や遠隔操作装置２００の構成や通信形態は、実施形態１〜３と同一であるため説明を省略する。
【００８１】
図７において、ステップＳ７０１では、撮像装置１００の制御演算部１０９は、露出制御を行う場合は露出制御用パラメータ、ＷＢ制御を行う場合はＷＢ制御用パラメータ、フォーカス制御を行う場合は距離情報マップをそれぞれ制御用情報として取得する。
【００８２】
ステップＳ７０３では、制御演算部１０９は、通信処理部１０７により映像データと制御用情報を通信用データに変換し、ステップＳ７０４で遠隔操作装置２００へ送信する。
【００８３】
ステップＳ７１５では、遠隔操作装置２００の制御演算部２０４は、ユーザ操作により指定された特定の被写体領域の情報を取得する。ここで取得される領域情報は、露出制御では輝度データであり、ＷＢ制御では色データであり、フォーカス制御では被写体距離情報となる。
【００８４】
ステップＳ７１６では、制御演算部２０４は、ステップＳ７１２、Ｓ７１５で取得した領域情報と制御用情報から適切な制御用データを算出し、ステップＳ７１７で通信処理部２０２により通信用データに変換し、ステップＳ７１８で撮像装置１００に送信する。上記露出制御、ＷＢ制御、フォーカス制御における各制御用データの算出は、上述した各実施形態で説明した通りである。
【００８５】
ステップＳ７０６では、撮像装置１００の通信処理部１０７は遠隔操作装置２００から受信した通信用データから制御用データを取得し、ステップＳ７０７で制御演算部１０９が各部の制御を行う。
【００８６】
なお、上述した各実施形態において、ユーザ操作の結果が表示される映像に反映されるまでに時間がかかる場合、処理中であることを操作者に通知するためのアイコンなどを表示部２０３に表示しても良い。
【００８７】
以上説明したように、本実施形態によれば、遠隔操作装置２００側の表示画面上で指定された特定の被写体領域の情報に基づいて撮像装置１００を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御が可能となる。
【００８８】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2015032910.tif 000003
【図２】
2015032910.tif 000004
【図３】
2015032910.tif 000005
【図４】
2015032910.tif 000006
【図５】
2015032910.tif 000007
【図６】
2015032910.tif 000008
【図７】
2015032910.tif 000009
【図８】
2015032910.tif 000010