(57)【要約】【課題】通信を介した撮像装置の制御において通信遅延があっても意図した撮影条件を設定することが可能な撮像装置を提供する。【解決手段】撮像装置は、通信端末から遠隔制御可能である。撮像装置は、通信端末から撮像装置の撮影条件の変更が要求されると、撮影条件について設定可能な複数の設定値と、複数の設定値のそれぞれの設定結果を表す参照用の映像データを通信端末で表示するための情報とを送信する。【選択図】図３
2015204503.tif 000002
【特許請求の範囲】
【請求項１】
通信端末から遠隔制御可能な撮像装置であって、
前記通信端末から前記撮像装置の撮影条件の変更が要求されると、前記撮影条件について設定可能な複数の設定値と、前記複数の設定値のそれぞれの設定結果を表す参照用の映像データを前記通信端末で表示するための情報とを送信する送信手段を有することを特徴とする撮像装置。
【請求項２】
前記通信端末から受信した、前記複数の設定値の１つを指定する情報に基づいて、前記撮像装置の撮影条件を変更する変更手段をさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記送信手段は、前記複数の設定値のそれぞれに対応する前記参照用の映像データを送信することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記送信手段は、前記複数の設定値のうち、予め定めた１つの設定値に対応する前記参照用の映像データと、該参照用の映像データから前記予め定めた１つ以外の設定値に対応する参照用の映像データを前記通信端末が生成可能な情報を送信することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項５】
前記複数の設定値のそれぞれに対応する前記参照用の映像データを取得する取得手段をさらに有し、
前記送信手段は、前記取得した参照用の映像データを送信することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記取得手段は、前記複数の設定値のそれぞれに対応する前記参照用の映像データを撮影により取得することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記取得手段は、前記複数の設定値のそれぞれに対応する前記参照用の映像データを、撮影により取得した前記複数より少ない参照用の映像データから生成することにより取得することを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記取得手段は、前記通信端末から前記要求とは無関係に、前記複数の設定値のそれぞれに対応する前記参照用の映像データを取得することを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の設定値は、前記撮像装置で前記撮影条件に対して設定可能な設定値の全範囲から、予め定められたステップで選択されたものであることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記複数の設定値は、前記撮像装置で前記撮影条件に対して設定可能な全ての設定値のうち、ユーザにより設定された範囲に含まれる複数の設定値であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮影条件は、画角、露出条件、パン又はチルトのいずれかの状態であることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の撮像装置と前記通信端末を有する通信システムであって、
前記通信端末は、
前記撮像装置から受信した前記参照用の映像データを前記通信端末で表示するための情報を用いて複数の映像データを表示する表示手段と、
前記表示された複数の映像データに対する選択に基づいて、前記複数の設定値の１つを指定する情報を前記撮像装置に送信する送信手段と、
を有することを特徴とする通信システム。
【請求項１３】
通信端末から遠隔制御可能な撮像装置の制御方法であって、
送信手段が、前記通信端末から前記撮像装置の撮影条件の変更が要求されると、前記撮影条件について設定可能な複数の設定値と、前記複数の設定値のそれぞれの設定結果を表す参照用の映像データを前記通信端末で表示するための情報とを送信する送信工程を有することを特徴とする撮像装置の制御方法。
【請求項１４】
コンピュータを、請求項１乃至１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法ならびに通信システムに関し、特に通信を介して撮像装置の撮影条件を制御する技術に関する。
【背景技術】
【０００２】
無線通信を介して撮像装置と接続されたスマートフォンやタブレットＰＣ（以下、通信端末）から撮像装置を操作し、通信端末に撮像装置で撮影している映像を表示させることが可能なリモート操作機能が知られている。このようなリモート操作機能はライブストリーミング・リモコンなどと称され、操作用のユーザーインターフェイスは通信端末上で動作するブラウザや専用アプリケーション（以下、アプリ）により提供されるものが知られている。このようなリモート操作機能においては、ユーザは通信端末から撮像装置に対して種々の撮像操作、例えばズーム位置の制御やライブビューによる画角の確認を行うことができる。
【０００３】
ところで、通信端末と撮像装置が無線で通信している環境では通信遅延が大きいため、ユーザが通信端末上で確認している画像と撮像装置が撮影している画像とが一致せず、例えば撮像装置のズームを意図した位置に合わせるのが困難であった。これに対して特許文献１では、ユーザが通信端末の操作をやめた時点でモニタに表示されていた画像を通信端末から撮像装置に送信し、撮像装置は撮影している画像と受信した画像とを比較して両者が合致するように、画角制御を調整する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１０９９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では取得した２枚の画像の比較結果に基づいてカメラの制御情報を算出して画角制御を行うため、画像間における被写体の比較や同定、制御に必要な情報の算出には複雑な画像処理が必要になる。また画像処理により得られた制御情報に応じて行われた画角制御の結果は画像処理の処理結果や精度に依存するため、調整後の画角が必ずしもユーザの意図した画角とは限らない。
【０００６】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、通信を介した撮像装置の制御において通信遅延があっても意図した撮影条件を設定することが可能な撮像装置およびその制御方法ならびに通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、通信端末から遠隔制御可能な撮像装置であって、通信端末から前記撮像装置の撮影条件の変更が要求されると、撮影条件について設定可能な複数の設定値と、複数の設定値のそれぞれの設定結果を表す参照用の映像データを前記通信端末で表示するための情報とを送信する送信手段を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、通信を介した撮像装置の制御において通信遅延があっても意図した撮影条件を設定することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るデジタルカメラおよび携帯電話機の機能構成例を示すブロック図、ならびに通信システムのシステム構成を示す図
【図２】本発明の実施形態に係る携帯電話機に表示される表示画面を示す図
【図３】本発明の実施形態に係るデジタルカメラで行われるズーム制御処理の一連の動作を示すフローチャート
【図４】本発明の実施形態に係る携帯電話機で行われるズーム制御処理の一連の動作を示すフローチャート
【図５】本発明の実施形態に係る通信システムで送信されるデータを示す図
【発明を実施するための形態】
【００１０】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置および通信端末の一例として、互いに通信可能なデジタルカメラおよび携帯電話機に本発明を適用した例を説明する。しかし、本発明は必ずしもこれらの機器に限らず、撮像条件を外部から設定可能な撮像機能を有する電子機器と、この電子機器を遠隔制御可能な電子機器との組み合わせにも適用可能である。
【００１１】
（１．  デジタルカメラ１０００および携帯電話機２０００の構成）
図１（ａ）は、本発明の実施形態に係る撮像装置の一例としてデジタルカメラ１０００の機能構成例を示すブロック図である。また図１（ｂ）は、本発明の実施形態に係る通信端末の一例として携帯電話機２０００の機能構成を示すブロック図である。なお、図１（ａ）および（ｂ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアにより実現されてもよく、ＣＰＵ等のプログラマブルプロセッサがソフトウェアを実行することにより実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１２】
図１（ａ）のデジタルカメラ１０００において、以下に説明する各機能ブロックは内部バス１０１０に接続されて互いにデータの送受信を行うことができる。
【００１３】
ＣＰＵ（ＣＥＮＴＲＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＵＮＩＴ）１００１は、プログラマブルプロセッサでありユーザの操作に応じて各部に制御命令を送ることでデジタルカメラ１０００全体を制御する。ＣＰＵ１００１はＲＯＭ（ＲＥＡＤ  ＯＮＬＹ  ＭＥＭＯＲＹ）１００２に記憶されている各種の制御プログラム、例えば本実施形態に係る光学系１０１３の制御や通信制御部１００８の制御等を行うためのプログラムを実行する。
【００１４】
ＲＯＭ１００２はフラッシュメモリなどの不揮発性の記録媒体である。ＲＡＭ（ＲＡＮＤＯＭ  ＡＣＣＥＳＳ  ＭＥＭＯＲＹ）１００３は、ＤＲＡＭ等により構成され、ＣＰＵ１００１が動作時に必要とするプログラムや変数、作業用の一時データなどを適宜記憶させるワークメモリとして用いられる。
【００１５】
光学系１０１３は、不図示のフォーカス、絞り、ズーム機構およびそれらを制御するプロセッサを含むモジュール化された撮影レンズであり、被写体の光学像を形成する。ＣＰＵ１００１は、内部バス１０１０を介して光学系１０１３のフォーカス、絞り、ズームの状態を取得し制御することができる。
【００１６】
撮像素子１０１４は、ＣＣＤやＣＭＯＳ素子等で構成され、撮像素子で受光した光信号を光電変換して電気信号に変換させた後、内部に有するＡ／Ｄ変換器によってアナログ電気信号をデジタル信号に変換する。
【００１７】
カメラ信号処理部１０１５は、ＣＰＵ１００１の制御に基づいて撮像素子１０１４で変換されたデジタル信号に対し、所定の画素補間、縮小などのリサイズ処理、色変換等の各種補正処理等を行う。
【００１８】
符号・復号処理部１０１６は、ＣＰＵ１００１の制御に基づいてカメラ信号処理部１０１５で処理されたデジタル信号を所定のビットレートおよびフォーマット形式で圧縮符号化を行うほか、記録媒体１０１２に記録された映像圧縮符号化データの復号化を行う。なお、本発明と直接関係しないため説明を省略するが、実際には、映像に加えて音声についても取得、記録を行う。図示しないマイクおよびスピーカーを用いることで、映像に対する各機能ブロックの構成により音声信号を同等に扱うことが可能である。また映像記録時に映像と共に音声も同時に収録し、符号・復号処理部１０１６で映像と音声を多重化することで、音声付映像データを生成することが可能である。
【００１９】
入力処理部１００４は、操作部１００５におけるユーザ操作を受け付け、操作に応じた制御信号を生成してＣＰＵ１００１に供給する。例えば、操作部１００５はユーザ操作を受け付ける入力デバイスとして、キーボード等の文字情報入力デバイスや、マウスやタッチパネル等のポインティングデバイスなどを有する。タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。また、操作部１００５には赤外線リモコンなどの信号を受信する遠隔操作可能なものも含まれる。これらの入力デバイスを通じてユーザはデジタルカメラ１０００に対し、ユーザ操作に応じた動作を行わせることができる。なお、本実施形態では入力デバイスはタッチパネルであるとして以降の説明を行う。
【００２０】
出力処理部１００６は、ＣＰＵ１００１がプログラムに従い生成したＧＵＩ（ＧＲＡＰＨＩＣＡＬ  ＵＳＥＲ  ＩＮＴＥＲＦＡＣＥ）などの表示データに基づいて表示部１００７に対して表示させるための表示信号を出力する。なお、操作部１００５としてタッチパネルを用いる場合、操作部１００５と表示部１００７とを一体的に構成することができる。例えば、タッチパネルは光の透過率が表示部１００７の表示を妨げないように構成され、表示部１００７の表示面の上層に取り付けられる。タッチパネルにおける入力座標と、表示部１００７上の表示座標とを対応付けることで、あたかもユーザが表示部１００７上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することがでる。例えば操作部１００５が表示部１００７に表示させたボタン状のＧＵＩに対応する座標上で接触を検知した場合、ＣＰＵ１００１はボタンが押下されたとみなしてボタンに対応する処理を実行すれば、物理キーが押下された場合と同等の機能を実現可能である。本実施形態では、物理キーのボタン押下とボタン状ＧＵＩ部品（ＧＵＩボタン）への接触検知を特に区別せず、どちらもボタンの押下として扱う。
【００２１】
さらに、ＣＰＵ１００１はタッチパネルに対する指やペンによる各種操作を検出できる。検出可能な各種操作は、例えばタッチパネルに触れたこと（以下、タッチダウン）やタッチパネルに触れている状態であること（以下、タッチオン）、タッチパネルを指等で触れたまま移動していること（以下、ムーブ）である。またタッチパネルに触れていた指等を離したこと（以下、タッチアップ）、タッチパネルに何も触れていない状態（以下、タッチオフ）等の操作も検出可能である。各種操作やタッチパネル上に指やペンが触れている位置座標は内部バス１０１０を通じてＣＰＵ１００１に通知され、ＣＰＵ１００１は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ＣＰＵ１００１は、ムーブに対して、タッチパネル上で移動する指やペンの移動方向についても位置座標の変化に基づいてタッチパネル上の垂直成分・水平成分毎に判定できる。またＣＰＵ１００１はタッチパネル上をタッチダウンから一定のムーブを経てタッチアップを検出したとき、ストロークを描いたこととして判定する。素早くストロークを描く操作をフリックと呼び、タッチパネル上に指を触れたままある程度の距離を素早く動かして、離す操作をいう。換言すればタッチパネル上を指ではじくように素早くなぞる操作である。ＣＰＵ１００１は所定距離以上を所定速度以上でムーブしたことを検出し、そのままタッチアップを検出するとフリックが行なわれたと判定する。また、所定の距離以上を所定の速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。
【００２２】
記録媒体制御部１０１１は、ＨＤＤや不揮発性の半導体メモリなどの記録媒体１０１２が接続され、ＣＰＵ１００１の制御に基づいて接続された記録媒体１０１２からのデータの読み出しや、記録媒体１０１２に対するデータの書き込みを行う。なお、記録媒体制御部１０１１が接続可能な記録媒体１０１２は、不図示のソケットなどを介して例えばメモリカードなどの着脱可能な不揮発性の半導体メモリを接続するようにしてもよい。
【００２３】
記録媒体１０１２は、撮影した映像データのほか、ＣＰＵ１００１の制御に必要な情報も記録することが可能である。
【００２４】
通信制御部１００８は、ＣＰＵ１００１の制御に基づいてコネクタ（有線）／アンテナ（無線）１００９を介して予め定められた通信方式で携帯電話機２０００との通信を行う。本実施形態では、１００９はアンテナとして説明を行う。伝送されるデータは、デジタルカメラ１０００で撮影した映像データやデジタルカメラ１０００と携帯電話機２０００で相互に送信される制御コマンドであり、制御コマンドには後述するズーム位置調整コマンドや、ズーム位置指定コマンドなどが含まれる。
【００２５】
図１（ｂ）の携帯電話機２０００において、その構成はデジタルカメラ１０００とほぼ同様であり、光学系１０１３や撮像素子１０１４、カメラ信号処理部１０１５を備えていない点以外は共通である。このため、デジタルカメラ１０００と説明が重複するＣＰＵ２００１〜符号・復号処理部２０１３の機能ブロックの説明は省略する。
【００２６】
（２．  リモート操作に係るズーム制御処理の概要）
次に、図１（ｃ）および図２を用いて本実施形態におけるデジタルカメラ１０００と携帯電話機２０００の間のライブストリーミング・リモコン機能を実現するための概略動作について説明する。なお、以下ではライブストリーミング・リモコン機能による撮影条件の遠隔制御のうち、ズーム制御（画角制御）について説明するが、本発明はズームの状態の制御に限らず、パン、チルト、フォーカス、露出の状態など他の状態の制御にも適用可能である。
【００２７】
図１（ｃ）は、本発明の実施形態に係る通信システムの一例を示す図である。図１（ｃ）に示す通信システムは、デジタルカメラ１０００、携帯電話機２０００を有し、それぞれが無線通信規格である例えばＷｉ−Ｆｉ（ｗｉｒｅｌｅｓｓ  ｆｉｄｅｌｉｔｙ）に準拠したプロトコルを用いてライブストリーミング・リモコン機能を実現する。即ち、デジタルカメラ１０００と携帯電話機２０００の間で映像データや制御コマンドの送受信を行うことで、デジタルカメラ１０００のズーム状態、即ちズーム位置の制御を携帯電話機２０００から行う。このとき映像データは静止画形式であっても動画形式であってもよい。
【００２８】
図２（ａ）は、ライブストリーミング・リモコン機能を開始する際の、携帯電話機２０００の表示部２００７における画面表示の一例を示す図であり、デジタルカメラ１０００との接続を指示するボタン６０００が表示されている。デジタルカメラ１０００は、予めユーザにより設置され操作部１００５を介して携帯電話機２０００からの接続を受け付けてライブストリーミング・リモコン機能を実行可能な状態（ライブストリーミングモード）に設定されている。また、携帯電話機２０００とデジタルカメラ１０００とが同一のネットワークに参加している状態になっているものとする。この状態で、携帯電話機２０００の表示部２００７に表示されているボタン６０００がユーザにより押下されるとデジタルカメラ１０００と携帯電話機２０００とがＷｉ−Ｆｉ無線通信で接続され、ライブストリーミング・リモコン機能が開始される。
【００２９】
図２（ｂ）は、携帯電話機２０００におけるライブストリーミング・リモコン機能を実行している場合の表示画面を示している。表示部２００７には、デジタルカメラ１０００で撮影した映像データ６１０１とズーム調整開始を指示するボタン（ズームボタン６１００）が表示されている。
【００３０】
ライブストリーミング・リモコン機能が開始されると、ＣＰＵ１００１は、撮像した映像データを通信制御部１００８に供給する。通信制御部１００８は、供給された映像データをＷｉ−Ｆｉ規格に則った無線伝送可能な形式に変換し、アンテナ１００９を介して携帯電話機２０００へ送信する。通信制御部１００８に供給される映像データは、カメラ信号処理部１０１５から出力されたデータか、符号・復号処理部１０１６を介して符号化されたデータのいずれかである。携帯電話機２０００のアンテナ２００９は、受信したデータを通信制御部２００８に供給する。通信制御部２００８は、Ｗｉ−Ｆｉ伝送形式のデータを元のデータ形式に変換してＣＰＵ２００１に送信する。ＣＰＵ２００１は、データを出力処理部２００６に供給し、出力処理部２００６は、供給された映像データ６１０１を表示部２００７に表示する。上記一連の処理によって、無線の電波が到達可能な範囲内であれば、ユーザは携帯電話機２０００の表示部２００７を介してデジタルカメラ１０００が撮影している映像データを離れた場所において確認することができる。
【００３１】
ところで、一般に無線伝送には種々の遅延があるため、デジタルカメラ１０００で撮影した映像は遅延の分だけ送れて携帯電話機２０００の表示部に表示される。遅延には、通信遅延、撮像素子１０１４で映像信号を受信してからアンテナ１００９からデータが送信されるまでの処理遅延、アンテナ２００９で受信したデータを表示部２００７に表示するまでの処理遅延が含まれる。また、遅延は環境状態やデジタルカメラ１０００、携帯電話機２０００内部のＣＰＵ１００１やＣＰＵ２００１の負荷、ＲＡＭ１００３やＲＡＭ２００３等使用状況等の処理状態に応じても動的に変化し得る。即ち、上記の遅延の影響によりユーザが携帯電話機２０００において視認／視聴する映像音声情報は常にデジタルカメラ１０００が撮影した時点よりも遅れることとなる。
【００３２】
これに対して本実施形態では、デジタルカメラ１０００はズーム位置を表す映像データと対応するズーム位置を携帯電話機２０００に送信して、携帯電話機２０００において選択させた映像データに対するズーム位置を受信してズーム位置を制御する。このようにすることで、ユーザは携帯電話機２０００において随時制御途中の画像あるいは映像を確認しながらズーム位置を変更する必要がなくなり、一度のズーム位置の選択により意図したズーム位置を設定することが可能になる。また、選択した映像データに対するズーム位置の情報を用いることにより、デジタルカメラ１０００はユーザの選択したズーム位置に直接的にズームを制御することができる。
【００３３】
具体的には、まずデジタルカメラ１０００は、ズーム位置を順次変更して取得した映像データ（設定結果を視覚的に表す）と、取得した映像データに対するズーム位置等の設定値を対応付けた情報を、携帯電話機２０００に送信する。携帯電話機２０００に送信される情報は詳細を後述するが図５に示す情報である。
【００３４】
携帯電話機２０００は、デジタルカメラ１０００から各ズーム位置に対応した映像データとズーム位置の情報を受信すると、受信した情報を用いて、ユーザによるズーム位置の指定を受け付けるためにズーム位置選択画面を表示部２００７に表示する。図２（ｃ）は、ズーム位置選択画面の例を模式的に示す。ズーム位置選択画面は、ズーム位置決定ボタン６２００、映像データ確認エリア６２０１、ズーム位置毎に撮影した一連の映像データ群６２０２から構成される。映像データ確認エリア６２０１には、映像データ群６２０２のうち、いずれか１つの映像データが表示されている。ユーザは、表示部２００７に対してフリック操作やムーブ操作することによって、映像データ確認エリア６２０１に表示された映像データ群６２０２の表示を切り替えることができる。ユーザがズーム位置決定ボタン６２００をタップ操作した際、映像データ確認エリア６２０１に表示されている映像データに対応する画角が選択される。ＣＰＵ２００１は、ユーザによる映像データの選択を取得すると、デジタルカメラ１０００から映像データ群とともに受信したズーム位置の情報のうち、選択された映像データに関連づけられたズーム位置の情報を通信制御部２００８に供給する。通信制御部２００８は供給されたズーム位置の情報をＷｉ−Ｆｉ規格に則った無線伝送が可能な形式に変換してアンテナ２００９を介してデジタルカメラ１０００へ送信する。
【００３５】
図２（ｄ）は、携帯電話機２０００における、ズーム位置選択後の表示画面の例を示している。ユーザによって選択された映像データが映像データ確認エリア６２０１に表示されており、表示されている映像データ６４００の画角が図２（ｂ）で表示されていた映像データ６１０１とは異なる。
【００３６】
アンテナ１００９を介して携帯電話機２０００からユーザにより指定されたズーム位置を示す情報を受信すると、デジタルカメラ１０００のＣＰＵ１００１は光学系１０１３のズーム位置を指定された位置に移動するよう制御する。このようにデジタルカメラ１０００は携帯電話機２０００において選択されたズーム位置に合致するように光学系１０１３のズーム位置を制御可能である。
【００３７】
なお、Ｗｉ−Ｆｉ以外にも、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の他の各種無線通信規格を用いてもよい。また、無線通信環境に限らず、例えばインターネットのように、より通信遅延が大きくなりうる有線通信環境を用いてデジタルカメラ１０００と携帯電話機２０００が接続される場合にも本発明を適用可能である。
【００３８】
（３．  リモート操作に係るズーム制御処理の一連の動作）
次に、図３、図４および図５を参照して、本実施形態に係るライブストリーミング・リモコン機能を用いたズーム制御処理の一連の動作について説明する。図３はデジタルカメラ１０００における、ズーム制御処理の一連の動作を示すフローチャートを、図４は携帯電話機２０００におけるズーム制御処理の一連の動作を示すフローチャートを示す。また、図５はデジタルカメラ１０００から携帯電話機２０００へ送信される情報として各ズーム位置における映像データと各映像データに対応するズーム位置に関する情報の一例を示す。
【００３９】
まず図３を参照して、デジタルカメラ１０００における、ズーム制御処理の一連の動作を説明する。図３に示す処理は、ＣＰＵ１００１がＲＯＭ１００２に記憶されている制御プログラムを展開・実行することによって実現される。また、本処理は、操作部１００５によりライブストリーミングモードに設定されたデジタルカメラ１０００と携帯電話機２０００とがＷｉ−Ｆｉ無線通信で接続され、撮像素子１０１４により得られた映像データが取得された状態から開始される。
【００４０】
Ｓ３０００において、ＣＰＵ１００１は、携帯電話機２０００からズーム位置調整コマンドを受信したか否かを判定する。ズーム位置調整コマンドとは、携帯電話機２０００がデジタルカメラ１０００に対しズーム位置を調整するモード（ズーム位置調整モード）へ遷移することを要求するコマンドである。ＣＰＵ１００１はズーム位置調整コマンドを受信したと判定した場合、処理をＳ３００１に進め、受信していないと判定した場合、処理を再びＳ３０００に戻す。
【００４１】
デジタルカメラ１０００はズーム位置調整コマンドを受信したことによってズーム位置調整モードへ遷移する。Ｓ３００１において、ＣＰＵ１００１は、光学系１０１３に対しズーム位置を最も広角側まで移動させるよう指示し、ズーム位置が最も広角側まで移動した後に処理をＳ３００２に進める。
【００４２】
Ｓ３００２において、ＣＰＵ１００１は、カメラ信号処理部１０１５から出力される映像データを、映像データを取得したズーム位置の情報と対応付けてＲＡＭ１００３に記録する。映像データとズーム位置を対応付けて記録するため、例えば映像データを記録したファイルの名前とズーム位置の情報をテーブルにして映像データとは別のファイル（テーブルファイル）としてＲＡＭ１００３に記録する（テーブル方式）。図５（ａ）にはズーム位置を順次変更して取得された映像データを示し、図５（ｂ）には取得された映像データの各ファイル名と、連続番号で表したズーム位置とを対応付けたデータテーブルを示す。図５（ｂ）に示す補足情報には、例えば記述されたズーム位置がズームにおいて最も広角側であること等を示す識別情報等が挿入されている。映像データとズーム位置の対応付けには、映像データと一体的に記録する方法として、静止画もしくは動画の付加情報領域にメタデータとして直接記録（直接記録方式）する方法も採用可能である。例えば静止画の付加情報領域としては、Exif規格で規定されているMakerNoteタグやUserCommentタグの利用が考えられる。また、動画形式の映像データに対し直接記録方式でズーム位置と対応付ける場合、各ズーム位置に応じてファイルを分割しても、全ズーム範囲分を１つのファイルとして記録してもよい。取得した映像データとズーム位置の対応がデータを受信した携帯電話機２０００で認識可能な形式であれば、他の方法であってもよい。ＣＰＵ１００１は映像データとズーム位置を対応付けて記録すると処理をＳ３００３に進める。
【００４３】
なお、ここでは全ズーム範囲における映像データを取得するようにしたが、全ズーム範囲のうちユーザが予め設定した範囲で映像データを取得するようにしてもよい。予め必要な範囲にズーム範囲が限定されることで、映像データを取得する時間や送信データ量を低減できる。さらに、このようにした場合でも、必要なズーム範囲を拡張することができるようにしてもよい。具体的には、携帯電話機２０００でのユーザ操作の情報を逐次受信し、取得済みの範囲を超えそうになったら（つまり取得していないズーム範囲を要求されると予測したら）、別途ズーム範囲を拡張して映像データを取得する。さらに、ここで取得する映像データは、画角（ズーム位置）の参照用として携帯電話機２０００に送信されるものである。そのため、映像データの解像度は携帯電話機２０００において画角の確認に必要な程度でよい。従って、記録用映像データの解像度よりも低い解像度の映像データを取得することができ、それによって送信データ量ならびに送信時間を低減することができる。
【００４４】
Ｓ３００３において、ＣＰＵ１００１は、光学系１０１３に対しズーム位置を予め定めた単位（以降、１ステップと記述）分、望遠側に移動するよう指示し、ズーム位置が所定の位置まで移動した後、処理をＳ３００４に進める。1ステップでどの程度ズーム位置を変更するかは予め設定されていてもよいし、ユーザが選択可能に構成してもよい。例えば、変更可能な最小単位としてもよいし、より大きな単位としてもよい。1ステップを小さくすると、映像の取得およびズーム位置との対応付けに要する時間と、映像データとズーム位置を表す情報の送信時間の両方が増加する。このため、ズーム倍率の変更可能な単位の大きさや光学系１０１３の画角可変範囲（ズーム倍率）などに応じて、適宜設定することができる。
【００４５】
Ｓ３００４において、ＣＰＵ１００１は、全ズーム範囲における映像データを取得したか否かを判定する。ズーム位置の変更可能な全範囲における映像データを取得していないと判定した場合は、処理をＳ３００２に進める。取得が完了したと判定した場合は、処理をＳ３００５に進める。
【００４６】
Ｓ３００５において、ＣＰＵ１００１は、取得した全ズーム範囲分の映像データ５０００を携帯電話機２０００へ送信する。ズーム位置の情報が上述のテーブル方式で記録されている場合、映像データと共に図５（ｂ）に示すテーブル情報を記録したテーブルファイルを送信し、ズーム位置の情報が直接記録方式で記録されている場合、ズーム位置の情報を含む映像データを送信する。
【００４７】
Ｓ３００６において、ＣＰＵ１００１は、ズーム位置指定コマンドを受信したか否かを判定する。ズーム位置指定コマンドとは、携帯電話機２０００がデジタルカメラ１０００に対しズーム位置を指定するコマンドである。ズーム位置指定コマンドを受信したと判定した場合、処理をＳ３００７へ進み、受信していないと判定した場合は、処理を再びＳ３００６に戻してズーム位置指定コマンドの受信を待つ。
【００４８】
Ｓ３００７において、ＣＰＵ１００１は、光学系１０１３に対し、処理をＳ３００６において受信したズーム位置指定コマンドによって指定された位置にズーム位置を変更するよう制御する。ズーム位置が所定の位置まで変更された後、ズーム位置調整モードを終了するとともに本フローチャートに係る一連の処理を終了する。
【００４９】
次に、図４を参照して、本実施形態に係る携帯電話機２０００におけるズーム位置の指定処理の一連の動作について説明する。本フローチャートは、携帯電話機２０００がＷｉ−Ｆｉ無線通信に接続されてライブストリーミング・リモコン機能が開始され、表示部２００７にデジタルカメラ１０００で撮影された映像データ６１０１とズームボタン６１００が表示された状態から開始される。
【００５０】
Ｓ４０００において、ＣＰＵ２００１は、操作部２００５におけるズームボタン６１００が押下されたか否かを判定する。ズームボタン６１００は表示部２００７に表示されたボタン形式のＧＵＩ部品である。ＣＰＵ２００１は、操作部２００５の通知に基づいてズームボタン６１００が押下されたと判定した場合は、処理をＳ４００１に進め、ズームボタン６１００が押されていないと判定した場合は処理をＳ４０００に戻してズームボタン６１００の押下を待つ。
【００５１】
Ｓ４００１において、ＣＰＵ２００１は、デジタルカメラ１０００に対してズーム位置調整モードへの遷移を要求するズーム位置調整コマンドを送信し、処理をＳ４００２に進める。
【００５２】
Ｓ４００２において、ＣＰＵ２００１は、Ｓ３００５においてデジタルカメラ１０００から送信される全ズーム範囲分の映像データ５０００、および、図５（ｂ）に示したテーブルファイルの受信を完了したか否かを判定する。ＣＰＵ２００１は、パケット情報の記載から全データを受信したと判定した場合は、処理をＳ４００３に進め、受信が完了していないと判定した場合は、受信を継続するため処理をＳ４００２に進める。
【００５３】
Ｓ４００３において、ＣＰＵ２００１は、Ｓ４００２において受信したズーム範囲分の映像データ５０００およびズーム位置の情報、即ち図５（ｂ）に示したテーブルファイルのデータ、をＲＡＭ２００３に格納し処理をＳ４００４に進める。なお、映像データおよびズーム位置の情報は、記録媒体２０１２に格納されてもよい。
【００５４】
Ｓ４００４において、ＣＰＵ２００１は、表示する映像データをＲＡＭ２００３から出力処理部２００６に送信し、図２（ｃ）に示したズーム位置選択画面の表示を出力処理部２００６に指示する。ＣＰＵ２００１は、ズーム位置選択画面を表示させてユーザからの操作部２００５に対する選択を受付け、入力に応じて映像データを表示部２００７の映像データ確認エリア６２０１に表示する。ユーザは映像データ確認エリア６２０１に表示される、各ズーム位置に対応する映像データを切り替えながら意図したズーム位置、即ち画角を選択する。ＣＰＵ２００１は、映像データを表示部２００７に表示させると処理をＳ４００５に進める。
【００５５】
Ｓ４００５において、ＣＰＵ２００１は、ズーム位置決定ボタン６２００が押下されてズーム位置が選択されたか否かを判定する。ズーム位置決定ボタン６２００が押下されたと判定した場合は映像データが選択されたものとして処理をＳ４００６へ進め、押下されていないと判定した場合は、再びユーザによる操作に応じて表示部２００７を制御するため処理をＳ４００５に進める。
【００５６】
Ｓ４００６において、ＣＰＵ２００１は、Ｓ４００５において選択された映像データにより特定されるズーム位置の情報をＲＡＭ２００３から読み出して処理をＳ４００７に進める。本実施形態では、ＲＡＭ２００３に格納した図５（ｂ）に示したテーブルファイルを検索し、選択された画像データに対応するズーム位置の情報を読みだす。直接記録方式の場合、選択された映像データの付加情報領域を参照して記録されているズーム位置の情報を読み出す。
【００５７】
Ｓ４００７において、ＣＰＵ２００１は、Ｓ２００６において読み出したズーム位置の情報を設定したズーム位置指定コマンドを通信制御部２００８およびアンテナ２００９を介してデジタルカメラ１０００に送信する。ＣＰＵ２００１は、ズーム位置指定コマンドを送信するとズーム位置を指定する一連の処理を終了する。
【００５８】
なお、図３にて説明したように、デジタルカメラ１０００が取得するズーム範囲を限定する場合には、Ｓ４００５でズーム位置決定ボタン６２００が押下される前に、意図したズーム位置を選ぶためのユーザの操作情報を随時デジタルカメラ１０００に送信する。このようにすれば、デジタルカメラ１０００では、携帯電話機２０００のユーザが範囲外のズーム位置を希望するかどうかを予測することができる。
【００５９】
以上、本実施形態におけるリモート操作に係るズーム制御処理を説明したが、様々な変形例によっても本発明に係るリモート操作によるズーム制御が可能である。まず、Ｓ３００２における各ズーム位置に応じた映像データの取得は、携帯電話機２０００からのズーム位置調整コマンドの受信と無関係に非同期で実行されてもよい。例えば、ライブストリーミングモードに入った後、所定の時間間隔で自動的に各ズーム位置に応じた映像データを記録しておき、携帯電話機２０００からのズーム位置調整コマンドによる要求に応じて、記録した映像データを送信する。このようにすれば、ズーム位置調整コマンドの受信後に順次ズーム位置を変更して映像データを取得する時間を要しないため、ズーム位置調整コマンドの受信後に素早く映像データと対応するズーム位置の情報を送信することが可能になる。ズーム位置調整コマンドの受信後に素早く情報を送信することができるため、レスポンス速度が向上するとともにユーザはデジタルカメラ１０００で撮影されている被写体の状態が大きく変化する前に意図したズーム位置を選択することが可能になる。
【００６０】
さらに、デジタルカメラ１０００は、ズーム位置に応じた映像データの取得を一定間隔ではなく、例えば日が落ちて暗くなるなどのカメラ周囲の環境変化や人物等の所定の被写体の存在を検出した場合に行うようにしてもよい。このようにすれば、ズーム位置に応じた映像データの取得をより適切な状況にのみ実行することが可能となりレスポンス速度の向上とともに無駄な映像データの取得を低減させることができる。さらにパン／チルト等のズーム以外の画角変化に応じて各ズーム位置に応じた映像データを自動で取得してもよい。
【００６１】
また、本実施形態では、各ズーム位置に応じた映像データを全て記録した後、携帯電話機２０００へ送信したが、直接記録方式であれば、各ズーム位置における映像データを取得するたびに映像データを携帯電話機２０００へ送信してもよい。
【００６２】
さらに、図２（ｃ）に示したズーム位置選択画面は、ズーム位置確認用に受信した映像データ群６２０２を複数の映像データとして閲覧可能にし、これらの映像データから意図した映像データを選択可能な構成であればどのような画面構成であってもよい。このような構成には例えば、受信した全データをサムネイルのような縮小した画像として一覧表示し、選択された画像のみその場で拡大するような形式でもよい。
【００６３】
そのほか、本実施形態ではＳ３００２において取得した映像データに対し、映像データを符号・復号処理部１０１６に送信し、データを符号化してもよい。データを符号化することで携帯電話機２０００でデータを復号する処理が必要となるが、送信するデータ量を減らすことができる。また、Ｓ３００２おける映像信号の記録先は記録媒体１０１２であってもよい。
【００６４】
以上説明したように本実施形態では、デジタルカメラ１０００は、複数の映像データおよび映像データに対するズーム位置を携帯電話機２０００へ送信し、携帯電話機２０００において選択されたズーム位置に基づいてズーム位置を制御するようにした。このようにすることで、通信を介した撮像装置の制御において通信遅延があっても意図した撮影条件を設定することが可能になる。さらに、選択可能なズーム位置に対する映像データを送信することで、ユーザは携帯電話機２０００において設定しようとするズーム位置がどのような画角になるのかを予め視覚的に確認可能となり、より直観的な操作を実現することが可能になる。
【００６５】
（その他の実施形態）
上述の実施形態では、光学系１０１３のズーム位置を実際に変更しながら取得した映像データを、ズーム位置の情報とともに携帯電話機２０００に送信する構成を説明した。しかし、必ずしも実際にズーム位置を変更しなくてもよい。例えば、電子ズームと呼ばれる機能で行われるように、同一映像データからの切り出し範囲を異ならせ、必要に応じて縮小拡大処理を行うことで、複数のズーム位置に対応した画角に相当する映像データを生成してもよい。
【００６６】
また、最も広角側で撮影した映像データと、切り出し位置の情報だけを携帯電話機２０００に送信し、画角に対応した映像データの生成は携帯電話機２０００側で実行してもよい。こうすることで、送信データ量を大幅に軽減できる。また、携帯電話機やタブレット端末などはデジタルカメラよりも能力の高い画像処理ハードウェアを有していることが多いため、より効率的な処理能力の活用が可能になり、レスポンスがよく、使い勝手のよいリモコン機能を実現できる。
【００６７】
パンやチルトについても、切り出し位置の情報を用いることができる。ただし、１枚分の映像データで不足する場合には、パンの範囲やチルトの範囲をカバーする最小限の枚数分の映像データと切り出し位置の情報を送信すればよい。露出については、現在の露出条件で撮影した映像データを送信すれば、輝度の調整によって携帯電話機２０００側で複数の露出条件に対応した映像データを生成可能である。
【００６８】
また、Ｓ３００６において、携帯電話機２０００から受信したコマンドが、Ｓ３００５で送信した値（ズーム位置）の１つか否かを判定し、Ｓ３００５で送信した値でない場合にはエラー処理を行ったり無視したりするようにしてもよい。このように、制御対象に応じてデジタルカメラ１０００で取得する映像データと、携帯電話機２０００に送信するデータを変更するように構成してもよい。
【００６９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７０】
１００１…ＣＰＵ、１０１３…光学系、１０１４…撮像素子、１０１５…カメラ信号処理部、１００８…通信制御部、１００９…アンテナ
【図１】
2015204503.tif 000003
【図２】
2015204503.tif 000004
【図３】
2015204503.tif 000005
【図４】
2015204503.tif 000006
【図５】
2015204503.tif 000007