(57)【要約】  通信システムは、少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む。中継装置は、少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、少なくとも１つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第２受信部と、受信した指定に応じて動的に、受信したストリーミング映像の中の少なくとも１つのストリーミング映像を、より少ないデータ量のストリーミング映像に変換する変換部と、変換されたストリーミング映像を一つの受信装置に送信する送信部と、を備える。
2013132828.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む通信システムであって、
前記中継装置は、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、
前記少なくとも１つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第２受信部と、
複数の送信装置から複数のストリーミング映像を受信している場合、前記受信した指定に応じて、前記受信した複数のストリーミング映像の中の少なくとも１つのストリーミング映像を、より少ないデータ量のストリーミング映像に動的に変換する変換部と、
前記変換されたストリーミング映像を前記一つの前記受信装置に送信する送信部と、を備える
通信システム。
【請求項２】
前記変換部は、前記ストリーミング映像の送信状況に応じて、ストリーミング映像の変換処理の内容を動的に異ならせる、
請求項１に記載の通信システム。
【請求項３】
前記変換部は、前記複数のストリーミング映像を１つの映像ストリーミングに含めるように変換処理を行う、請求項１または２に記載の通信システム。
【請求項４】
前記一つの受信装置は、前記中継装置を介して、ストリーミング映像に対する処理に関して前記送信装置を遠隔操作する、
請求項１から３のいずれかに記載の通信システム。
【請求項５】
前記中継装置は、前記一つの受信装置から、前記一つの受信装置上での使用者の操作に関する情報を受信し、その情報の内容を解析し、解析した結果に基づいて、前記送信装置から受信したストリーミング映像の状態を制御する、請求項４に記載の通信システム。
【請求項６】
前記中継装置は、前記一つの受信装置から、前記一つの受信装置上での使用者の操作に関する情報を受信し、前記受信した操作に関する情報に基づくストリーミング映像の処理に関する指示を前記送信装置へ送信する、請求項４に記載の通信システム。
【請求項７】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む通信システムにおける通信方法であって、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信するステップと、
前記少なくとも１つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信するステップと、
前記受信した指定に応じて、前記受信したストリーミング映像のうちの少なくとも１つのストリーミング映像をより少ないデータ量のストリーミング映像に動的に変換するステップと、
前記変換されたストリーミング映像を前記一つの受信装置に送信するステップと、
を有する通信方法。
【請求項８】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置であって、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、
前記少なくとも１つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第２受信部と、
前記受信した指定に応じて、前記受信したストリーミング映像の中の少なくとも１つのストリーミング映像を、より少ないデータ量のストリーミング映像に動的に変換する変換部と、
前記変換されたストリーミング映像を前記一の受信装置に送信する送信部と、
を備えた中継装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、機器間で映像データの通信を行う通信システム及び機器間の映像データの通信を中継する中継装置に関する。
【背景技術】
【０００２】
ネットワークを介して、映像データを利用者端末に配信するサービスが知られている。例えば、特許文献１は、複数の映像ソースのデータが合成された複合映像データから利用者端末の要求に応じたデータを抽出し、送信する映像配信システムを開示している。【０００３】
特許文献１の映像配信システムによれば、マルチエンコーダ装置は、ユーザが希望する映像ソースである映像ソースと、他の映像ソースの映像データとを受信し、これらをＭＰＥＧ４形式に変換するとともに合成して複合映像データを生成する。そして、映像配信システムは、このデータを映像配信サーバに送信する。映像配信サーバは、受信した複合映像データからＩＤ番号をチェックすることにより映像ソースの映像データを抽出して、利用者端末に送信する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１１０５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、通信速度の向上や、表示端末の表示解像度の向上などに伴って、より高画質な映像ソースの配信が望まれている。【０００６】
また、複数の映像ソースがサーバに収集され、サーバから配信されるシステムにおいて、映像ソースの数が増えると、通信データ量が増加する。特に、より高画質の映像データを送信する場合、データの増加量はより顕著に増加する。ネットワークの通信帯域が通信すべきデータ量に対して十分でない場合、スムーズな通信動作が行なえなくなる。【０００７】
本開示は、状況に合わせて適切に映像が送信できるよう、動的に映像を処理することが可能な通信システムおよび通信装置を提供する。
【課題を解決するための手段】
【０００８】
本開示に係る通信システムは、少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む。中継装置は、少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、少なくとも１つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第２受信部と、受信した指定に応じて、受信したストリーミング映像の中の少なくとも１つのストリーミング映像をより少ないデータ量のストリーミング映像に動的に変換する変換部と、変換されたストリーミング映像を一つの受信装置に送信する送信部と、を備える。【０００９】
本開示に係る中継装置は、少なくとも１つの送信装置と、少なくとも１つの受信装置と、送信装置から受信装置へのデータの送信を中継する中継装置である。中継装置は、少なくとも１つの送信装置から少なくとも１つのストリーミング映像を受信する第１受信部と、少なくとも１つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第２受信部と、受信した指定に応じて、受信したストリーミング映像の中の少なくとも１つのストリーミング映像をより少ないデータ量のストリーミング映像に動的に変換する変換部と、変換されたストリーミング映像を一の受信装置に送信する送信部と、を備える。
【発明の効果】
【００１０】
本開示によれば、状況に合わせて適切に映像が送信できるような、特に、複数のストリーミング映像を同時に配信するような状況において通信負荷を低減できる通信システムおよび中継装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】デジタルカメラ１００とスマートフォン２５０とサーバ３００の通信システム構成図
【図２】デジタルカメラ１００の電気的構成図
【図３】スマートフォン２５０の電気的構成図
【図４】サーバ３００の電気的構成図
【図５】デジタルカメラ１００とスマートフォン２５０とサーバ３００の接続動作に関するシーケンス図
【図６】サーバ３００からスマートフォン２５０に配信される画像のイメージ図
【図７】サーバ３００における画像処理動作のフローチャート
【図８】デジタルカメラ１００とスマートフォン２５０とサーバ３００の切断動作に関するシーケンス図
【図９】スマートフォン２５０による、サーバ３００を介したデジタルカメラ１００の遠隔操作のシーケンス図
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１４】
〔実施の形態１〕
本実施の形態１にかかる通信システムの構成および動作を説明する。
【００１５】
〔１−１．構成〕
以下図を用いて本開示に係る通信システムの構成を説明する。
【００１６】
〔１−１−１．通信システムの構成〕
図１は、本開示における通信システムの構成を示した図である。通信システムは、デジタルカメラ１００とスマートフォン２５０とサーバ３００とで構成される。
【００１７】
図１では、複数のデジタルカメラ１００Ａ、１００Ｂ、Ｃ、１００Ｄと、複数のスマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）が、ネットワーク４００を介して、サーバ３００に接続された構成を示している。
【００１８】
各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）は、サーバ３００に対して、現在撮影中のスルー画像（又はより高画質な動画像）をストリーミング送信することができる。すなわち、各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）は、サーバ３００に対して、リアルタイム映像を送信することができる。
【００１９】
一方、各スマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）は、各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）がサーバ３００に対して送信したスルー画像（又はより高画質な動画像）をストリーミング受信することができる。すなわち、各スマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）は、サーバ３００から、各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）がサーバ３００に対して送信したリアルタイム映像を受信することができる。
【００２０】
サーバ３００は、デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）から送信されてくるストリーミング映像を受信し、各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）が指定するスマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）へ、受信したストリーミング映像を送信する。このとき、サーバ３００は、単一のスマートフォン２５０に対して、複数のデジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）からの複数のストリーミング映像の送信要求を受けた場合は、該複数のストリーミング映像を、より少ないデータ量（より少ない占有帯域）のストリーミング映像に動的に変換する。
【００２１】
以上のように、本実施の形態１にかかる通信システムによれば、状況に合わせて適切に映像が送信できるよう、動的に映像を送信することができる。
【００２２】
本実施の形態１では、ストリーミング映像の送信装置として、デジタルカメラ１００を例示するが、送信機はこれに限定されない。すなわち、送信装置は、デジタルムービーカメラ、監視用カメラ、車載カメラ、カメラ付き情報端末（スマートフォン）のような、ストリーミング映像をサーバ３００に送信可能な装置であればよい。
【００２３】
また、本実施の形態１では、ストリーミング映像の受信装置として、スマートフォン２５０を例示するが、受信装置はこれに限定されない。すなわち、受信装置は、タブレット端末、テレビジョン受像機、表示モニタ付のデジタルカメラのような、ストリーミング映像をサーバ３００から受信し表示可能な装置であればよい。
【００２４】
また、本実施の形態１では、ストリーミング映像の中継装置として、サーバ３００を例示するが、中継装置はこれに限定されない。すなわち、中継装置は、少なくとも１つの受信装置から少なくとも１つのストリーミング映像を受信し、受信したストリーミング映像に対して所定の変換処理を行って受信装置に送信可能な装置であればよい。
【００２５】
以下、本実施の形態では、ストリーミング映像の送信装置の一例として、デジタルカメラを挙げ、ストリーミング映像の受信装置の一例としてスマートフォンを挙げ、中継装置の一例としてサーバを挙げて説明する。
【００２６】
〔１−１−２．デジタルカメラの構成〕
図２は、デジタルカメラ１００の電気的構成図である。デジタルカメラ１００は、光学系１１０を介して形成された被写体像をＣＣＤイメージセンサ１２０で撮像する。ＣＣＤイメージセンサ１２０は撮像した被写体像に基づく画像データを生成する。撮像により生成された画像データは、ＡＦＥ（アナログ・フロント・エンド）１２１や画像処理部１２２において各種処理が施される。生成された画像データはフラッシュメモリ１４２やメモリカード１４０に記録される。フラッシュメモリ１４２やメモリカード１４０に記録された画像データは、使用者による操作部１５０の操作を受け付けて液晶モニタ１２３上に表示される。
【００２７】
光学系１１０は、フォーカスレンズ１１１やズームレンズ１１２、絞り１１３、シャッタ１１４等により構成される。図示していないが、光学系１１０は、光学式手ぶれ補正レンズＯＩＳを含んでいてもよい。なお、光学系１１０を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
【００２８】
ＣＣＤイメージセンサ１２０は、光学系１１０を通して形成された被写体像を撮像して画像データを生成する。ＣＣＤイメージセンサ１２０は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。ＣＣＤイメージセンサ１２０の画像データ生成タイミングおよび電子シャッタ動作は、コントローラ１３０によって制御される。この画像データをスルー画像として逐一液晶モニタ１２３に表示することにより、使用者はリアルタイムに被写体の状況を液晶モニタ１２３で確認できる。
【００２９】
ＡＦＥ１２１では、ＣＣＤイメージセンサ１２０から読み出された画像データに対して相関二重サンプリングによる雑音抑圧、アナログゲインコントローラによるＩＳＯ感度値に基づくゲインの乗算、ＡＤコンバータによるＡＤ変換が施される。その後、ＡＦＥ１２１は画像データを画像処理部１２２に出力する。
【００３０】
画像処理部１２２は、ＡＦＥ１２１から出力された画像データに対して各種の処理を施す。各種処理としては、ＢＭ（ブロックメモリ）積算、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部１２２は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。またコントローラ１３０などとともに１つの半導体チップで構成してもよい。
【００３１】
液晶モニタ１２３は、デジタルカメラ１００の背面に備わる。液晶モニタ１２３は、画像処理部１２２にて処理された画像データに基づく画像を表示する。液晶モニタ１２３が表示する画像には、スルー画像や記録画像がある。
【００３２】
コントローラ１３０は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３０は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、画像処理部１２２などと共に1つの半導体チップで構成してもよい。
【００３３】
フラッシュメモリ１４２は、画像データ等を記録するための内部メモリとして機能する。また、フラッシュメモリ１４２は、オートフォーカス制御（ＡＦ制御）や、通信制御に関するプログラムの他、デジタルカメラ１００全体の動作を統括制御するためのプログラムを格納している。
【００３４】
バッファメモリ１２４は、画像処理部１２２やコントローラ１３０のワークメモリとして機能する記憶手段である。バッファメモリ１２４はＤＲＡＭ（Dynamic Random Access Memory）などで実現できる。
【００３５】
カードスロット１４１は、メモリカード１４０を着脱可能な接続手段である。カードスロット１４１は、メモリカード１４０を電気的及び機械的に接続可能である。また、カードスロット１４１は、メモリカード１４０を制御する機能を備えてもよい。
【００３６】
メモリカード１４０は、内部にフラッシュメモリ等の記録部を備えた外部メモリである。メモリカード１４０は、画像処理部１２２で処理される画像データなどのデータを記録可能である。
【００３７】
通信部１７１は、無線または有線の通信インターフェースであり、コントローラ１３０はこの通信部１７１を介して、インターネット網に接続することができる。例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、有線ＬＡＮ等により実現可能である。
【００３８】
操作部１５０は、デジタルカメラ１００の外装に備わっている操作釦や操作レバーの総称であり、使用者による操作を受け付ける。操作部１５０は使用者による操作を受け付けると、コントローラ１３０に種々の動作指示信号を通知する。
【００３９】
〔１−１−３．スマートフォンの構成〕
スマートフォン２５０の構成について図３を用いて説明する。図３は、スマートフォン２５０の電気的構成図である。
【００４０】
スマートフォン２５０は、コントローラ２５１、ワークメモリ２５２、フラッシュメモリ２５３、通信部２５４、液晶モニタ２５６、タッチパネル２５７等から構成されている。図示していないが、撮像部や画像処理部を備えていてもよい。
【００４１】
コントローラ２５１は、スマートフォン２５０上の処理を実行する処理部である。コントローラ２５１は、ワークメモリ２５２、フラッシュメモリ２５３、通信部２５４、液晶モニタ２５６、タッチパネル２５７に電気的に接続されている。コントローラ２５１は、タッチパネル２５７を用いての使用者の操作情報を受け付ける。コントローラ２５１は、フラッシュメモリ２５３に格納されているデータを読み出すことができる。また、スマートフォン２５０の各部に供給される電力等のシステムを全体的に制御している。また、図示していないが、コントローラ２５１は、電話機能や、インターネットを介してダウンロードした各種アプリケーションを実行する。
【００４２】
ワークメモリ２５２は、コントローラ２５１が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。
【００４３】
フラッシュメモリ２５３は、各種データを格納する大容量のディスクドライブである。上述したように、フラッシュメモリ２５３に格納された各種データは、適宜コントローラ２５１により読み出し可能である。なお、本実施の形態では、フラッシュメモリ２５３を備えたが、フラッシュメモリでなくハードディスクドライブ等を備えても良い。
【００４４】
液晶モニタ２５６は、コントローラ２５１から指示された画面を表示する表示デバイスである。
【００４５】
タッチパネル２５７は、使用者の操作情報を受け付ける入力デバイスである。なお、本実施の形態では、使用者の操作情報を受け付ける入力デバイスとしてタッチパネル２５７を備えたが、タッチパネルでなくハードキーを備えても良い。
【００４６】
通信部２５４は、コントローラ２５１から受け取った画像データを、インターネット網を介して、他の機器に送信することができる。通信部２５４は、例えば、有線ＬＡＮや、無線ＬＡＮにより実現することが可能である。
【００４７】
〔１−１−４．サーバの構成〕
サーバ３００の構成について、図４を用いて説明する。図４は、サーバ３００の電気的構成図である。
【００４８】
サーバ３００は、通信部３１０、コントローラ３２０、ワークメモリ３３０、ＨＤＤ（ハードディスクドライブ）３４０、画像処理部３５０等から構成されている。
【００４９】
通信部３１０は、インターネット網を介して、他の機器からの情報（画像情報、要求情報、応答情報など）を送受信することができる。通信部３１０は、例えば、有線ＬＡＮや、無線ＬＡＮにより実現することが可能である。
【００５０】
コントローラ３２０は、サーバ３００の処理を実行する処理部である。コントローラ３２０は、通信部３１０、ワークメモリ３３０、ＨＤＤ３４０、画像処理部３５０に電気的に接続されている。コントローラ３２０は、通信部３１０を介して取得した情報（画像情報や、要求情報など）を処理する。同様に、コントローラ３２０は、処理に基づいて、情報（画像情報や、応答情報など）を、通信部３１０を介して送信する。コントローラ３２０は、情報を処理するのにあたって、適宜ワークメモリ３３０、ＨＤＤ３４０、画像処理部３５０を使用する。また、コントローラ２１０は、ワークメモリ３３０、ＨＤＤ３４０に格納されているデータを読み出すことができる。また、コントローラ２１０は、サーバ３００の各部に供給される電力等のシステムを全体的に制御している。
【００５１】
ワークメモリ３３０は、コントローラ３２０が各種処理動作を実行するために必要な情報を一時的に格納したメモリである。
【００５２】
ＨＤＤ３４０は、各種データを格納する大容量のディスクドライブである。上述したように、ＨＤＤ３４０に格納された各種データは、適宜コントローラ３２０により読み出し可能である。なお、本実施の形態では、ＨＤＤ３４０を備えたが、他の記録媒体を備えても良い。
【００５３】
画像処理部３５０は、コントローラ３２０からの指示に基づいて、入力された画像情報に対して各種画像処理を行なう。各種画像処理には、複合処理、リサイズ処理、合成処理、符号処理が含まれる。画像処理部３５０による画像処理の詳細動作は後述する。
【００５４】
〔１−２．動作〕
〔１−２−１．デジタルカメラとスマートフォンとサーバの接続〕
デジタルカメラ１００とスマートフォン２５０とサーバ３００との接続動作に関して図５を用いて説明する。図５は、デジタルカメラ１００とスマートフォン２５０とサーバ３００の接続動作に関するシーケンス図である。
【００５５】
サーバ３００は、図１を用いて説明したように、複数のデジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）と、複数のスマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）と接続可能である。しかし、以下では、説明の簡単のために、デジタルカメラ１００Ａおよびデジタルカメラ１００Ｂと，スマートフォン２５０とがインターネット４００を介してサーバ３００と接続されている場合を例に説明する。
【００５６】
まず、デジタルカメラ１００Ａの動作について説明する。デジタルカメラ１００Ａの電源がＯＮされると、デジタルカメラ１００Ａのコントローラ１３０は、デジタルカメラ１００Ａを構成する各部に電力を供給し、撮影および通信が可能な状態に制御する。
【００５７】
デジタルカメラ１００Ａが撮影および通信が可能な状態になると、ユーザは、デジタルカメラ１００Ａの操作部１５０を操作して、液晶モニタ１２３にメニュー画面を表示させることができる。そして、ユーザは、操作部１５０を操作することにより、メニュー画面上で通信開始指示を行なうための項目を選択することができる。ユーザにより、通信開始指示を行なうための項目が選択されると、コントローラ１３０は、デジタルカメラ１００Ａが接続可能なアクセスポイントの探索を行う。そして、コントローラ１３０は、探索により発見できたアクセスポイントに接続し、ＩＰアドレスを取得する。デジタルカメラ１００Ａは、ＩＰアドレスの取得を完了すると、アクセスポイントを介して、サーバ３００に接続要求を送信する（Ｓ５００）。
【００５８】
サーバ３００のコントローラ３２０は、通信部３１０を介して、デジタルカメラ１００Ａからの接続要求を受信すると、デジタルカメラ１００Ａを接続しても良いか否かを判断する。サーバ３００に対して、所定数以上のデジタルカメラが接続されていて、処理能力が低下しているとき等、デジタルカメラ１００Ａの接続による不都合がなければ、サーバ３００のコントローラ３２０は、通信部３１０を介して、デジタルカメラ１００Ａのコントローラ１３０に接続許可を通知する（Ｓ５０１）。デジタルカメラ１００Ａのコントローラ１３０は、接続許可を受けると、現在撮影中のスルー画像や、より高画質の記録用動画像を、通信部１７１を介して、サーバ３００（コントローラ３２０）に送信する（Ｓ５０２）。
【００５９】
次に、デジタルカメラ１００Ｂの動作について説明する。上述したデジタルカメラ１００Ａの場合と同様に、デジタルカメラ１００Ｂは、接続要求の送信（Ｓ５０３：Ｓ５００に対応）、接続許可の受信（Ｓ５０４：Ｓ５０１に対応）、スルー画像又はより高画質の記録用動画像の供給（Ｓ５０５：Ｓ５０２に対応）を行なう。
【００６０】
次に、スマートフォン２５０側の動作について説明する。スマートフォン２５０のコントローラ２５１は、電源がＯＮされると、スマートフォン２５０を構成する各部に電力を供給し、通信が可能な状態に制御する。
【００６１】
スマートフォン２５０が通信可能な状態になると、ユーザは、スマートフォン２５０のタッチパネル２５７を操作して、液晶モニタ２５６にメニュー画面を表示させることができる。そして、ユーザは、メニュー画面上で、タッチパネル２５７を操作することにより、通信開始指示を行なうための項目を選択することができる。ユーザにより、通信開始指示を行なうための項目が選択されると、コントローラ２５１は、アクセスポイントの探索を行う。コントローラ２５１は、探索により発見できたアクセスポイントに接続し、ＩＰアドレスを取得する。スマートフォン２５０は、ＩＰアドレスの取得を完了すると、アクセスポイントを介して、サーバ３００に接続要求を送信する（Ｓ５０６）。
【００６２】
サーバ３００のコントローラ３２０は、通信部３１０を介して、スマートフォン２５０からの接続要求を受信すると、スマートフォン２５０を接続しても良いか否かを判断する。サーバ３００に対して、不都合なことがなければ、サーバ３００のコントローラ３２０は、通信部３１０を介して、スマートフォン２５０のコントローラ２５１に接続許可を通知する（Ｓ５０７）。サーバ３００に対して不都合なこととは、例えば、サーバ３００に対して、所定数以上のスマートフォン２５０が接続されていて、処理能力が低下していることである。
【００６３】
その後、サーバ３００のコントローラ３２０は、スマートフォン２５０に対して、各デジタルカメラから送信された映像データに基づき現在アクティブなカメラ画像の一覧画面を生成し、その画像情報を送信する（Ｓ５０８）。
【００６４】
この一覧画面には、アクティブなカメラ画像（スルー画像や、動画像）を表示する表示枠が予め配置されている。一覧画面の具体例については後述する。サーバ３００のコントローラ３２０は、その表示枠に各デジタルカメラから送信されたアクティブなカメラ画像（スルー画像又はより高画質な動画像）を表示するようストリーミング映像を生成し、スマートフォン２５０に対してストリーミング送信する。すなわち、サーバ３００のコントローラ３２０は、各デジタルカメラ１００Ａ、１００Ｂから送信され、ＨＤＤ３４０に一時的に記録しておいたスルー画像（又はより高画質な動画像）を、所定のデータ量ずつ読み出し、読み出したスルー画像からストリーミング映像を生成し、スマートフォン２５０に送信（ストリーミング送信）する。これにより、スマートフォン２５０の液晶モニタ２５６には、デジタルカメラ１００Ａおよび１００Ｂから送信されてくるアクティブなカメラ画像（ストリーミング映像）が表示枠に表示された一覧画面が表示される。
【００６５】
図６（ａ）〜（ｄ）は、サーバ３００からスマートフォン２５０に配信される画像の一例を示した図である。すなわち、スマートフォン２５０の液晶モニタ２５６に表示されるアクティブなカメラ画像の一覧画面の例を示した図である。
【００６６】
図６（ａ）は、複数のカメラから取得したリアルタイムなストリーミング映像を、サーバ３００において、例えば縦３×横４のマトリクス状に配置した一覧画面の例を示した図である。すなわち、図６（ａ）は、１２台のデジタルカメラ１００から送信されたリアルタイムなストリーミング映像を表示した一覧画面を示している。このような表示により、スマートフォン２５０のユーザは、サーバ３００から取得したリアルタイムなストリーミング映像を一覧で確認することができる。
【００６７】
図６（ｂ）は、複数のカメラから取得したリアルタイムなストリーミング映像を、そのストリーミング映像を説明する文字情報とともに表示した一覧画面の例を示している。図６（ｂ）に示す例では、ストリーミング映像を説明する文字情報として、リアルタイム映像の撮影場所を示す文字情報を、ストリーミング映像と合わせて表示している。図６（ｂ）に示す例は、サーバ３００が、デジタルカメラ１００から、ストリーミング映像とともに、そのストリーミング映像を説明する情報を合わせて受信することにより実現可能である。図６（ｂ）のような画面により、ユーザは、サーバ３００から取得したリアルタイムなストリーミング映像についての情報を、簡単に確認することができる。なお、この例では、ストリーミング映像を説明する情報として、撮影場所を示す文字情報としたが、これに限らない。すなわち、文字情報ではなく、絵文字情報などでもよい。また、撮影場所ではなく、撮影条件や、撮影時間（海外での撮影の場合は現地時間）などであってもよい。
【００６８】
図６（ｃ）は、複数のカメラから取得したリアルタイムなストリーミング映像について、そのストリーミング映像が撮影されている場所を地図上に示した画面を示している。図６（ｃ）に示す例は、サーバ３００が、カメラ１００からストリーミング映像とともに、撮影場所に関する情報を合わせて受信することにより、実現可能である。これにより、ユーザは、サーバ３００から取得したリアルタイムなストリーミング映像の撮影場所を容易に確認することができる。
【００６９】
図６（ｄ）は、複数のカメラからサーバ３００経由で取得したリアルタイムなストリーミング映像について、そのストリーミング映像の撮影者に関する情報（氏名、顔写真など）とともに表示した一覧画面の例を示している。図６（ｄ）に示す例は、サーバ３００が、カメラ１００から、ストリーミング映像とともに、その映像の撮影者に関する情報を合わせて受信することにより実現可能である。なお、一人の撮影者が複数台のカメラを使ってリアルタイムで撮影した複数のストリーミング映像を送信している場合、その撮影者が撮影したストリーミング映像であることを示す表示枠において、複数のストリーミング映像が並べて表示される。これにより、ユーザは、サーバ３００から取得したリアルタイムなストリーミング映像の撮影者を容易に確認することができる。
【００７０】
図６（ａ）から（ｄ）に示した一覧画面の形式のうち、いずれの形式の画面をスマートフォン２５０に送信するかは、ユーザ操作に応じて決定してもよい。例えば、スマートフォン２５０のユーザが、タッチパネル２５７等の操作部を操作して、所望の一覧画面を選択できるようにしてもよい。この場合は、一覧画面の選択情報がスマートフォン２５０からサーバ３００に送信され、サーバ３００は選択情報に基づいて一覧画面を生成する。これにより、ユーザは、サーバ３００から取得したリアルタイムなストリーミング映像を好みの形式で閲覧することができる。
【００７１】
サーバ３００が、スマートフォン２５０に送信するストリーミング映像は、映像提供元であるデジタルカメラ１００Ａおよび１００Ｂが、スマートフォン２５０を指定したことにより送信されるようにしてもよい。この場合、デジタルカメラ１００Ａおよび１００Ｂはサーバ３００に指定情報を送信する。サーバ３００は、それぞれのデジタルカメラ１００Ａおよび１００Ｂから受信したストリーミング映像を、受信した指定情報が指定するスマートフォン２５０に対してのみ送信する。
【００７２】
または、映像提供元であるデジタルカメラ１００Ａおよび１００Ｂが、サーバ３００に送信するストリーミング映像の公開範囲を設定してもよい。この場合、デジタルカメラ１００Ａおよび１００Ｂはサーバ３００に公開範囲の情報を送信する。サーバ３００は、受信した情報が示す公開範囲に合致したスマートフォン２５０のみにストリーミング映像を送信するようにしてもよい。なお、サーバ３００は、スマートフォン２５０の液晶モニタ２５６に表示される一覧画面に含まれる映像として、リアルタイムなストリーミング映像を送信するとしたが、これに限定されない。サーバ３００は、リアルタイムなストリーミング映像の代わりに、リアルタイムなストリーミング映像中から切り出した特定時刻の静止画像を用いても良い。
【００７３】
ユーザは、アクティブなカメラ画像の一覧画面を閲覧しながら、詳細の閲覧を希望するストリーミング映像を、スマートフォン２５０のタッチパネル２５７等の操作部を操作して選択する。このとき、ユーザは、詳細な閲覧を希望するストリーミング映像を複数個選択することができる。ユーザによるストリーミング映像の選択を受け付けると、スマートフォン２５０のコントローラ２５１は、通信部２５４を介して、サーバ３００のコントローラ３２０にユーザによる選択を示す情報（指定）を通知する（Ｓ５０９）。
【００７４】
サーバ３００のコントローラ３２０は、ステップＳ５０９における選択を示す情報の通知を受けて、必要があれば、デジタルカメラ１００Ａおよび１００Ｂから送られてくるストリーミング映像に対して、画像処理部３５０による画像処理を施す。そして、サーバ３００のコントローラ３２０は、スマートフォン２５０のユーザにより選択されたストリーミング映像（スルー画像又は動画像）の配信を受ける（Ｓ５１０）。これにより、ユーザは、選択したストリーミング映像のみの閲覧を楽しむことができる。
【００７５】
〔１−２−２．サーバの画像処理部による画像処理〕
図７を用いて、サーバ３００の画像処理部３５０による、ストリーミング映像に対する画像処理について説明する。以下では、スマートフォン２５０へ配信されるストリーミング映像に対する、画像処理部３５０による画像処理を説明する。
【００７６】
（画像処理例１）
図７（ａ）は、サーバ３００における画像処理動作のシーケンスを示す図である。図７（ａ）は、特に、ユーザが、デジタルカメラ１００Ａおよびデジタルカメラ１００Ｂからのストリーミング映像の配信を選択した場合の例を説明する。
【００７７】
サーバ３００のコントローラ３２０は、デジタルカメラ１００Ａおよび１００Ｂからストリーミング映像を受信すると、デジタルカメラ１００Ａから受信したストリーミング映像（以下、「ストリーミング映像Ａ」と称する）と、デジタルカメラ１００Ｂから受信したストリーミング映像（以下、「ストリーミング映像Ｂ」と称する）とのバッファリング（ＨＤＤ３４０に一時的に記録）を行なう（Ｓ５５０）。デジタルカメラ１００Ａおよびデジタルカメラ１００Ｂは、ストリーミング映像を、通信部１７１を介して送信するとき、所定の圧縮符号化方式に基づいて圧縮符号化したスルー画像（又はより高画質な動画像）をサーバ３００に送信している。すなわち、バッファリングされているストリーミング映像Ａおよびストリーミング映像Ｂは、所定の圧縮符号化方式に基づいて圧縮符号化された情報である。そのため、画像処理部３５０は、ストリーミング映像Ａおよびストリーミング映像Ｂに対して所定の圧縮符号化方式に対応する復号処理を施して、画像として展開された形式の情報に変換する（Ｓ５５１）。
【００７８】
続いて、画像処理部３５０は、復号されたストリーミング映像Ａおよびストリーミング映像Ｂに対して、スマートフォン２５０の液晶モニタ２５６の同一画面内にて閲覧可能なようにリサイズ処理を施す（Ｓ５５２）。例えば、ストリーミング映像Ａのサイズ（画素数構成）がＱＶＧＡで、ストリーミング映像Ｂのサイズ（画素数構成）もＱＶＧＡであるとき、ストリーミング映像Ａとストリーミング映像Ｂが示す画像を同一画面内にＱＶＧＡで出力できるサイズにリサイズ処理を施す。ここでは、一例として、ストリーミング映像Ａおよびストリーミング映像Ｂそれぞれに対して、サイズを５０％縮小させるリサイズ処理を施す。
【００７９】
続いて、画像処理部３５０は、リサイズ処理が施されたストリーミング映像Ａおよびストリーミング映像Ｂについて、ＱＶＧＡサイズ（画素数構成）にて、それぞれのストリーミング映像が示す画像が同一画面内に含まれるよう、両ストリーミング映像に対して合成処理を施す（Ｓ５５３）。以下、合成処理（Ｓ５５３）により、ストリーミング映像Ａとストリーミング映像Ｂが同一画面に配置された映像を「合成ストリーミング映像」と称する。合成ストリーミング映像は例えば図６（ａ）、（ｂ）、（ｄ）に示すような画面を含む映像である。
【００８０】
続いて、画像処理部３５０は、ＱＶＧＡサイズの合成ストリーミング映像に対して、所定の圧縮符号化方式に従って圧縮符号化処理を施す（Ｓ５５４）。圧縮符号化処理が施された合成ストリーミング映像は、順次バッファリング（ワークメモリ３３０に一時的に記録）される（Ｓ５５５）。そして、バッファリングされた合成ストリーミング映像が順次読み出され、通信部３１０を介して、スマートフォン２５０にストリーミング配信される。
【００８１】
上記の例では、画像処理部３５０がリサイズ処理を施すサイズ（画素数構成）をＱＶＧＡとしたが、これに限定されない。ストリーミング映像を受信して表示するスマートフォン２５０にとって好適なサイズであれば、他のサイズ（画素数構成）であってもよい。
【００８２】
（画像処理例２）
図７（ｂ）は、１つのデジタルカメラ１００からのストリーミング映像のみを、スマートフォン２５０に配信する場合のシーケンスを示す。図７（ｂ）では、デジタルカメラ１００から受信したときのストリーミング映像の圧縮符号化方式と、スマートフォン２５０により復号可能な圧縮符号化方式とが異なる場合の処理例を示している。この場合、リサイズ処理および合成処理は不要となる。画像処理部３５０は、順次バッファリングされるストリーミング映像に対して、復号処理を施していき（Ｓ５５１）、続いて、スマートフォン２５０により復号可能な符号化方式により符号処理（Ｓ５５４）を施す。
【００８３】
（画像処理例３）
図７（ｃ）は、１つのデジタルカメラ１００からのストリーミング映像のみをスマートフォン２５０に配信する場合のシーケンスを説明する。図７（ｃ）では、デジタルカメラ１００から受信したときのストリーミング映像の圧縮符号化方式と、スマートフォン２５０により復号可能な圧縮符号化方式とが同じである場合の処理例を示している。この場合、リサイズ処理、復号処理および符号処理は必要がないため、画像処理部３５０は、デジタルカメラ１００から受信したストリーミング映像を順次バッファリング処理（Ｓ５５０）しながら、通信部３１０を介して順次スマートフォン２５０へ配信していく。
【００８４】
以上のように、本実施の形態にかかるサーバ３００の画像処理部３５０は、デジタルカメラから受信するストリーミング映像の本数、サイズ（画素数構成）、圧縮符号化方式等の、ストリーミング映像の条件に応じて動的に画像処理の内容を決定し、その処理を実行する。これにより、サーバ３００は、スマートフォン２５０に対して、ストリーミング映像の配信状態やスマートフォン２５０の状況に応じた適切なストリーミング映像を配信することができる。
【００８５】
〔１−２−３．デジタルカメラから提供されるストリーミング映像の切断動作〕
サーバ３００に対する映像送信を切断する場合について図８を用いて説明する。以下では、デジタルカメラ１００Ａおよび１００Ｂがサーバ３００へリアルタイムなストリーミング映像を送信していた場合に、デジタルカメラ１００Ａがサーバ３００に対する映像送信を切断する場合を説明する。図８は、デジタルカメラ１００とスマートフォン２５０とサーバ３００の切断動作に関するシーケンス図である。
【００８６】
デジタルカメラ１００Ａのコントローラ１３０は、ストリーミング映像の送信中に操作部１５０でユーザの操作を受け付けると、デジタルカメラ１００Ａからサーバ３００へのストリーミング映像Ａの送信の切断を決定する。このときの、ユーザの操作は、送信停止操作であってもよいし、デジタルカメラ１００Ａの電源停止操作であってもよい。
【００８７】
デジタルカメラ１００Ａのコントローラ１３０は、サーバ３００に対するストリーミング映像Ａの送信の切断を決定すると、通信部１７１を介して、サーバ３００に対して切断要求を通知する（Ｓ６００）。これに対して、サーバ３００のコントローラ３２０は、通信部３１０を介して、デジタルカメラ１００Ａに対して切断許可を通知する（Ｓ６０１）。このとき、サーバ３００の画像処理部３５０は、デジタルカメラ１００Ａおよびデジタルカメラ１００Ｂの２台からストリーミング映像を受信しているときは、図７（ａ）に示すようにステップＳ５５１からステップＳ５５４の処理を順次行なっている。しかしながら、デジタルカメラ１００Ａからの切断要求に応答して、切断を許可すると、サーバ３００に対して送信されてくるのは、デジタルカメラ１００Ｂからのストリーミング映像Ｂのみとなる。そのため、画像処理部３５０は、ストリーミング映像Ａの受信が切断された後は、図７（ｂ）又は（ｃ）に示す処理を順次行なう。
【００８８】
そして、サーバ３００のコントローラ１３０は、通信部３１０を介して、スマートフォン２５０に対して、デジタルカメラ１００Ｂからのスルー画像のみ配信を行なう（Ｓ６０３）。
【００８９】
図８において、画面Ｄ７００は、ストリーム映像Ａおよびストリーム映像Ｂを合成した合成ストリーミング映像がスマートフォン２５０に配信され、液晶モニタ２５６で表示されたときの表示画面の例を示している。一方、図８に示す画面Ｄ７１０は、画面Ｄ７００の状態から、ストリーミング映像Ａの配信が切断され、ストリーミング映像Ｂのみが配信されているときの液晶モニタ２５６の表示画面の例を示している。
【００９０】
以上のように、本実施の形態１にかかるサーバ３００によれば、ストリーミング映像の提供元であるデジタルカメラ１００からのストリーミング映像の配信状態（又は切断状態）の変化に応じて、スマートフォン２５０の液晶モニタ２５６の表示状態が変更される。これにより、ユーザは、ストリーミング映像の提供状況を容易に把握することができる。
【００９１】
〔１−２−４．サーバを介したスマートフォンによるデジタルカメラの遠隔操作〕
図９を用いて、スマートフォン２５０による、サーバ３００を介したデジタルカメラ１００の遠隔操作について説明する。以下では、特に、スマートフォン２５０が、ストリーミング映像に対して行われたユーザ操作に基づき、デジタルカメラ１００Ａを遠隔操作する場合を説明する。図９は、スマートフォン２５０による、サーバ３００を介したデジタルカメラ１００の遠隔操作のシーケンスを示した図である。
【００９２】
スマートフォン２５０は、サーバ３００を介して、デジタルカメラ１００Ａ、１００Ｂからストリーミング映像Ａおよびストリーミング映像Ｂを受信している（図９の画面Ｄ７００参照）。以下、この状態で、スマートフォン２５０のタッチパネル２５７上での操作により、デジタルカメラ１００Ａのズーム操作を行う場合を説明する。
【００９３】
ユーザは、デジタルカメラ１００Ａから送信されるストリーミング映像の表示される領域を拡大するために、スマートフォン２５０のタッチパネル２５７にてピンチアウト操作を実行できる。ここで、ピンチアウト操作は、画像の拡大すなわち望遠側へのズーム操作に対応した操作である。このようなピンチアウト操作があると（Ｓ７００）、スマートフォン２５０のコントローラ２５１は、ピンチアウト操作が行われたこと及びピンチアウト操作が行われた画像領域（タッチパネル２５７上の位置）の情報をスマートフォン２５０の通信部２５４を介して、サーバ３００へピンチアウトコマンド通知として送信する（Ｓ７０１）。
【００９４】
サーバ３００のコントローラ３２０は、スマートフォン２５０から送信されたピンチアウトコマンド通知を、通信部３１０を介して受信すると、ピンチアウト操作が行われた画像領域の分析を行う（Ｓ７０２）。
【００９５】
分析の結果、デジタルカメラ１００Ａのストリーミング映像の領域にてピンチアウト操作（ズーム操作）が実施されたことを検出すると、サーバ３００のコントローラ３２０は、望遠側へのズーム要求通知を生成する。そして、サーバ３００のコントローラ３２０は、通信部３１０を介して、デジタルカメラ１００Ａに生成したズーム要求通知を送信する（Ｓ７０３）。
【００９６】
デジタルカメラ１００Ａのコントローラ１３０は、デジタルカメラ１００Ａの通信部１７１を介して、サーバ３００が送信した望遠側へのズーム要求通知を受信する。コントローラ１３０は、受信したズーム要求通知に基づいて、光学系１１０を制御して望遠側へのズーム動作を実施する（Ｓ７０４）。
【００９７】
そして、コントローラ１３０は、通信部１７１を介して、サーバ３００にズームされたスルー画像を送信する（Ｓ７０５）。このとき、コントローラ１３０は、実際のズーム動作に対してリアルタイムにスルー画像をサーバ３００に送信するのが好ましい。
【００９８】
サーバ３００のコントローラ３２０は、デジタルカメラ１００Ａから受信したズームされたスルー画像を、スマートフォン２５０に送信する（Ｓ７０６）。このとき、サーバ３００のコントローラ３２０は、デジタルカメラ１００からスルー画像を受信した後、遅滞なくスマートフォン２５０にスルー画像を転送することが好ましい。
【００９９】
これにより、スマートフォン２５０は、受信したストリーミング映像に対してユーザにより実施された操作に基づき、遠隔地にあるデジタルカメラ１００Ａを操作することができる。また、スマートフォン２５０のユーザは、遠隔操作の結果が反映されたスルー画像をリアルタイムに取得することができる。
【０１００】
〔１−３．まとめ〕
本実施の形態１にかかる通信システムは、少なくとも１つのデジタルカメラ１００（送信装置の一例）と、少なくとも１つのスマートフォン２５０（受信装置の一例）と、デジタルカメラ１００からスマートフォン２５０への送信を中継するサーバ３００（中継装置の一例）とから構成される通信システムである。サーバ３００は、通信部３１０を介して、少なくとも１つのデジタルカメラ１００から少なくとも１つのストリーミング映像を受信する。サーバ３００は、通信部３１０を介して、少なくとも１つのスマートフォン２５０の中の一つのスマートフォンから、ストリーミング映像の指定（画像の選択、画像の指定、操作情報等）を受信する。サーバ３００のコントローラ３２０は、複数のデジタルカメラ１００から複数のストリーミング映像を受信している場合、受信した指定に応じて動的に、受信した複数のストリーミング映像の中の少なくとも一つのストリーミング映像を、より少ないデータ量（より少ない占有帯域）のストリーミング映像に変換する。そして、サーバ３００は、通信部３１０を介して、変換されたストリーミング映像を一つのスマートフォン２５０に送信する。これにより、複数のストリーミング映像を同時に配信するような状況においても、通信負荷を少なくした通信システムを提供することができる。
【０１０１】
また、コントローラ３２０は、デジタルカメラ１００（送信機）からのストリーミング映像の送信状況（送信すべきストリーミング映像の数、画像サイズ、圧縮符号化方式等）に応じて、ストリーミング映像の変換処理の内容を動的に異ならせても良い。これにより、デジタルカメラ１００（送信機）からのストリーミング映像の送信状況に応じて適切に映像を送信できる。
【０１０２】
コントローラ３２０は、複数のストリーミング映像を１つの映像ストリーミングに含めるように変換処理を行ってもよい。
【０１０３】
また、スマートフォン２５０は、サーバ３００を介して、ストリーミング映像に対する処理に関してデジタルカメラ１００を遠隔操作してもよい。これにより、デジタルカメラから送信されるストリーミング映像に対して、スマートフォン２５０からの遠隔操作が可能となる。具体的には、サーバ３００は、一つのスマートフォン２５０から、そのスマートフォン２５０上での使用者の操作に関する情報を受信し、その情報の内容を解析し、解析した結果（例えば、操作された領域）に基づいて、デジタルカメラ１００から受信したストリーミング映像の状態を制御してもよい。または、サーバ３００は、一つのスマートフォン２５０から、そのスマートフォン２５０上での使用者の操作に関する情報を受信し、受信した操作に関する情報に基づくストリーミング映像の処理に関する指示をデジタルカメラ１００へ送信してもよい。
【０１０４】
〔他の実施形態〕
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【０１０５】
上記実施の形態１では、ストリーミング映像Ａとストリーミング映像Ｂとにリサイズ処理を行ない、同一画面に双方のストリーミング映像を配置した単一のストリーミング映像を合成した。複数のストリーミング映像を単一のストリーミング映像に変換する方法は、これに限定されない。例えば、サーバ３００の画像処理部３５０は、提供されるストリーミング映像の数に応じて、スマートフォン２５０に配信するストリーミング映像に対する符号化処理における圧縮率を変化させてもよい。より具体的には、画像処理部３５０は、提供されるストリーミング映像の数が多いときは、符号化処理における圧縮率が大きくなるようにし、提供されるストリーミング映像の数が少ないときは、圧縮率が小さくなるようにすればよい。すなわち、変換後のデータの通信に必要な帯域がより少なくなるように、複数のストリーミング映像を変換する方法であれば、他の方法であってもよい。
【０１０６】
なお、上記実施の形態において、スマートフォン２５０による遠隔操作として、ズーム操作を例に説明を行ったが、遠隔操作はこれに限らない。スマートフォン２５０による遠隔操作は、シャッタ操作やパンチルト操作による映像の切替操作であってもよい。
【０１０７】
例えば、スマートフォン２５０で複数のストリーミング映像が表示されているときに、ユーザによるタッチパネル２５７上のタッチ操作があった場合、タッチされた映像のみを選択して表示するようにしてもよい。具体的には、スマートフォン２５０で複数のストリーミング映像が表示されているときに、ユーザによるタッチ操作があった場合、スマートフォン２５０はその操作情報をサーバ３００に送信してもよい。すなわち、スマートフォン２５０は、タッチ操作されたタッチパネル２５７上のタッチ位置を示す情報をコマンド通知としてサーバ３００に送信してもよい。サーバ３００は、受信したコマンド通知に含まれる位置情報に基づき、ユーザが操作した領域を解析する。そして、サーバ３００は、ユーザが操作した領域に関連する映像が「選択」されたと解釈し、その選択された映像のみが表示されるようにスマートフォン２５０に送信するストリーミング映像を生成してもよい。
【０１０８】
上記実施の形態では、サーバ３００はピンチアウトコマンド通知（Ｓ７０１）をスマートフォン２５０から受信すると、ユーザの操作領域を解析し（Ｓ７０２）、ズーム要求通知をデジタルカメラに送信した（Ｓ７０３）。これに代えて、サーバ３００のコントローラ３２０は、ユーザの操作領域を解析し、デジタルカメラ１００にズーム要求通知を送らずに、その操作領域にある映像を電子的に拡大（電子ズーム）してもよい。サーバ３００は拡大した映像をスマートフォン２５０に送信する。このように、サーバ３００内で、デジタルカメラ１００の遠隔操作に対応した処理を行ってもよい。
【０１０９】
また、上記実施の形態において、デジタルカメラ１００Ａの操作に関してスマートフォン２５０が遠隔操作する場合の説明を行った。同様に、デジタルカメラ１００Ｂにおいても、スマートフォン２５０からの遠隔操作が可能である。
【０１１０】
さらに、上記実施の形態では、１台のスマートフォン２５０から遠隔操作を行う場合を説明した。しかし、複数台のスマートフォンから遠隔操作が行われてもよい。その場合、例えば、サーバ３００は、スマートフォン２５０からの通知コマンドの管理を実施する。サーバ３００は、１台のスマートフォンから通知コマンドを受信した場合、他のスマートフォンからの通知コマンドを受け付けないよう排他的に処理を行うようしてもよい。または、サーバ３００による排他的処理は行なわずに、デジタルカメラ１００Ａが複数コマンドを受信した順に順次処理するようにしてもよい。これにより、複数台のスマートフォンが接続された場合も、１台のスマートフォンが接続された場合と同様に、デジタルカメラに対するスマートフォンからの遠隔操作が可能となる。
【０１１１】
また、図７（ａ）、（ｂ）の処理では、一旦復号処理（Ｓ５５１）を行った後再度符号化処理（Ｓ５５４）を行ったが、復号処理を行わずに（すなわち元の形式のまま）ストリーミング映像を変換（transcode）してもよい。
【０１１２】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１１３】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１１４】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１５】
本開示は、機器間で映像データを通信する通信システム及び機器間の映像データの通信を仲介する中継装置に適用できる。
【図１】
2013132828.tif 000003
【図２】
2013132828.tif 000004
【図３】
2013132828.tif 000005
【図４】
2013132828.tif 000006
【図５】
2013132828.tif 000007
【図６】
2013132828.tif 000008
【図７】
2013132828.tif 000009
【図８】
2013132828.tif 000010
【図９】
2013132828.tif 000011
【手続補正書】
【提出日】平成25年11月22日(2013.11.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む通信システムであって、
前記中継装置は、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、
前記少なくとも１つの受信装置の中の一つの受信装置から、前記一つの受信装置の画面構成に関する情報と、前記一つの受信装置に送信すべきストリーミング映像の指定を受信する第２受信部と、
複数の送信装置から受信している複数のストリーミング映像のうちの前記指定された少なくとも１つのストリーミング映像を、前記画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換する変換部と、
前記変換されたストリーミング映像を前記一つの前記受信装置に送信する送信部と、を備える
通信システム。
【請求項２】
前記変換部は、前記ストリーミング映像の送信状況に応じて、ストリーミング映像の変換処理の内容を動的に異ならせる、
請求項１に記載の通信システム。
【請求項３】
前記変換部は、前記複数のストリーミング映像を１つの映像ストリーミングに含めるように変換処理を行う、請求項１または２に記載の通信システム。
【請求項４】
前記一つの受信装置は、前記中継装置を介して、ストリーミング映像に対する処理に関して前記送信装置を遠隔操作する、
請求項１から３のいずれかに記載の通信システム。
【請求項５】
前記中継装置は、前記一つの受信装置から、前記一つの受信装置上での使用者の操作に関する情報を受信し、その情報の内容を解析し、解析した結果に基づいて、前記送信装置から受信したストリーミング映像の状態を制御する、請求項４に記載の通信システム。
【請求項６】
前記中継装置は、前記一つの受信装置から、前記一つの受信装置上での使用者の操作に関する情報を受信し、前記受信した操作に関する情報に基づくストリーミング映像の処理に関する指示を前記送信装置へ送信する、請求項４に記載の通信システム。
【請求項７】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む通信システムにおける通信方法であって、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信するステップと、
前記少なくとも１つの受信装置の中の一つの受信装置から、前記一つの受信装置の画面構成に関する情報と、前記一つの受信装置に送信すべきストリーミング映像の指定を受信するステップと、
複数の送信装置から受信している複数のストリーミング映像のうちの前記指定された少なくとも１つのストリーミング映像を、前記画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換するステップと、
前記変換されたストリーミング映像を前記一つの受信装置に送信するステップと、
を有する通信方法。
【請求項８】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置であって、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、
前記少なくとも１つの受信装置の中の一つの受信装置から、前記一つの受信装置の画面構成に関する情報と、前記一つの受信装置に送信すべきストリーミング映像の指定を受信する第２受信部と、
複数の送信装置から受信している複数のストリーミング映像のうちの前記指定された少なくとも１つのストリーミング映像を、前記画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換する変換部と、
前記変換されたストリーミング映像を前記一の受信装置に送信する送信部と、
を備えた中継装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、機器間で映像データの通信を行う通信システム及び機器間の映像データの通信を中継する中継装置に関する。
【背景技術】
【０００２】
ネットワークを介して、映像データを利用者端末に配信するサービスが知られている。例えば、特許文献１は、複数の映像ソースのデータが合成された複合映像データから利用者端末の要求に応じたデータを抽出し、送信する映像配信システムを開示している。
【０００３】
特許文献１の映像配信システムによれば、マルチエンコーダ装置は、ユーザが希望する映像ソースである映像ソースと、他の映像ソースの映像データとを受信し、これらをＭＰＥＧ４形式に変換するとともに合成して複合映像データを生成する。そして、映像配信システムは、このデータを映像配信サーバに送信する。映像配信サーバは、受信した複合映像データからＩＤ番号をチェックすることにより映像ソースの映像データを抽出して、利用者端末に送信する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１１０５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、通信速度の向上や、表示端末の表示解像度の向上などに伴って、より高画質な映像ソースの配信が望まれている。
【０００６】
また、複数の映像ソースがサーバに収集され、サーバから配信されるシステムにおいて、映像ソースの数が増えると、通信データ量が増加する。特に、より高画質の映像データを送信する場合、データの増加量はより顕著に増加する。ネットワークの通信帯域が通信すべきデータ量に対して十分でない場合、スムーズな通信動作が行なえなくなる。
【０００７】
本開示は、状況に合わせて適切に映像が送信できるよう、動的に映像を処理することが可能な通信システムおよび通信装置を提供する。
【課題を解決するための手段】
【０００８】
本開示に係る通信システムは、少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む。中継装置は、少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、少なくとも１つの受信装置の中の一つの受信装置から、受信装置の画面構成に関する情報と、受信装置に送信すべきストリーミング映像の指定を受信する第２受信部と、複数の送信装置から受信している複数のストリーミング映像のうちの指定された少なくとも１つのストリーミング映像を、画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換する変換部と、変換されたストリーミング映像を一つの受信装置に送信する送信部と、を備える。
【０００９】
本開示に係る中継装置は、少なくとも１つの送信装置と、少なくとも１つの受信装置と、送信装置から受信装置へのデータの送信を中継する中継装置である。中継装置は、少なくとも１つの送信装置から少なくとも１つのストリーミング映像を受信する第１受信部と、少なくとも１つの受信装置の中の一つの受信装置から、受信装置の画面構成に関する情報と、受信装置に送信すべきストリーミング映像の指定を受信する第２受信部と、複数の送信装置から受信している複数のストリーミング映像のうちの指定された少なくとも１つのストリーミング映像を、画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換する変換部と、変換されたストリーミング映像を一の受信装置に送信する送信部と、を備える。
【発明の効果】
【００１０】
本開示によれば、状況に合わせて適切に映像が送信できるような、特に、複数のストリーミング映像を同時に配信するような状況において通信負荷を低減できる通信システムおよび中継装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】デジタルカメラ１００とスマートフォン２５０とサーバ３００の通信システム構成図
【図２】デジタルカメラ１００の電気的構成図
【図３】スマートフォン２５０の電気的構成図
【図４】サーバ３００の電気的構成図
【図５】デジタルカメラ１００とスマートフォン２５０とサーバ３００の接続動作に関するシーケンス図
【図６】サーバ３００からスマートフォン２５０に配信される画像のイメージ図
【図７】サーバ３００における画像処理動作のフローチャート
【図８】デジタルカメラ１００とスマートフォン２５０とサーバ３００の切断動作に関するシーケンス図
【図９】スマートフォン２５０による、サーバ３００を介したデジタルカメラ１００の遠隔操作のシーケンス図
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１４】
〔実施の形態１〕
本実施の形態１にかかる通信システムの構成および動作を説明する。
【００１５】
〔１−１．構成〕
以下図を用いて本開示に係る通信システムの構成を説明する。
【００１６】
〔１−１−１．通信システムの構成〕
図１は、本開示における通信システムの構成を示した図である。通信システムは、デジタルカメラ１００とスマートフォン２５０とサーバ３００とで構成される。
【００１７】
図１では、複数のデジタルカメラ１００Ａ、１００Ｂ、Ｃ、１００Ｄと、複数のスマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）が、ネットワーク４００を介して、サーバ３００に接続された構成を示している。
【００１８】
各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）は、サーバ３００に対して、現在撮影中のスルー画像（又はより高画質な動画像）をストリーミング送信することができる。すなわち、各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）は、サーバ３００に対して、リアルタイム映像を送信することができる。
【００１９】
一方、各スマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）は、各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）がサーバ３００に対して送信したスルー画像（又はより高画質な動画像）をストリーミング受信することができる。すなわち、各スマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）は、サーバ３００から、各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）がサーバ３００に対して送信したリアルタイム映像を受信することができる。
【００２０】
サーバ３００は、デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）から送信されてくるストリーミング映像を受信し、各デジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）が指定するスマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）へ、受信したストリーミング映像を送信する。このとき、サーバ３００は、単一のスマートフォン２５０に対して、複数のデジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）からの複数のストリーミング映像の送信要求を受けた場合は、該複数のストリーミング映像を、より少ないデータ量（より少ない占有帯域）のストリーミング映像に動的に変換する。
【００２１】
以上のように、本実施の形態１にかかる通信システムによれば、状況に合わせて適切に映像が送信できるよう、動的に映像を送信することができる。
【００２２】
本実施の形態１では、ストリーミング映像の送信装置として、デジタルカメラ１００を例示するが、送信機はこれに限定されない。すなわち、送信装置は、デジタルムービーカメラ、監視用カメラ、車載カメラ、カメラ付き情報端末（スマートフォン）のような、ストリーミング映像をサーバ３００に送信可能な装置であればよい。
【００２３】
また、本実施の形態１では、ストリーミング映像の受信装置として、スマートフォン２５０を例示するが、受信装置はこれに限定されない。すなわち、受信装置は、タブレット端末、テレビジョン受像機、表示モニタ付のデジタルカメラのような、ストリーミング映像をサーバ３００から受信し表示可能な装置であればよい。
【００２４】
また、本実施の形態１では、ストリーミング映像の中継装置として、サーバ３００を例示するが、中継装置はこれに限定されない。すなわち、中継装置は、少なくとも１つの受信装置から少なくとも１つのストリーミング映像を受信し、受信したストリーミング映像に対して所定の変換処理を行って受信装置に送信可能な装置であればよい。
【００２５】
以下、本実施の形態では、ストリーミング映像の送信装置の一例として、デジタルカメラを挙げ、ストリーミング映像の受信装置の一例としてスマートフォンを挙げ、中継装置の一例としてサーバを挙げて説明する。
【００２６】
〔１−１−２．デジタルカメラの構成〕
図２は、デジタルカメラ１００の電気的構成図である。デジタルカメラ１００は、光学系１１０を介して形成された被写体像をＣＣＤイメージセンサ１２０で撮像する。ＣＣＤイメージセンサ１２０は撮像した被写体像に基づく画像データを生成する。撮像により生成された画像データは、ＡＦＥ（アナログ・フロント・エンド）１２１や画像処理部１２２において各種処理が施される。生成された画像データはフラッシュメモリ１４２やメモリカード１４０に記録される。フラッシュメモリ１４２やメモリカード１４０に記録された画像データは、使用者による操作部１５０の操作を受け付けて液晶モニタ１２３上に表示される。
【００２７】
光学系１１０は、フォーカスレンズ１１１やズームレンズ１１２、絞り１１３、シャッタ１１４等により構成される。図示していないが、光学系１１０は、光学式手ぶれ補正レンズＯＩＳを含んでいてもよい。なお、光学系１１０を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
【００２８】
ＣＣＤイメージセンサ１２０は、光学系１１０を通して形成された被写体像を撮像して画像データを生成する。ＣＣＤイメージセンサ１２０は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。ＣＣＤイメージセンサ１２０の画像データ生成タイミングおよび電子シャッタ動作は、コントローラ１３０によって制御される。この画像データをスルー画像として逐一液晶モニタ１２３に表示することにより、使用者はリアルタイムに被写体の状況を液晶モニタ１２３で確認できる。
【００２９】
ＡＦＥ１２１では、ＣＣＤイメージセンサ１２０から読み出された画像データに対して相関二重サンプリングによる雑音抑圧、アナログゲインコントローラによるＩＳＯ感度値に基づくゲインの乗算、ＡＤコンバータによるＡＤ変換が施される。その後、ＡＦＥ１２１は画像データを画像処理部１２２に出力する。
【００３０】
画像処理部１２２は、ＡＦＥ１２１から出力された画像データに対して各種の処理を施す。各種処理としては、ＢＭ（ブロックメモリ）積算、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部１２２は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。またコントローラ１３０などとともに１つの半導体チップで構成してもよい。
【００３１】
液晶モニタ１２３は、デジタルカメラ１００の背面に備わる。液晶モニタ１２３は、画像処理部１２２にて処理された画像データに基づく画像を表示する。液晶モニタ１２３が表示する画像には、スルー画像や記録画像がある。
【００３２】
コントローラ１３０は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３０は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、画像処理部１２２などと共に1つの半導体チップで構成してもよい。
【００３３】
フラッシュメモリ１４２は、画像データ等を記録するための内部メモリとして機能する。また、フラッシュメモリ１４２は、オートフォーカス制御（ＡＦ制御）や、通信制御に関するプログラムの他、デジタルカメラ１００全体の動作を統括制御するためのプログラムを格納している。
【００３４】
バッファメモリ１２４は、画像処理部１２２やコントローラ１３０のワークメモリとして機能する記憶手段である。バッファメモリ１２４はＤＲＡＭ（Dynamic Random Access Memory）などで実現できる。
【００３５】
カードスロット１４１は、メモリカード１４０を着脱可能な接続手段である。カードスロット１４１は、メモリカード１４０を電気的及び機械的に接続可能である。また、カードスロット１４１は、メモリカード１４０を制御する機能を備えてもよい。
【００３６】
メモリカード１４０は、内部にフラッシュメモリ等の記録部を備えた外部メモリである。メモリカード１４０は、画像処理部１２２で処理される画像データなどのデータを記録可能である。
【００３７】
通信部１７１は、無線または有線の通信インターフェースであり、コントローラ１３０はこの通信部１７１を介して、インターネット網に接続することができる。例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、有線ＬＡＮ等により実現可能である。
【００３８】
操作部１５０は、デジタルカメラ１００の外装に備わっている操作釦や操作レバーの総称であり、使用者による操作を受け付ける。操作部１５０は使用者による操作を受け付けると、コントローラ１３０に種々の動作指示信号を通知する。
【００３９】
〔１−１−３．スマートフォンの構成〕
スマートフォン２５０の構成について図３を用いて説明する。図３は、スマートフォン２５０の電気的構成図である。
【００４０】
スマートフォン２５０は、コントローラ２５１、ワークメモリ２５２、フラッシュメモリ２５３、通信部２５４、液晶モニタ２５６、タッチパネル２５７等から構成されている。図示していないが、撮像部や画像処理部を備えていてもよい。
【００４１】
コントローラ２５１は、スマートフォン２５０上の処理を実行する処理部である。コントローラ２５１は、ワークメモリ２５２、フラッシュメモリ２５３、通信部２５４、液晶モニタ２５６、タッチパネル２５７に電気的に接続されている。コントローラ２５１は、タッチパネル２５７を用いての使用者の操作情報を受け付ける。コントローラ２５１は、フラッシュメモリ２５３に格納されているデータを読み出すことができる。また、スマートフォン２５０の各部に供給される電力等のシステムを全体的に制御している。また、図示していないが、コントローラ２５１は、電話機能や、インターネットを介してダウンロードした各種アプリケーションを実行する。
【００４２】
ワークメモリ２５２は、コントローラ２５１が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。
【００４３】
フラッシュメモリ２５３は、各種データを格納する大容量のディスクドライブである。上述したように、フラッシュメモリ２５３に格納された各種データは、適宜コントローラ２５１により読み出し可能である。なお、本実施の形態では、フラッシュメモリ２５３を備えたが、フラッシュメモリでなくハードディスクドライブ等を備えても良い。
【００４４】
液晶モニタ２５６は、コントローラ２５１から指示された画面を表示する表示デバイスである。
【００４５】
タッチパネル２５７は、使用者の操作情報を受け付ける入力デバイスである。なお、本実施の形態では、使用者の操作情報を受け付ける入力デバイスとしてタッチパネル２５７を備えたが、タッチパネルでなくハードキーを備えても良い。
【００４６】
通信部２５４は、コントローラ２５１から受け取った画像データを、インターネット網を介して、他の機器に送信することができる。通信部２５４は、例えば、有線ＬＡＮや、無線ＬＡＮにより実現することが可能である。
【００４７】
〔１−１−４．サーバの構成〕
サーバ３００の構成について、図４を用いて説明する。図４は、サーバ３００の電気的構成図である。
【００４８】
サーバ３００は、通信部３１０、コントローラ３２０、ワークメモリ３３０、ＨＤＤ（ハードディスクドライブ）３４０、画像処理部３５０等から構成されている。
【００４９】
通信部３１０は、インターネット網を介して、他の機器からの情報（画像情報、要求情報、応答情報など）を送受信することができる。通信部３１０は、例えば、有線ＬＡＮや、無線ＬＡＮにより実現することが可能である。
【００５０】
コントローラ３２０は、サーバ３００の処理を実行する処理部である。コントローラ３２０は、通信部３１０、ワークメモリ３３０、ＨＤＤ３４０、画像処理部３５０に電気的に接続されている。コントローラ３２０は、通信部３１０を介して取得した情報（画像情報や、要求情報など）を処理する。同様に、コントローラ３２０は、処理に基づいて、情報（画像情報や、応答情報など）を、通信部３１０を介して送信する。コントローラ３２０は、情報を処理するのにあたって、適宜ワークメモリ３３０、ＨＤＤ３４０、画像処理部３５０を使用する。また、コントローラ２１０は、ワークメモリ３３０、ＨＤＤ３４０に格納されているデータを読み出すことができる。また、コントローラ２１０は、サーバ３００の各部に供給される電力等のシステムを全体的に制御している。
【００５１】
ワークメモリ３３０は、コントローラ３２０が各種処理動作を実行するために必要な情報を一時的に格納したメモリである。
【００５２】
ＨＤＤ３４０は、各種データを格納する大容量のディスクドライブである。上述したように、ＨＤＤ３４０に格納された各種データは、適宜コントローラ３２０により読み出し可能である。なお、本実施の形態では、ＨＤＤ３４０を備えたが、他の記録媒体を備えても良い。
【００５３】
画像処理部３５０は、コントローラ３２０からの指示に基づいて、入力された画像情報に対して各種画像処理を行なう。各種画像処理には、複合処理、リサイズ処理、合成処理、符号処理が含まれる。画像処理部３５０による画像処理の詳細動作は後述する。
【００５４】
〔１−２．動作〕
〔１−２−１．デジタルカメラとスマートフォンとサーバの接続〕
デジタルカメラ１００とスマートフォン２５０とサーバ３００との接続動作に関して図５を用いて説明する。図５は、デジタルカメラ１００とスマートフォン２５０とサーバ３００の接続動作に関するシーケンス図である。
【００５５】
サーバ３００は、図１を用いて説明したように、複数のデジタルカメラ１００（Ａ、Ｂ、Ｃ、Ｄ、・・・）と、複数のスマートフォン２５０（Ａ、Ｂ、Ｃ、Ｄ、・・・）と接続可能である。しかし、以下では、説明の簡単のために、デジタルカメラ１００Ａおよびデジタルカメラ１００Ｂと，スマートフォン２５０とがインターネット４００を介してサーバ３００と接続されている場合を例に説明する。
【００５６】
まず、デジタルカメラ１００Ａの動作について説明する。デジタルカメラ１００Ａの電源がＯＮされると、デジタルカメラ１００Ａのコントローラ１３０は、デジタルカメラ１００Ａを構成する各部に電力を供給し、撮影および通信が可能な状態に制御する。
【００５７】
デジタルカメラ１００Ａが撮影および通信が可能な状態になると、ユーザは、デジタルカメラ１００Ａの操作部１５０を操作して、液晶モニタ１２３にメニュー画面を表示させることができる。そして、ユーザは、操作部１５０を操作することにより、メニュー画面上で通信開始指示を行なうための項目を選択することができる。ユーザにより、通信開始指示を行なうための項目が選択されると、コントローラ１３０は、デジタルカメラ１００Ａが接続可能なアクセスポイントの探索を行う。そして、コントローラ１３０は、探索により発見できたアクセスポイントに接続し、ＩＰアドレスを取得する。デジタルカメラ１００Ａは、ＩＰアドレスの取得を完了すると、アクセスポイントを介して、サーバ３００に接続要求を送信する（Ｓ５００）。
【００５８】
サーバ３００のコントローラ３２０は、通信部３１０を介して、デジタルカメラ１００Ａからの接続要求を受信すると、デジタルカメラ１００Ａを接続しても良いか否かを判断する。サーバ３００に対して、所定数以上のデジタルカメラが接続されていて、処理能力が低下しているとき等、デジタルカメラ１００Ａの接続による不都合がなければ、サーバ３００のコントローラ３２０は、通信部３１０を介して、デジタルカメラ１００Ａのコントローラ１３０に接続許可を通知する（Ｓ５０１）。デジタルカメラ１００Ａのコントローラ１３０は、接続許可を受けると、現在撮影中のスルー画像や、より高画質の記録用動画像を、通信部１７１を介して、サーバ３００（コントローラ３２０）に送信する（Ｓ５０２）。
【００５９】
次に、デジタルカメラ１００Ｂの動作について説明する。上述したデジタルカメラ１００Ａの場合と同様に、デジタルカメラ１００Ｂは、接続要求の送信（Ｓ５０３：Ｓ５００に対応）、接続許可の受信（Ｓ５０４：Ｓ５０１に対応）、スルー画像又はより高画質の記録用動画像の供給（Ｓ５０５：Ｓ５０２に対応）を行なう。
【００６０】
次に、スマートフォン２５０側の動作について説明する。スマートフォン２５０のコントローラ２５１は、電源がＯＮされると、スマートフォン２５０を構成する各部に電力を供給し、通信が可能な状態に制御する。
【００６１】
スマートフォン２５０が通信可能な状態になると、ユーザは、スマートフォン２５０のタッチパネル２５７を操作して、液晶モニタ２５６にメニュー画面を表示させることができる。そして、ユーザは、メニュー画面上で、タッチパネル２５７を操作することにより、通信開始指示を行なうための項目を選択することができる。ユーザにより、通信開始指示を行なうための項目が選択されると、コントローラ２５１は、アクセスポイントの探索を行う。コントローラ２５１は、探索により発見できたアクセスポイントに接続し、ＩＰアドレスを取得する。スマートフォン２５０は、ＩＰアドレスの取得を完了すると、アクセスポイントを介して、サーバ３００に接続要求を送信する（Ｓ５０６）。
【００６２】
サーバ３００のコントローラ３２０は、通信部３１０を介して、スマートフォン２５０からの接続要求を受信すると、スマートフォン２５０を接続しても良いか否かを判断する。サーバ３００に対して、不都合なことがなければ、サーバ３００のコントローラ３２０は、通信部３１０を介して、スマートフォン２５０のコントローラ２５１に接続許可を通知する（Ｓ５０７）。サーバ３００に対して不都合なこととは、例えば、サーバ３００に対して、所定数以上のスマートフォン２５０が接続されていて、処理能力が低下していることである。
【００６３】
その後、サーバ３００のコントローラ３２０は、スマートフォン２５０に対して、各デジタルカメラから送信された映像データに基づき現在アクティブなカメラ画像の一覧画面を生成し、その画像情報を送信する（Ｓ５０８）。
【００６４】
この一覧画面には、アクティブなカメラ画像（スルー画像や、動画像）を表示する表示枠が予め配置されている。一覧画面の具体例については後述する。サーバ３００のコントローラ３２０は、その表示枠に各デジタルカメラから送信されたアクティブなカメラ画像（スルー画像又はより高画質な動画像）を表示するようストリーミング映像を生成し、スマートフォン２５０に対してストリーミング送信する。すなわち、サーバ３００のコントローラ３２０は、各デジタルカメラ１００Ａ、１００Ｂから送信され、ＨＤＤ３４０に一時的に記録しておいたスルー画像（又はより高画質な動画像）を、所定のデータ量ずつ読み出し、読み出したスルー画像からストリーミング映像を生成し、スマートフォン２５０に送信（ストリーミング送信）する。これにより、スマートフォン２５０の液晶モニタ２５６には、デジタルカメラ１００Ａおよび１００Ｂから送信されてくるアクティブなカメラ画像（ストリーミング映像）が表示枠に表示された一覧画面が表示される。
【００６５】
図６（ａ）〜（ｄ）は、サーバ３００からスマートフォン２５０に配信される画像の一例を示した図である。すなわち、スマートフォン２５０の液晶モニタ２５６に表示されるアクティブなカメラ画像の一覧画面の例を示した図である。
【００６６】
図６（ａ）は、複数のカメラから取得したリアルタイムなストリーミング映像を、サーバ３００において、例えば縦３×横４のマトリクス状に配置した一覧画面の例を示した図である。すなわち、図６（ａ）は、１２台のデジタルカメラ１００から送信されたリアルタイムなストリーミング映像を表示した一覧画面を示している。このような表示により、スマートフォン２５０のユーザは、サーバ３００から取得したリアルタイムなストリーミング映像を一覧で確認することができる。
【００６７】
図６（ｂ）は、複数のカメラから取得したリアルタイムなストリーミング映像を、そのストリーミング映像を説明する文字情報とともに表示した一覧画面の例を示している。図６（ｂ）に示す例では、ストリーミング映像を説明する文字情報として、リアルタイム映像の撮影場所を示す文字情報を、ストリーミング映像と合わせて表示している。図６（ｂ）に示す例は、サーバ３００が、デジタルカメラ１００から、ストリーミング映像とともに、そのストリーミング映像を説明する情報を合わせて受信することにより実現可能である。図６（ｂ）のような画面により、ユーザは、サーバ３００から取得したリアルタイムなストリーミング映像についての情報を、簡単に確認することができる。なお、この例では、ストリーミング映像を説明する情報として、撮影場所を示す文字情報としたが、これに限らない。すなわち、文字情報ではなく、絵文字情報などでもよい。また、撮影場所ではなく、撮影条件や、撮影時間（海外での撮影の場合は現地時間）などであってもよい。
【００６８】
図６（ｃ）は、複数のカメラから取得したリアルタイムなストリーミング映像について、そのストリーミング映像が撮影されている場所を地図上に示した画面を示している。図６（ｃ）に示す例は、サーバ３００が、カメラ１００からストリーミング映像とともに、撮影場所に関する情報を合わせて受信することにより、実現可能である。これにより、ユーザは、サーバ３００から取得したリアルタイムなストリーミング映像の撮影場所を容易に確認することができる。
【００６９】
図６（ｄ）は、複数のカメラからサーバ３００経由で取得したリアルタイムなストリーミング映像について、そのストリーミング映像の撮影者に関する情報（氏名、顔写真など）とともに表示した一覧画面の例を示している。図６（ｄ）に示す例は、サーバ３００が、カメラ１００から、ストリーミング映像とともに、その映像の撮影者に関する情報を合わせて受信することにより実現可能である。なお、一人の撮影者が複数台のカメラを使ってリアルタイムで撮影した複数のストリーミング映像を送信している場合、その撮影者が撮影したストリーミング映像であることを示す表示枠において、複数のストリーミング映像が並べて表示される。これにより、ユーザは、サーバ３００から取得したリアルタイムなストリーミング映像の撮影者を容易に確認することができる。
【００７０】
図６（ａ）から（ｄ）に示した一覧画面の形式のうち、いずれの形式の画面をスマートフォン２５０に送信するかは、ユーザ操作に応じて決定してもよい。例えば、スマートフォン２５０のユーザが、タッチパネル２５７等の操作部を操作して、所望の一覧画面を選択できるようにしてもよい。この場合は、一覧画面の選択情報がスマートフォン２５０からサーバ３００に送信され、サーバ３００は選択情報に基づいて一覧画面を生成する。これにより、ユーザは、サーバ３００から取得したリアルタイムなストリーミング映像を好みの形式で閲覧することができる。
【００７１】
サーバ３００が、スマートフォン２５０に送信するストリーミング映像は、映像提供元であるデジタルカメラ１００Ａおよび１００Ｂが、スマートフォン２５０を指定したことにより送信されるようにしてもよい。この場合、デジタルカメラ１００Ａおよび１００Ｂはサーバ３００に指定情報を送信する。サーバ３００は、それぞれのデジタルカメラ１００Ａおよび１００Ｂから受信したストリーミング映像を、受信した指定情報が指定するスマートフォン２５０に対してのみ送信する。
【００７２】
または、映像提供元であるデジタルカメラ１００Ａおよび１００Ｂが、サーバ３００に送信するストリーミング映像の公開範囲を設定してもよい。この場合、デジタルカメラ１００Ａおよび１００Ｂはサーバ３００に公開範囲の情報を送信する。サーバ３００は、受信した情報が示す公開範囲に合致したスマートフォン２５０のみにストリーミング映像を送信するようにしてもよい。なお、サーバ３００は、スマートフォン２５０の液晶モニタ２５６に表示される一覧画面に含まれる映像として、リアルタイムなストリーミング映像を送信するとしたが、これに限定されない。サーバ３００は、リアルタイムなストリーミング映像の代わりに、リアルタイムなストリーミング映像中から切り出した特定時刻の静止画像を用いても良い。
【００７３】
ユーザは、アクティブなカメラ画像の一覧画面を閲覧しながら、詳細の閲覧を希望するストリーミング映像を、スマートフォン２５０のタッチパネル２５７等の操作部を操作して選択する。このとき、ユーザは、詳細な閲覧を希望するストリーミング映像を複数個選択することができる。ユーザによるストリーミング映像の選択を受け付けると、スマートフォン２５０のコントローラ２５１は、通信部２５４を介して、サーバ３００のコントローラ３２０にユーザによる選択を示す情報（指定）を通知する（Ｓ５０９）。
【００７４】
サーバ３００のコントローラ３２０は、ステップＳ５０９における選択を示す情報の通知を受けて、必要があれば、デジタルカメラ１００Ａおよび１００Ｂから送られてくるストリーミング映像に対して、画像処理部３５０による画像処理を施す。そして、サーバ３００のコントローラ３２０は、スマートフォン２５０のユーザにより選択されたストリーミング映像（スルー画像又は動画像）の配信を受ける（Ｓ５１０）。これにより、ユーザは、選択したストリーミング映像のみの閲覧を楽しむことができる。
【００７５】
〔１−２−２．サーバの画像処理部による画像処理〕
図７を用いて、サーバ３００の画像処理部３５０による、ストリーミング映像に対する画像処理について説明する。以下では、スマートフォン２５０へ配信されるストリーミング映像に対する、画像処理部３５０による画像処理を説明する。
【００７６】
（画像処理例１）
図７（ａ）は、サーバ３００における画像処理動作のシーケンスを示す図である。図７（ａ）は、特に、ユーザが、デジタルカメラ１００Ａおよびデジタルカメラ１００Ｂからのストリーミング映像の配信を選択した場合の例を説明する。
【００７７】
サーバ３００のコントローラ３２０は、デジタルカメラ１００Ａおよび１００Ｂからストリーミング映像を受信すると、デジタルカメラ１００Ａから受信したストリーミング映像（以下、「ストリーミング映像Ａ」と称する）と、デジタルカメラ１００Ｂから受信したストリーミング映像（以下、「ストリーミング映像Ｂ」と称する）とのバッファリング（ＨＤＤ３４０に一時的に記録）を行なう（Ｓ５５０）。デジタルカメラ１００Ａおよびデジタルカメラ１００Ｂは、ストリーミング映像を、通信部１７１を介して送信するとき、所定の圧縮符号化方式に基づいて圧縮符号化したスルー画像（又はより高画質な動画像）をサーバ３００に送信している。すなわち、バッファリングされているストリーミング映像Ａおよびストリーミング映像Ｂは、所定の圧縮符号化方式に基づいて圧縮符号化された情報である。そのため、画像処理部３５０は、ストリーミング映像Ａおよびストリーミング映像Ｂに対して所定の圧縮符号化方式に対応する復号処理を施して、画像として展開された形式の情報に変換する（Ｓ５５１）。
【００７８】
続いて、画像処理部３５０は、復号されたストリーミング映像Ａおよびストリーミング映像Ｂに対して、スマートフォン２５０の液晶モニタ２５６の同一画面内にて閲覧可能なようにリサイズ処理を施す（Ｓ５５２）。例えば、ストリーミング映像Ａのサイズ（画素数構成）がＱＶＧＡで、ストリーミング映像Ｂのサイズ（画素数構成）もＱＶＧＡであるとき、ストリーミング映像Ａとストリーミング映像Ｂが示す画像を同一画面内にＱＶＧＡで出力できるサイズにリサイズ処理を施す。ここでは、一例として、ストリーミング映像Ａおよびストリーミング映像Ｂそれぞれに対して、サイズを５０％縮小させるリサイズ処理を施す。
【００７９】
続いて、画像処理部３５０は、リサイズ処理が施されたストリーミング映像Ａおよびストリーミング映像Ｂについて、ＱＶＧＡサイズ（画素数構成）にて、それぞれのストリーミング映像が示す画像が同一画面内に含まれるよう、両ストリーミング映像に対して合成処理を施す（Ｓ５５３）。以下、合成処理（Ｓ５５３）により、ストリーミング映像Ａとストリーミング映像Ｂが同一画面に配置された映像を「合成ストリーミング映像」と称する。合成ストリーミング映像は例えば図６（ａ）、（ｂ）、（ｄ）に示すような画面を含む映像である。
【００８０】
続いて、画像処理部３５０は、ＱＶＧＡサイズの合成ストリーミング映像に対して、所定の圧縮符号化方式に従って圧縮符号化処理を施す（Ｓ５５４）。圧縮符号化処理が施された合成ストリーミング映像は、順次バッファリング（ワークメモリ３３０に一時的に記録）される（Ｓ５５５）。そして、バッファリングされた合成ストリーミング映像が順次読み出され、通信部３１０を介して、スマートフォン２５０にストリーミング配信される。
【００８１】
上記の例では、画像処理部３５０がリサイズ処理を施すサイズ（画素数構成）をＱＶＧＡとしたが、これに限定されない。ストリーミング映像を受信して表示するスマートフォン２５０にとって好適なサイズであれば、他のサイズ（画素数構成）であってもよい。
【００８２】
（画像処理例２）
図７（ｂ）は、１つのデジタルカメラ１００からのストリーミング映像のみを、スマートフォン２５０に配信する場合のシーケンスを示す。図７（ｂ）では、デジタルカメラ１００から受信したときのストリーミング映像の圧縮符号化方式と、スマートフォン２５０により復号可能な圧縮符号化方式とが異なる場合の処理例を示している。この場合、リサイズ処理および合成処理は不要となる。画像処理部３５０は、順次バッファリングされるストリーミング映像に対して、復号処理を施していき（Ｓ５５１）、続いて、スマートフォン２５０により復号可能な符号化方式により符号処理（Ｓ５５４）を施す。
【００８３】
（画像処理例３）
図７（ｃ）は、１つのデジタルカメラ１００からのストリーミング映像のみをスマートフォン２５０に配信する場合のシーケンスを説明する。図７（ｃ）では、デジタルカメラ１００から受信したときのストリーミング映像の圧縮符号化方式と、スマートフォン２５０により復号可能な圧縮符号化方式とが同じである場合の処理例を示している。この場合、リサイズ処理、復号処理および符号処理は必要がないため、画像処理部３５０は、デジタルカメラ１００から受信したストリーミング映像を順次バッファリング処理（Ｓ５５０）しながら、通信部３１０を介して順次スマートフォン２５０へ配信していく。
【００８４】
以上のように、本実施の形態にかかるサーバ３００の画像処理部３５０は、デジタルカメラから受信するストリーミング映像の本数、サイズ（画素数構成）、圧縮符号化方式等の、ストリーミング映像の条件に応じて動的に画像処理の内容を決定し、その処理を実行する。これにより、サーバ３００は、スマートフォン２５０に対して、ストリーミング映像の配信状態やスマートフォン２５０の状況に応じた適切なストリーミング映像を配信することができる。
【００８５】
〔１−２−３．デジタルカメラから提供されるストリーミング映像の切断動作〕
サーバ３００に対する映像送信を切断する場合について図８を用いて説明する。以下では、デジタルカメラ１００Ａおよび１００Ｂがサーバ３００へリアルタイムなストリーミング映像を送信していた場合に、デジタルカメラ１００Ａがサーバ３００に対する映像送信を切断する場合を説明する。図８は、デジタルカメラ１００とスマートフォン２５０とサーバ３００の切断動作に関するシーケンス図である。
【００８６】
デジタルカメラ１００Ａのコントローラ１３０は、ストリーミング映像の送信中に操作部１５０でユーザの操作を受け付けると、デジタルカメラ１００Ａからサーバ３００へのストリーミング映像Ａの送信の切断を決定する。このときの、ユーザの操作は、送信停止操作であってもよいし、デジタルカメラ１００Ａの電源停止操作であってもよい。
【００８７】
デジタルカメラ１００Ａのコントローラ１３０は、サーバ３００に対するストリーミング映像Ａの送信の切断を決定すると、通信部１７１を介して、サーバ３００に対して切断要求を通知する（Ｓ６００）。これに対して、サーバ３００のコントローラ３２０は、通信部３１０を介して、デジタルカメラ１００Ａに対して切断許可を通知する（Ｓ６０１）。このとき、サーバ３００の画像処理部３５０は、デジタルカメラ１００Ａおよびデジタルカメラ１００Ｂの２台からストリーミング映像を受信しているときは、図７（ａ）に示すようにステップＳ５５１からステップＳ５５４の処理を順次行なっている。しかしながら、デジタルカメラ１００Ａからの切断要求に応答して、切断を許可すると、サーバ３００に対して送信されてくるのは、デジタルカメラ１００Ｂからのストリーミング映像Ｂのみとなる。そのため、画像処理部３５０は、ストリーミング映像Ａの受信が切断された後は、図７（ｂ）又は（ｃ）に示す処理を順次行なう。
【００８８】
そして、サーバ３００のコントローラ１３０は、通信部３１０を介して、スマートフォン２５０に対して、デジタルカメラ１００Ｂからのスルー画像のみ配信を行なう（Ｓ６０３）。
【００８９】
図８において、画面Ｄ７００は、ストリーム映像Ａおよびストリーム映像Ｂを合成した合成ストリーミング映像がスマートフォン２５０に配信され、液晶モニタ２５６で表示されたときの表示画面の例を示している。一方、図８に示す画面Ｄ７１０は、画面Ｄ７００の状態から、ストリーミング映像Ａの配信が切断され、ストリーミング映像Ｂのみが配信されているときの液晶モニタ２５６の表示画面の例を示している。
【００９０】
以上のように、本実施の形態１にかかるサーバ３００によれば、ストリーミング映像の提供元であるデジタルカメラ１００からのストリーミング映像の配信状態（又は切断状態）の変化に応じて、スマートフォン２５０の液晶モニタ２５６の表示状態が変更される。これにより、ユーザは、ストリーミング映像の提供状況を容易に把握することができる。
【００９１】
〔１−２−４．サーバを介したスマートフォンによるデジタルカメラの遠隔操作〕
図９を用いて、スマートフォン２５０による、サーバ３００を介したデジタルカメラ１００の遠隔操作について説明する。以下では、特に、スマートフォン２５０が、ストリーミング映像に対して行われたユーザ操作に基づき、デジタルカメラ１００Ａを遠隔操作する場合を説明する。図９は、スマートフォン２５０による、サーバ３００を介したデジタルカメラ１００の遠隔操作のシーケンスを示した図である。
【００９２】
スマートフォン２５０は、サーバ３００を介して、デジタルカメラ１００Ａ、１００Ｂからストリーミング映像Ａおよびストリーミング映像Ｂを受信している（図９の画面Ｄ７００参照）。以下、この状態で、スマートフォン２５０のタッチパネル２５７上での操作により、デジタルカメラ１００Ａのズーム操作を行う場合を説明する。
【００９３】
ユーザは、デジタルカメラ１００Ａから送信されるストリーミング映像の表示される領域を拡大するために、スマートフォン２５０のタッチパネル２５７にてピンチアウト操作を実行できる。ここで、ピンチアウト操作は、画像の拡大すなわち望遠側へのズーム操作に対応した操作である。このようなピンチアウト操作があると（Ｓ７００）、スマートフォン２５０のコントローラ２５１は、ピンチアウト操作が行われたこと及びピンチアウト操作が行われた画像領域（タッチパネル２５７上の位置）の情報をスマートフォン２５０の通信部２５４を介して、サーバ３００へピンチアウトコマンド通知として送信する（Ｓ７０１）。
【００９４】
サーバ３００のコントローラ３２０は、スマートフォン２５０から送信されたピンチアウトコマンド通知を、通信部３１０を介して受信すると、ピンチアウト操作が行われた画像領域の分析を行う（Ｓ７０２）。
【００９５】
分析の結果、デジタルカメラ１００Ａのストリーミング映像の領域にてピンチアウト操作（ズーム操作）が実施されたことを検出すると、サーバ３００のコントローラ３２０は、望遠側へのズーム要求通知を生成する。そして、サーバ３００のコントローラ３２０は、通信部３１０を介して、デジタルカメラ１００Ａに生成したズーム要求通知を送信する（Ｓ７０３）。
【００９６】
デジタルカメラ１００Ａのコントローラ１３０は、デジタルカメラ１００Ａの通信部１７１を介して、サーバ３００が送信した望遠側へのズーム要求通知を受信する。コントローラ１３０は、受信したズーム要求通知に基づいて、光学系１１０を制御して望遠側へのズーム動作を実施する（Ｓ７０４）。
【００９７】
そして、コントローラ１３０は、通信部１７１を介して、サーバ３００にズームされたスルー画像を送信する（Ｓ７０５）。このとき、コントローラ１３０は、実際のズーム動作に対してリアルタイムにスルー画像をサーバ３００に送信するのが好ましい。
【００９８】
サーバ３００のコントローラ３２０は、デジタルカメラ１００Ａから受信したズームされたスルー画像を、スマートフォン２５０に送信する（Ｓ７０６）。このとき、サーバ３００のコントローラ３２０は、デジタルカメラ１００からスルー画像を受信した後、遅滞なくスマートフォン２５０にスルー画像を転送することが好ましい。
【００９９】
これにより、スマートフォン２５０は、受信したストリーミング映像に対してユーザにより実施された操作に基づき、遠隔地にあるデジタルカメラ１００Ａを操作することができる。また、スマートフォン２５０のユーザは、遠隔操作の結果が反映されたスルー画像をリアルタイムに取得することができる。
【０１００】
〔１−３．まとめ〕
本実施の形態１にかかる通信システムは、少なくとも１つのデジタルカメラ１００（送信装置の一例）と、少なくとも１つのスマートフォン２５０（受信装置の一例）と、デジタルカメラ１００からスマートフォン２５０への送信を中継するサーバ３００（中継装置の一例）とから構成される通信システムである。サーバ３００は、通信部３１０を介して、少なくとも１つのデジタルカメラ１００から少なくとも１つのストリーミング映像を受信する。サーバ３００は、通信部３１０を介して、少なくとも１つのスマートフォン２５０の中の一つのスマートフォンから、ストリーミング映像の指定（画像の選択、画像の指定、操作情報等）を受信する。サーバ３００のコントローラ３２０は、複数のデジタルカメラ１００から複数のストリーミング映像を受信している場合、受信した指定に応じて動的に、受信した複数のストリーミング映像の中の少なくとも一つのストリーミング映像を、より少ないデータ量（より少ない占有帯域）のストリーミング映像に変換する。そして、サーバ３００は、通信部３１０を介して、変換されたストリーミング映像を一つのスマートフォン２５０に送信する。これにより、複数のストリーミング映像を同時に配信するような状況においても、通信負荷を少なくした通信システムを提供することができる。
【０１０１】
また、コントローラ３２０は、デジタルカメラ１００（送信機）からのストリーミング映像の送信状況（送信すべきストリーミング映像の数、画像サイズ、圧縮符号化方式等）に応じて、ストリーミング映像の変換処理の内容を動的に異ならせても良い。これにより、デジタルカメラ１００（送信機）からのストリーミング映像の送信状況に応じて適切に映像を送信できる。
【０１０２】
コントローラ３２０は、複数のストリーミング映像を１つの映像ストリーミングに含めるように変換処理を行ってもよい。
【０１０３】
また、スマートフォン２５０は、サーバ３００を介して、ストリーミング映像に対する処理に関してデジタルカメラ１００を遠隔操作してもよい。これにより、デジタルカメラから送信されるストリーミング映像に対して、スマートフォン２５０からの遠隔操作が可能となる。具体的には、サーバ３００は、一つのスマートフォン２５０から、そのスマートフォン２５０上での使用者の操作に関する情報を受信し、その情報の内容を解析し、解析した結果（例えば、操作された領域）に基づいて、デジタルカメラ１００から受信したストリーミング映像の状態を制御してもよい。または、サーバ３００は、一つのスマートフォン２５０から、そのスマートフォン２５０上での使用者の操作に関する情報を受信し、受信した操作に関する情報に基づくストリーミング映像の処理に関する指示をデジタルカメラ１００へ送信してもよい。
【０１０４】
〔他の実施形態〕
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【０１０５】
上記実施の形態１では、ストリーミング映像Ａとストリーミング映像Ｂとにリサイズ処理を行ない、同一画面に双方のストリーミング映像を配置した単一のストリーミング映像を合成した。複数のストリーミング映像を単一のストリーミング映像に変換する方法は、これに限定されない。例えば、サーバ３００の画像処理部３５０は、提供されるストリーミング映像の数に応じて、スマートフォン２５０に配信するストリーミング映像に対する符号化処理における圧縮率を変化させてもよい。より具体的には、画像処理部３５０は、提供されるストリーミング映像の数が多いときは、符号化処理における圧縮率が大きくなるようにし、提供されるストリーミング映像の数が少ないときは、圧縮率が小さくなるようにすればよい。すなわち、変換後のデータの通信に必要な帯域がより少なくなるように、複数のストリーミング映像を変換する方法であれば、他の方法であってもよい。
【０１０６】
なお、上記実施の形態において、スマートフォン２５０による遠隔操作として、ズーム操作を例に説明を行ったが、遠隔操作はこれに限らない。スマートフォン２５０による遠隔操作は、シャッタ操作やパンチルト操作による映像の切替操作であってもよい。
【０１０７】
例えば、スマートフォン２５０で複数のストリーミング映像が表示されているときに、ユーザによるタッチパネル２５７上のタッチ操作があった場合、タッチされた映像のみを選択して表示するようにしてもよい。具体的には、スマートフォン２５０で複数のストリーミング映像が表示されているときに、ユーザによるタッチ操作があった場合、スマートフォン２５０はその操作情報をサーバ３００に送信してもよい。すなわち、スマートフォン２５０は、タッチ操作されたタッチパネル２５７上のタッチ位置を示す情報をコマンド通知としてサーバ３００に送信してもよい。サーバ３００は、受信したコマンド通知に含まれる位置情報に基づき、ユーザが操作した領域を解析する。そして、サーバ３００は、ユーザが操作した領域に関連する映像が「選択」されたと解釈し、その選択された映像のみが表示されるようにスマートフォン２５０に送信するストリーミング映像を生成してもよい。
【０１０８】
上記実施の形態では、サーバ３００はピンチアウトコマンド通知（Ｓ７０１）をスマートフォン２５０から受信すると、ユーザの操作領域を解析し（Ｓ７０２）、ズーム要求通知をデジタルカメラに送信した（Ｓ７０３）。これに代えて、サーバ３００のコントローラ３２０は、ユーザの操作領域を解析し、デジタルカメラ１００にズーム要求通知を送らずに、その操作領域にある映像を電子的に拡大（電子ズーム）してもよい。サーバ３００は拡大した映像をスマートフォン２５０に送信する。このように、サーバ３００内で、デジタルカメラ１００の遠隔操作に対応した処理を行ってもよい。
【０１０９】
また、上記実施の形態において、デジタルカメラ１００Ａの操作に関してスマートフォン２５０が遠隔操作する場合の説明を行った。同様に、デジタルカメラ１００Ｂにおいても、スマートフォン２５０からの遠隔操作が可能である。
【０１１０】
さらに、上記実施の形態では、１台のスマートフォン２５０から遠隔操作を行う場合を説明した。しかし、複数台のスマートフォンから遠隔操作が行われてもよい。その場合、例えば、サーバ３００は、スマートフォン２５０からの通知コマンドの管理を実施する。サーバ３００は、１台のスマートフォンから通知コマンドを受信した場合、他のスマートフォンからの通知コマンドを受け付けないよう排他的に処理を行うようしてもよい。または、サーバ３００による排他的処理は行なわずに、デジタルカメラ１００Ａが複数コマンドを受信した順に順次処理するようにしてもよい。これにより、複数台のスマートフォンが接続された場合も、１台のスマートフォンが接続された場合と同様に、デジタルカメラに対するスマートフォンからの遠隔操作が可能となる。
【０１１１】
また、図７（ａ）、（ｂ）の処理では、一旦復号処理（Ｓ５５１）を行った後再度符号化処理（Ｓ５５４）を行ったが、復号処理を行わずに（すなわち元の形式のまま）ストリーミング映像を変換（transcode）してもよい。
【０１１２】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１１３】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１１４】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１５】
本開示は、機器間で映像データを通信する通信システム及び機器間の映像データの通信を仲介する中継装置に適用できる。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2013132828.tif 000012
【図２】
2013132828.tif 000013
【図３】
2013132828.tif 000014
【図４】
2013132828.tif 000015
【図５】
2013132828.tif 000016
【図６】
2013132828.tif 000017
【図７】
2013132828.tif 000018
【図８】
2013132828.tif 000019
【図９】
2013132828.tif 000020
【手続補正書】
【提出日】平成26年8月6日(2014.8.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む通信システムであって、
前記中継装置は、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、
前記少なくとも１つの受信装置の中の一つの受信装置から、前記一つの受信装置に送信すべきストリーミング映像の指定を受信する第２受信部と、
複数の送信装置から受信している複数のストリーミング映像のうちの前記指定された少なくとも１つのストリーミング映像を、前記受信装置の画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換する変換部と、
前記変換されたストリーミング映像を前記一つの前記受信装置に送信する送信部と、を備える
通信システム。
【請求項２】
前記変換部は、前記ストリーミング映像の送信状況に応じて、ストリーミング映像の変換処理の内容を動的に異ならせる、
請求項１に記載の通信システム。
【請求項３】
前記変換部は、前記複数のストリーミング映像を１つの映像ストリーミングに含めるように変換処理を行う、請求項１または２に記載の通信システム。
【請求項４】
前記一つの受信装置は、前記中継装置を介して、ストリーミング映像に対する処理に関して前記送信装置を遠隔操作する、
請求項１から３のいずれかに記載の通信システム。
【請求項５】
前記中継装置は、前記一つの受信装置から、前記一つの受信装置上での使用者の操作に関する情報を受信し、その情報の内容を解析し、解析した結果に基づいて、前記送信装置から受信したストリーミング映像の状態を制御する、請求項４に記載の通信システム。
【請求項６】
前記中継装置は、前記一つの受信装置から、前記一つの受信装置上での使用者の操作に関する情報を受信し、前記受信した操作に関する情報に基づくストリーミング映像の処理に関する指示を前記送信装置へ送信する、請求項４に記載の通信システム。
【請求項７】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む通信システムにおける通信方法であって、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信するステップと、
前記少なくとも１つの受信装置の中の一つの受信装置から、前記一つの受信装置に送信すべきストリーミング映像の指定を受信するステップと、
複数の送信装置から受信している複数のストリーミング映像のうちの前記指定された少なくとも１つのストリーミング映像を、前記受信装置の画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換するステップと、
前記変換されたストリーミング映像を前記一つの受信装置に送信するステップと、
を有する通信方法。
【請求項８】
少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置であって、
前記少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、
前記少なくとも１つの受信装置の中の一つの受信装置から、前記一つの受信装置に送信すべきストリーミング映像の指定を受信する第２受信部と、
複数の送信装置から受信している複数のストリーミング映像のうちの前記指定された少なくとも１つのストリーミング映像を、前記受信装置の画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換する変換部と、
前記変換されたストリーミング映像を前記一の受信装置に送信する送信部と、
を備えた中継装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本開示に係る通信システムは、少なくとも１つの送信装置と、少なくとも１つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む。中継装置は、少なくとも１つの送信装置から、少なくとも１つのストリーミング映像を受信する第１受信部と、少なくとも１つの受信装置の中の一つの受信装置から、受信装置に送信すべきストリーミング映像の指定を受信する第２受信部と、複数の送信装置から受信している複数のストリーミング映像のうちの指定された少なくとも１つのストリーミング映像を、受信装置の画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換する変換部と、変換されたストリーミング映像を一つの受信装置に送信する送信部と、を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本開示に係る中継装置は、少なくとも１つの送信装置と、少なくとも１つの受信装置と、送信装置から受信装置へのデータの送信を中継する中継装置である。中継装置は、少なくとも１つの送信装置から少なくとも１つのストリーミング映像を受信する第１受信部と、少なくとも１つの受信装置の中の一つの受信装置から、受信装置に送信すべきストリーミング映像の指定を受信する第２受信部と、複数の送信装置から受信している複数のストリーミング映像のうちの指定された少なくとも１つのストリーミング映像を、受信装置の画面構成に収まるように、より少ないデータ量のストリーミング映像に動的に変換する変換部と、変換されたストリーミング映像を一の受信装置に送信する送信部と、を備える。
【国際調査報告】
2013132828.tif 000021
2013132828.tif 000022