(57)【要約】【課題】  他の装置に送信する映像のモードのシームレスなスイッチを提供する。【解決手段】  撮像部205は、被写体を撮像した撮影画像を出力する。表示部210は、少なくとも撮影画像を表示する。キャプチャ部211は、表示部210に表示される画像をキャプチャしたキャプチャ画像を生成する。CODEC214は、画像の号化、および、符号化された画像の復号を行う。メモリ制御部215は、符号化された撮影画像の記憶部207への書き込み、および、記憶部207に格納された記録画像の読み出しを制御する。通信制御部216は、ネットワークを介して他の装置と通信する。モード制御部218は、制御イベントに基づき、撮像部205、キャプチャ部211、CODEC214、メモリ制御部215、通信制御部216を制御して、他の装置に送信する映像のモードを切り換える。【選択図】  図2
2015041822.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した撮影画像を出力する撮像手段と、
少なくとも前記撮影画像を表示する表示手段と、
前記表示手段に表示される画像をキャプチャしたキャプチャ画像を生成するキャプチャ手段と、
画像の符号化、および、符号化された画像の復号を行う符号化復号手段と、
前記符号化された撮影画像のメモリへの書き込み、および、前記メモリに格納された記録画像の読み出しを制御するメモリ制御手段と、
ネットワークを介して他の装置と通信する通信手段と、
制御イベントに基づき、前記撮像手段、前記キャプチャ手段、前記符号化復号手段、前記メモリ制御手段、前記通信手段を制御して、前記他の装置に送信する映像のモードを切り換えるモード制御手段とを有する画像通信装置。
【請求項２】
前記モードには、前記キャプチャ画像を前記他の装置に送信するミラーリングモード、および、前記撮影画像を前記他の装置に送信するライブストリーミングモードがあり、
前記モード制御手段は、前記ミラーリングモード中に録画を示す制御イベントを検出すると、前記キャプチャ画像の生成、符号化、送信を停止し、前記撮影画像の出力、符号化、送信、書き込みを開始して、前記モードを前記ミラーリングモードから前記ライブストリーミングモードに切り換え、
前記モード制御手段は、前記ライブストリーミングモード中に前記録画の停止を示す制御イベントを検出すると、前記撮影画像の出力、符号化、送信、書き込みを停止し、前記キャプチャ画像の生成、符号化、送信を開始して、前記モードを前記ライブストリーミングモードから前記ミラーリングモードに切り換える請求項1に記載された画像通信装置。
【請求項３】
前記モードには、前記キャプチャ画像を前記他の装置に送信するミラーリングモード、および、前記記録画像を前記他の装置に送信するストリーミングモードがあり、
前記モード制御手段は、前記ミラーリングモード中に前記記録画像の再生を示す制御イベントを検出すると、前記キャプチャ画像の生成、符号化、送信を停止し、前記記録画像の読み出し、復号、送信を開始して、前記モードを前記ミラーリングモードから前記ストリーミングモードに切り換え、
前記モード制御手段は、前記ストリーミングモード中に前記再生の停止または前記再生の終了を示す制御イベントを検出すると、前記記録画像の読み出し、復号、送信を停止し、前記キャプチャ画像の生成、符号化、送信を開始して、前記モードを前記ストリーミングモードから前記ミラーリングモードに切り換える請求項1に記載された画像通信装置。
【請求項４】
前記モード制御手段は、前記ストリーミングモード中に前記再生の一時停止を示す制御イベントを検出した場合は前記モードの切り換えを行わない請求項3に記載された画像通信装置。
【請求項５】
さらに、前記画像通信装置の処理負荷を計測する計測手段を有し、
前記モード制御手段は、前記計測された処理負荷が所定の閾値以下の場合、前記ミラーリングモード中に前記再生を示す制御イベントを検出しても、前記モードの切り換えを行わない請求項3または請求項4に記載された画像通信装置。
【請求項６】
さらに、前記他の装置がオンスクリーンディスプレイ情報を必要とするか否かを示す情報を取得する取得手段を有し、
前記モード制御手段は、前記他の装置が前記オンスクリーンディスプレイ情報を必要とする場合、前記ミラーリングモード中に前記再生を示す制御イベントを検出しても、前記モードの切り換えを行わない請求項3または請求項4に記載された画像通信装置。
【請求項７】
前記表示手段は、前記復号された記録画像を表示する請求項3から請求項6の何れか一項に記載された画像通信装置。
【請求項８】
前記キャプチャ画像には、前記表示手段に表示されるオンスクリーンディスプレイ情報が含まれる請求項1から請求項7の何れか一項に記載された画像通信装置。
【請求項９】
前記制御イベントは、前記画像通信装置の操作手段、前記画像通信装置の制御手段、前記他の装置からの遠隔操作によって発行される請求項1から請求項8の何れか一項に記載された画像通信装置。
【請求項１０】
前記モード制御手段は、前記ミラーリングモードの場合は前記他の装置からの遠隔操作を有効にし、前記ミラーリングモードではないモードの場合は前記他の装置からの遠隔操作を無効にする請求項9に記載された画像通信装置。
【請求項１１】
前記モード制御手段は、前記モードの切り換え前後において、前記他の装置に送信する画像のフォーマットが変更される場合、前記他の装置との間でフォーマットの変更メッセージを交換する請求項1から請求項10の何れか一項に記載された画像通信装置。
【請求項１２】
被写体を撮像した撮影画像を出力する撮像手段、少なくとも前記撮影画像を表示する表示手段、前記表示手段に表示される画像をキャプチャしたキャプチャ画像を生成するキャプチャ手段、画像の符号化、および、符号化された画像の復号を行う符号化復号手段、前記符号化された撮影画像のメモリへの書き込み、および、前記メモリに格納された記録画像の読み出しを制御するメモリ制御手段、並びに、ネットワークを介して他の装置と通信する通信手段を有する画像通信装置の制御方法であって、
制御イベントに基づき、前記撮像手段、前記キャプチャ手段、前記符号化復号手段、前記メモリ制御手段、前記通信手段を制御して、前記他の装置に送信する映像のモードを切り換える制御方法。
【請求項１３】
コンピュータを請求項1から請求項11の何れか一項に記載された画像通信装置のモード制御手段として機能させるためのプログラム。
【請求項１４】
請求項13に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して映像を送信する技術に関する。
【背景技術】
【０００２】
表示画面をワイヤレスでミラーリングする技術が、Wi-Fi Alliance（登録商標）によりWi-Fi Miracastとして標準化された。ミラーリングとは、送信側の装置の表示画面をネットワークを介して受信側の装置に伝送し、画面を共有する技術である。ミラーリングは、記録済み映像の伝送と異なり、映像に重ねて表示される操作ボタンなどのオンスクリーンディスプレイ情報（以下、OSD情報）も受信装置へ伝送することが可能である。
【０００３】
ミラーリング中に記録済み映像を再生すると、記録済み映像の復号とキャプチャ画像の符号化（以下、再符号化）が必要になる。また、ミラーリング中に録画を行うと、二つの符号化（録画用映像の符号化とキャプチャ画像の符号化）が必要になる。つまり、ミラーリング中の記録済み映像の再生や録画は処理負荷を増大させる。勿論、エンコーダを二つ用意して処理負荷を分散することが可能であるが、その場合、コストが増大する。
【０００４】
また、ミラーリングと記録済み映像のストリーミングは、OSD情報の有無や画面キャプチャの有無などで異なる。そのため、ミラーリングから記録済み映像のストリーミングへのスイッチ、また、逆のスイッチを行う場合、一旦、一方の処理を停止し、その後、他方の処理を開始するユーザ操作が必要になる。
【０００５】
特許文献1や2は、ミラーリングにおける処理負荷やネットワーク負荷を軽減する方法を提案する。しかし、ミラーリング中の記録済み映像の再生や録画における上記処理負荷の増大を防ぐ方法は、これら特許文献には開示されていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2012-133210号公報
【特許文献２】特開2006-236153号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、他の装置に送信する映像のモードのシームレスなスイッチを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００９】
本発明にかかる画像通信装置は、被写体を撮像した撮影画像を出力する撮像手段と、少なくとも前記撮影画像を表示する表示手段と、前記表示手段に表示される画像をキャプチャしたキャプチャ画像を生成するキャプチャ手段と、画像の符号化、および、符号化された画像の復号を行う符号化復号手段と、前記符号化された撮影画像のメモリへの書き込み、および、前記メモリに格納された記録画像の読み出しを制御するメモリ制御手段と、ネットワークを介して他の装置と通信する通信手段と、制御イベントに基づき、前記撮像手段、前記キャプチャ手段、前記符号化復号手段、前記メモリ制御手段、前記通信手段を制御して、前記他の装置に送信する映像のモードを切り換えるモード制御手段とを有する。
【発明の効果】
【００１０】
本発明によれば、他の装置に送信する映像のモードのシームレスなスイッチを提供することができ、例えば、ミラーリングとライブストリーミングの間や、ミラーリングと記録画像のストリーミングの間をシームレスに切り換えることができる。
【図面の簡単な説明】
【００１１】
【図１】実施例の画像通信システムの構成例を示すブロック図。
【図２】送信装置の構成例を示すブロック図。
【図３】実施例1におけるモード制御部による制御を説明するフローチャート。
【図４】M-Lスイッチを説明するフローチャート。
【図５】L-Mスイッチを説明するフローチャート。
【図６】実施例2におけるモード制御部による制御を説明するフローチャート。
【図７】M-Sスイッチを説明するフローチャート。
【図８】S-Mスイッチを説明するフローチャート。
【図９】実施例3におけるモード制御部による制御を説明するフローチャート。
【図１０】実施例4におけるモード制御部による制御を説明するフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明にかかる実施例の画像通信を図面を参照して詳細に説明する。なお、実施例に示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【００１３】
［画像通信システム］
図1のブロック図により実施例の画像通信システムの構成例を示す。
【００１４】
送信装置100と受信装置102は、ネットワーク101を介して接続され、互いに通信を行う。ネットワーク101は、例えばホームネットワークとしての無線ローカルエリアネットワーク（以下、WLAN）である。なお、ネットワーク101はWLANに限らず、有線ネットワーク、広域通信網(WAN)、アドホックネットワーク、Bluetooth（登録商標）、ZigBee（登録商標）、UWB (ultra wide band)などのネットワークでもよい。
【００１５】
送信装置100は、受信装置102から受信した画像配信リクエストに従い、画像データの送信の開始、停止、一時停止を行う。送信装置100の具体例としては、カメラ、ビデオカメラ、並びに、カメラが搭載されたスマートフォン、携帯電話、PC、タブレットデバイスなどが挙げられる。しかし、後述するハードウェア構成およびモジュール構成を満たすデバイスであればよく、これらに限定されない。
【００１６】
受信装置102は、送信装置100に画像配信リクエストを送信し、送信装置100から受信した画像データを再生し、ミラーリング時は映像に重ねて表示されるオンスクリーンディスプレイ情報（OSD情報）を再生する。受信装置102のユーザは、OSD情報によって送信装置100を遠隔操作することが可能である。受信装置102の具体例としては、表示画面を有するスマートフォン、携帯電話、PC、タブレットデバイス、テレビ、並びに、画面を投影するプロジェクタなどが挙げられる。
【００１７】
なお、ネットワーク101を介して送信装置100に接続される受信装置102は、一台でもよいし、複数台でもよい。
【００１８】
［送信装置］
図2のブロック図により送信装置100の構成例を示す。
【００１９】
中央処理装置(CPU)201は、メインメモリであるRAM202をワークメモリとして、ROM203などに格納され各種プログラムを実行し、システムバス208を介して、後述する構成を統括的に制御する。
【００２０】
操作部204は、ユーザ指示を入力するためのボタンやモードダイヤルなどを備える。表示制御部209は、表示部210に画像や文字を表示するための表示制御を行う。表示部210は、画像や文字を表示する例えば液晶ディスプレイである。表示部210は、タッチスクリーン機能を有していてもよく、その場合、タッチスクリーンは操作部204の一部として機能する。
【００２１】
撮像部205は、撮像光学系、センサ（撮像素子）、現像処理部を有し、撮像光学系を介した被写体の光情報をセンサによって取得し、センサが出力する撮像信号を現像処理した画像データを出力する。CPU201は、撮像ボタンが押されるなど撮像の開始が指示されると撮像部205に撮像を開始させ、撮像ボタンが再び押されるなど撮像の終了が指示されると撮像部205に撮像を終了させる。撮像制御部206は、撮像部205の撮像光学系のフォーカス、シャッタ、絞り制御する。
【００２２】
ディジタル信号処理部213は、撮像部205が出力する画像データなどにホワイトバランス処理、ガンマ補正処理、ノイズ低減処理などの各種処理を施す。画像処理部212は、撮像部205が出力する画像データやディジタル信号処理部209が出力する画像データに各種画像処理を施す。
【００２３】
符号化復号部(CODEC)214は、ディジタル信号処理部213が出力する画像データや画像処理部212が出力する画像データをMPEG-4 AVC/H.264方式により圧縮符号化し、さらにMPEG-2 TS方式により多重化する。MPEG-2 TSは、符号化された画像や音声などのメディアデータを多重化、伝送するためのコンテナ形式である。以下では、圧縮符号化と多重化を合わせて「符号化」と呼ぶ。
【００２４】
メモリ制御部215は、CODEC214によって符号化された画像データの記憶部207への書き込み、および、記憶部207に格納された符号化された画像データの読み出しを制御する。記憶部207は、例えば、フラッシュメモリやハードディスクなどの記録媒体である。
【００２５】
また、CODEC214は、メモリ制御部215によって記憶部207から読み出された符号化された画像データを逆多重化し復号する。CODEC214によって復号された画像データは、表示制御部209に送られ、表示部210に表示される。以下では、逆多重化と復号を合わせて「復号」と呼ぶ。
【００２６】
キャプチャ部211は、表示部210の表示画像をキャプチャした画像データを生成する。キャプチャ画像には、例えば、映像に重ねて表示される操作ボタンなどのOSD情報も含まれる。
【００２７】
通信制御部216は、通信部217とネットワーク101を介した通信を制御し、例えば、受信装置102へ送信する画像データや制御情報の通信制御を行う。通信制御部216は、ネットワーク101を介して送られてくる遠隔操作情報の受信機能を有する。CPU201は、通信制御部216が受信した遠隔操作情報を操作部204を介して入力されるユーザ指示と同様に扱うことが可能である。通信部217は、ネットワーク101を介した通信を行うネットワークインタフェイスである。
【００２８】
モード制御部218は、ネットワーク101を介して送信する映像のモード（以下、映像モード）を制御する。映像モードには、表示部210が表示中の画像をキャプチャして送信するミラーリングモード、撮像部205が撮像中の画像を送信するライブストリーミングモード、記録済み映像を送信するストリーミングモードがある。どの映像モードを使用するかは、送信装置100の設定やユーザ指示により決定される。
【００２９】
負荷計測部219は、送信装置100の処理負荷を計測する。測定方法としては、例えば、CPU201の使用率を測定したり、CODEC214の使用率を測定するなどが考えられる。また、測定のタイミングは任意であるが、制御イベントの検出タイミングで測定を行うものとする。
【００３０】
OSD要求取得部220は、受信装置102がOSD情報を必要とするか否かを示す情報を取得する。当該情報の取得方法としては、例えば、ネットワーク101を介して、OSD表示に関わる受信装置102の設定情報を取得したり、受信装置102のユーザによるOSD情報の表示操作を検出するなどが考えられる。また、当該情報の取得のタイミングは任意であるが、例えば、制御イベントの検出タイミングで当該情報を取得するものとする。
【００３１】
なお、説明を容易にするため、送信装置100にモード制御部218、負荷計測部219、OSD要求取得部220を設置する例を説明する。しかし、後述するモード制御部218、負荷計測部219、OSD要求取得部220の機能を実現するプログラムをCPU201に実行させてもよい。その場合、モード制御部218、負荷計測部219、OSD要求取得部220はCPU201の処理によって実現される。
【００３２】
また、画像データは情報量が大きいため、ネットワークを介して送受信する画像データは圧縮符号化される。送信装置100は、画像データの転送プロトコルにRTP (real-time transport protocol)を用いる。また、画像データの再生制御プロトコルにRTSP (real time streaming protocol)を用いる。また、CODEC214が多重化方式としてMPEG-2 TSを用いるため、通信部217は、MPEG-2 TSデータのRTPペイロードフォーマットを規定するRFC2250に従い画像データをパケット化する。
【００３３】
なお、RTPは、RFC3550で標準化された、動画像や音声などのマルチメディアデータをネットワークを介してリアルタイムに送受信するためのプロトコルである。RTPの下位層のトランスポートプロトコルとしてUDP、HTTP、HTTPS、TCPを利用することが可能である。また、RTSPは、RFC2326で標準化された、ストリーミングを制御するためのプロトコルである。RTSPの下位層のトランスポートプロトコルにはTCPが用いられる。
【００３４】
［モード制御部］
図3のフローチャートにより実施例1におけるモード制御部218による制御を説明する。なお、説明を簡単にするため、受信装置102の画像配信リクエストに従い、送信装置100は画像データの送信中とする。
【００３５】
モード制御部218は、制御イベントの検出を待つ(S301)。なお、モード制御部218が検出する制御イベントは、ユーザ指示による録画開始や録画停止の制御、その他である。ユーザ指示は、操作部204を介した入力でもよいし、ネットワーク101を介した遠隔操作でもよい。制御イベントを検出すると、モード制御部218は、現在の映像モードがミラーリングモードか否か（ミラーリングモード中か否か）を判定する(S302)。
【００３６】
ミラーリングモード中と判定した場合、モード制御部218は、検出した制御イベントが録画開始か否かを判定する(S303)。そして、制御イベントが録画開始の場合は映像モードをミラーリングモードからライブストリーミングモードへ切り換え(S304)、制御イベントが録画開始ではない場合は映像モードを切り換えない。
【００３７】
また、ミラーリングモード中ではない（つまり、ライブストリーミングモード中）と判定した場合、モード制御部218は、検出した制御イベントが録画停止か否かを判定する(S305)。そして、制御イベントが録画停止の場合は映像モードをライブストリーミングモードからミラーリングモードへ切り換え(S306)、制御イベントが録画停止ではない場合は映像モードを切り換えない。
【００３８】
例えば、録画の一時停止の場合、RTSPのPAUSEメッセージを利用してライブストリーミングが一時停止される。また、映像モードの切り換えは、通信部217と受信装置102の接続を維持（つまり、RTSPセッション、HTTPセッションまたはHTTPSセッションを維持）したまま行われる。
【００３９】
上記処理の後、モード制御部218は、処理をステップS301に戻す。また、以下では、ミラーリングモードからライブストリーミングモードへの切り換えを「M-Lスイッチ」と呼び、ライブストリーミングモードからミラーリングモードへの切り換えを「L-Mスイッチ」と呼ぶ。
【００４０】
●M-Lスイッチ
図4のフローチャートによりM-Lスイッチ(S304)を行う際のモード制御部218による制御を説明する。
【００４１】
モード制御部218は、通信制御部216を制御して、受信装置102との間で映像フォーマットの変更メッセージを交換する(S401)。例えば、ミラーリングモードの映像の解像度と、ライブストリーミングモードの映像の解像度が異なる場合、RTSPのメッセージSET_PARAMETERやGET_PARAMETERを使用して解像度と変更タイミングを通知すればよい。なお、映像フォーマットの変更は、映像の解像度だけでなく、フレームレート、ビットレート、CODEC214が符号化に使用するプロファイル、レベルなども含む。もし、映像モードの切り換え前後で、映像フォーマットに変更がない場合、ステップS401の処理を省略することができる。
【００４２】
次に、モード制御部218は、通信制御部216に画像データの送信を停止させ(S402)、キャプチャ部211に表示画面のキャプチャを停止させる(S403)。また、CODEC214にキャプチャ部211が出力する画像データ（キャプチャ画像）の符号化を停止させる(S404)。これらの手続により、ミラーリングが停止される。
【００４３】
次に、モード制御部218は、撮像部205に画像データ（撮影画像）の出力を開始させ(S405)、CODEC214に撮影画像の符号化を開始させる(S406)。以上の手続により、CODEC214の処理はキャプチャ画像の符号化から撮影画像の符号化に移行し、CODEC214がキャプチャ画像と撮影画像の両方の符号化を行うことはない。
【００４４】
次に、モード制御部218は、通信制御部216に符号化された撮影画像の送信を開始させ(S407)、メモリ制御部215に符号化された撮影画像の記憶部207への記録（録画）を開始させる(S408)。これらの手続により、ライブストリーミングと録画が開始される。なお、録画中の画像は表示部210に表示されるが、表示画面のキャプチャは停止しているため、OSD情報が受信装置102に送信されることはない。
【００４５】
次に、モード制御部218は、受信装置102からの遠隔操作の無効化をCPU201に通知する(S409)。なお、OSD情報が受信装置102に送信されないためOSD情報を利用する遠隔操作はできないが、受信装置102のユーザは、受信装置102を操作してライブストリーミングの再生を制御可能である。
【００４６】
●L-Mスイッチ
図5のフローチャートによりL-Mスイッチ(S306)を行う際のモード制御部218による制御を説明する。
【００４７】
モード制御部218は、ステップS401の処理と同様に、受信装置102との間で映像フォーマットの変更メッセージを交換する(S501)。
【００４８】
次に、モード制御部218は、通信制御部216に画像データの送信を停止させ(S502)、撮像部205に撮影画像の出力を停止させる(S503)。また、CODEC214に撮影画像の符号化を停止させ(S504)、メモリ制御部215に録画を停止させる(S505)。これらの手続により、ライブストリーミングと録画が停止される。
【００４９】
次に、モード制御部218は、キャプチャ部211に表示画面のキャプチャを開始させ(S506)、CODEC214にキャプチャ画像の符号化を開始させる(S507)。以上の手続により、CODEC214の処理は撮影画像の符号化からキャプチャ画像の符号化に移行し、CODEC214が撮影画像とキャプチャ画像の両方の符号化を行うことはない。
【００５０】
次に、モード制御部218は、通信制御部216に符号化されたキャプチャ画像の送信を開始させる(S508)。この手続により、ミラーリングが開始され、受信装置102は画像に重畳されたOSD情報を再生することができる。
【００５１】
次に、モード制御部218は、受信装置102からの遠隔操作の有効化をCPU201に通知する(S509)。この手続により、受信装置102におけるOSD情報を利用した遠隔操作が可能になる。
【００５２】
このように、モード制御部218の制御により、ミラーリング中に録画開始が指示された場合は映像モードをライブストリーミングモードに切り換え、ライブストリーミング中に録画停止が指示された場合は映像モードをミラーリングモードへ切り換える。従って、ミラーリングとライブストリーミングを、ユーザによる切換操作なしに、シームレスに切り換えることができる。また、ミラーリングと録画が同時に動作することがないので、処理負荷の増大を防ぐことができる。
【実施例２】
【００５３】
以下、本発明にかかる実施例2の画像通信を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５４】
実施例1では、ユーザによる切換操作なしに、ミラーリングとライブストリーミングをシームレスに切り換える例を説明した。実施例2では、ユーザの切換操作なしに、ミラーリングと記録済み映像のストリーミングを切り換える例を説明する。
【００５５】
図6のフローチャートにより実施例2におけるモード制御部218による制御を説明する。なお、説明を簡単にするため、受信装置102の画像配信リクエストに従い、送信装置100は画像データの送信中とする。
【００５６】
モード制御部218は、制御イベントの検出を待つ(S601)。なお、モード制御部218が検出する制御イベントは、ユーザ指示による記録済み映像の再生開始または再生停止の制御、時間経過による記録済み映像の再生終了、その他である。ユーザ指示は、操作部204を介した入力でもよいし、ネットワーク101を介した遠隔操作でもよい。制御イベントを検出すると、モード制御部218は、現在の映像モードがミラーリングモードか否か（ミラーリングモード中か否か）を判定する(S602)。
【００５７】
なお、記録済み映像の再生終了を示す制御イベントは、記憶部207に格納された記録画像を読み出すメモリ制御部215を制御するCPU201によって発行される。
【００５８】
ミラーリングモード中と判定した場合、モード制御部218は、検出した制御イベントが再生開始か否かを判定する(S603)。そして、制御イベントが再生開始の場合は映像モードをミラーリングモードからストリーミングモードへ切り換え(S604)、制御イベントが再生開始ではない場合は映像モードを切り換えない。
【００５９】
また、ミラーリングモード中ではない（つまり、ストリーミングモード中）と判定した場合、モード制御部218は、検出した制御イベントが再生停止または再生終了か、それら以外かを判定する(S605)。そして、制御イベントが再生停止または再生終了の場合は映像モードをストリーミングモードからミラーリングモードへ切り換え(S606)、制御イベントが再生停止でも再生終了でもない場合は映像モードを切り換えない。
【００６０】
また、検出した制御イベントが再生の一時停止を示す場合は映像モードの切り換えを行わないようにしてもよい。
【００６１】
上記処理の後、モード制御部218は、処理をステップS601に戻す。また、以下では、ミラーリングモードからストリーミングモードへの切り換えを「M-Sスイッチ」と呼び、ストリーミングモードからミラーリングモードへの切り換えを「S-Mスイッチ」と呼ぶ。
【００６２】
●M-Sスイッチ
図7のフローチャートによりM-Sスイッチ(S604)を行う際のモード制御部218による制御を説明する。
【００６３】
モード制御部218は、ステップS401の処理と同様に、受信装置102との間で映像フォーマットの変更メッセージを交換する(S701)。
【００６４】
次に、モード制御部218は、通信制御部216に画像データの送信を停止させ(S702)、キャプチャ部211に表示画面のキャプチャを停止させ(S703)、CODEC214にキャプチャ画像の符号化を停止させる(S704)。これらの手続により、ミラーリングが停止される。
【００６５】
次に、モード制御部218は、メモリ制御部215に記憶部207に格納された画像データ（記録画像）の読み出しを開始させ(S705)、CODEC214に記録画像の復号を開始させる(S706)。また、通信制御部216に記録画像の送信を開始させる(S707)。これらの手続により、記録済み映像のストリーミングが開始される。
【００６６】
CODEC214によって復号された記録画像は、表示制御部209に送られ、表示部210に表示されるが、表示画面のキャプチャは停止されているため、キャプチャ画像が取得されることはない。つまり、以上の手続により、CODEC214の処理はキャプチャ画像の符号化から記録画像の復号に移行し、CODEC214がキャプチャ画像と符号化と記録画像の復号の両方を行うことはない。
【００６７】
次に、モード制御部218は、受信装置102からの遠隔操作の無効化をCPU201に通知する(S708)。なお、OSD情報が受信装置102に送信されないためOSD情報を利用する遠隔操作はできないが、受信装置102のユーザは、受信装置102を操作して記録済み映像のストリーミングの再生を制御可能である。
【００６８】
●S-Mスイッチ
図8のフローチャートによりS-Mスイッチ(S606)を行う際のモード制御部218による制御を説明する。
【００６９】
モード制御部218は、ステップS401の処理と同様に、受信装置102との間で映像フォーマットの変更メッセージを交換する(S801)。
【００７０】
次に、モード制御部218は、通信制御部216に画像データの送信を停止させ(S802)、メモリ制御部215に記録画像の読み出しを停止させ(S803)、CODEC214に記録画像の復号を停止させる(S804)。これらの手続により、記録済み映像のストリーミングが停止される。なお、記録画像の再生が停止されると、表示部210には、撮像部205が出力する撮影画像や操作画面などが表示される。
【００７１】
次に、モード制御部218は、キャプチャ部211に表示画面のキャプチャを開始させ(S805)、CODEC214にキャプチャ画像の符号化を開始させる(S806)。以上の手続により、CODEC214の処理は記録画像の復号からキャプチャ画像の符号化に移行し、CODEC214が記録画像の復号とキャプチャ画像の符号化の両方を行うことはない。
【００７２】
次に、モード制御部218は、通信制御部216に符号化されたキャプチャ画像の送信を開始させる(S807)。この手続により、ミラーリングが開始され、受信装置102は画像に重畳されたOSD情報を再生することができる。
【００７３】
次に、モード制御部218は、受信装置102からの遠隔操作の有効化をCPU201に通知する(S808)。この手続により、受信装置102におけるOSD情報を利用した遠隔操作が可能になる。
【００７４】
このように、モード制御部218の制御により、ミラーリング中に記録済み映像の再生開始が指示された場合は映像モードをストリーミングモードに切り換える。また、記録済み映像のストリーミング中に再生停止が指示された場合、または、再生が終了した場合は映像モードをミラーリングモードへ切り換える。従って、ミラーリングとストリーミングを、ユーザによる切換操作なしに、シームレスに切り換えることができる。また、ミラーリングと記録済み映像の再生が同時に動作することがないので、処理負荷の増大を防ぐことができる。
【実施例３】
【００７５】
以下、本発明にかかる実施例3の画像通信を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７６】
実施例1、2では、ユーザの切換操作なしに、映像モードを切り換える例を説明した。実施例3では、処理負荷に応じて映像モードを切り換える例を説明する。
【００７７】
図9のフローチャートにより実施例3におけるモード制御部218による制御を説明する。なお、説明を簡単にするため、受信装置102の画像配信リクエストに従い、送信装置100は画像データの送信中とする。
【００７８】
モード制御部218は、制御イベントの検出を待つ(S901)。なお、モード制御部218が検出する制御イベントは、実施例2と同様に、ユーザ指示による記録済み映像の再生開始または再生停止の制御、時間経過による記録済み映像の再生終了、その他である。
【００７９】
制御イベントを検出すると、モード制御部218は、負荷測定部219によって送信装置100の処理負荷Lを計測し(S902)、現在の映像モードがミラーリングモードか否か（ミラーリングモード中か否か）を判定する(S903)。
【００８０】
ミラーリングモード中と判定した場合、モード制御部218は、測定された処理負荷Lと所定の閾値thの比較(S904)、検出した制御イベントが再生開始か否かの判定(S905)を行う。なお、閾値thには、任意の値を設定することができるが、送信装置100の処理が滞ることがない最大の負荷レベルを閾値thに設定することが望ましい。
【００８１】
比較の結果が処理負荷が閾値以下（L≦th）を示す場合、または、制御イベントが再生開始ではない場合、モード制御部218は、映像モードを切り換えない、言い替えれば、ミラーリングモードを維持する。
【００８２】
一方、比較の結果が処理負荷が閾値を超える（L＞th）を示し、かつ、制御イベントが再生開始の場合、モード制御部218は、映像モードをミラーリングモードからストリーミングモードへ切り換えるM-Sスイッチを行う(S906)。
【００８３】
つまり、高解像度や高ビットレートの記録画像を送信する場合、ミラーリングすれば画像の再符号化により処理負荷が増大するので、ミラーリングせずに記録済み映像のストリーミングを行う。他方、低解像度や低ビットレートの記録映像を送信する場合は、再符号化しても処理能力に余裕があるので、記録画像を復号してミラーリングすることでOSD情報の送信を可能にする。
【００８４】
また、ミラーリングモード中ではない（つまり、ストリーミングモード中）と判定した場合、モード制御部218は、実施例2のステップS605、S606の処理を行う。つまり、制御イベントが再生停止または再生終了の場合、映像モードをストリーミングモードからミラーリングモードへ切り換えるS-Mスイッチを行う。
【００８５】
なお、ステップS906のM-Sスイッチは図7の処理と同様であり、S-Mスイッチは図8の処理と同様であるから、詳細な説明を省略する。
【００８６】
このように、処理負荷を考慮してM-Sスイッチを行う。従って、ユーザの切換操作なしに映像モードを切り換えるだけでなく、処理能力に余裕がある場合はM-Sスイッチを行わずミラーリングモードを維持して受信装置102にOSD情報を送信することができる。
【実施例４】
【００８７】
以下、本発明にかかる実施例4の画像通信を説明する。なお、実施例4において、実施例1-3と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００８８】
実施例1、2では、ユーザの切換操作なしに、映像モードを切り換える例を説明した。実施例4では、受信装置102がOSD情報を必要とするか否かに応じて映像モードを切り換える例を説明する。
【００８９】
図10のフローチャートにより実施例4におけるモード制御部218による制御を説明する。なお、説明を簡単にするため、受信装置102の画像配信リクエストに従い、送信装置100は画像データの送信中とする。
【００９０】
モード制御部218は、制御イベントの検出を待つ(S1001)。なお、モード制御部218が検出する制御イベントは、実施例2と同様に、ユーザ指示による記録済み映像の再生開始または再生停止の制御、時間経過による記録済み映像の再生終了、その他である。
【００９１】
制御イベントを検出すると、モード制御部218は、OSD要求取得部220によって受信装置102がOSD情報を必要とするか否かを示す情報を取得する(S1002)。そして、現在の映像モードがミラーリングモードか否か（ミラーリングモード中か否か）を判定する(S1003)。
【００９２】
ミラーリングモード中と判定した場合、モード制御部218は、ステップS1002で取得した情報に基づき受信装置102がOSD情報を必要とするか否かの判定(S1004)を行う。また、検出した制御イベントが再生開始か否かの判定(S1005)を行う。
【００９３】
受信装置102がOSD情報を必要と判定した場合、または、制御イベントが再生開始ではない場合、モード制御部218は、映像モードを切り換えない、言い替えれば、ミラーリングモードを維持する。
【００９４】
一方、受信装置102がOSD情報を必要としないと判定し、かつ、制御イベントが再生開始の場合、モード制御部218は、映像モードをミラーリングモードからストリーミングモードへ切り換えるM-Sスイッチを行う(S1006)。
【００９５】
また、ミラーリングモード中ではない（つまり、ストリーミングモード中）と判定した場合、モード制御部218は、実施例2のステップS605、S606の処理を行う。つまり、制御イベントが再生停止または再生終了の場合、映像モードをストリーミングモードからミラーリングモードへ切り換えるS-Mスイッチを行う。
【００９６】
なお、ステップS1006のM-Sスイッチは図7の処理と同様であり、S-Mスイッチは図8の処理と同様であるから、詳細な説明を省略する。
【００９７】
このように、受信装置102がOSD情報を必要とするか否かに応じてM-Sスイッチを行う。従って、ユーザの切換操作なしに映像モードを切り換えるだけでなく、OSD情報が必要な場合はM-Sスイッチを行わずミラーリングモードを維持して受信装置102にOSD情報を送信することができる。
【００９８】
［変形例］
上記では、映像の符号化復号方式としてMPEG-4 AVC/H.264を用いる例を説明したが、これに限らず、MPEG-2やHEVC/H.265などの映像符号化復号方式を用いることが可能である。
【００９９】
また、上記では、符号化された映像のコンテナ形式としてMPEG-2 TSを用いる例を説明したが、これに限らず、MP4形式やMOV形式などストリーミングに適した他のコンテナ形式を用いることが可能である。
【０１００】
また、上記では、データ転送プロトコルとしてRTPを用いる例を説明したが、RTPに限らず、HTTP、HTTPS、TCPなど、OSI参照モデルにおける同一レイヤまたは別レイヤの他のプロトコルを用いることが可能である。
【０１０１】
また、上記では、再生制御プロトコルとしてRTSPを用いる例を説明した。しかし、例えば、SIP (session initiation protocol)やSOAP (simple object access protocol)などの再生制御プロトコルも利用可能である。
【０１０２】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【図１】
2015041822.tif 000003
【図２】
2015041822.tif 000004
【図３】
2015041822.tif 000005
【図４】
2015041822.tif 000006
【図５】
2015041822.tif 000007
【図６】
2015041822.tif 000008
【図７】
2015041822.tif 000009
【図８】
2015041822.tif 000010
【図９】
2015041822.tif 000011
【図１０】
2015041822.tif 000012