(57)【要約】      （修正有）【課題】受信装置におけるユーザインタフェース（ＵＩ）画面の好適な表示制御を可能とする送信装置およびその制御方法、画像通信システムを提供する。【解決手段】画像を送信する送信装置は、画像を受信する受信装置が送信装置に対する操作指示を実行可能であるかを判定する判定手段と、判定手段により受信装置が操作指示を実行可能であると判定された場合は、操作指示に利用される情報を付加して画像を受信装置に送信し、判定手段により受信装置が操作指示を実行不能であると判定された場合は、操作指示に利用される情報を付加することなく画像を受信装置に送信する、送信手段と、を有する。【選択図】図６
2016100651.tif 000002
【特許請求の範囲】
【請求項１】
画像を送信する送信装置であって、
前記画像を受信する受信装置が前記送信装置に対する操作指示を実行可能であるかを判定する判定手段と、
前記判定手段により前記受信装置が前記操作指示を実行可能であると判定された場合は、前記操作指示に利用される情報を付加して前記画像を該受信装置に送信し、前記判定手段により前記受信装置が前記操作指示を実行不能であると判定された場合は、前記操作指示に利用される情報を付加することなく前記画像を該受信装置に送信する、送信手段と、
を有することを特徴とする送信装置。
【請求項２】
前記受信装置における前記操作指示に利用されるユーザインタフェース（ＵＩ）画面に関するＵＩ構成情報を生成する生成手段と、
前記受信装置が前記ＵＩ構成情報を処理可能であるかを判定する処理可否判定手段と、
を更に有し、
前記送信手段は、前記判定手段により前記受信装置が前記操作指示を実行可能であると判定されかつ前記処理可否判定手段により前記受信装置が前記ＵＩ構成情報を処理可能であると判定された場合、前記ＵＩ構成情報を前記画像と多重して前記受信装置に送信し、前記判定手段により前記受信装置が前記操作指示を実行可能であると判定されかつ前記処理可否判定手段により前記受信装置が前記ＵＩ構成情報を処理不能であると判定された場合、前記ＵＩ構成情報に基づき生成したＵＩ画面と前記画像とを合成した合成画像を生成し該合成画像を前記受信装置に送信する
ことを特徴とする請求項１に記載の送信装置。
【請求項３】
前記画像を圧縮符号化して圧縮画像を生成する圧縮手段を更に有し、
前記多重は、前記ＵＩ構成情報と前記圧縮画像とを多重し、前記合成は、前記ＵＩ構成情報に基づき生成したＵＩ画面と前記画像とを合成する
ことを特徴とする請求項２に記載の送信装置。
【請求項４】
前記多重は、ＭＰＥＧ−２  ＴＳを用いて行われる
ことを特徴とする請求項２に記載の送信装置。
【請求項５】
前記画像の送信は、ＲＴＰ（Real-time Transport Protocol）を用いて行われ、
前記画像の送信制御は、ＲＴＳＰ（Real Time Streaming Protocol）を用いて行われ、  前記ＵＩ構成情報は、前記ＲＴＳＰを用いて送信される
ことを特徴とする請求項２に記載の送信装置。
【請求項６】
前記判定手段は、前記受信装置にユーザ操作機器が接続されかつ該ユーザ操作機器を介した前記操作指示の機能が有効に設定されている場合に、該受信装置が前記操作指示が実行可能であると判定する
ことを特徴とする請求項１乃至５の何れか１項に記載の送信装置。
【請求項７】
前記送信装置と前記受信装置との通信は、無線ＬＡＮを介して、Ｗｉ−Ｆｉ  Ｄｉｓｐｌａｙ規格に準拠した方法で実行される
ことを特徴とする請求項１乃至６の何れか１項に記載の送信装置。
【請求項８】
前記送信手段は、前記画像を受信する複数の受信装置が存在する場合、前記判定手段により前記複数の受信装置の少なくとも１台が前記操作指示を実行可能であると判定された場合は、前記操作指示に利用される情報を付加して前記画像を前記複数の受信装置に送信し、前記判定手段により前記複数の受信装置の全てが前記操作指示を実行不能であると判定された場合は、前記操作指示に利用される情報を付加することなく前記画像を前記複数の受信装置に送信する
ことを特徴とする請求項１乃至７の何れか１項に記載の送信装置。
【請求項９】
前記送信手段は、前記画像を受信する複数の受信装置が存在する場合、前記判定手段により前記複数の受信装置の少なくとも１台が前記操作指示を実行可能であると判定されかつ前記処理可否判定手段により前記複数の受信装置の全てが前記ＵＩ構成情報を処理可能であると判定された場合、前記ＵＩ構成情報を前記画像と多重して前記複数の受信装置に送信し、前記判定手段により前記複数の受信装置の少なくとも１台が前記操作指示を実行可能であると判定されかつ前記処理可否判定手段により前記複数の受信装置の少なくとも１台が前記ＵＩ構成情報を処理不能であると判定された場合、前記ＵＩ構成情報に基づき生成したＵＩ画面と前記画像とを合成した合成画像を生成し該合成画像を前記複数の受信装置に送信する
ことを特徴とする請求項２に記載の送信装置。
【請求項１０】
画像を送信する送信装置の制御方法であって、
前記画像を受信する受信装置が前記送信装置に対する操作指示を実行可能であるかを判定する判定工程と、
前記判定工程により前記受信装置が前記操作指示を実行可能であると判定された場合は、前記操作指示に利用される情報を付加して前記画像を該受信装置に送信し、前記判定工程により前記受信装置が前記操作指示を実行不能であると判定された場合は、前記操作指示に利用される情報を付加することなく前記画像を該受信装置に送信する、送信工程と、
を含むことを特徴とする送信装置の制御方法。
【請求項１１】
画像を送信する送信装置と該画像を受信する１台以上の受信装置とを含む画像通信システムであって、
前記送信装置は、
前記画像を受信する受信装置が前記送信装置に対する操作指示を実行可能であるかを判定する判定手段と、
前記判定手段により前記受信装置が前記操作指示を実行可能であると判定された場合は、前記操作指示に利用される情報を付加して前記画像を該受信装置に送信し、前記判定手段により前記受信装置が前記操作指示を実行不能であると判定された場合は、前記操作指示に利用される情報を付加することなく前記画像を該受信装置に送信する、送信手段と、
を有することを特徴とする画像通信システム。
【請求項１２】
コンピュータを、請求項１乃至９の何れか１項に記載の送信装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の送信技術に関するものであり、特にユーザインタフェース画像の送信制御に関するものである。
【背景技術】
【０００２】
近年、ディスプレイ画面をワイヤレスでミラーリングする技術がＷｉ−Ｆｉ  Ｄｉｓｐｌａｙ（Ｍｉｒａｃａｓｔ）等で標準化されている（非特許文献１）。ミラーリングとは送信装置のディスプレイ画面をネットワークを介して受信装置へ伝送することにより、送信装置と受信装置との間で画面を共有する技術である。また、非特許文献１では、受信装置に接続されたユーザインタフェース（ＵＩ）の情報を送信装置へ伝える仕組みとしてＵＩＢＣ（User Interface Back Channel）が標準化されている。
【０００３】
また、特許文献１には、画像に重ねて表示されるユーザインタフェース（ＵＩ）のＵＩデータを当該映像のビデオデータと多重化して送信する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５２２１５号公報
【非特許文献】
【０００５】
【非特許文献１】Wi-Fi Display Technical Specification v1.1，Wi-Fi Alliance
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述の非特許文献１においては、受信装置において表示されるグラフィカルユーザインタフェース（ＧＵＩ）であるＯＳＤ（On-Screen Display）画面の作成を送信装置と受信装置の何れで行うかは規定されていない。
【０００７】
送信装置がＯＳＤ画面を生成し映像に合成し受信装置に送信する形態の場合、複数の受信装置へ映像をマルチキャスト送信する場合には、ＵＩ機器を持たない受信装置においてもＯＳＤ画面が表示されてしまうことになる。そのため、マルチキャスト送信時には受信装置がＯＳＤ画面を生成し映像に合成する形態が考えられる。しかし、上述の特許文献１においてはＯＳＤ画面の表示／非表示を切り替えることについては考慮されていない。
【０００８】
本発明は、このような問題に鑑みてなされたものであり、通信接続を行うための通信接続情報を好適に提供する技術を提供することを目的としている。
【０００９】
本発明は、このような問題に鑑みてなされたものであり、受信装置におけるユーザインタフェース（ＵＩ）画面の好適な表示制御を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の問題点を解決するため、本発明に係る送信装置は以下の構成を備える。すなわち、画像を送信する送信装置は、前記画像を受信する受信装置が前記送信装置に対する操作指示を実行可能であるかを判定する判定手段と、前記判定手段により前記受信装置が前記操作指示を実行可能であると判定された場合は、前記操作指示に利用される情報を付加して前記画像を該受信装置に送信し、前記判定手段により前記受信装置が前記操作指示を実行不能であると判定された場合は、前記操作指示に利用される情報を付加することなく前記画像を該受信装置に送信する、送信手段と、を有する。
【発明の効果】
【００１１】
本発明によれば、受信装置におけるユーザインタフェース（ＵＩ）画面の好適な表示制御を可能とする技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る送信装置と受信装置とを含むシステムを例示的に示す図である。
【図２】第１実施形態に係る送信装置の内部構成を示すブロック図である。
【図３】送信装置と受信装置との間の動作シーケンスの一例を示す図である。
【図４】ＯＳＤ情報受信をサポートするか否かを示す対応情報の実装の一例を示す図である。
【図５】ＯＳＤ情報識別子の実装の一例を示す図である。
【図６】送信装置における画像ストリーム生成処理の一例を示すフローチャートである。
【図７】ＯＳＤ情報管理テーブルの一例を示す図である。
【図８】ビデオ画像とＯＳＤ情報とを多重化した画像ストリームの概念図である。
【図９】ＯＳＤ情報を含まないビデオ画像の画像ストリームの概念図である。
【図１０】ビデオ画像とＯＳＤ情報とを合成した画像ストリームの概念図である。
【図１１】送信するＯＳＤ情報識別子を決定する処理のフローチャートである。
【図１２】第２実施形態に係る送信装置の内部構成を示すブロック図である。
【図１３】送信装置における表示画像生成処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１４】
（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、１台以上の受信装置にビデオ画像（画像ストリーム）を送信する送信装置を例に挙げて以下に説明する。なお、以下の説明では、「画像ストリーム」や「ビデオ画像」と表現しているが、画像のみで構成されることを意図しているのではなく音声も含み得る。
【００１５】
＜装置構成＞
図１は、第１実施形態に係る送信装置を含む画像通信システムを例示的に示す図である。当該画像通信システムは、送信装置１００と１台以上の受信装置２００とを含む。図示されるように、送信装置１００と受信装置２００は、ネットワーク３００を介して相互に接続されている。
【００１６】
送信装置１００は、ネットワーク３００を介して受信装置２００から送信される操作指示のリクエストに従って、ビデオ画像の送信の開始、一時停止、終了を実行可能に構成されている。以下の説明では、受信装置２００から送信されるリクエストは、ＵＩＢＣ（User Interface Back Channel）を利用して送信装置１００に通知されることを想定している。送信装置１００は、特に説明のない動作に関しては、Ｗｉ−Ｆｉ  Ｄｉｓｐｌａｙ規格に従う。送信装置１００の具体的な例としては、カメラ、ビデオカメラ、スマートフォン、携帯電話、ＰＣ等が挙げられる。ただし、後述のハードウェア構成及びモジュール構成を満たすものであれば、これらに限定されない。
【００１７】
一方、受信装置２００は、送信装置１００からネットワーク３００を介して送信されるビデオ画像を受信し、表示する。受信装置２００は、特に説明のない動作に関しては、Ｗｉ−Ｆｉ  Ｄｉｓｐｌａｙ規格に従う。受信装置２００の具体的な例としては、スマートフォン、携帯電話、ＰＣ、テレビ、プロジェクター等が挙げられる。ただし、後述のハードウェア構成及びモジュール構成を満たすものであれば、これらに限定されない。また、ネットワーク３００に接続された受信装置２００は１台であっても良いし、複数台存在しても良い。ネットワーク３００は、例えばホームネットワークとしての無線ＬＡＮである。
【００１８】
図２は、第１実施形態に係る送信装置の内部構成を示すブロック図である。
【００１９】
撮像部１０１は、ユーザが後述の操作部１１４で撮像ボタンを押下すると、撮像部１０１は被写体の光学像を撮像素子で受光し、受光した信号がＡ／Ｄ変換されデジタルの画像データとして取得される。ここでは、動画撮影を想定しているため、例えば、６０ｆｐｓで画像データ（フレーム画像）が順次生成される。なお、以下では、個々のフレーム画像を画像データと表示し、動画像を構成する複数のフレーム画像を画像ストリームと表記している。
【００２０】
画像処理部１０２は、撮像部１０１で取得された画像データ、或いは、後述の記憶部１０８に記録された画像データに対して画像処理を行う。
【００２１】
エンコーダ部１０３は、画像データを、例えば、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４方式にて圧縮符号化し、更にＭＰＥＧ−２ ＴＳ方式にて多重化する処理を行う。ＭＰＥＧ−２ ＴＳは、符号化された画像や音声等のメディアデータや制御用データを多重化、伝送するためのコンテナ形式であり、第１実施形態で利用する多重化方式である。エンコーダ部１０３は、後述のＯＳＤ情報生成部１０５により生成されたＯＳＤ情報をＭＰＥＧ−２ ＴＳに多重化することも可能に構成されている。
【００２２】
デコーダ部１０４は、記憶部１０８に記録されたデータを復号する処理を行う。例えば、ＭＰＥＧ−２  ＴＳ方式にて多重化されたデータを逆多重化し、圧縮符号化された画像を伸張し画像データ（フレーム画像）を生成する。デコーダ部１０４で復号された画像データは、後述の表示制御部１１１を介して表示部１１２にて表示される。
【００２３】
ＯＳＤ情報生成部１０５は、受信装置にて表示されることになるユーザインタフェース画面情報（ＵＩ構成情報）としてのＯＳＤ情報を生成する。ここで、ＯＳＤ情報は、例えば操作ボタンの画像やカーソルの画像を含むが、受信装置において表示されるユーザインタフェースを生成するために利用可能な情報であればこれらに限定されない。
【００２４】
ＯＳＤ情報合成部１０６は、デコーダ部１０４で復号された画像データまたは画像処理部１０２で生成された画像データにユーザインタフェース画面を合成して、ひとつの画像データを生成する。ここで、ユーザインタフェース画面は、ＯＳＤ情報生成部１０５で生成されたＯＳＤ情報に基づいて生成される。
【００２５】
送信画像制御部１０７は、受信装置２００へ送信する画像ストリームを決定する。詳細は後述するが、受信装置２００の能力に応じて、送信する画像ストリームが決定される。
【００２６】
記憶部１０８は、撮像部１０１で撮像され、エンコーダ部１０３で符号化された画像データを記録する。また、送信装置１００における各制御部がプロセッサとして構成される場合、記憶部１０８には制御プログラムも記憶される。
【００２７】
通信制御部１０９は、受信装置へ送信する画像データや制御情報の通信制御を行う。また、通信制御部１０９は受信装置２００からネットワーク３００を介して送信される遠隔操作情報の受信機能を有していてもよい。その場合は受信装置２００で入力されたユーザ指示を後述の操作部１１４の入力として扱うことも可能である。
【００２８】
通信部１１０は、受信装置２００に対して画像データや制御情報の送受信を行う。ここでは、ＩＥＥＥ８０２．１１シリーズ規格に準拠した無線ＬＡＮを用いた通信を行うことを想定している。なお、一般的に画像データは情報量が大きいため、ネットワークを介して画像データを送受信する場合には、エンコーダ部１０３で圧縮符号化された画像データを用いる。ここでは、データ転送プロトコルとしてＲＴＰ（Real-time Transport Protocol）を用いるものとする。送信装置１００と受信装置２００との間の送信制御プロトコルとしてはＲＴＳＰ（Real Time Streaming Protocol）を用いるものとする。
【００２９】
ＲＴＰは、ＩＥＴＦ（The Internet Engineering Task Force）によりＲＦＣ３５５０として標準化された、動画像や音声などのマルチメディアデータをネットワークを介してリアルタイムに送受信するためのプロトコルである。下位層のトランスポートプロトコルとしてＵＤＰやＨＴＴＰ、ＨＴＴＰＳ、ＴＣＰを利用することが可能である。
【００３０】
ＲＴＳＰはＲＦＣ２３２６で標準化された、ストリーミングを制御するためのプロトコルであり、下位層のトランスポートプロトコルとしてはＴＣＰが用いられる。また、ここではエンコーダ部１０３は多重化方式としてＭＰＥＧ−２  ＴＳを用いる。そのため、通信部１１０はＭＰＥＧ−２  ＴＳデータのＲＴＰペイロードフォーマットを規定しているＲＦＣ２２５０に従って、画像データをパケット化するものとする。
【００３１】
表示制御部１１１は、表示部１１２に表示される撮影画像や文字画像の表示制御を行う。表示部１１２は、画像の表示を行う機能部であり、例えば、液晶ディスプレイが用いられる。
【００３２】
操作制御部１１３は、操作部１１４を介してユーザから入力される操作情報の制御を行う。操作部１１４は、例えば、マウスやキーボード、タッチスクリーンが用いられ、ユーザからの入力を受け付ける。
【００３３】
バス１１５は、各種データの転送経路である。例えば、撮像部１０１によって取得されたデジタルデータはこのバス１１５を介して各処理部に転送される。
【００３４】
なお、送信装置は上記以外の機能部を備えてもよいが、本発明の主要な部分ではないので説明を省略する。
【００３５】
＜装置の動作＞
図３は、送信装置と受信装置との間の動作シーケンスの一例を示す図である。送信装置１００と受信装置２００との接続開始から、受信装置２００が送信装置１００から受信した画像を表示するまでのシーケンスを時系列順に記載している。
【００３６】
ステップＳ３０１では、送信装置１００の通信制御部１０９は、接続先となる装置を探索開始する。同様に、ステップＳ３０２では、受信装置２００は、接続先となる装置を探索開始する。例えば、送信装置１００と受信装置２００は、それぞれ、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔが規定するプロセスであるＤｅｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙを実行する。
【００３７】
ステップＳ３０３では、送信装置１００の通信制御部１０９は、Ｄｅｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙの結果から、受信装置２００を発見する。また、ここで送信装置１００の表示部１１２は、ステップＳ３０２として発見した受信装置のリストを表示する。同様に、ステップＳ３０４では、受信装置２００は、Ｄｅｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙの結果から、送信装置１００を発見する。
【００３８】
ステップＳ３０５では、送信装置１００の通信制御部１０９と受信装置２００は、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔによる無線通信接続を開始する。例えば、送信装置１００の操作部１１４において、受信装置２００が選択されるのをトリガとして接続処理が開始される。なお、無線通信接続を、受信装置２００から開始するよう構成しても良い。
【００３９】
ステップＳ３０６では、送信装置１００の通信制御部１０９は、受信装置２００から受信装置２００が持つ能力情報を受信する。ここで、能力情報とは、受信装置２００が受信可能な画像の情報（圧縮符号化や多重化の形式など）、受信装置２００のＵＩＢＣ機器の情報、受信装置２００のＯＳＤ情報受信対応情報などである。また、ＵＩＢＣ機器情報とは、例えばマウスやキーボードなど受信装置２００がサポートするユーザ操作機器の情報である。この情報は例えば、Ｗｉ−Ｆｉ  ＤｉｓｐｌａｙにおけるＲＴＳＰ  Ｍ３（ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ）レスポンスメッセージにおいて送信される。また、ＯＳＤ情報受信対応情報とは、ＯＳＤ情報を受信し、当該ＯＳＤ情報に基づくＯＳＤ画面の作成をサポートするか否かを示す情報である。以下の説明においては、受信装置２００がＵＩＢＣ機器をサポートしており、かつＯＳＤ情報受信をサポートしている場合について説明する。
【００４０】
図４は、ＯＳＤ情報受信をサポートするか否かを示す対応情報の実装の一例を示す図である。ここでは、ＲＴＳＰ  Ｍ３（ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ）レスポンスメッセージで送信されるＯＳＤ情報受信対応情報の例を示している。
【００４１】
ＯＳＤ情報受信対応情報は、ＯＳＤ情報受信対応情報であることを示す「パラメータ名」と「値」とで構成される。通信制御部１０９は、パラメータ名「ｖｎｄ−ｏｓｄ−ｓｕｐｐｏｒｔ」に対応する値を参照し、値が「０」であれば、受信装置２００はＯＳＤ情報受信をサポートしないと判定する。一方、値が「１」であれば、受信装置２００はＯＳＤ情報の受信をサポートすると判定する。
【００４２】
また、通信制御部１０９は、ＲＴＳＰ  Ｍ３（ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ）レスポンスメッセージにパラメータ名「ｖｎｄ−ｏｓｄ−ｓｕｐｐｏｒｔ」が存在しない場合、受信装置２００はＯＳＤ情報の受信をサポートしないと判定する。
【００４３】
ステップＳ３０７では、送信装置１００の通信制御部１０９は、取得した受信装置２００の能力情報に基づき、画像データの送信に関する設定情報を決定し、決定した設定情報を受信装置２００へ送信する。設定情報は、送信装置１００が送信する画像データの情報、ＵＩＢＣの設定情報、およびＯＳＤ情報を識別する識別情報を含む。
【００４４】
ＵＩＢＣの設定情報は、例えば、マウスやキーボードなど操作機器の種類および操作機器の操作情報を有効とするか否かの情報、ＵＩＢＣ機器の操作情報の通信に使用するネットワークのポート番号の情報を含む。ＯＳＤ情報を識別する識別情報は、後述の図５に示されるようなパラメータである。この情報は例えば、Ｗｉ−Ｆｉ  ＤｉｓｐｌａｙにおけるＲＴＳＰ  Ｍ４（ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ）リクエストメッセージにおいて送信される。以下の説明においては、送信装置１００は、受信装置２００からのＵＩＢＣ機器の操作情報を有効とするものとして説明する。また、ＯＳＤ情報を識別する識別情報（ＯＳＤ情報識別子）の決定処理については図１１を参照して後述する。
【００４５】
図５は、ＯＳＤ情報識別子の実装の一例を示す図である。ここでは、ＲＴＳＰ  Ｍ４（ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ）リクエストメッセージで送信されるパラメータの例を示している。ＯＳＤ情報を識別するパラメータは、当該パラメータがＯＳＤ情報を識別するための識別情報であることを表す「パラメータ名」と「値」とで構成される。識別情報の値は、例えば、ＯＳＤ情報の送信に使用するＰＩＤ（Ｐａｃｋｅｔ  ＩＤ）を利用することが出来る。なお、ＰＩＤは、ＭＰＥＧ−２  ＴＳにおいて多重化された各々の情報を識別するＩＤである。
【００４６】
ステップＳ３０８では、送信装置１００の通信制御部１０９は、画像送信の準備を要求する、ＲＴＳＰのＳＥＴＵＰリクエストメッセージを受信装置２００から受信する。当該リクエストメッセージは、Ｗｉ−Ｆｉ  ＤｉｓｐｌａｙにおけるＲＴＳＰ  Ｍ６リクエストメッセージに対応する。
【００４７】
ステップＳ３０９では、送信装置１００の通信制御部１０９は、ステップＳ３０８の画像送信の準備要求に基づいて、画像データを受信装置２００へ送信する準備を行う。また、ステップＳ３０８のＲＴＳＰのＳＥＴＵＰリクエストメッセージに対応して、送信装置１００は、「ＯＫ」の内容のＲＴＳＰのＳＥＴＵＰレスポンスメッセージを受信装置２００へ送信する。このレスポンスメッセージは、Ｗｉ−Ｆｉ  ＤｉｓｐｌａｙにおけるＲＴＳＰ  Ｍ６レスポンスメッセージに対応する。
【００４８】
ステップＳ３１０では、送信装置１００の通信制御部１０９は、画像の送信要求である、ＲＴＳＰのＰＬＡＹリクエストメッセージを受信装置２００から受信する。このリクエストメッセージは、Ｗｉ−Ｆｉ  ＤｉｓｐｌａｙにおけるＲＴＳＰ  Ｍ７リクエストメッセージに対応する。
【００４９】
ステップＳ３１１では、送信装置１００の通信制御部１０９は、ステップＳ３１０の画像送信要求を受けて、画像データを受信装置２００へ送信する。画像データの送信はＲＴＰを用いて実現される。また、ステップＳ３１０のＲＴＳＰのＰＬＡＹリクエストメッセージに対応して送信装置１００は、ＯＫの内容のＲＴＳＰのＰＬＡＹレスポンスメッセージを受信装置２００へ送信する。このレスポンスメッセージは、Ｗｉ−Ｆｉ  ＤｉｓｐｌａｙにおけるＲＴＳＰ  Ｍ７レスポンスメッセージに対応する。ここで、ＲＴＰを用いる画像送信においては、ユニキャストを用いてもよいし、マルチキャストを用いてもよい。
【００５０】
ステップＳ３１２では、受信装置２００は、画像データの受信を開始し、ステップＳ３１３では、受信装置２００は、受信した画像データを自身の表示部に表示する。ここで、受信装置２００は、ステップＳ３０７においてＯＳＤ情報識別子を受信していれば、受信したＭＰＥＧ−２  ＴＳのストリームから、ビデオ画像と共に、ＯＳＤ情報識別子に対応したＯＳＤ情報を抽出し、画像データに合成して表示する。ステップＳ３０７においてＯＳＤ情報識別子を受信していなければ、受信した画像ストリームからビデオ画像のみを抽出して表示する。
【００５１】
＜画像ストリームの生成処理＞
図６は、送信装置における画像ストリームの生成処理の一例を示すフローチャートである。当該生成処理は、送信画像制御部１０７において周期的に実行される。具体的には、接続している受信端末の数の変化や受信装置の能力情報の変化などに伴って、送信する画像ストリーム（画像データ）を切り換える制御を示している。
【００５２】
ステップＳ６０１では、送信装置１００の通信制御部１０９は、新しく受信装置が接続されたことを検出する。送信装置１００の通信制御部１０９は、受信装置２００の接続を検出すると、ステップＳ６０２へ進む。
【００５３】
ステップＳ６０２では、送信装置１００の送信画像制御部１０７は、ＯＳＤ情報受信対応情報により、受信装置２００がＯＳＤ情報受信をサポートする、すなわち処理可能であるか否かを判定する（処理可否判定手段）。ここで、受信装置は１台でも複数台でもよく、送信装置１００は、接続している全ての受信装置に対してＯＳＤ情報受信対応情報を判定する。なお、ＯＳＤ情報受信対応情報は、各受信端末に対して実行される図３の処理におけるステップＳ３０６で取得される。
【００５４】
接続している全ての受信装置がＯＳＤ情報受信をサポート（処理可能）しており、かつ、受信装置の接続台数が複数台（２台以上）であれば、ステップＳ６０３へ進む。ＯＳＤ情報受信を処理不能である場合など、それ以外であれば、ステップＳ６０８へ進む。なお、接続している全ての受信装置がサポートするＵＩＢＣ機器が同一である場合は、ステップＳ６０８へ進んでも良い。
【００５５】
ステップＳ６０３では、送信装置１００の送信画像制御部１０７は、受信装置２００に対してＵＩＢＣ機能を有効に設定したか判別する。ＵＩＢＣ機能は、図３におけるステップＳ３０７で設定される。ここで、受信装置２００が複数台であれば、接続されている全ての受信装置に対してＵＩＢＣ機能を有効に設定したか判別する。
【００５６】
いずれかの（少なくとも１台の）受信装置に対してＵＩＢＣ機能を有効に設定していれば、ステップＳ６０４へ進む。一方、全ての受信装置に対してＵＩＢＣ機能を無効に設定しており、受信装置による操作指示が実行不能であれば、ステップＳ６０７へ進む。
【００５７】
ステップＳ６０４では、送信装置１００のＯＳＤ情報生成部１０５は、ＯＳＤ情報および当該ＯＳＤ情報を識別するためのＯＳＤ情報識別子を生成する。上述したように、ここでは、ＯＳＤ情報識別子は、対応するＯＳＤ情報をＭＰＥＧ−２  ＴＳで多重化する際に用いるＰＩＤ（Ｐａｃｋｅｔ  ＩＤ）としても使用される。
【００５８】
なお、ＯＳＤ情報を受信可能な受信装置２００が複数ある場合には、それぞれの受信装置に対して個別のＯＳＤ情報を生成しても良い。その場合にはＯＳＤ情報それぞれに対してＯＳＤ情報識別子を生成する。
【００５９】
ステップＳ６０５では、送信装置１００のＯＳＤ情報生成部１０５は、個々の受信装置の識別するための受信装置識別子と、生成したＯＳＤ情報識別子とを対応付けて、後述の図７のようなＯＳＤ情報管理テーブルに登録する。ここで、受信装置識別子は、例えば受信装置の通信部のＭＡＣ  ＡＤＤＲＥＳＳとするが、個々の受信装置を識別可能な情報であればこれに限定されない。
【００６０】
図７は、ＯＳＤ情報管理テーブルの一例を示す図である。ＯＳＤ情報管理テーブルには、受信装置を一意に示す識別情報である受信装置識別子と、ＯＳＤ情報を一意に示す識別情報であるＯＳＤ情報識別子との対応付けが登録されている。ＯＳＤ情報管理テーブルには、受信装置識別子とＯＳＤ情報識別子とのペアが複数個登録され得る。図７において、「ＭＡＣ  ＡＤＤＲＥＳＳ１」は、受信装置２００の通信部のＭＡＣ  ＡＤＤＲＥＳＳである。また、「ＰＩＤ１」は、受信装置２００に対応したＯＳＤ情報を一意に示すＯＳＤ情報識別子である。
【００６１】
ステップＳ６０６では、送信装置１００のエンコーダ部１０３は、ビデオ画像とステップＳ６０４で生成されたＯＳＤ情報とをＭＰＥＧ−２  ＴＳで多重化（付加）する。多重化において、ＯＳＤ情報は、対応するＯＳＤ情報識別子をＰＩＤ（Ｐａｃｋｅｔ  ＩＤ）として多重化される。
【００６２】
図８は、ビデオ画像とＯＳＤ情報とを多重化した画像ストリームの概念図である。画像ストリーム４００は、ビデオ画像４０１とＯＳＤ情報４０２とがＭＰＥＧ−２  ＴＳで多重化され構成される。なお、画像ストリーム４００において、ＯＳＤ情報４０２は複数個多重化されていても良い。
【００６３】
ビデオ画像４０１は、例えば、デコーダ部１０４で復号された画像データまたは画像処理部１０２で生成される画像データである。また、当該画像データを圧縮符号化した圧縮画像データであってもよい。ＯＳＤ情報４０２は、ＯＳＤ情報生成部で生成されたＯＳＤ情報である。すなわち、ビデオ画像４０１とＯＳＤ情報４０２とは論理的には分離して送信される。
【００６４】
ステップＳ６０７では、送信装置１００のエンコーダ部１０３は、ビデオ画像に基づいて、ＭＰＥＧ−２  ＴＳ形式の画像ストリームを生成する。すなわち、ＯＳＤ情報は利用されず、また送信において付加されることもない。
【００６５】
図９は、ＯＳＤ情報を含まないビデオ画像の画像ストリームの概念図である。画像ストリーム４１０は、ビデオ画像４０１で構成される。同図において、図８と同様の部分には同じ参照番号を付与している。
【００６６】
ステップＳ６０８では、送信装置１００の送信画像制御部１０７は、受信装置２００に対してＵＩＢＣ機能を有効に設定したか判別する。ＵＩＢＣ機能は、図３におけるステップＳ３０７で設定される。ここで、受信装置２００が複数台であれば、接続されている全ての受信装置に対してＵＩＢＣ機能を有効に設定したか判別する。
【００６７】
いずれかの（少なくとも１台の）受信装置に対してＵＩＢＣ機能を有効に設定していれば、ステップＳ６０９へ進む。一方、全ての受信装置に対してＵＩＢＣ機能を無効に設定していれば、ステップＳ６０７へ進む。
【００６８】
ステップＳ６０９では、送信装置１００のＯＳＤ情報生成部１０５は、ＯＳＤ情報を生成する。ここで、ＯＳＤ情報自体は、ステップＳ６０４と同様であるため、説明を省略する。
【００６９】
ステップＳ６１０では、送信装置１００のＯＳＤ情報合成部１０６は、ビデオ画像と、ステップＳ６０９で生成したＯＳＤ情報に基づいて生成したＯＳＤ情報画像とを重ね合わせて（付加して）合成ビデオ画像を生成する。
【００７０】
ステップＳ６１１では、送信装置１００のエンコーダ部１０３は、ステップＳ６１０で生成した合成ビデオ画像に基づいて、ＭＰＥＧ−２  ＴＳ形式の画像ストリームを生成する。
【００７１】
図１０は、ビデオ画像とＯＳＤ情報とを合成した画像ストリームの概念図である。画像ストリーム４２０は、ビデオ画像に対してＯＳＤ情報画像が合成されたＯＳＤ合成画像４２１で構成される。なお、ＯＳＤ情報を受信可能な受信装置２００が複数ある場合には、それぞれの受信装置に対して個別のＯＳＤ合成画像を生成すると良い。
【００７２】
図１１は、受信装置に送信するＯＳＤ情報識別子を決定する処理のフローチャートである。上述したように、図１１の処理は図３のステップＳ３０７で実行される処理である。
【００７３】
ステップＳ１１０１では、送信装置１００の送信画像制御部１０７は、図７で示されるＯＳＤ情報管理テーブルを参照する。なお、ＯＳＤ情報管理テーブルには、図６のステップＳ６０５で登録された受信装置識別子とＯＳＤ情報識別子とのペアが含まれている。
【００７４】
ステップＳ１１０２では、送信装置１００の送信画像制御部１０７は、ステップＳ１１０１で取得したＯＳＤ情報管理テーブルに、受信装置２００に対応するＯＳＤ情報が存在するか否かを検索する。具体的には、受信装置２００の受信装置識別子であるＭＡＣ  ＡＤＤＲＥＳＳがＯＳＤ情報管理テーブルに存在するか否かを検索する。存在している場合はＯＳＤ情報が存在することを意味する。一方、存在していない場合はＯＳＤ情報が存在しないことを意味する。ＯＳＤ情報が存在する場合はステップ１１０３へ進む。ＯＳＤ情報が存在しなければ、当該フローチャートの処理を終了する。
【００７５】
ステップＳ１１０３では、送信装置１００の送信画像制御部１０７は、ステップＳ１１０２で検索された受信装置識別子に対応するＯＳＤ情報識別子を受信装置２００へ送信することを決定する。上述したように、決定されたＯＳＤ情報識別子は、図３のステップＳ３０７において受信装置２００に送信される。
【００７６】
なお、送信装置１００が受信装置２００への画像送信を開始した後、新たな受信装置が追加された場合、当該新たな受信装置に対してステップＳ３０７からシーケンスを実行するとよい。すなわち、送信装置１００は、既に無線接続している受信装置２００に対しては無線接続を切断せず画像送信を継続するとよい。
【００７７】
受信装置２００は、送信装置１００から送信されたＯＳＤ情報識別子に基づいて、受信している画像ストリームからＯＳＤ情報を抽出し、表示部においてビデオ画像との合成表示（オーバレイ表示など）を行う。
【００７８】
以上説明したとおり第１実施形態によれば、ユーザインタフェース画面の表示に関連する受信装置の能力情報に応じて、送信装置は送信する画像ストリームを切り替える。具体的には、ユーザインタフェース（ＵＩ）のためのＯＳＤ情報をビデオ画像と多重化して送信するか、ＵＩ画像を合成したビデオ画像に送信するかを切り替える。
【００７９】
この構成により、受信装置において、ＵＩの表示、非表示をより好適に切り替えることが可能となる。また、送信装置が複数の受信装置に対してマルチキャスト送信する構成において、各受信装置において好適にＵＩ画像を表示することが可能となる。具体的には、ＵＩＢＣ機器が接続されている受信装置においてはビデオ画像と共にＵＩ画面を表示する一方、ＵＩＢＣ機器が接続されていない受信機器においてはビデオ画面のみ表示することが可能となる。
【００８０】
（第２実施形態）
第２実施形態では、送信装置において、受信装置に接続されたユーザインタフェース機器の状態に応じた画面を表示する形態について説明する。
【００８１】
図１２は、第２実施形態に係る送信装置の内部構成を示すブロック図である。送信装置５００は、表示画像制御部５０１を更に備える点が第１実施形態（図２）と異なる。図２と同じ機能部に対しては同じ参照番号を付与している。
【００８２】
表示画像制御部５０１は、送信装置５００の表示部１１２に表示する画像を制御する。ここでは、表示画像は、ネットワーク３００を介して接続している１台以上の受信装置２００の能力に応じて決定される。
【００８３】
図１３は、送信装置における表示画像生成処理の一例を示すフローチャートである。
【００８４】
ステップＳ１３０１では、送信装置５００の送信画像制御部１０７は、受信装置２００に対してＵＩＢＣ機能を有効に設定したか判別する。いずれかの受信装置に対してＵＩＢＣを有効に設定していれば、ステップＳ１３０２へ進む。全ての受信装置に対してＵＩＢＣを無効に設定していれば、ステップＳ１３０４へ進む。
【００８５】
ステップＳ１３０２では、送信装置５００のＯＳＤ情報生成部１０５は、受信装置２００から遠隔操作を行うためのＯＳＤ情報を生成する。
【００８６】
ステップＳ１３０３では、送信装置５００の表示画像制御部５０１は、ＯＳＤ情報合成部１０６を制御し、ビデオ画像とＯＳＤ情報画像とを重ね合わせた合成画像を生成する。すなわち、ＯＳＤ情報合成部１０６は、ステップＳ１３０２で生成したＯＳＤ情報に基づいてＯＳＤ情報画像を生成し、ビデオ画像に重ね合わせ、合成画像を生成する。そして、表示画像制御部５０１は、生成された合成画像を表示部１１２に表示するよう制御する。
【００８７】
ステップＳ１３０４では、送信装置５００の表示画像制御部５０１は、ＯＳＤ情報合成部１０６を制御し、ビデオ画像のみの画像を生成させる。そして、表示画像制御部５０１は、生成された画像を表示部１１２に表示するよう制御する。
【００８８】
以上説明したとおり第２実施形態によれば、ＵＩ画面の表示に関連する受信装置の能力情報に応じて、送信装置は自身の表示部に表示する画像を切り替える。送信装置自身における、ＵＩの表示、非表示をより好適に切り替えることが可能となる。
【００８９】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９０】
１００  送信装置；  １０１  撮像部；  １０２  画像処理部；  １０５  ＯＳＤ情報生成部；  １０６  ＯＳＤ情報合成部；  １０７  送信画像制御部；  ２００  受信装置；  ３００  ネットワーク
【図１】
2016100651.tif 000003
【図２】
2016100651.tif 000004
【図３】
2016100651.tif 000005
【図４】
2016100651.tif 000006
【図５】
2016100651.tif 000007
【図６】
2016100651.tif 000008
【図７】
2016100651.tif 000009
【図８】
2016100651.tif 000010
【図９】
2016100651.tif 000011
【図１０】
2016100651.tif 000012
【図１１】
2016100651.tif 000013
【図１２】
2016100651.tif 000014
【図１３】
2016100651.tif 000015