(57)【要約】【課題】画像送信において、画像データの転送量への悪影響を抑制しながら受信側によるリモート制御を可能とする。【解決手段】本発明の一態様によれば、画像送信装置は、画像データ生成部と、伝送データ生成部と、送信部と、受信部とを含む。画像データ生成部は、第１の画像データを生成する。伝送データ生成部は、第１の画像データおよび第１の画像データを識別する第１の識別子を含む第１の伝送データを生成する。送信部は、第１の伝送データを画像表示装置へ第１の通信路を介して送信する。受信部は、第１の画像データに対する操作データおよび第１の識別子を含む第２の伝送データを画像表示装置から第１の通信路とは異なる第２の通信路を介して受信する。画像データ生成部は、さらに、操作データおよび第１の識別子に基づいて、第２の画像データを生成する。【選択図】      図２
2020127082.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データを生成する画像データ生成部と、
前記第１の画像データおよび前記第１の画像データを識別する第１の識別子を含む第１の伝送データを生成する伝送データ生成部と、
前記第１の伝送データを画像表示装置へ第１の通信路を介して送信する送信部と、
前記第１の画像データに対する操作データおよび前記第１の識別子を含む第２の伝送データを前記画像表示装置から前記第１の通信路とは異なる第２の通信路を介して受信する受信部と
を具備し、
前記画像データ生成部は、さらに、前記操作データおよび前記第１の識別子に基づいて、第２の画像データを生成する、
画像送信装置。
【請求項２】
前記伝送データ生成部は、さらに、前記第２の画像データおよび前記第２の画像データを識別する第２の識別子を含む第３の伝送データを生成し、
前記画像データ生成部は、さらに、前記第３の伝送データを前記画像表示装置へ前記第１の通信路を介して送信する、
請求項１に記載の画像送信装置。
【請求項３】
前記第１の通信路は、第１の無線通信方式に従う第１の通信システムによって提供され、
前記第２の通信路は、前記第１の無線通信方式と異なる第２の無線通信方式に従う第２の通信システムによって提供される、
請求項１または請求項２に記載の画像送信装置。
【請求項４】
前記第２の無線通信方式は、前記第１の無線通信方式に比べて低速である、請求項３に記載の画像送信装置。
【請求項５】
前記第１の無線通信方式は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、５Ｇ(５ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）、およびＷｉｒｅｌｅｓｓ  ＨＤのいずれかであって、
前記第２の無線通信方式は、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、および９２０ＭＨｚ帯無線のいずれかである、
請求項３または請求項４に記載の画像送信装置。
【請求項６】
第１の画像データおよび前記第１の画像データを識別する第１の識別子を含む第１の伝送データを画像送信装置から第１の通信路を介して受信する受信部と、
前記第１の画像データを出力装置に表示させる表示制御部と、
前記第１の画像データの表示時に入力装置において検出された入力イベントに対応する操作データを生成する操作データ生成部と、
前記操作データおよび前記第１の識別子を含む第２の伝送データを生成する伝送データ生成部と、
前記第２の伝送データを前記画像送信装置へ前記第１の通信路とは異なる第２の通信路を介して送信する送信部と
を具備する、画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像送信技術に関する。
【背景技術】
【０００２】
従来、例えば、Ｍｉｒａｃａｓｔ（登録商標）などの画像送信技術が知られている。かかる画像送信技術によれば、例えば、画像送信装置の画面を表す画像データを、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）により画像表示装置としてのＴＶへ送信することで、ＴＶにスマートフォンの画面を映すことが可能となる。画像送信装置は、典型的には小画面を利用する電子機器、例えば、スマートフォン、タブレットＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ラップトップＰＣ、などである。他方、画像表示装置は、典型的には大画面を利用する電子機器、例えば、デスクトップＰＣ、ＴＶ、プロジェクタ、などである。
【０００３】
また、Ｍｉｒａｃａｓｔでは、オプションとしてＵＩＢＣ（Ｕｓｅｒ  Ｉｎｐｕｔ  Ｂａｃｋ  Ｃｈａｎｎｅｌ）が定められている。ＵＩＢＣを利用することで、画像表示装置になされたタッチ操作などの入力イベントを画像送信装置へ送信することが可能となる。すなわち、画像データの受信側である画像表示装置から当該画像データへのリモート制御が可能となる。
【０００４】
同様に、特許文献１には、「ワイヤレスソースデバイスが、ワイヤレスシンクデバイスにオーディオおよびビデオデータを送信することができ、ワイヤレスシンクデバイスは、ワイヤレスシンクデバイスにおいて受信されたユーザ入力データをワイヤレスソースデバイスに送信することができる。このようにして、ワイヤレスシンクデバイスのユーザが、ワイヤレスソースデバイスを制御し、ワイヤレスソースデバイスからワイヤレスシンクデバイスに送信されているコンテンツを制御することができる。ワイヤレスシンクデバイスにおいて受信された入力データはマルチタッチジェスチャであり得る」こと（要約書）、および「シンクデバイス１６０が、シンクデバイス１６０において適用されるユーザ入力をソースデバイス１２０に送信できるようにするために、ユーザインターフェースバックチャネル（ＵＩＢＣ：user interfaceback channel）とも呼ばれる逆方向チャネルアーキテクチャが実装され得る」こと（［００２８］）が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−５１１５８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、無線ＬＡＮなどの無線通信は、有線通信に比べて伝送品質が安定していないため、一定の画質の画像データを一定の頻度で送信し続けることが困難となることがある。例えば、画像表示装置に画像データが正常に表示されなかったり、遅延したりすることがあり得る。
【０００７】
また、ＵＩＢＣのように、画像送信装置から画像表示装置への片方向通信に加えて、その逆方向の通信を実現しようとすれば、画像データの伝送のために利用可能な物理リソースが圧迫され、画像データの転送量は悪化する。故に、上記の問題はさらに深刻となり得る。
【０００８】
さらに、ＭｉｒａｃａｓｔのＵＩＢＣによれば、操作データの対象となる画像データが特定されない。このため特に、大きな遅延が生じた場合および／または遅延許容度の厳しいコンテンツ（例えば、ビデオゲームなど）の画像データが送信される場合に、画像送信装置がこの操作データを正しく扱うことが困難となり得る。すなわち、画像データの受信側である画像表示装置から画像データへのリモート制御が不安定となり得る。
【０００９】
本発明は、画像送信において、画像データの転送量への悪影響を抑制しながら受信側によるリモート制御を可能とすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様によれば、画像送信装置は、画像データ生成部と、伝送データ生成部と、送信部と、受信部とを含む。画像データ生成部は、第１の画像データを生成する。伝送データ生成部は、第１の画像データおよび第１の画像データを識別する第１の識別子を含む第１の伝送データを生成する。送信部は、第１の伝送データを画像表示装置へ第１の通信路を介して送信する。受信部は、第１の画像データに対する操作データおよび第１の識別子を含む第２の伝送データを画像表示装置から第１の通信路とは異なる第２の通信路を介して受信する。画像データ生成部は、さらに、操作データおよび第１の識別子に基づいて、第２の画像データを生成する。
【００１１】
本発明の別の態様によれば、画像表示装置は、受信部と、表示制御部と、操作データ生成部と、伝送データ生成部と、送信部とを含む。受信部は、第１の画像データおよび第１の画像データを識別する第１の識別子を含む第１の伝送データを画像送信装置から第１の通信路を介して受信する。表示制御部は、第１の画像データを出力装置に表示させる。操作データ生成部は、第１の画像データの表示時に入力装置において検出された入力イベントに対応する操作データを生成する。伝送データ生成部は、操作データおよび第１の識別子を含む第２の伝送データを生成する。送信部は、第２の伝送データを画像送信装置へ第１の通信路とは異なる第２の通信路を介して送信する。
【００１２】
すなわち、この画像表示装置によれば、操作データの対象となる（第１の）画像データを識別する（第１の）識別子を、当該操作データとともに画像送信装置へ送信する。故に、この画像送信装置は、画像表示装置から送信された操作データの対象となる画像データを一意に関連付けて適切なローカルコマンドを発生し、ユーザにとって違和感の小さい画像データを生成することができる。すなわち、無線伝送の遅延によるリモート制御のずれを防止することができる。
【発明の効果】
【００１３】
本発明によれば、画像送信において、画像データの転送量への悪影響を抑制しながら受信側によるリモート制御が可能となる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る画像送信システムを例示する図。
【図２】図１の画像送信装置を例示するブロック図。
【図３】図１の画像表示装置を例示するブロック図。
【図４】図２の画像送信装置によって送信される伝送データの構造を例示する図。
【図５】図３の画像表示装置によって送信される伝送データの構造を例示する図。
【図６】図２の画像送信装置および図３の画像表示装置によって行われる画面送信処理を例示するシーケンス図。
【図７】図２の画像送信装置および図３の画像表示装置によって行われる画面送信処理を例示するシーケンス図。
【図８】図２の画像送信装置の動作を例示するフローチャート。
【図９】図３の画像表示装置の動作を例示するフローチャート。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。
【００１６】
（実施形態）  
図１に、実施形態に係る画像送信装置（ソースデバイスと呼ぶこともできる）１００および画像表示装置（シンクデバイスと呼ぶこともできる）２００を含む、画像送信システムが例示される。
【００１７】
この画像送信システムでは、例えば第１の通信方式としての無線ＬＡＮに従う第１の通信システムによって提供されるデータチャネル（第１の通信路）を介して、画像送信装置１００から画像表示装置２００へ画像データ、典型的には画面データが送信される。他方、この画像送信システムでは、例えば第２の通信方式としてのＢｌｕｅｔｏｏｔｈ（登録商標）に従う第２の通信システムによって提供され、データチャネルとは異なる制御チャネル（第２の通信路）を介して、画像表示装置２００から画像送信装置１００へ操作データが送信される。
【００１８】
なお、第１の通信路は、主に画像送信装置１００から画像表示装置２００へ画像データを伝送するために用いられるものの、例えば接続処理、端末認証、および切断処理、ならびにデータの受信確認（Ａｃｋ）などのために、画像表示装置２００から画像送信装置１００へデータを伝送するためにも用いられ得る。同様に、第２の通信路は、主に画像表示装置２００から画像送信装置１００へ操作データを伝送するために用いられるものの、例えば接続処理、端末認証、および切断処理、ならびにデータの受信確認などのために、画像送信装置１００から画像表示装置２００へデータを伝送するためにも用いられ得る。
【００１９】
ここで、第１の通信方式および第２の通信方式は、異なっていてもよいし同一であってもよい。ただし、一般的に、画面データに比べて操作データのトラフィックは小さいので、第２の通信方式は第１の通信方式に比べて低速であってよく、また両者が同一である場合には第２の通信路は第１の通信路に比べて低速、例えば帯域幅が狭い、であってよい。第１の通信方式は、典型的には、無線ＬＡＮ、ＬＴＥ（登録商標）（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、５Ｇ（５ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）、Ｗｉｒｅｌｅｓｓ  ＨＤなどの無線通信方式であるがこれらに限られないし、有線通信方式であってもよい。他方、第２の通信方式は、典型的には、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ(登録商標)、９２０ＭＨｚ帯無線、などの無線通信方式であるがこれらに限られないし、有線通信方式であってもよい。
【００２０】
なお、無線ＬＡＮモジュールおよびＢｌｕｅｔｏｏｔｈモジュールは、同一のチップ上に実装され、そのうえスマートフォンなどの電子機器に標準的に搭載されるケースが多い。故に、少なくとも実装の容易性およびコストの観点から、第１の通信方式として無線ＬＡＮを採用し、第２の通信方式としてＢｌｕｅｔｏｏｔｈを採用することにメリットはあり得る。
【００２１】
画像送信装置１００は、例えば、スマートフォン、タブレットＰＣ、ラップトップＰＣ、デスクトップＰＣ、ＴＶ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）レコーダ、プロジェクタ、などの電子機器であり得る。なお、画像送信装置１００の利用可能な画面のサイズは、画像表示装置２００の利用可能な画面のサイズに比べて大きくてもよいが、小さくてもよい。後者のユースケースとして、例えば、ユーザが、リビングに設置されたＨＤＤレコーダによって録画したＴＶ番組を自室でスマートフォンにより視聴すること、などがあり得る。
【００２２】
画像送信装置１００は、画像データおよび伝送データ（パケット）の生成、通信制御、入出力制御、などを行うプロセッサを含む。ここで、プロセッサは、典型的にはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であるが、マイコン、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、またはその他の汎用または専用のプロセッサなどであってもよい。
【００２３】
さらに、画像送信装置１００は、かかる処理を実現するためにプロセッサによって実行されるプログラムおよび当該プログラムによって使用されるデータ、例えば画像データ、操作データ、伝送データ、などを一時的に格納するメモリを含む。メモリは、かかるプログラム／データが展開されるワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含み得る。
【００２４】
画像送信装置１００は、さらに、画像表示装置２００に接続するための通信Ｉ／Ｆ（インターフェース）を利用可能である。通信Ｉ／Ｆは、画像送信装置１００に内蔵されてもよいし、画像送信装置１００に外付けされてもよい。第１の通信方式および第２の通信方式が異なる場合には、それぞれの方式をサポートする２つの通信Ｉ／Ｆ、例えば無線ＬＡＮモジュールおよびＢｌｕｅｔｏｏｔｈモジュール、が利用され得る。他方、第１の通信方式および第２の通信方式が同一である場合には、両者をサポートする１つの通信Ｉ／Ｆが利用され得る。
【００２５】
画像送信装置１００は、図２に例示されるように、画像データ生成部１０１と、画像メモリ１０２と、伝送データ生成部１０３と、データ送信部１０４と、データ受信部１０５と、操作データバッファ１０６とを含む。
【００２６】
画像データ生成部１０１は、例えば、前述のプロセッサに相当し得る。画像データ生成部１０１は、単位時間（例えば、フレーム）毎の画像データを生成する。なお、画像データは、画面データに限られないが、以降の説明では画面データであることとする。画像データ生成部１０１は、例えばローカルに保存されている、または外部サーバから取得した動画、静止画、スライドショー、Ｗｅｂページのような視覚的コンテンツを再生することにより画面データを生成してもよいし、例えばゲームプログラムなどのアプリケーションを実行することにより画面データを生成してもよい。画像データ生成部１０１は、生成した画面データを、当該画面データを識別する識別子（例えば、フレーム番号）に対応付けて、画像メモリ１０２に書き込む。
【００２７】
なお、後述するように、画像送信装置１００は、画像表示装置２００へ送信済みのいずれかの画面データに対する操作データ（を含んだ伝送データ）を当該画像表示装置２００から受信することがある。かかる場合に、画像データ生成部１０１は、操作データに基づいて画面データを生成することになる。
【００２８】
具体的には、画像データ生成部１０１は、画面データを生成する時に操作データバッファ１０６を参照する。そして、操作データバッファ１０６に格納されている操作データに対応する識別子が所定の条件を満足する場合には、少なくとも当該操作データに基づいて画面データを生成する。所定の条件とは、例えば、操作データに対応する識別子が、生成する画面データに対応する識別子に比してｍ単位時間前、例えばｍフレーム前、を指していることであること、であり得る。このｍは、ある画面データが生成されてから、当該画面データに対する操作データが画像表示装置２００から第２の通信路を介してフィードバックされ、操作データバッファ１０６に保存されるまでの所要時間に対して定められた上限時間と、画像データ生成部１０１が画面データを生成するための処理時間とに基づいて、例えば両者の和を単位時間により換算することで、定められ得る。ｍは１であってもよいし、２以上であってもよい。
【００２９】
例えば、画像データ生成部１０１は、新たにフレーム番号ｔ（ｔは任意の自然数）に対応する画面データを生成する時に操作データバッファ１０６を参照する。操作データバッファ１０６に格納されている操作データに対応する識別子がフレーム番号ｔ−ｍを指している場合に、画像データ生成部１０１は、この操作データおよびフレーム番号ｔ−ｍに基づいて、フレーム番号ｔに対応する画面データを生成する。換言すれば、画像表示装置２００には、画像データ生成部１０１によって操作データが処理される時点で、この操作データが対象とする画面データよりもｍ−１フレーム先の画面データが送信されている。故に、第１の通信路および／または第２の通信路の伝送速度が一時的に低下してある程度のラグが生じたとしても、操作データの対象となる画面データが生成されてからｍフレーム以内に操作データが操作データバッファ１０６に格納されれば、画像データ生成部１０１は、当該画面データに対する操作結果を反映した画面データを生成することができる。
【００３０】
画像データ生成部１０１は、操作データおよびその対応する識別子に基づいて、ローカルコマンドを発生してもよい。このコマンドは、例えば、ゲームまたはその他のアプリケーションへのコマンド、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品の起動、リンク先へのジャンプ、動画またはスライドショーの再生、一時停止、停止、早送り、巻き戻し、もしくはスキップ、ウィンドウもしくは他のオブジェクトの拡大、縮小、生成、もしくは消滅、またはＷｅｂページの遷移、などであり得る。画像データ生成部１０１は、典型的には、画像表示装置２００ではなく画像送信装置１００において、操作データに対応する識別子と同一の識別子に対応する送信済みの画面データを図示されない出力装置に表示していた時に、当該操作データの元となる入力イベントが図示されない入力装置において生じた場合と同様のコマンドを生成し得る。
【００３１】
なお、同一の操作データであっても、画像データ生成部１０１によって実行されているプログラム（アプリケーション）、ならびに当該操作データに対応すする識別子および／またはこの識別子と同じ識別子に対応する画面データに依存して、異なるローカルコマンドが発生し得る。
【００３２】
画像メモリ１０２は、例えば、前述のメモリに相当し得る。画像メモリ１０２には、画像データ生成部１０１によって生成された画面データおよびこれに対応する識別子が保存される。前述のように、画面データおよび識別子は、画像データ生成部１０１によって書き込まれる。画像メモリ１０２に保存された画面データおよび識別子は、伝送データ生成部１０３によって読み出される。
【００３３】
伝送データ生成部１０３は、例えば、前述のプロセッサに相当し得る。伝送データ生成部１０３は、単位時間毎に、画像メモリ１０２から画面データおよび対応する識別子を読み出す。伝送データ生成部１０３は、これら画面データおよび識別子に基づいて、第１の通信方式において定められた構造に従う第１の伝送データを生成する。伝送データ生成部１０３は、第１の伝送データをデータ送信部１０４へ送る。
【００３４】
ここで、第１の通信方式が無線ＬＡＮである場合には、第１の伝送データは図４に例示される構造を有し得る。図４のデータ構造によれば、画面データおよび識別子データは、ペイロードデータ部におけるペイロードフィールドに格納される。より具体的には、識別子は、ペイロードフィールドにおけるＤａｔａ＿Ｆｒａｍｅ＿Ｎｏフィールドに格納され、画面データは、ペイロードフィールドにおけるＤａｔａ  Ｓｔｒｅａｍフィールドに格納される。なお、ペイロードフィールドにおけるＤａｔａ  ＴｙｐｅフィールドおよびＤａｔａ＿Ｌｅｎｇｔｈフィールドには、Ｄａｔａ  Ｓｔｒｅａｍフィールドに格納されるデータの種別および長さを示すデータがそれぞれ格納される。また、ペイロードフィールドにおけるＦＣＳ（Ｆｒａｍｅ  Ｃｈｅｃｋ  Ｓｅｑｕｅｎｃｅ）は、当該ペイロードフィールド内のビット誤りの検出のために用いられる。
【００３５】
データ送信部１０４は、例えば、前述のプロセッサおよび第１の通信方式をサポートする通信Ｉ／Ｆ（第１の通信Ｉ／Ｆ）に相当し得る。データ送信部１０４は、伝送データ生成部１０３から第１の伝送データを順次受け取り、これを画像表示装置２００へ第１の通信路（データチャネル）を介して送信する。
【００３６】
データ受信部１０５は、例えば、前述のプロセッサおよび第２の通信方式をサポートする通信Ｉ／Ｆ（第２の通信Ｉ／Ｆ）に相当し得る。データ受信部１０５は、第２の伝送データを画像表示装置２００から第２の通信路を介して受信する。第２の伝送データは、データ送信部１０４により送信済みのいずれか画面データに対する操作データと、当該画面データを識別する識別子とを含む。データ受信部１０５は、第２の伝送データに含まれる操作データおよび対応する識別子を抽出し、操作データバッファ１０６に書き込む。
【００３７】
ここで、第２の伝送データもまた、図４の例と同様にペイロードフィールドを有しており、当該ペイロードフィールドは図５に例示される構造を有する。図５のデータ構造によれば、識別子は、ペイロードフィールドにおけるＤａｔａ＿Ｆｒａｍｅ＿Ｎｏフィールドに格納され、操作データ、例えば、タップ、スワイプ、ピンチイン／アウトなどの操作の内容と、必要があればその座標、方向、回数、持続時間、強度などとを示すデータ、は、ペイロードフィールドにおけるＣｏｎｔｒｏｌ  Ｄａｔａフィールドに格納される。なお、Ｃｏｎｔｒｏｌ  ＴｙｐｅフィールドおよびＤａｔａ＿Ｌｅｎｇｔｈフィールドには、Ｃｏｎｔｒｏｌ  Ｄａｔａフィールドに格納されるデータの種別および長さを示すデータがそれぞれ格納される。また、ペイロードフィールドにおけるＦＣＳは、当該ペイロードフィールド内のビット誤りの検出のために用いられる。
【００３８】
操作データバッファ１０６は、例えば、前述のメモリに相当し得る。操作データバッファ１０６には、データ受信部１０５によって受信され、抽出された操作データおよびこれに対応する識別子が保存される。前述のように、操作データおよび識別子は、データ受信部１０５によって書き込まれる。操作データバッファ１０６に保存された操作データおよび識別子は、画像データ生成部１０１によって読み出される。
【００３９】
画像表示装置２００は、図３に例示されるように、データ受信部２０１と、画像メモリ２０２と、表示制御部２０３と、操作データ生成部２０４と、伝送データ生成部２０５と、データ送信部２０６とを含む。
【００４０】
画像表示装置２００は、例えば画像送信装置１００と同様の電子機器であり得る。画像表示装置２００は、前述の各ハードウェアに加えて、入力Ｉ／Ｆおよび出力Ｉ／Ｆを含み得る。入力Ｉ／Ｆは、画像表示装置２００と、例えば、タッチスクリーン、キーボード、マウス、テンキー、マイクロフォン、カメラ、慣性センサ、スキャナなどの入力装置２０との間のインターフェースである。出力Ｉ／Ｆは、画像表示装置２００と、例えば、ディスプレイ、スピーカ、バイブレータ、プリンタ、などの出力装置１０との間のインターフェースである。
【００４１】
データ受信部２０１は、例えば、前述のプロセッサおよび第１の通信Ｉ／Ｆに相当し得る。データ受信部２０１は、前述の第１の伝送データを画像送信装置１００から第１の通信路を介して受信する。前述のように、第１の伝送データは、画面データおよび対応する識別子を含む。データ受信部２０１は、例えば図４のようなデータ構造に従って、第１の伝送データに含まれる画面データおよび対応する識別子を抽出し、画像メモリ２０２に書き込む。
【００４２】
画像メモリ２０２は、例えば、前述のメモリに相当し得る。画像メモリ２０２には、データ受信部２０１によって受信され、抽出された画面データおよびこれに対応する識別子が保存される。前述のように、画面データおよび識別子は、データ受信部２０１によって書き込まれる。画像メモリ２０２に保存された画面データおよび識別子は、表示制御部２０３によって読み出される。
【００４３】
表示制御部２０３は、例えば、前述のプロセッサおよび出力Ｉ／Ｆに相当し得る。表示制御部２０３は、単位時間毎に、画像メモリ２０２から画面データを読み出し、これを出力装置１０に表示させる。
【００４４】
操作データ生成部２０４は、例えば、前述のプロセッサに相当し得る。操作データ生成部２０４は、画像送信装置１００によって送信されたいずれかの画面データが出力装置１０によって表示されている時に入力装置２０において検出された入力イベント、例えば、タップ、スワイプ、ピンチイン／アウトなどに対応する操作データを生成する。さらに、操作データ生成部２０４は、入力装置２０において入力イベントが検出された時に出力装置１０によって表示されている画面データに対応する識別子を、当該入力イベントに基づく操作データに対応する識別子として複製する。操作データ生成部２０４は、操作データおよび対応する識別子を伝送データ生成部２０５へ送る。
【００４５】
伝送データ生成部２０５は、例えば、前述のプロセッサに相当し得る。伝送データ生成部２０５は、操作データ生成部２０４から操作データおよび識別子を受け取ると、第２の通信方式において定められた構造、例えば図５のデータ構造、に従う第２の伝送データを生成する。伝送データ生成部２０５は、第２の伝送データをデータ送信部２０６へ送る。
【００４６】
データ送信部２０６は、例えば、前述のプロセッサおよび第２の通信Ｉ／Ｆに相当し得る。データ送信部２０６は、伝送データ生成部２０５から第２の伝送データを受け取り、これを画像送信装置１００へ第２の通信路（制御チャネル）を介して送信する。
【００４７】
以下、図６および図７に亘るシーケンスを用いて、図２の画像送信装置１００および画像表示装置２００の間で行われる通信を説明する。  
画面送信処理の開始が決定すると、第１の通信方式および第２の通信方式にそれぞれ従って接続処理が行われる（ステップＳ３０１およびステップＳ４０１）。第１の通信方式に従う接続処理は、画像送信装置１００および画像表示装置２００にそれぞれ含まれる第１の通信Ｉ／Ｆによって行われる。同様に、第２の通信方式に従う接続処理は、画像送信装置１００および画像表示装置２００にそれぞれ含まれる第２の通信Ｉ／Ｆによって行われる。一例として、Ｂｌｕｅｔｏｏｔｈに従う接続処理は、アドバタイジング信号の送信、このアドバタイジング信号に基づく接続要求の送信、この接続要求の応答である接続許可の送信、および接続（第２の通信路）の確立を含み得る。
【００４８】
なお、画面送信処理は、ユーザからの画像送信装置１００および／または画像表示装置２００に対する操作に基づいて開始するように定められてもよいし、何らかのイベントに応じて自動的に開始するように定められてもよい。また、第１の通信方式に従う接続処理と、第２の通信方式に従う接続処理とは並列に行われなくてもよく、一方の接続処理の後に他方の接続処理が行われてもよい。
【００４９】
続いて、第１の通信方式および第２の通信方式にそれぞれ従って端末認証が行われる（ステップＳ３０２およびステップＳ４０２）。第１の通信方式に従う端末認証は、画像送信装置１００および画像表示装置２００にそれぞれ含まれる第１の通信Ｉ／Ｆによって行われる。同様に、第２の通信方式に従う端末認証は、画像送信装置１００および画像表示装置２００にそれぞれ含まれる第２の通信Ｉ／Ｆによって行われる。一例として、Ｂｌｕｅｔｏｏｔｈに従う端末認証は、端末認証要求の送信、およびこの端末認証要求の応答である認証許可の送信、および端末認証の確立（接続先の固定）を含み得る。
【００５０】
ステップＳ３０２の終了後に、画像送信装置１００に含まれる第２の通信Ｉ／Ｆは、画面データを第１の通信路を介して送信することを画像表示装置２００に通知するために、画面データ送信通知を画像表示装置２００へ第２の通信路を介して送信し得る（ステップＳ３０３）。この画面データ送信通知は、画像表示装置２００に含まれる第２の通信Ｉ／Ｆによって受信される。
【００５１】
他方、ステップＳ４０２の終了後に、画像送信装置１００に含まれる第１の通信Ｉ／Ｆ（データ送信部１０４であり得る）は、画面データ送信要求を画像表示装置２００へ第１の通信路を介して送信する（ステップＳ４０３）。この画面データ送信通知は、画像表示装置２００に含まれる第１の通信Ｉ／Ｆ（データ受信部２０１であり得る）によって受信される。画像表示装置２００に含まれる第１の通信Ｉ／Ｆは、ステップＳ４０３において送信された画面データ送信要求への応答として画面データ送信許可を第１の通信路を介して送信する（ステップＳ４０４）。この画面データ送信許可は、画像送信装置１００に含まれる第１の通信Ｉ／Ｆによって受信される。ステップＳ４０４の後に、画像送信装置１００は画面データを送信し始める。
【００５２】
まず、画像データ生成部１０１は、第１番目の画面データを生成し、画像メモリ１０２に保存する。そして、データ送信部１０４は、この画面データおよびこれを識別する識別子（Ｎｏ．１）を画像表示装置２００へ、第１の通信路を介して送信する（ステップＳ４０５）。データ受信部２０１は、この画面データおよび識別子（Ｎｏ．１）を受信すると、これに対する受信確認として、画面データ受信応答を返す（ステップＳ４０６）。ステップＳ４０５において受信された画面データは、表示制御部２０３によって出力装置１０に表示されることになる。
【００５３】
また、ステップＳ４０５の後に、画像表示装置２００に含まれる第２の通信Ｉ／Ｆは、第１番目の画面データ（Ｎｏ．１）の受信確認として、画面データ受信通知を画像表示装置２００へ第２の通信路を介して送信し得る（ステップＳ３０４）。さらに、画像送信装置１００に含まれる第２の通信Ｉ／Ｆは、この画面データ受信通知の受信確認として、受信通知応答を画像表示装置２００へ第２の通信路を介して送信し得る（ステップＳ３０５）。なお、これらのステップＳ３０４およびステップＳ３０５は、第１番目の画面データ（Ｎｏ．１）についての画面データ受信応答が受信された場合に限って行われてもよい。すなわち、第２番目以降の画面データについての画面データ受信応答が受信された場合に画面データ受信通知が送信されなくてもよい。
【００５４】
ステップＳ４０５の後の所定のタイミングで、画像データ生成部１０１は、第２番目の画面データを生成し、画像メモリ１０２に保存する。なお、図６には示されていないが、ｍ＝１であって識別子（Ｎｏ．１）に対応する操作データが操作データバッファ１０６に保存されている場合には、画像データ生成部１０１は、当該操作データに基づいて第２番目の画面データを生成する。そして、ステップＳ４０５から単位時間経過後に、データ送信部１０４は、この画面データおよびこれを識別する識別子（Ｎｏ．２）を画像表示装置２００へ、第１の通信路を介して送信する（ステップＳ４０７）。データ受信部２０１は、この画面データおよび識別子（Ｎｏ．２）を受信すると、これに対する受信確認として、画面データ受信応答を返す（ステップＳ４０８）。ステップＳ４０７において受信された画面データは、表示制御部２０３によって出力装置１０に表示されることになる。
【００５５】
以下同様に、画像送信装置１００および画像表示装置２００の各機能部は周期的に動作することになる。
【００５６】
第ｉ−１番目（ｉは、３以上の任意の整数）の画面データの送信後の所定のタイミングで、画像データ生成部１０１は、第ｉ番目の画面データを生成し、画像メモリ１０２に保存する。なお、図６には示されていないが、ｍ＜ｉであって識別子（Ｎｏ．ｉ−ｍ）に対応する操作データが操作データバッファ１０６に保存されている場合には、画像データ生成部１０１は、当該操作データに基づいて第ｉ番目の画面データを生成する。そして、第ｉ−１番目の画面データの送信から単位時間経過後に、データ送信部１０４は、この画面データおよびこれを識別する識別子（Ｎｏ．ｉ）を画像表示装置２００へ、第１の通信路を介して送信する（ステップＳ４０９）。データ受信部２０１は、この画面データおよび識別子（Ｎｏ．ｉ）を受信すると、これに対する受信確認として、画面データ受信応答を返す（ステップＳ４１０）。ステップＳ４０９において受信された画面データは、表示制御部２０３によって出力装置１０に表示されることになる。
【００５７】
この画面データ（Ｎｏ．ｉ）が出力装置１０に表示されている時に、入力装置２０において入力イベントが検出されたとする。この場合に、操作データ生成部２０４は、この入力イベントに基づく操作データを生成するとともに、出力装置１０によって表示されている画面データに対応する識別子（Ｎｏ．１）を、当該操作データに対応する識別子として複製する。
【００５８】
そして、画像表示装置２００に含まれる第２の通信Ｉ／Ｆ（データ送信部２０６であり得る）は、操作要求を画像送信装置１００へ第２の通信路を介して送信し得る（ステップＳ３０６）。続いて、データ送信部２０６は、操作データ生成部２０４によって生成された操作データとこれを識別する識別子（Ｎｏ．ｉ）（を含む伝送データ）を画像送信装置１００へ第２の通信路を介して送信する（ステップＳ３０７）。この操作データは、データ受信部１０５によって受信され、操作データバッファ１０６に格納される。画像データ生成部１０１は、この操作データに基づいて第ｉ＋ｍ番目の画面データを生成することになる。
【００５９】
他方、第１の通信路では、第ｉ＋１番目の画面データおよびその受信応答、それから第ｉ＋２番目およびその受信応答がやり取りされる（ステップＳ４１１乃至ステップＳ４１４）。
【００６０】
その後、画面送信処理の終了が決定すると、第１の通信方式および第２の通信方式にそれぞれ従って切断処理が行われる（ステップＳ３０９およびステップＳ４１５）。第１の通信方式に従う切断処理は、画像送信装置１００および画像表示装置２００にそれぞれ含まれる第１の通信Ｉ／Ｆによって行われる。同様に、第２の通信方式に従う切断処理は、画像送信装置１００および画像表示装置２００にそれぞれ含まれる第２の通信Ｉ／Ｆによって行われる。一例として、Ｂｌｕｅｔｏｏｔｈに従う切断処理は、切断要求の送信を含み得る。
【００６１】
なお、画面送信処理は、ユーザからの画像送信装置１００および／または画像表示装置２００に対する操作に基づいて終了するように定められてもよいし、何らかのイベントに応じて自動的に終了するように定められてもよい。また、第１の通信方式に従う切断処理と、第２の通信方式に従う切断処理とは並列に行われなくてもよく、一方の切断処理の後に他方の切断処理が行われてもよい。
【００６２】
次に、図８を用いて、画像送信装置１００単体の動作を説明する。図８の動作は、画面送信処理の開始が決定されることで開始する。  
まず、画像送信装置１００に含まれる第１の通信Ｉ／Ｆおよび第２の通信Ｉ／Ｆは、第１の通信方式および第２の通信方式にそれぞれ従う接続処理、および端末認証を順に行う（ステップＳ５０１およびステップＳ５０２）。これらのステップＳ５０１およびステップＳ５０２は、図６のステップＳ３０１およびステップＳ３０２、ならびにステップＳ４０１およびステップＳ４０２に対応する。
【００６３】
さらに、画像データ生成部１０１は、画像データの識別子をカウントアップするための変数ｔを１に初期化する（ステップＳ５０３）。ステップＳ５０２およびステップＳ５０３の後に、処理はステップＳ５０４へ進む。
【００６４】
画像データ生成部１０１は、操作データバッファ１０６を参照し、識別子（Ｎｏ．ｔ−ｍ）に対応する操作データが格納されているか否かを確認する（ステップＳ５０４）。なお、ｔ＜ｍである間は、ステップＳ５０４がスキップされ、ステップＳ５０３またはステップＳ５１０からステップＳ５０５へ直接遷移するように定められてもよい。
【００６５】
識別子（Ｎｏ．ｔ−ｍ）に対応する操作データが操作データバッファ１０６に格納されていた場合には処理はステップＳ５０６に進み、そうでなければ処理はステップＳ５０５に進む。
【００６６】
ステップＳ５０５において、画像データ生成部１０１は、識別子（Ｎｏ．ｔ）に対応する画面データを生成する。ステップＳ５０５の後に、処理はステップＳ５０７へ進む。
【００６７】
他方、ステップＳ５０６において、画像データ生成部１０１は、識別子（Ｎｏ．ｔ−ｍ）に対応する操作データと当該識別子（Ｎｏ．ｔ−ｍ）とに基づいて、識別子（Ｎｏ．ｔ）に対応する画面データを生成する。ステップＳ５０６の後に、処理はステップＳ５０７へ進む。
【００６８】
ステップＳ５０７において、データ送信部１０４は、ステップＳ５０５またはステップＳ５０６において生成された画面データと、その識別子（Ｎｏ．ｔ）とを含む第１の伝送データを画像表示装置２００へ第１の通信路を介して送信する。ステップＳ５０５は、図６のステップＳ４０５、およびステップＳ４０７、ならびに図７のステップＳ４０９、ステップＳ４１１、およびステップＳ４１３に対応する。
【００６９】
続いて、画面送信処理を終了するか否かが判定され（ステップＳ５０８）、画面送信処理を終了する場合には処理はステップＳ５１１へ進み、そうでなければ処理はステップＳ５０９へ進む。なお、ステップＳ５０８は、図８のようにステップＳ５０７またはステップＳ５０９の直後に行われてもよいし、他のタイミングで行われてもよい。
【００７０】
ステップＳ５０９において、画像データ生成部１０１は、識別子（Ｎｏ．ｔ）に対応する画面データの生成から単位時間が経過したか否かを判定する。単位時間が経過していれば処理はステップＳ５１０へ進み、そうでなければ処理はステップＳ５０８に戻る。
【００７１】
ステップＳ５１０において、画像データ生成部１０１は、変数ｔを１だけインクリメントする。そして、処理はステップＳ５０４に戻る。
【００７２】
ステップＳ５１１において、画像送信装置１００に含まれる第１の通信Ｉ／Ｆおよび第２の通信Ｉ／Ｆは、第１の通信方式および第２の通信方式にそれぞれ従う切断処理を行うこのステップＳ５１１は、図７のステップＳ３０９およびステップＳ４１５に対応する。
【００７３】
次に、図９を用いて、画像表示装置２００単体の動作を説明する。図９の動作は、画面送信処理の開始が決定されることで開始する。  
まず、画像表示装置２００に含まれる第１の通信Ｉ／Ｆおよび第２の通信Ｉ／Ｆは、第１の通信方式および第２の通信方式にそれぞれ従う接続処理、および端末認証を順に行う（ステップＳ６０１およびステップＳ６０２）。これらのステップＳ６０１およびステップＳ６０２は、図６のステップＳ３０１およびステップＳ３０２、ならびにステップＳ４０１およびステップＳ４０２に対応する。ステップＳ６０２の後に処理はステップＳ６０４へ進む。
【００７４】
ステップＳ６０４において、データ受信部２０１は、第１番目の画面データおよび対応する識別子（Ｎｏ．１）を含んだ伝送データを待ち受ける。データ受信部２０１がかかる伝送データを受信すると、処理はステップＳ６０５へ進む。
【００７５】
ステップＳ６０５において、表示制御部２０３は、その遷移元のステップであるステップＳ６０４またはステップＳ６０８において受信された画面データを出力装置１０に表示させる。
【００７６】
続いて、画面送信処理を終了するか否かが判定され（ステップＳ６０７）、画面送信処理を終了する場合には処理はステップＳ６１２へ進み、そうでなければ処理はステップＳ６０８へ進む。なお、ステップＳ６０７は、図８のようにステップＳ６０５またはステップＳ６０９の直後に行われてもよいし、他のタイミングで行われてもよい。
【００７７】
ステップＳ６０８において、データ受信部２０１は、新たな画面データおよび対応する識別子を含んだ伝送データを待ち受ける。データ受信部２０１がかかる伝送データを受信すると、処理はステップＳ６０５に戻る。
【００７８】
ステップＳ６０８と並行して、操作データ生成部２０４は、入力装置２０において入力イベントが検出されるのを待ち受ける（ステップＳ０６０９）。入力装置２０において入力イベントが検出されると、処理はステップＳ６１０に進む。
【００７９】
ステップＳ６１０において、操作データ生成部２０４は、入力装置２０において検出された入力イベントに基づいて操作データを生成するとともに、この時点で出力装置１０によって表示されている画面データに対応する識別子を、当該操作データに対応する識別子として複製する。
【００８０】
そして、データ送信部２０６は、ステップＳ６１０において生成された操作データと、その識別子とを含む第２の伝送データを画像送信装置１００へ第２の通信路を介して送信する（ステップＳ６１１）。ステップＳ６１１の後に処理は、ステップＳ６０７に戻る。ステップＳ６１１は、図７のステップＳ３０７に対応する。
【００８１】
ステップＳ６１２において、画像表示装置２００に含まれる第１の通信Ｉ／Ｆおよび第２の通信Ｉ／Ｆは、第１の通信方式および第２の通信方式にそれぞれ従う切断処理を行うこのステップＳ６１２は、図７のステップＳ３０９およびステップＳ４１５に対応する。
【００８２】
以上説明したように、実施形態に係る画像送信装置および画像表示装置は、例えば画面データなどの画像データを伝送するための第１の通信路とは異なる第２の通信路を介して、画像表示装置による当該画像データに対するリモート制御のための操作データを伝送する。故に、これらの装置によれば、操作データの授受には第１の通信路とは異なる第２の通信路が利用されるので、第１の通信路が例えば有線の通信路に比べて品質が不安定となりがちな無線の通信路であったとしても、画像データの転送量への悪影響を抑制しながら、その受信側からのリモート制御を可能とすることができる。
【００８３】
また、この画像表示装置は、操作データの対象となる画像データを識別する識別子を、当該操作データに対応する識別子として複製し、当該操作データとともに画像送信装置へ送信する。他方、この画像送信装置は、新たに生成する画像データよりもｍフレーム前の画像データを対象とした操作データを取り扱い、当該操作データをこの新たに生成する画像データに反映する。故に、この画像送信装置は、画像データを送信してから当該画像データに対する操作データを受信するまでにある程度のラグがあったとしても、当該操作データの対象となる画像データを正確に特定して適切なローカルコマンドを発生し、ユーザにとって違和感の小さい画像データを生成することができる。すなわち、リモート制御のラグに対するロバスト性を高めることができる。
【００８４】
上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。
【００８５】
上述の実施形態では、いくつかの機能部を説明したが、これらは各機能部の実装の一例に過ぎない。例えば、１つの装置に実装されると説明された複数の機能部が複数の別々の装置に亘って実装されることもあり得るし、逆に複数の別々の装置に亘って実装されると説明された機能部が１つの装置に実装されることもあり得る。
【００８６】
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
【００８７】
上記各実施形態の処理の少なくとも一部は、例えば汎用のコンピュータに搭載されたプロセッサを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【符号の説明】
【００８８】
１０・・・出力装置
２０・・・入力装置
１００・・・画像送信装置
１０１・・・画像データ生成部
１０２，２０２・・・画像メモリ
１０３，２０５・・・伝送データ生成部
１０４，２０６・・・データ送信部
１０５，２０１・・・データ受信部
１０６・・・操作データバッファ
２００・・・画像表示装置
２０３・・・表示制御部
２０４・・・操作データ生成部
【図１】
2020127082.tif 000003
【図２】
2020127082.tif 000004
【図３】
2020127082.tif 000005
【図４】
2020127082.tif 000006
【図５】
2020127082.tif 000007
【図６】
2020127082.tif 000008
【図７】
2020127082.tif 000009
【図８】
2020127082.tif 000010
【図９】
2020127082.tif 000011