(57)【要約】【課題】表示端末に対して提供する複数の機能の性能を効率的に制御する通信装置を提供する。【解決手段】表示装置に表示する表示画像を記憶する画像バッファ１２１と、表示画像を更新するための更新画像を生成する更新画像生成部１１１ａと、更新画像と表示画像との間で画素情報が一致しない領域を表す差分領域を検出する差分検出部１１２と、差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成部１１３と、指定されたフレームレートで動画像を生成する映像生成部１１４と、差分領域の大きさが閾値より大きい場合に、映像生成部１１４に対して指定するフレームレートを下げるように制御する制御部１１５と、圧縮画像および動画像を表示装置に送信する送信部１１６ａと、を備えた。【選択図】        図２
2010118976.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示装置にネットワークを介して接続する通信装置であって、
前記表示装置に表示する表示画像を記憶する画像記憶部と、
前記表示画像を更新するための更新画像を生成する更新画像生成部と、
前記更新画像と前記表示画像との間で画素情報が一致しない領域を表す差分領域を検出する検出部と、
前記差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成部と、
指定されたフレームレートで動画像を生成する動画像生成部と、
前記差分領域の大きさと第１閾値とを比較し、前記差分領域の大きさが前記第１閾値より大きい場合に、前記動画像生成部に対して指定するフレームレートを下げるように制御する制御部と、
前記圧縮画像および前記動画像を前記表示装置に送信する送信部と、
を備えたことを特徴とする通信装置。
【請求項２】
前記制御部は、前記差分領域の大きさが前記第１閾値より大きい場合に、前記圧縮画像生成部が前記圧縮画像を生成する前に、前記動画像生成部に対して指定するフレームレートを下げるように制御すること、
を特徴とする請求項１に記載の通信装置。
【請求項３】
前記制御部は、さらに、前記フレームレートを下げるように制御した後、前記差分領域の大きさが前記第１閾値以下となった場合に、前記差分領域の大きさが前記第１閾値以下となった期間と予め定められた第２閾値とを比較し、前記期間が前記第２閾値を越えた場合に、前記動画像生成部に対して指定するフレームレートを上げるように制御すること、
を特徴とする請求項１に記載の通信装置。
【請求項４】
前記動画像生成部は、さらに、生成した前記動画像のフレームレートの実測値を計測し、
前記制御部は、さらに、前記実測値と前記動画像生成部に対して指定したフレームレートとを比較し、前記実測値が前記動画像生成部に対して指定したフレームレートより小さい場合に、前記第１閾値を小さくするように前記第１閾値を更新すること、
を特徴とする請求項１に記載の通信装置。
【請求項５】
前記制御部は、さらに、前記第１閾値を小さくするように更新した後、前記実測値が前記動画像生成部に対して指定したフレームレート以上となった場合に、前記実測値が前記動画像生成部に対して指定したフレームレート以上となった期間と予め定められた第３閾値とを比較し、前記期間が前記第３閾値を越えた場合に、前記第１閾値を大きくするように前記第１閾値を更新すること、
を特徴とする請求項４に記載の通信装置。
【請求項６】
画像を表示する表示装置にネットワークを介して接続する通信装置で実行される通信方法であって、
前記通信装置は、前記表示装置に表示する表示画像を記憶する画像記憶部を備え、
更新画像生成部が、前記表示画像を更新するための更新画像を生成する更新画像生成ステップと、
検出部が、前記更新画像と前記表示画像との間で画素情報が一致しない領域を表す差分領域を検出する検出ステップと、
圧縮画像生成部が、前記差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成ステップと、
動画像生成部が、指定されたフレームレートで動画像を生成する動画像生成ステップと、
制御部が、前記差分領域の大きさと第１閾値とを比較し、前記差分領域の大きさが前記第１閾値より大きい場合に、前記動画像生成部に対して指定するフレームレートを下げるように制御する制御ステップと、
送信部が、前記圧縮画像および前記動画像を前記表示装置に送信する送信ステップと、
を備えたことを特徴とする通信方法。
【請求項７】
コンピュータを、
ネットワークを介して接続された表示装置に表示する表示画像を記憶する画像記憶部と、
前記表示画像を更新するための更新画像を生成する更新画像生成部と、
前記更新画像と前記表示画像との間で画素情報が一致しない領域を表す差分領域を検出する検出部と、
前記差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成部と、
指定されたフレームレートで動画像を生成する動画像生成部と、
前記差分領域の大きさと第１閾値とを比較し、前記差分領域の大きさが前記第１閾値より大きい場合に、前記動画像生成部に対して指定するフレームレートを下げるように制御する制御部と、
前記圧縮画像および前記動画像を前記表示装置に送信する送信部と、
として機能させるための通信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、装置間でアプリケーションの画面を共有する機能を実現する通信装置、通信方法、および通信プログラムに関する。
【背景技術】
【０００２】
ユーザビリティの向上を目的として、最低限の入出力インターフェースを有する端末装置をユーザ側に配し、複雑な演算処理は遠隔地に設置された通信装置（本体装置）上で実行するコンピューティングシステムが存在する。例えば、特許文献１では、本体装置（パーソナルコンピュータ、サーバコンピュータ等）の画面情報を、ネットワークを介して遠隔の表示装置（表示端末）に投影するシステム（画面転送システム）に関する技術が提案されている。
【０００３】
このようなシステムでは、表示端末からの入力情報（デジタイザによるペン入力等）は、同様にネットワークを介して本体装置に送信され、実際のアプリケーションプログラム処理は本体装置が実行する。その後、実行結果および画面更新情報が、ネットワークを介して表示端末に転送される。表示端末は、受信された画面更新情報により出力処理（描画処理）を実行する。
【０００４】
一方、遠隔ネットワーク上の本体装置からの画面情報を表示端末へ効率よく伝送するための技術として、ＶＮＣ（Virtual Network Computing）が知られている。このＶＮＣでは、画面の更新を検知した際、読み出した画素情報の値を前回表示端末に伝送した画素情報の値と比較し、前回から変化した更新画面領域を決定する。さらに更新画面領域を静止画圧縮した後、表示端末に対して、圧縮した画面の差分情報のみを伝送する。これにより、通信帯域の消費を抑えることができる。従って、ウィンドウの移動等、画面の変更が大きい場合には送信すべき画面情報量が増加し、反対に画面の変更が小さい場合には送信すべき画面情報量は減少する。
【０００５】
また、本体装置に接続されたＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の外部記憶装置に記憶した映像データ（映像情報）、写真データ、および音楽データなどのメディアコンテンツを、ネットワークを介して伝送し、遠隔の表示端末から閲覧する映像ストリーミング機能を提供可能なマルチメディアシステムが知られている。
【０００６】
例えば、ＵＰｎＰ（Universal Plug and Play）では、家庭内のパーソナルコンピュータや周辺機器、テレビやＨＤＤレコーダなどのＡＶ（Audio Visual）機器を、ネットワークを通じて相互接続するための技術仕様を取り決めている。また、通信方式、伝送制御方式、および取り扱うコンテンツ種別など、より広範囲の技術仕様を取り決めたＤＬＮＡ（Digital Living Network Alliance）なども存在する。このシステムでは、クライアント端末がネットワーク上のサーバ装置を発見し、当該サーバ装置上のコンテンツをストリーミング再生にて閲覧する。
【０００７】
ここで、上記マルチメディアシステムで、本体装置の外部記憶装置に記憶された映像情報の種別と、表示端末にて再生可能な映像情報の種別とが異なる場合を考える。例えば、本体装置側の映像情報がＷＭＶ形式であり、表示端末で再生可能な映像情報がＭＰＥＧ−２（Generic coding of moving pictures and associated audio information）形式であるとする。この場合、ユーザは表示端末を介して本体装置の映像情報を閲覧することはできない。従って、そのような状況では、本体装置が映像情報を表示端末で再生可能な形式に変換（トランスコード）する方法が考えられる。
【０００８】
トランスコード処理は、映像情報の復号（デコード）処理を行った上で、新たな形式に符号化（エンコード）する処理である。上述の例では、ＷＭＶ形式の映像情報をデコードした後、所定のフレームレートまたはビットレート条件に即したＭＰＥＧ−２形式の映像情報へとエンコードする。このように、一般的に、映像情報のトランスコード処理は、演算量が多い処理といえる。
【０００９】
そして、本体装置が、上述のような画面転送システムとマルチメディアシステムとの双方の機能を同時に提供する場合、表示端末に送信する送信画像を生成する処理（更新画面領域を静止画圧縮する処理）と、映像情報のトランスコード処理とが同時に発生する場合がある。そのような状況では、本体装置が行うべき演算量が非常に多くなるという問題が生じうる。
【００１０】
特許文献２では、２方向の撮像素子を有する撮影装置において、一方の方向で被写体を検出した場合に、予め定めた優先度に基づいて、撮像の入力フレームレートを変更する技術が提案されている。これにより、状況に応じた適切な映像情報の記録・送信を実現している。
【００１１】
特許文献２は、複数の方向の映像入力を行う場合の技術であり、上述のような複数の機能を備えた本体装置の演算量を調整する技術ではない。仮に特許文献２の方法を上述のような本体装置に適用する場合、本体装置で複数の機能が動作開始した時点で、映像ストリーミングのフレームレートを下げる方法が考えられる。
【００１２】
【特許文献１】米国特許第６７８４８５５号公報
【特許文献２】特開２００３−２７４３５８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献２のように特定の機能が動作を開始したことをきっかけに、他の機能の品質を下げるように制御する方法を適用すると、演算量の調整が非効率となる可能性がある。
【００１４】
例えば、上述の画面転送システムでは、本体装置上で画面の更新が全くない場合や、ユーザのマウス操作に伴う画面更新時のように更新領域の面積が小さい場合には、送信画像生成に伴う演算量が少ないため、映像ストリーミングのフレームレートを下げなくても性能を維持することできる。ところが、特許文献２の方法を単純に適用すると、画面転送システムの開始を契機に映像ストリーミングのフレームレートを下げるため、無用に品質を低下させるおそれがある。
【００１５】
本発明は、上記に鑑みてなされたものであって、表示端末に対して提供する複数の機能の性能を効率的に制御することができる通信装置、通信方法および通信プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上述した課題を解決し、目的を達成するために、本発明は、画像を表示する表示装置にネットワークを介して接続する通信装置であって、前記表示装置に表示する表示画像を記憶する画像記憶部と、前記表示画像を更新するための更新画像を生成する更新画像生成部と、前記更新画像と前記表示画像との間で画素情報が一致しない領域を表す差分領域を検出する検出部と、前記差分領域の画像を圧縮した圧縮画像を生成する圧縮画像生成部と、指定されたフレームレートで動画像を生成する動画像生成部と、前記差分領域の大きさと第１閾値とを比較し、前記差分領域の大きさが前記第１閾値より大きい場合に、前記動画像生成部に対して指定するフレームレートを下げるように制御する制御部と、前記圧縮画像および前記動画像を前記表示装置に送信する送信部と、を備えたことを特徴とする。
【００１７】
また、本発明は、上記装置を実行することができる方法およびプログラムである。
【発明の効果】
【００１８】
本発明によれば、表示端末に対して提供する複数の機能の性能を効率的に制御することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１９】
以下に添付図面を参照して、この発明にかかる装置、方法およびプログラムの最良な実施の形態を詳細に説明する。
【００２０】
（第１の実施の形態）
第１の実施の形態にかかる通信システムは、アプリケーションを実行する本体装置（通信装置）と、アプリケーションの実行により更新された画面を表示する表示端末（表示装置）とを備える。本体装置は、アプリケーションプログラムの動作により発生する画像情報の差分領域が所定の閾値より大きい場合に、映像（動画像）を生成するときのフレームレートを下げるように制御する。
【００２１】
図１は、第１の実施の形態にかかる通信システムの構成を示すブロック図である。第１の実施の形態にかかる通信システムは、本体装置の画面に生じたイベントによる更新部分の画像を表示端末に伝送するシステムである。以下では、このような通信システムを画面転送システムと呼ぶ。
【００２２】
図１に示すように、第１の実施の形態にかかる通信システム１０は、通信装置としての本体装置１００と、本体装置１００とネットワーク４００を介して接続されたアクセスポイントとしての無線基地局３００と、無線基地局３００と無線ＬＡＮにより無線通信する表示装置としての表示端末２００ａおよび２００ｂ（以下、表示端末２００ともいう）とを備えている。
【００２３】
通信システム１０は、本体装置１００上で動作するアプリケーションソフトウェアの画面を、無線基地局３００を介して表示端末２００へ無線転送し、表示端末２００との間で、本体装置１００のアプリケーション画面を表示して共有する機能を有している。通信システム１０では、本体装置１００の側で更新された画面をリアルタイムに表示端末２００へ転送するために、本体装置１００の画面内で更新された部分の画像情報のみを転送する。すなわち、本体装置１００は、画像情報を表示する表示端末２００に対して、無線基地局３００を介して画像情報を送信可能である。
【００２４】
また、本体装置１００は、外部記憶装置（同図では図示せず）上の映像情報を取得し、表示端末２００に表示させる新たな映像情報を生成して送信する機能を有している。以下では、映像情報を変換した上で送信するシステムを映像ストリーミングシステムと呼ぶ。同図の例では、本体装置１００が、生成した新たな映像情報を、無線基地局３００を介して一方の表示端末２００へ無線転送する。例えば、表示端末２００ａと本体装置１００とは画面転送システムを実現し、表示端末２００ｂと本体装置１００とは映像ストリーミングシステムを実現する。すなわち、本体装置１００は複数の表示端末２００に対して、複数の異なる機能を同時に提供することができる。
【００２５】
しかし、本体装置１００で送信画像の生成や映像情報の変換などの演算量の多い複数の処理を同時に動作させた場合、利用可能な資源の不足に伴い、表示端末２００での更新画面の表示レスポンスが低下する問題が考えられる。この問題の原因としては、本体装置１００での送信画像の生成時間が長くなることや、無線伝送路上に多くのトラフィックが流れることによる伝送遅延の増加が挙げられる。さらに、画面転送システムでは、ユーザが本体装置１００のデスクトップ画面の更新を確認しつつ入力操作を行うため、画面の表示に関するレスポンス性を維持することは重要である。したがって、第１の実施の形態では、本体装置１００の画面を遠隔操作する表示端末２００のレスポンス性を低下させずに、複数の表示端末２００に対して異なる複数の機能を提供可能とする。
【００２６】
表示端末２００は、本体装置１００から画像情報を受信し、受信した画像情報を伸張して画面内の対応する部分に表示する。また、表示端末２００は、本体装置１００から受信したメディアデータを、ディスプレイやスピーカを通じて再生する。
【００２７】
無線基地局３００は、ＩＥＥＥ８０２．１１などの無線通信プロトコルに準拠した無線通信の基地局である。ネットワーク４００は、例えば、ＩＥＥＥ８０２．３などの有線通信プロトコルに準拠したネットワークである。なお、ネットワーク形態はこれに限られず、他のプロトコルで接続するように構成してもよい。また、表示端末２００と本体装置１００とを有線ネットワークで接続するように構成してもよい。
【００２８】
次に、本体装置１００の詳細な構成について図２を用いて説明する。図２は、第１の実施の形態にかかる本体装置１００のブロック図である。同図に示すように、本体装置１００は、ディスプレイ１０１と、入力デバイス１０２と、外部記憶装置１０３と、画像バッファ１２１と、条件記憶部１２２と、映像生成情報記憶部１２３と、イベント取得部１１１と、差分検出部１１２と、圧縮画像生成部１１３と、映像生成部１１４と、制御部１１５と、通信処理部１１６と、を備えている。
【００２９】
ディスプレイ１０１は、ＬＣＤ（Liquid Crystal Display）などで実現される表示装置である。入力デバイス１０２は、ディスプレイ１０１の画面に表示されたカーソルを移動操作するマウスなどで実現される。この他、入力デバイス１０２としては、キーボード、トラックボールなどを用いてもよい。
【００３０】
外部記憶装置１０３は、ＨＤＤやＳＳＤなど大容量のストレージデバイスによって実現される。外部記憶装置１０３は、映像データ（映像情報）や音楽データ、写真データといったマルチメディアコンテンツを記憶する。
【００３１】
画像バッファ１２１は、画像を記憶する記憶部である。条件記憶部１２２は、制御部１１５が判定に用いる条件として、画像情報の大きさ（画素数）の閾値（第１閾値）を記憶する。例えば、条件記憶部１２２は、画像情報の縦幅の画素数と横幅の画素数とを掛け合わせた総画素数、すなわち画素の面積値によって導出される予め定められた閾値を記憶する。
【００３２】
映像生成情報記憶部１２３は、映像生成部１１４が新たな映像情報を生成するときに参照する映像生成情報を記憶する。映像生成情報は、例えば、生成する映像情報のフレームレート、ビットレート、解像度、および符号化方式などの情報を含む。本体装置１００に接続する表示端末２００が複数存在する場合は、映像生成情報を表示端末２００ごとに複数用意するように構成してもよい。
【００３３】
なお、画像バッファ１２１、条件記憶部１２２および映像生成情報記憶部１２３は、ＨＤＤ、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００３４】
イベント取得部１１１は、アプリケーションプログラム（図示せず）等の動作により発生するイベントを取得する。例えば、イベント取得部１１１は、コンピュータを統括制御するオペレーティングシステム（ＯＳ）と、このＯＳに組み込まれたディスプレイドライバと同等の機能を有する仮想ディスプレイドライバと、ＯＳ上で動作するアプリケーションソフトウェアなどのアプリケーションプログラムで実現される。
【００３５】
イベント取得部１１１は、アプリケーションソフトウェアにより画面が更新される場合や、マウス操作などでカーソルが移動操作されて画面内の任意の領域の画像が更新される場合に、画面（画像）が更新されたことをイベントとして取得する。
【００３６】
イベント取得部１１１は、詳細な構成として更新画像生成部１１１ａを備えている。更新画像生成部１１１ａは、例えばＯＳに組み込まれた仮想ディスプレイドライバとして実現できる。更新画像生成部１１１ａは、画面更新のイベントが取得された場合、ＯＳのグラフィックエンジンから描画命令を取得し、描画処理を行うことで表示端末２００に表示させる画像を表す表示画像を生成して画像バッファ１２１へ順次出力して記憶する。これにより、画像バッファ１２１には、表示画像が順次保持される。
【００３７】
なお、以下では、画像バッファ１２１に保持されている画像を表示画像といい、更新画像生成部１１１ａにより新たに生成され、画像バッファ１２１に保存する前の画像を更新画像という。このように、更新画像生成部１１１ａは、アプリケーションプログラムの動作により発生するイベントに従って表示端末２００に表示させる更新画像を生成する。
【００３８】
差分検出部１１２は、画像バッファ１２１に順次保持される新旧の表示画像で画素情報が一致しない領域を表す差分領域を検出する。すなわち、差分検出部１１２は、更新画像生成部１１１ａにより更新画像が生成されたことを通知された場合に、生成された新たな画像情報（更新画像）と画像バッファ１２１にバッファリングされた画像情報（表示画像）との間の差分領域を検出する。差分検出部１１２は、例えば、２つの画像情報間で一致しない部分を含む最小の矩形を、差分領域として検出する。なお、差分検出部１１２が、所定の時間間隔毎に差分の有無を確認するように構成してもよい。
【００３９】
圧縮画像生成部１１３は、差分検出部１１２により検出された差分領域の画像を送信用に圧縮処理した圧縮画像を生成する。圧縮画像は、ＪＰＥＧ（Joint Photographic Experts Group）のような不可逆圧縮を用いて生成してもよいし、Ｚｌｉｂのような可逆圧縮方式を用いて生成してもよい。
【００４０】
なお、圧縮画像生成部１１３および上述の差分検出部１１２は、画面転送用のアプリケーションプログラムなどにより実現される。
【００４１】
映像生成部１１４は、イベント取得部１１１を介して外部記憶装置１０３上の映像情報を取得し、表示端末２００に表示させるための新たな映像情報を生成する。映像生成部１１４は、例えば、外部記憶装置１０３に記憶された映像情報がＷＭＶ形式である場合、ＭＰＥＧ−２形式などに変換する。従って、映像生成部１１４は、元の映像情報を復号処理する機能（デコード機能）と、新たな映像情報を符号化処理する機能（エンコード機能）とを有している。
【００４２】
さらに、映像生成部１１４は、生成した新たな映像情報を元に、表示端末２００に送信する送信映像メッセージを生成する。例えば、映像生成部１１４は、映像情報にＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）ヘッダなどの伝送制御情報を付加することにより送信映像メッセージを生成する。
【００４３】
なお、同図には明示していないものの、本体装置１００はセッション情報記憶部とセッションマネージャとを有している。
【００４４】
セッション情報記憶部は、本体装置１００とセッションを確立中の表示端末２００に関する情報を表すセッション情報を記憶する。例えば、セッション情報記憶部は、ユーザを識別するユーザ識別情報などと、セッションが利用中か否かを示す状態情報、伝送制御がＴＣＰであるかＵＤＰ（User Datagram Protocol）であるかを表す伝送制御情報、および、再生可能な映像情報の形式を表す形式情報などの情報とを対応づけたセッション情報を記憶する。
【００４５】
１台の本体装置１００に対して、複数の表示端末２００がセッションを確立している状態では、セッション情報記憶部は、本体装置１００から送信するメッセージの宛先とする表示端末２００を識別する端末識別情報を含むセッション情報を記憶する。
【００４６】
セッションマネージャは、本体装置１００との間で確立した通信（セッション）を管理する。例えば、セッションマネージャは、本体装置１００とセッションを確立したときに、セッションの状態情報、および伝送制御情報などを対応づけたセッション情報を生成してセッション情報記憶部に記憶する。
【００４７】
制御部１１５は、画面転送システムの性能、および、映像ストリーミングシステムの性能を制御する。例えば、制御部１１５は、差分検出部１１２により検出された差分領域の大きさと、条件記憶部１２２に記憶されている閾値とを比較し、差分領域の大きさが閾値より大きい場合に、映像生成部１１４が生成する映像情報のフレームレートを下げるように制御する。制御部１１５による性能制御処理の詳細については後述する。
【００４８】
通信処理部１１６は、表示端末２００などの外部装置との間でメッセージを送受信する。通信処理部１１６は、メッセージを送信する送信部１１６ａと、メッセージを受信する受信部１１６ｂとを備えている。例えば、送信部１１６ａは、圧縮画像生成部１１３により生成された圧縮画像を含む送信画像メッセージを表示端末２００に送信する。また、送信部１１６ａは、映像生成部１１４によって生成された送信映像メッセージを表示端末２００に送信する。
【００４９】
なお、送信部１１６ａは、セッションマネージャにより特定された表示端末２００をあて先として、送信すべきメッセージを無線基地局３００を介して送信する。
【００５０】
次に、表示端末２００の詳細な構成について図３を用いて説明する。図３は、第１の実施の形態にかかる表示端末２００のブロック図である。同図に示すように、表示端末２００は、ディスプレイ２０１と、入力デバイス２０２と、アンテナ２０３と、画像バッファ２２１と、セッション情報記憶部２２２と、入出力インターフェース２１１と、画像生成部２１２と、映像復号部２１３と、セッションマネージャ２１４と、無線通信処理部２１５と、を備えている。この他、同図には図示していないが、表示端末２００は音声を出力するためのスピーカを備える。
【００５１】
ディスプレイ２０１は、ＬＣＤなどで実現される表示装置である。入力デバイス２０２は、ディスプレイ２０１の画面に表示されたカーソルを移動操作するデジタイザやタッチスクリーンなどで実現される。入力デバイス２０２が取得した入力情報は、入出力インターフェース２１１（後述）に渡される。
【００５２】
アンテナ２０３は、本体装置１００などの外部装置との間で無線通信するための電波を送受信する。
【００５３】
画像バッファ２２１は、画像を記憶するメモリおよび映像を記憶するビデオメモリとして機能する記憶部である。
【００５４】
セッション情報記憶部２２２は、セッションを確立中の本体装置１００に関する情報を表すセッション情報を記憶する。例えば、セッション情報記憶部２２２は、セッションの状態情報、および伝送制御情報などを含むセッション情報を記憶する。
【００５５】
なお、画像バッファ２２１およびセッション情報記憶部２２２は、ＨＤＤ、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００５６】
入出力インターフェース２１１は、ディスプレイ２０１および入力デバイス２０２に対する入出力のインターフェースであり、ＧＵＩ（Graphical User Interface）などのアプリケーションプログラムによって実現される。
【００５７】
例えば、入出力インターフェース２１１は、画像バッファ２２１から画像情報を取得し、ディスプレイ２０１に表示する。また、入出力インターフェース２１１は、本体装置１００から送られた画像情報を、画像生成部２１２を介して取得し、画像バッファ２２１に書き込む機能に加え、表示端末２００内で独自に生成されたＧＵＩ用の画像情報を画像バッファ２２１に書き込む機能を有する。
【００５８】
画像生成部２１２は、本体装置１００から受信した圧縮画像を伸張した後、伸張した画像情報を、描画用の画像バッファ２２１の指定描画位置へ書き込む。すなわち、画像生成部２１２は、本体装置１００から送信され無線通信処理部２１５により受信された圧縮画像を伸張して生成した部分画像をディスプレイ２０１の指定位置へ表示する。
【００５９】
映像復号部２１３は、本体装置１００から受信した符号化映像を復号処理した後、復号した映像情報を、描画用の画像バッファ２２１へ指定間隔で書き込む。この時、本体装置１００から送られた符号化映像情報の符号化方式と、表示端末２００が復号可能な符号化方式が異なる場合は、圧縮された映像情報を復号することはできず、映像を再生することはできない。
【００６０】
セッションマネージャ２１４は、本体装置１００との間で確立した通信（セッション）を管理する。例えば、セッションマネージャ２１４は、本体装置１００とセッションを確立したときに、セッションの状態情報、および伝送制御情報などを対応づけたセッション情報を生成してセッション情報記憶部２２２に記憶する。
【００６１】
無線通信処理部２１５は、無線基地局３００との間でアンテナ２０３を介して信号を送受信する。無線通信処理部２１５は、メッセージを送信する送信部２１５ａと、メッセージを受信する受信部２１５ｂとを備えている。無線通信処理部２１５は、ＩＥＥＥ８０２．１１などに準拠した無線ＬＡＮ機能によって実現される。
【００６２】
例えば、無線通信処理部２１５の受信部２１５ｂは、受信した無線信号を復調してパケットを生成し、パケットのメッセージ種別に応じて画像生成部２１２へ該当データを渡す。例えば、パケットが圧縮画像を含む送信画像メッセージのパケットであった場合、そのパケットから抽出した圧縮画像および画素数などの情報が画像生成部２１２に渡される。また、例えば、パケットが映像ストリーミングシステムの映像情報パケット（送信映像メッセージのパケット）であった場合、そのパケットから抽出した符号化映像が映像復号部２１３に渡される。
【００６３】
なお、表示端末２００が、画面転送システムによる本体装置１００の遠隔操作を行うか、映像ストリーミングシステムによる映像情報の視聴を行うかは、入出力インターフェース２１１上のＧＵＩ（Graphical User Interface）を介して、ユーザに選択させる方法が考えられる。
【００６４】
画面転送システムを利用している場合、入力デバイス２０２は、デジタイザやタッチスクリーンなどにより、ユーザからの入力情報を取得する。入力情報は、入出力インターフェース２１１で座標情報などを解析された後、無線通信処理部２１５を介して、本体装置１００に送信される。この場合、本体装置１００は、表示端末２００より受信した入力情報を元に、アプリケーション処理を実行する。アプリケーション処理の結果として画面の領域内に更新が発生した場合、本体装置１００は、更新する画像情報を取得して送信画像メッセージを生成した後、表示端末２００に向けて送信する。
【００６５】
映像ストリーミングシステムを利用している場合、ユーザはＧＵＩ上に表示された、本体装置１００に記憶された映像データ（映像情報）、音楽データ、および写真データなどのマルチメディアコンテンツのいずれかを選択する。表示端末２００は、ユーザの入力情報を元に、再生すべきマルチメディアコンテンツを決定する。
【００６６】
例えば、ＵＰｎＰ規格によれば、マルチメディアコンテンツには、ネットワーク上の位置を識別するための識別子として、ＵＲＩ（Uniform Resource Identifier）等の識別情報が付加されている。表示端末２００は、ユーザからの選択操作を解析した後、上記ＵＲＩ情報を元に、本体装置１００の映像ストリーミング機能を利用するための通信セッションを開始する。この時、通信セッションとしては、ＨＴＴＰ（Hyper Text Transfer Protocol）などを用いることが考えられるが、ＲＴＰ（Real-time Transport Protocol）のような伝送制御を用いても良い。映像ストリーミングシステムの場合、本体装置１００は、表示端末２００から通信セッションが開始されたことを検出した場合に、外部記憶装置１０３に記憶されている映像情報を映像生成部１１４によって新たな映像情報に変換しながら、通信処理部１１６を介して表示端末２００に送信するように伝送制御を行う。
【００６７】
次に、このように構成された第１の実施の形態にかかる本体装置１００による画像送信処理について図４を用いて説明する。図４は、第１の実施の形態における画像送信処理の全体の流れを示すフローチャートである。
【００６８】
まず、アプリケーションプログラムが、表示端末２００から送信されたユーザの入力情報を取得し、入力情報に応じた処理を実行する（ステップＳ４０１）。なお、アプリケーションプログラムの実行により画面が更新される場合は、イベント取得部１１１が、画像が更新されたことをイベントとして取得する。
【００６９】
差分検出部１１２は、イベント取得部１１１から画像の更新が通知されるまで、または、差分検出処理を実行するための所定の時間が経過するまで待機する（ステップＳ４０２）。
【００７０】
待機処理の後、差分検出部１１２は、イベント取得部１１１の更新画像生成部１１１ａにより生成された新たな画像情報と、画像バッファ１２１にバッファリングされた画像情報との間の差分領域を検出する（ステップＳ４０３）。
【００７１】
上述のように、画面転送システムでは、検出された差分領域の画像情報のみを圧縮して表示端末２００に送信する。このように画面転送システムの処理には処理負荷の大きい画像情報の圧縮処理が含まれる。このため、本体装置１００が映像ストリーミングシステムの機能を同時に実施している場合、演算量増加に伴い送信画像（圧縮画像）の生成時間が通常より長くなり、画面転送システムのレスポンス性が低下するという問題が生じうる。また、表示端末２００と本体装置１００との間の途中の経路に位置する無線基地局３００の通信帯域が限られている場合、無線伝送の遅延時間が通常より長くなり、画面転送システムのレスポンス性が低下するという問題が生じうる。
【００７２】
このため、本実施の形態では、差分領域の大きさが所定の閾値より大きい場合、すなわち、圧縮処理の処理負荷が大きくなることが予想される場合に、予め映像ストリーミングシステムの処理性能を低下させるように構成する。
【００７３】
すなわち、制御部１１５が、差分領域の大きさ（面積値）と、条件記憶部１２２に記憶された面積値の閾値とを比較し、差分領域の面積値が閾値を超えたか否かを判断する（ステップＳ４０４）。差分領域の面積値が閾値を超えた場合（ステップＳ４０４：ＹＥＳ）、制御部１１５は、圧縮画像生成部１１３が送信画像メッセージを生成する処理を開始する前に、映像生成部１１４に対して、新たな映像情報の生成するときに指定するフレームレート（生成フレームレート）を下げる指示を行う（ステップＳ４０５）。
【００７４】
映像生成部１１４は、制御部１１５からの指示に従い、映像生成情報記憶部１２３の映像生成情報を更新する。例えば、制御部１１５から生成フレームレートを１５ｆｐｓに変更する指示が与えられた場合、映像生成部１１４は、３０ｆｐｓ（frames per second）であった映像生成情報のフレームレートを１５ｆｐｓに更新する。
【００７５】
なお、制御部１１５からのフレームレートを下げるように指定する方法は上記に限られるものではない。例えば、フレームレートを下げる量を指定する方法、フレームレートを下げる割合を指定する方法などのあらゆる方法を適用できる。
【００７６】
フレームレートを下げるように更新した後、映像生成部１１４は、更新されたフレームレートで新たな映像情報を生成し、表示端末２００に送信する送信映像メッセージを生成する。これにより、映像ストリーミング機能での映像フレーム生成に係わる演算量を削減することができる。また、上述の例では、フレームレートを３０ｆｐｓから１５ｆｐｓに変更することにより、ネットワーク上に伝送するデータ量を半分にすることができる。
【００７７】
一方、圧縮画像生成部１１３は、新たな映像の生成フレームレートが下がった状態で送信画像メッセージを生成する（ステップＳ４０６）。そして、送信部１１６ａが、生成された送信画像メッセージを表示端末２００に送信する（ステップＳ４０７）。これにより、圧縮画像を生成するための処理時間を延ばすことがなく、さらにネットワークの無線伝送路における通信帯域の制限に関する影響を減らすことができる。
【００７８】
例えば、本体装置１００で、ウィンドウの移動やＷｅｂブラウザのスクロールといった、画面の大きな領域で更新が発生する場合は、圧縮画像の生成に要する演算量が多くなる。このような場合、本実施の形態では、同時に動作する映像生成部１１４の生成フレームレートを前もって下げるように構成している。これにより、映像生成部１１４による映像情報の生成処理が圧縮画像の生成処理に与える影響を低減させ、更新画像をレスポンス良く表示端末２００に向けて送信することが可能となる。
【００７９】
一方、画面の更新が、マウスの移動のような小さな領域にとどまる場合は、圧縮画像の生成に要する演算量も少ないため、同時に動作する映像生成部１１４の生成フレームレートを下げる必要はない。なお、生成フレームレートを下げた後、所定の期間、差分領域の面積値が閾値を下回った場合、制御部１１５は生成フレームレートを再び上げる制御を行う。
【００８０】
すなわち、ステップＳ４０４で差分領域の面積値が閾値を超えていないと判断した場合（ステップＳ４０４：ＮＯ）、制御部１１５は、さらに、フレームレートを下げた後の経過期間が、期間について予め定めた閾値（第２閾値）を超えたか否かを判断する（ステップＳ４０８）。
【００８１】
経過期間が期間の閾値を超えた場合（ステップＳ４０８：ＹＥＳ）、制御部１１５は、映像生成部１１４に対して、新たな映像情報の生成フレームレートを上げる指示を行う（ステップＳ４０９）。すなわち、映像生成情報記憶部１２３の情報を更新することを指示する。
【００８２】
生成フレームレートを下げていない場合や、経過期間が期間の閾値を超えていない場合には（ステップＳ４０８：ＮＯ）、生成フレームレートを変更せずに処理を継続する。
【００８３】
次に、本体装置１００の動作例について説明する。図５は、第１の実施の形態の本体装置１００の動作例を示すシーケンス図である。この例で、本体装置１００は、２台の表示端末２００のうち１台に対して画面転送システムによる更新画像の送信を行い、もう１台に対して映像ストリーミングシステムによる映像情報の送信を行っているものとする。また、この例では、条件記憶部１２２に記憶する閾値は、縦幅６４０画素に横幅４８０画素を掛け合わせた３０７２００画素とする。
【００８４】
同図に示すように、差分検出部１１２が画面の更新（差分領域）を検出し（ステップＳ５０１）、かつ、差分領域の面積値が縦幅８００画素に横幅６００画素を掛け合わせた４８００００画素であったとする。この場合、面積値が閾値よりも大きいため、制御部１１５は、映像情報の生成フレームレートを下げる制御を行う（ステップＳ５０２）。
【００８５】
同図の例では、映像ストリーミングの生成フレームレートが３０ｆｐｓから１５ｆｐｓに変更される。その後、圧縮画像生成部１１３は、送信画像（圧縮画像）の生成処理と送信処理を行う（ステップＳ５０３）。その後、所定の期間、検出した差分領域の面積値が閾値よりも小さかった場合、制御部１１５は、生成フレームレートを再び上げる制御を実施する（ステップＳ５０４）。図の例では、１５ｆｐｓから３０ｆｐｓに再度上げる処理を行っている。
【００８６】
このように、第１の実施の形態にかかる通信装置では、アプリケーションプログラムの動作により発生する画面の更新領域の画素値が所定の閾値より大きい場合に、送信画像の生成に先駆けて、映像ストリーミング機能の生成フレームレートを下げることができる。これにより、更新画面の表示に関するレスポンス性を維持したまま、複数の異なる機能を複数の表示端末に提供することが可能となる。すなわち、表示端末に対して提供する複数の機能の性能を効率的に制御することができる。
【００８７】
（第２の実施の形態）
第１の実施の形態では、面積値の閾値として固定の値１つを定めていた。これに対し、第２の実施の形態では、複数の閾値を定めておき、映像ストリーミング機能の映像情報の生成フレームレートの実測値に基づいて、複数の閾値のうち適用する閾値を動的に変更する。
【００８８】
なお、第２の実施の形態では、本体装置の構成が第１の実施の形態と異なる。第２の実施の形態の通信システムの構成は、第１の実施の形態の通信システムの構成を示す図１と同様であるため説明を省略する。また、表示端末２００、無線基地局３００、およびネットワーク４００の構成は第１の実施の形態と同様であるため説明を省略する。
【００８９】
図６は、第２の実施の形態にかかる本体装置６００の構成を示すブロック図である。図６に示すように、本体装置６００は、ディスプレイ１０１と、入力デバイス１０２と、外部記憶装置１０３と、画像バッファ１２１と、条件記憶部６２２と、映像生成情報記憶部１２３と、イベント取得部１１１と、差分検出部１１２と、圧縮画像生成部１１３と、映像生成部６１４と、制御部６１５と、通信処理部１１６と、を備えている。
【００９０】
第２の実施の形態では、条件記憶部６２２に記憶するデータのデータ構造と、映像生成部６１４および制御部６１５の機能とが第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる本体装置１００の構成を表すブロック図である図２と同様であるので、同一符号を付し、ここでの説明は省略する。
【００９１】
条件記憶部６２２は、複数の面積値の閾値（閾値リスト）を記憶する点が、第１の実施の形態の条件記憶部１２２と異なっている。図７は、条件記憶部６２２に記憶される閾値のデータ構造の一例を示す図である。図７に示すように、条件記憶部６２２は、縦幅の画素数と横幅の画素数とによって表される複数の閾値をリスト形式で記憶する。なお、説明の便宜上、同図では画素数の積によって閾値を表している。
【００９２】
図６に戻り、映像生成部６１４は、新たな映像情報を生成するときのフレームレートの実測値を計測する機能が追加された点が、第１の実施の形態の映像生成部１１４と異なっている。映像生成部６１４は、外部記憶装置１０３に記憶された映像情報のデコード処理の開始から、少なくとも新たな映像情報の生成処理が完了するまでの処理時間を測定することにより、フレームレートの実測値を算出する。
【００９３】
制御部６１５は、計測されたフレームレートの実測値と映像生成部６１４に指示したフレームレート（フレームレートの目標値）とを比較し、実測値が目標値より小さい場合に、面積値との比較に用いる閾値を小さくする機能が、第１の実施の形態の制御部１１５の機能に追加されている。
【００９４】
次に、このように構成された第２の実施の形態にかかる本体装置６００による映像情報送信処理について図８を用いて説明する。映像情報送信処理とは、映像ストリーミングシステムを実現するための処理を意味する。すなわち、映像生成部６１４が外部記憶装置１０３の映像情報から表示端末２００に送信する映像情報を生成して送信する処理を意味する。図８は、第２の実施の形態における映像情報送信処理の全体の流れを示すフローチャートである。
【００９５】
まず、映像生成部６１４は、表示端末２００から指定された外部記憶装置１０３内の映像情報のデコードを開始する（ステップＳ８０１）。次に、映像生成部６１４は、デコードした映像情報を、指定を受けた表示端末２００に適した形式の映像情報にエンコードする（ステップＳ８０２）。そして、映像生成部６１４は、エンコードした映像情報を表示端末２００に送信する（ステップＳ８０３）。なお、ここまでの処理は、第１の実施の形態の映像生成部１１４でも実行される通常の映像情報生成および送信処理である。
【００９６】
第２の実施の形態では、映像生成部６１４が、映像情報のデコードの開始から、少なくとも新たな映像情報の生成処理の完了までの処理時間に対応するフレームレートの実測値を計測する（ステップＳ８０４）。なお、映像生成部６１４が、映像情報のデコードの開始から映像情報を表示端末２００に送信完了するまでの処理時間に対応するフレームレートの実測値を計測するように構成してもよい。
【００９７】
次に、映像生成部６１４は、前回のフレームレートの実測値を制御部６１５に通知してからの経過時間を算出する（ステップＳ８０５）。そして、映像生成部６１４は、経過時間が所定の閾値を超えたか否かを判断し（ステップＳ８０６）、超えた場合に（ステップＳ８０６：ＹＥＳ）、計測した実測値を制御部６１５に通知する（ステップＳ８０７）。経過時間が閾値を超えていない場合は（ステップＳ８０６：ＮＯ）、実測値を通知せずに映像情報送信処理を終了する。
【００９８】
このように、本実施の形態では、映像生成部６１４がフレームレートの実測値を測定し、所定の時間間隔で制御部６１５に通知する。後述するように、制御部６１５は、通知された実測値に基づいて面積値と比較する閾値を変更する。
【００９９】
次に、このように構成された第２の実施の形態にかかる本体装置６００による閾値変更処理について図９を用いて説明する。閾値変更処理とは、制御部６１５がフレームレートの実測値に応じて閾値を変更する処理を意味する。図９は、第２の実施の形態における閾値変更処理の全体の流れを示すフローチャートである。
【０１００】
なお、同図の閾値変更処理は、図４に示す画像送信処理と並行して実行される。すなわち、閾値変更処理により実測値に応じて閾値が変更された場合は、変更された閾値を用いて、図４の画像送信処理が実行される。
【０１０１】
まず、制御部６１５は、映像生成部６１４からフレームレートの実測値を受け取る（ステップＳ９０１）。制御部６１５は、受け取った実測値を元に、映像ストリーミング機能が所定の性能を維持しているかを判定する。すなわち、制御部６１５は、実測値と映像生成部６１４に指示したフレームレートの目標値とを比較し、実測値が目標値より大きいか否かを判断する（ステップＳ９０２）。
【０１０２】
なお、目標値は、例えば映像生成情報記憶部１２３に記憶された映像生成情報内のフレームレートを参照することにより特定してもよいし、他の記憶部（図示せず）等に記憶した目標値を参照して特定してもよい。
【０１０３】
実測値が目標値より大きくない場合（ステップＳ９０２：ＮＯ）、すなわち、映像ストリーミング機能のフレームレートが維持されていないことを検出した場合は、制御部６１５は、差分領域のサイズ（面積値）と比較するための閾値を下げる制御を行う（ステップＳ９０３）。
【０１０４】
例えば、制御部６１５は、条件記憶部６２２に記憶された複数の閾値のうち、現在指定されている閾値より１つ小さい閾値を新たな閾値として設定することにより、閾値を更新する。なお、閾値の更新方法はこれに限られるものではなく、所定値を減算することにより閾値を下げる方法や、閾値を所定の割合で小さくする方法などのあらゆる方法を適用できる。
【０１０５】
実測値が目標値より大きい場合は（ステップＳ９０２：ＹＥＳ）、制御部６１５は、さらに閾値を下げた後の経過期間が、期間について予め定めた閾値（第３閾値）を超えたか否かを判断する（ステップＳ９０４）。
【０１０６】
経過期間が期間の閾値を超えた場合（ステップＳ９０４：ＹＥＳ）、制御部６１５は、差分領域のサイズ（面積値）と比較するための閾値を上げる制御を行う（ステップＳ９０５）例えば、制御部６１５は、条件記憶部６２２に記憶された複数の閾値のうち、現在指定されている閾値より１つ大きい閾値を新たな閾値として設定することにより、閾値を更新する。
【０１０７】
閾値を下げていない場合や、経過期間が期間の閾値を超えていない場合には（ステップＳ９０４：ＮＯ）、閾値を変更せずに処理を継続する。
【０１０８】
次に、本体装置６００の動作例について説明する。図１０および図１１は、第２の実施の形態の本体装置６００の動作例を示すシーケンス図である。この例で、本体装置６００は、２台の表示端末２００のうち１台に対して画面転送機能を提供し、もう１台に対して映像ストリーミング機能を提供するものとする。また、閾値の初期値は、縦幅６４０画素に横幅４８０画素を掛け合わせた３０７２００画素とする。また、映像生成情報記憶部１２３に記憶された生成フレームレートの初期値は３０ｆｐｓとする。
【０１０９】
図１０は、ユーザが表示端末２００を介して本体装置６００のＷｅｂブラウザを起動し、Ｗｅｂブラウザ経由でＦｌａｓｈ等の動画を再生した場合の例を示している（ステップＳ１００１）。同図の例では、縦幅４５０画素、横幅３３８画素の動画を再生したものとしている。この場合、差分領域の面積値（４５０画素×３３８画素＝１５２１００画素）は、閾値として定められている面積（この例では３０７２００画素）を下回っている。このため、映像ストリーミング機能の生成フレームレートを下げる制御は行わない。
【０１１０】
なお、第１の実施の形態のように予め定めた固定の閾値を用いる方法では、本体装置の実際の演算処理能力や、ネットワーク上の実際の通信帯域といった、状況に応じて異なるシステム構成に対応することができない。そこで、第２の実施の形態では、映像生成部６１４が新たな映像情報の生成フレームレートの実測値を制御部６１５に所定の期間毎に通知することにより、閾値の値を動的に変更可能とする。
【０１１１】
すなわち、映像生成部６１４は、一定期間ごとにフレームレートの実測値を制御部６１５に通知する（ステップＳ１００２）。同図では、２３ｆｐｓに低下した実測値が通知された例が示されている。
【０１１２】
制御部６１５は、生成フレームレートが低下したことを検出した場合に、閾値を下げるように制御する。同図の例では、閾値を、３０７２００画素から、縦幅３２０画素に横幅２４０画素を掛け合わせた７６８００画素に更新する（ステップＳ１００３）。
【０１１３】
その後、画面更新を検出した場合は（ステップＳ１００４）、更新した閾値を差分領域の面積値と比較し、面積値が閾値よりも大きい場合に、映像ストリーミング機能における生成フレームレートを下げるように制御する（ステップＳ１００５）。
【０１１４】
また、映像生成部６１４は生成フレームレートの実測値を定期的に制御部６１５に通知するため、閾値を一旦下げた状態で、生成フレームレートが所定の性能を維持していることを検出した場合、制御部６１５は、閾値を上げる制御を実施する。図１１は、このような場合の動作例を示すシーケンス図である。
【０１１５】
同図では、映像生成部６１４から通知されたフレームレートの実測値（ステップＳ１１０１）が目標値を達成しているため、７６８００画素に下げた閾値を、縦幅４００画素に横幅３００画素を掛け合わせた１２００００画素に上げる例が示されている（ステップＳ１１０２）。この後、画面更新を検出した場合は（ステップＳ１１０３）、制御部６１５は、更新した閾値を差分領域の面積値と比較する。同図では、面積値が変更した閾値より小さく、かつ、フレームレートを下げた後に一定期間経過したと判断したため、生成フレームレートを上げるように制御した例が示されている（ステップＳ１１０４）。
【０１１６】
このように、第２の実施の形態にかかる通信装置では、映像ストリーミングのフレームレートを下げるか否かの判定に用いる閾値を、フレームレートの実測値に基づいて動的に切替えることができる。これにより、通信装置の演算能力や、表示端末と通信装置との間のネットワークの通信帯域を勘案しつつ、複数の異なる機能を複数の表示端末に提供することが可能となる。
【０１１７】
次に、第１および第２の実施の形態にかかる通信装置（本体装置）および表示装置（表示端末）のハードウェア構成について図１２を用いて説明する。図１２は、第１および第２の実施の形態にかかる通信装置および表示装置のハードウェア構成を示す説明図である。
【０１１８】
第１および第２の実施の形態にかかる通信装置および表示装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えている。
【０１１９】
第１および第２の実施の形態にかかる通信装置で実行される通信プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１２０】
また、第１および第２の実施の形態にかかる通信装置で実行される通信プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１および第２の実施の形態にかかる通信装置で実行される通信プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１２１】
また、第１および第２の実施の形態の通信プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１２２】
第１および第２の実施の形態にかかる通信装置で実行される通信プログラムは、上述した各部（イベント取得部、差分検出部、圧縮画像生成部、映像生成部、制御部、通信処理部、セッションマネージャ）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１（プロセッサ）が上記記憶媒体から通信プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。
【産業上の利用可能性】
【０１２３】
以上のように、本発明にかかる通信装置、通信方法および通信プログラムは、通信装置と表示端末間でアプリケーションの画面を共有する機能および通信装置から映像情報を送信して表示端末に表示する機能を実現するシステム等に適している。
【図面の簡単な説明】
【０１２４】
【図１】第１の実施の形態にかかる通信システムの構成を示すブロック図である。
【図２】第１の実施の形態にかかる本体装置のブロック図である。
【図３】第１の実施の形態にかかる表示端末のブロック図である。
【図４】第１の実施の形態における画像送信処理の全体の流れを示すフローチャートである。
【図５】第１の実施の形態の本体装置の動作例を示すシーケンス図である。
【図６】第２の実施の形態にかかる本体装置の構成を示すブロック図である。
【図７】第２の実施の形態の条件記憶部に記憶される閾値のデータ構造の一例を示す図である。
【図８】第２の実施の形態における映像情報送信処理の全体の流れを示すフローチャートである。
【図９】第２の実施の形態における閾値変更処理の全体の流れを示すフローチャートである。
【図１０】第２の実施の形態の本体装置の動作例を示すシーケンス図である。
【図１１】第２の実施の形態の本体装置の動作例を示すシーケンス図である。
【図１２】第１および第２の実施の形態にかかる通信装置および表示装置のハードウェア構成図である。
【符号の説明】
【０１２５】
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５４  通信Ｉ／Ｆ
６１  バス
１０  通信システム
１００、６００  本体装置
１０１  ディスプレイ
１０２  入力デバイス
１０３  外部記憶装置
１１１  イベント取得部
１１１ａ  更新画像生成部
１１２  差分検出部
１１３  圧縮画像生成部
１１４、６１４  映像生成部
１１５、６１５  制御部
１１６  通信処理部
１１６ａ  送信部
１１６ｂ  受信部
１２１  画像バッファ
１２２、６２２  条件記憶部
１２３  映像生成情報記憶部
２００ａ、２００ｂ  表示端末
２０１  ディスプレイ
２０２  入力デバイス
２０３  アンテナ
２１１  入出力インターフェース
２１２  画像生成部
２１３  映像復号部
２１４  セッションマネージャ
２１５  無線通信処理部
２１５ａ  送信部
２１５ｂ  受信部
２２１  画像バッファ
２２２  セッション情報記憶部
３００  無線基地局
４００  ネットワーク
【図１】
2010118976.tif 000003
【図２】
2010118976.tif 000004
【図３】
2010118976.tif 000005
【図４】
2010118976.tif 000006
【図５】
2010118976.tif 000007
【図６】
2010118976.tif 000008
【図７】
2010118976.tif 000009
【図８】
2010118976.tif 000010
【図９】
2010118976.tif 000011
【図１０】
2010118976.tif 000012
【図１１】
2010118976.tif 000013
【図１２】
2010118976.tif 000014