(57)【特許請求の範囲】
【請求項１】
画面に画像を表示させる表示部と、
通信網を介して接続した端末装置の処理能力又は自装置の処理能力に基づいて、前記端末装置へ送信する画像のサイズを決定するサイズ決定部と、
該サイズ決定部により決定されたサイズに基づいて前記画面に表示した画像を複数の分割領域に分割する分割部と、
該分割部により分割された分割領域の画像に基づく分割領域画像情報に、前記分割領域の前記画面上の位置を示す位置情報を付加する位置情報付加部と、
位置情報を付加した分割領域画像情報を、前記通信網を介して前記端末装置へ送信する通信部と
を備える情報処理装置。
【請求項２】
前記通信部は、前記端末装置の状況、前記端末装置の処理の状況、及び前記通信網に係る通信の状況の少なくとも一つを含む状況情報を、前記通信網を介して受信する様にしてあり、
前記サイズ決定部は、前記受信部が受信した状況情報にて示される前記端末装置の処理能力に基づいてサイズを決定する様にしてある
請求項１に記載の情報処理装置。
【請求項３】
処理の実行を制御する制御部を更に備え、
前記サイズ決定部は、前記制御部にて制御している処理の負荷又は前記制御部の種別に基づく自装置の処理能力に基づいてサイズを決定する様にしてある
請求項１に記載の情報処理装置。
【請求項４】
前記通信部は、前記端末装置が表示させた端末装置画面上の位置を指示する指示情報を、前記通信網を介して受信する様にしてあり、
前記通信部が受信した指示情報が示す位置に基づいて、前記端末装置へ送信する画像の分割領域を決定する領域決定部を更に備え、
前記通信部は、前記領域決定部が決定した分割領域に係る分割領域画像情報を送信する様にしてある
請求項１乃至請求項３のいずれかに記載の情報処理装置。
【請求項５】
前記指示情報に基づいて、該指示情報が示す位置の変化の有無を判定する変化判定部を更に備え、
前記領域決定部は、
前記変化判定部が、位置の変化が有ると判定した場合、直近に受信した指示情報が示す位置に対応する分割領域を、送信する画像の分割領域として決定する様にしてあり、
かつ前記変化判定部が、位置の変化が無いと判定した場合、直近に受信した指示情報が示す位置に対応する分割領域と異なる分割領域を、送信する画像の分割領域として決定する様にしてある
請求項４に記載の情報処理装置。
【請求項６】
前記領域決定部は、
分割領域を所定の時間間隔で繰り返し決定する様にしてあり、
決定した分割領域を所定時間又は所定回数固定する様にしてある
請求項４に記載の情報処理装置。
【請求項７】
画面に画像を表示させるコンピュータを、
通信網を介して接続した端末装置の処理能力又は自装置の処理能力に基づいて、前記端末装置へ送信する画像のサイズを決定するサイズ決定部と、
該サイズ決定部により決定されたサイズに基づいて前記画面に表示させた画像を複数の分割領域に分割する分割部と、
該分割部により分割された分割領域の画像に基づく分割領域画像情報に、前記分割領域の前記画面上の位置を示す位置情報を付加する位置情報付加部と、
位置情報を付加した分割領域画像情報を、前記通信網を介して前記端末装置へ送信する通信部と
として機能させるプログラム。
【請求項８】
画面に画像を表示させるコンピュータに、
通信網を介して接続した端末装置の処理能力又は自装置の処理能力に基づいて、前記端末装置へ送信する画像のサイズを決定するサイズ決定ステップと、
該サイズ決定部により決定されたサイズに基づいて前記画面に表示させた画像を複数の分割領域に分割する分割ステップと、
該分割部により分割された分割領域の画像に基づく分割領域画像情報に、前記分割領域の前記画面上の位置を示す位置情報を付加する位置情報付加ステップと、
位置情報を付加した分割領域画像情報を、前記通信網を介して前記端末装置へ送信する通信ステップと
を実行させる方法。
【請求項９】
上位装置の画面に画像を表示させる画像情報を取得する画像取得部と、
上位装置の処理能力を示す処理能力情報に基づいて、画像のサイズを決定するサイズ決定部と、
該サイズ決定部により決定されたサイズに基づいて前記画面に表示された画像を複数の分割領域に分割する分割部と、
該分割部により分割された分割領域の画像に基づく分割領域画像情報に、前記分割領域の前記画面上の位置を示す位置情報を付加する位置情報付加部と
を備え、
位置情報を付加した分割領域画像を、上位装置から他の装置へ送信させる様にしてある
処理回路。
【請求項１０】
通信網を介して接続される情報処理装置及び端末装置を備え、
前記情報処理装置は、
画面に画像を表示させる表示部と、
前記端末装置の処理能力又は自装置の処理能力に基づいて、前記端末装置へ送信する画像のサイズを決定するサイズ決定部と、
該サイズ決定部により決定されたサイズに基づいて前記画面に表示した画像を複数の分割領域に分割する分割部と、
該分割部により分割された分割領域の画像に基づく分割領域画像情報に、前記分割領域の前記画面上の位置を示す位置情報を付加する位置情報付加部と、
位置情報を付加した分割領域画像情報を、前記通信網を介して前記端末装置へ送信する通信部と
を備え、
前記端末装置は、
画面に画像を表示させる端末表示部と、
前記情報処理装置から分割領域画像情報を受信する通信部と
を備え、
前記端末表示部は、分割領域画像情報にて示される分割領域の画像を、分割領域画像情報に付加された位置情報が示す位置に表示する様に構成してある
通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示されている画像を端末装置へ送信する情報処理装置、該情報処理装置を実現するプログラム、前記情報処理装置を用いた方法、前記情報処理装置を上位装置とする処理回路、及び前記情報処理装置を用いた通信システムに関する。
【背景技術】
【０００２】
未熟な操作者が操作するパーソナルコンピュータ等の情報処理装置と、熟練者が操作する端末装置とをＩＰ網等の通信網を介して接続し、熟練者が情報処理装置を遠隔操作するリモートアシスタンスシステムが利用されている。リモートアシスタンスシステムでは、情報処理装置が表示するデスクトップ画像を端末装置へ転送することにより、熟練者は、情報処理装置にて表示されている画像を視認しながら、操作者の操作を支援することができる。
【０００３】
情報処理装置から端末装置へ表示されている画像を転送する画像転送方式は、大きく分けてコマンド転送方式及び画像転送方式の２種類がある。コマンド転送方式とは、情報処理装置において、直線、四角形等の図形を表示する際に、表示命令を情報処理装置から端末装置側へ転送し、端末装置においても表示命令に基づく図形を表示する方式である。画像転送方式とは、情報処理装置において表示されたデスクトップ画像そのものを、情報処理装置から端末装置へ転送し、端末装置において受信した画像をそのまま表示する方式である。
【０００４】
画像転送方式は、受信側となる端末装置の処理が比較的単純で、送信側である情報処理装置のＯＳ等の環境に依存しないという特徴がある。但し、画像そのものを転送するため、転送データ量が大きくなるという問題がある。そこで画像の転送時に端末装置側で圧縮（エンコード）を行い、情報処理装置側で伸長（デコード）することにより転送データ量を削減している。ところが圧縮の方式によっては処理負荷が高く、また広大化が進むデスクトップ画面全体を圧縮することができない場合もある。
【０００５】
この様な問題を解決すべく、デスクトップ画像を所定サイズの複数のブロックに分割し、画像の変化の有無をブロックごとに検出し、変化したブロックの画像のみを送信する方法が提案されている（例えば特許文献１参照。）。
【特許文献１】特開２００１−６１０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら例えば特許文献１に記載されている技術では、変化した箇所が多い場合、多くのブロックを送信することが必要となり、処理負荷が高くなるという問題がある。
【０００７】
また例えば特許文献１の技術では、変化の有無を検出する処理負荷が大きいという問題がある。
【０００８】
さらに例えば特許文献１の技術では、端末装置側の処理能力によっては、必ずしもブロックのサイズが適切とは限らないという問題がある。
【０００９】
本発明は斯かる事情に鑑みてなされたものであり、情報処理装置又は端末装置の処理能力に基づいてブロックのサイズを決定することにより、送信するブロックのサイズを適正化することが可能な情報処理装置、プログラム、方法、処理回路及び通信システムの提供を主たる目的とする。
【００１０】
また端末装置の画面上の位置を指示する指示部の位置に基づいて決定された位置の画像のブロックを情報処理装置から端末装置へ送信することにより、変化の状況に拘わらず、ブロックの送信に係る処理負荷を制御することが可能であり、また変化の有無を検出する処理が不要となる情報処理装置、プログラム、方法、処理回路及び通信システムの提供を他の目的とする。
【課題を解決するための手段】
【００１１】
本願は、画面に画像を表示させる表示部と、通信網を介して接続した端末装置の処理能力又は自装置の処理能力に基づいて、前記端末装置へ送信する画像のサイズを決定するサイズ決定部と、該サイズ決定部により決定されたサイズに基づいて前記画面に表示した画像を複数の分割領域に分割する分割部と、該分割部により分割された分割領域の画像に基づく分割領域画像情報に、前記分割領域の前記画面上の位置を示す位置情報を付加する位置情報付加部と、位置情報を付加した分割領域画像情報を、前記通信網を介して前記端末装置へ送信する通信部とを備える装置等を開示する。
【００１２】
本願では、情報処理装置の処理能力に基づいて端末装置へ送信する画像のサイズを決定することにより、画像のサイズを適正化する。また本願では、指示情報が示す位置に基づいて、送信する画像のブロックを決定することにより、画像の変化の有無、位置、大きさ等の状況に拘わらず送信するブロックが決定される。
【発明の効果】
【００１３】
本願に開示の情報処理装置、プログラム、方法、処理回路及び通信システムは、情報処理装置の処理能力に基づいて端末装置へ送信する画像のサイズを決定することにより、画像のサイズを適正化することができるので、画像の送信に係る処理負荷を適正化することが可能である等、優れた効果を奏する。
【００１４】
また本願に開示の情報処理装置等は、指示情報が示す位置に基づいて、送信する画像のブロックを決定することにより、画像の変化の有無、位置、大きさ等の状況に拘わらず送信するブロックを決定することができるので、ブロックの送信に係る処理負荷を制御することが可能であり、また変化の有無を検出する処理が不要となる等、優れた効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
【００１６】
実施の形態１．
図１は、本発明の実施の形態１に係る通信システムの構成例を示す概念図である。図１中１は、端末用コンピュータ等のコンピュータを用いた本発明の情報処理装置である。情報処理装置１は、ＬＡＮ、ＷＡＮ、ＶＰＮ、インターネット等の通信網ＮＷに接続している。通信網ＮＷには、端末用コンピュータ等のコンピュータを用いた端末装置２が接続されており、情報処理装置１及び端末装置２は、通信網ＮＷを介して通信する。
【００１７】
本願において、例えば情報処理装置１は、未熟な操作者により操作され、端末装置２は、熟練者により操作される。そして熟練者は、端末装置２を介して情報処理装置１を遠隔操作するリモートアシスタンスシステムを実現する。リモートアシスタンスシステムでは、情報処理装置１が表示するデスクトップ画像を端末装置２へ送信することにより、熟練者は、情報処理装置１にて表示されている画像を視認しながら、操作者の操作を支援することができる。
【００１８】
図２は、本発明の実施の形態１に係る通信システムが備える各装置のハードウェアの構成例を示すブロック図である。情報処理装置１は、装置全体を制御するＣＰＵ等の制御機構１０と、本発明のコンピュータプログラムＰＲＧ及びデータ等の各種情報を記録したＣＤ−ＲＯＭ等の記録媒体から各種情報を読み取るＣＤ−ＲＯＭドライブ等の補助記憶機構１１と、補助記憶機構１１により読み取った各種情報を記録するハードディスク等の記録機構１２と、情報を一時的に記憶するＲＡＭ等の記憶機構１３とを備えている。そして記録機構１２に記録した本発明のコンピュータプログラムＰＲＧを記憶機構１３に記憶させて、制御機構１０の制御にて実行することにより、端末用コンピュータは、本発明の情報処理装置１として動作する。さらに情報処理装置１は、モニタ等の表示機構１４と、表示機構１４に表示させる画像上の位置を指示するマウス、トラックバッド等の指示機構１５と、キーボード等の操作機構１６と、表示機構１４に表示させる画像を記憶するＶＲＡＭ等の画像記憶機構１７と、通信網ＮＷに接続するＬＡＮポート等の通信機構１８とを備えている。なお記録機構１２には、本発明のコンピュータプログラムＰＲＧ以外にも、基本プログラム（ＯＳ：Operating System）等の様々なプログラムが記録されている。
【００１９】
端末装置２は、制御機構２０、記録機構２１、記憶機構２２、表示機構２３、指示機構２４、操作機構２５、画像記憶機構２６、通信機構２７等の各種機構を備えている。
【００２０】
図３は、本発明の実施の形態１に係る通信システムが備える各装置のソフトウェアの構成例を示す機能ブロック図である。情報処理装置１は、本発明のコンピュータプログラムＰＲＧを制御機構１０にて実行することにより、画像生成部１００、画像取得部１０１、サイズ決定部１０２、処理切替部１０３、検出部１０４、分割部１０５、領域決定部１０６、符号化部１０７、位置情報付加部１０８等の各種プログラムモジュールとして様々な機能を実現する。
【００２１】
画像生成部１００は、画像の描画に関する各種制御命令に基づいて、表示機構１４に表示させる画像を生成して画像記憶機構１７に記憶させる機能を有する。画像取得部１０１は、画像記憶機構１７に記憶されている画像を取得（キャプチャ）する機能を有する。サイズ決定部１０２は、サイズ決定テーブル１０２ａの記録内容に基づいて端末装置２へ送信する画像のサイズを決定する機能を有する。処理切替部１０３は、端末装置２へ送信する画像のサイズに応じて処理の切替を行う機能を有する。検出部１０４は、端末装置２の指示機構２４が指示する画像上の位置を検出する機能を有する。分割部１０５は、画面を複数の分割領域に分割する機能を有する。領域決定部１０６は、複数の分割領域の内で送信する画像の分割領域を決定する機能を有する。符号化部１０７は、送信する画像を符号化（エンコード）する機能を有する。位置情報付加部１０８は、送信する画像に係る分割領域の位置等の位置情報を付加する機能を有する。
【００２２】
端末装置２は、受信した画像の位置を、付加されている位置情報に基づいて検出する画面位置検出部２００と、符号化されている画像を復号（デコード）する復号部２０１と、指示機構２４が指示する画像上の位置を検出する検出部２０２と等の各種プログラムモジュールとして様々な機能を実現する。
【００２３】
図４は、本発明の実施の形態１に係る情報処理装置１が備えるサイズ決定テーブル１０２ａの記録内容の一例を概念的に示す説明図である。サイズ決定テーブル１０２ａでは、ＣＰＵ名称と、目標ＣＰＵ使用率とを関連付け、ＣＰＵ名称及び目標ＣＰＵ使用率に対応する画像のサイズを記録している。ＣＰＵ名称とは、情報処理装置１の処理能力に関する指標の一つとして例えばＣＰＵの種類を示す名称であり、情報処理装置１に実装されている制御機構１０から取得する。目標ＣＰＵ使用率は、予め記録機構１２に設定されている使用率を読み取ることにより決定される。画像のサイズとは、分割部１０５にて画面を分割する際の分割領域のサイズである。なお処理能力に関する指標としては、ＣＰＵ名称だけでなく、情報処理装置１の処理能力を示す指標であれば記憶機構１３の一つであるＲＡＭの記憶容量等の様々な指標を用いることが可能である。また図４では、フレームレートとして例えば３０ｆｐｓで画像を送信する場合に使用するサイズ決定テーブル１０２ａを示しているが、６０ｆｐｓ、１５ｆｐｓ等のフレームレート毎に異なるサイズ決定テーブル１０２ａを用いる様にしてもよい。
【００２４】
次に本発明の実施の形態１に係る各装置の処理について説明する。図５は、本発明の実施の形態１に係る通信システムにて実行される指示情報送信処理の一例を示すフローチャートである。熟練者は、端末装置２の指示機構２４を操作して、表示機構２３に表示される画面上の任意の位置をマウスポインタ、カーソル等の指示子にて指示する。端末装置２は、制御機構２０の制御により、指示機構２４の操作を受け付け、指示子が指示する画面上の位置を示す指示情報を、通信機構２７から通信網ＮＷを介して情報処理装置１へ送信する（Ｓ１０１）。ステップＳ１０１の送信は、フレームレートとして設定されている所定の時間間隔で実行される。なお指示情報は、前回の位置との差として相対的な位置を示す座標等の情報であっても良く、また画面上の絶対的な位置を示す座標等の情報であっても良い。そして相対的な位置を指示情報とする場合、所定の時間間隔で指示情報を送信するのではなく、指示子の位置に変化があった場合に送信する様にしてもよい。
【００２５】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づいて、通信機構１８にて指示情報を受信し（Ｓ１０２）、受信した指示情報を記憶機構１３に記憶する（Ｓ１０３）。情報処理装置１は、実行されているリモートアシスタンスシステムのモードに応じて、記憶機構１３に記憶させた指示情報が指示する位置を検出部１０４にて検出し、指示子を描画させる制御命令を画像生成部１００へ出力し、画像生成部により、検出した位置に対応する画面上の位置に指示子を描画した画像の生成等の処理を実行する。この様にして実施の形態１に係る指示情報送信処理が実行される。
【００２６】
図６は、本発明の実施の形態１に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づいて、制御機構１０が内蔵するクロック等の計時手段が計時する時間を参照し、前回画像を送信してから設定されている画像送信間隔にて示される所定の時間が経過したか否かを判定する（Ｓ２０１）。例えばフレームレートが３０ｆｐｓである場合、画像送信間隔は、１／３０秒となる。
【００２７】
ステップＳ２０１において、所定の時間が経過したと判定した場合（Ｓ２０１：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づいて、画像生成部１００が生成して画像記憶機構１７に記憶させた表示機構１４に表示させる画像を、画像取得部１０１にて取得（キャプチャ）する（Ｓ２０２）。
【００２８】
ステップＳ２０１において、所定時間間隔が経過していないと判定した場合（Ｓ２０１：ＮＯ）、情報処理装置１は、制御機構１０の制御により、ステップＳ２０１の処理を繰り返す。
【００２９】
ステップＳ２０１にて画像を取得した情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、自装置の処理能力を示す制御機構１０にて用いているＣＰＵの名称及び予め設定されている目標ＣＰＵ使用率に基づき、サイズ決定テーブル１０２ａを参照して、端末装置２へ送信する画像のサイズを決定する（Ｓ２０３）。なおステップＳ２０３の画像のサイズの決定は、予め決定されている画像のサイズを読み取ることでステップＳ２０３の決定とする様にしてもよい。
【００３０】
情報処理装置１は、制御機構１０の制御に基づく処理切替部１０３の処理により、ステップＳ２０３にて決定した送信する画像のサイズが、表示機構１４に表示している画面全体の画像のサイズ、所謂デスクトップ画面サイズ以上であるか否かを判定する（Ｓ２０４）。
【００３１】
ステップＳ２０４において、送信画像のサイズがデスクトップ画面サイズ未満であると判定した場合（Ｓ２０４：ＮＯ）、情報処理装置１は、制御機構１０の制御に基づく検出部１０４の処理により、指示情報送信処理のステップＳ１０２にて受信してステップＳ１０３にて記憶している端末装置２の指示情報を検出する（Ｓ２０５）。
【００３２】
情報処理装置１は、制御機構１０の制御に基づく分割部１０５の処理により、サイズ決定部１０２にて決定した画像のサイズに基づいて、表示機構１４に表示している画面全体の画像を複数の分割領域に分割する（Ｓ２０６）。表示機構１４に表示している画像の情報は、画像生成部１００から読み取られる。ステップＳ２０６にて分割された各分割領域のサイズは、サイズ決定部１０２にて決定した画像のサイズに基づいている。ステップＳ２０６の分割は、画面を基準に分割しても良く、また指示情報が示す位置を基準に分割しても良い。
【００３３】
情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、複数の分割領域の内で、端末装置２へ送信する分割領域の画像を決定する（Ｓ２０７）。ステップＳ２０７では、指示情報が示す位置が含まれる分割領域が、送信する分割領域として決定される。
【００３４】
情報処理装置１は、制御機構１０の制御に基づく画像取得部１０１の処理により、ステップＳ２０２にて取得した画像から、決定した分割領域の画像である分割領域画像を切り出し（Ｓ２０８）、切り出した分割領域画像を示す分割領域画像情報を符号化部１０７の処理により、所定の符号化方法で符号化する（Ｓ２０９）。ステップＳ２０９では、例えばＭＰＥＧ４（Motion Picture Expert Group 4 ）等のビデオストリーミングに適した符号化方法による符号化が行われる。
【００３５】
そして情報処理装置１は、制御機構１０の制御に基づく位置情報付加部１０８の処理により、符号化した分割領域画像情報に、当該分割領域の画面上における位置を示す位置情報を付加し（Ｓ２１０）、位置情報を付加した分割領域画像情報を通信機構１８から通信網ＮＷを介して端末装置２へ送信する（Ｓ２１１）。ステップＳ２１１の位置情報は、例えば分割領域が長方形である場合に、各頂点の座標を示す情報となる。ステップＳ２１１では、ＲＴＰ（Real-time Transport Protocol）等のビデオストリーミングに適した通信規約にて規定される通信方法による送信が行われる。
【００３６】
ステップＳ２０４において、送信画像のサイズがデスクトップ画面サイズ以上であると判定した場合（Ｓ２０４：ＹＥＳ）、情報処理装置１は、ステップＳ２０９へ進み、符号化、位置情報の付加及び送信処理を実行する。なおこの場合、ステップＳ２０９では、画面全体の画像を示す全画面画像情報を符号化し、ステップＳ２１０では、符号化した画像情報が全画面画像情報であることを示す情報が付加される。また所定時間間隔で画像を送信するのではなく、指示情報が示す位置に変化があった場合、即ち端末装置２側でマウス等の指示機構２４が操作された場合に画像を送信する様にしても良い。この様にして実施の形態１に係る画像送信処理が実行される。
【００３７】
図７は、本発明の実施の形態１に係る通信システムにて実行される画像受信処理の一例を示すフローチャートである。端末装置２は、制御機構２０の制御に基づいて、通信機構２７により、通信網ＮＷを介して送信された位置情報が付加された分割領域画像情報、全画面画像情報等の画像情報を受信する（Ｓ３０１）。
【００３８】
端末装置２は、制御機構２０の制御に基づく画面位置検出部２００の処理により、画像情報に付加されている位置情報に基づいて、画像の位置及び画像のサイズを検出する（Ｓ３０２）。
【００３９】
端末装置２は、制御機構２０の制御に基づく復号部２０１の処理により、符号化されている画像情報を復号する（Ｓ３０３）。
【００４０】
そして端末装置２は、制御機構２０の制御により、復号した画像を、検出した位置及びサイズに基づいて、表示機構２３に表示する（Ｓ３０４）。なお復号した画像を表示すべき位置に既に別の画像が表示されている場合、表示されている画像は復号した画像に更新される。この様にして実施の形態１に係る画像受信処理が実行される。
【００４１】
図８は、本発明の実施の形態１に係る通信システムによる処理の一例を概念的に示す説明図である。図８（ａ）及び（ｂ）は、情報表示装置１の表示機構１４に表示された画像を示しており、画像中の指示子（マウスポインタ）は、端末装置２から受信した指示情報に基づく位置に表示されている。また図中の太線で示した長方形は、指示子の位置に基づき分割された分割画像領域を示している。即ちリモートアシスタンスシステムのモードで、端末装置２側で情報処理装置１を操作している状態である。端末装置２を操作する熟練者の操作により、情報処理装置１の表示機構１４に表示された画像が図８（ａ）から図８（ｂ）に変化したものとする。即ち熟練者の操作によりマウスポインタの位置が画面中、向かって左上へ動かされた状態である。図８（ｃ）は、端末装置２の表示機構２３に表示された画像を示している。端末装置２の表示機構２３では、図８（ａ）の状態に対応する分割画像領域の画像と、マウスポインタの移動により表示される図８（ｂ）の状態に対応する分割画像領域の画像とが表示されている。この様に本発明の実施の形態１に係る通信システムでは、熟練者が所望する位置に指示子を移動させることにより、指示子の位置に対応する情報処理装置１に係る画像が、端末装置２の表示機構１４の画面上に表示される。
【００４２】
前記実施の形態１では、画像送信処理のステップＳ２０３の段階で画像のサイズを決定する形態を示したが、リモートアシスタンスシステムのモードに遷移後、端末装置２との接続が確立した後等の画像送信処理を開始する前に画像のサイズを予め決定し、設定する様にしてもよい。画像のサイズを画像送信処理の開始前に予め決定する場合、例えば予め記録されているサンプル画像を符号化部１０７にて符号化する符号化テストを行い、符号化テストの結果、符号化に要する符号化時間、符号化時のＣＰＵ使用率等の要因に基づき決定する様にしてもよい。具体的にはＣＰＵ使用率が５０％以下で符号化した場合に、所定時間内に符号化可能なサイズに決定する等の決定方法を実行する。
【００４３】
実施の形態２．
実施の形態２は、実施の形態１において、送信する画像のサイズを動的に変化させる形態である。なお実施の形態１と同様の構成については、実施の形態１と同様の符号を付し、実施の形態１を参照するものとし、その詳細な説明を省略する。実施の形態２に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。なお実施の形態２に係る情報処理装置１の機能構成において、サイズ決定テーブル１０２ａの記録内容は、実施の形態１と異なる。
【００４４】
図９は、本発明の実施の形態２に係る情報処理装置１が備えるサイズ決定テーブル１０２ａの記録内容の一例を概念的に示す説明図である。実施の形態２に係るサイズ決定テーブル１０２ａでは、ＣＰＵ名称と、許容ＣＰＵ使用率とを関連付け、ＣＰＵ名称及び許容ＣＰＵ使用率に対応する画像のサイズを記録している。許容ＣＰＵ使用率とは、予め設定されている上限ＣＰＵ使用率から、検出したＣＰＵ使用率を減じた値である。例えば上限ＣＰＵ使用率を７０％に設定している場合、その時のＣＰＵ使用率を検出し、検出したＣＰＵ使用率が２０％であれば、許容ＣＰＵ使用率は５０％となる。即ちＣＰＵの作動状況を検出し、ＣＰＵの処理負荷を上限ＣＰＵ使用率以下に抑制する方法である。ＣＰＵの作動状況は変化するため、実施の形態２では、許容ＣＰＵ使用率及び許容ＣＰＵ使用率に基づいて決定される画像のサイズは動的に変化することになる。なお画像送信処理は、フレームレートに相当する１／３０秒間隔で実行されるが、その都度、画像サイズを決定する処理を行うと、処理負荷が増大する。またＣＰＵの変化が急激な場合、送信する画像サイズが安定しないという問題がある。そこで１０秒等の所定時間におけるＣＰＵ使用率の平均値を算出し、算出したＣＰＵ使用率の平均値に基づいて、所定時間である１０秒間は画像サイズを固定することが望ましい。この場合、３００フレーム毎に画像サイズが更新されることになる。また図９では、フレームレートとして例えば３０ｆｐｓで画像を送信する場合に使用するサイズ決定テーブル１０２ａを示しているが、６０ｆｐｓ、１５ｆｐｓ等のフレームレート毎に異なるサイズ決定テーブル１０２ａを用いる様にしてもよい。
【００４５】
次に本発明の実施の形態２に係る各装置の処理について説明する。実施の形態２は、実施の形態１と画像送信処理が異なる。図１０は、本発明の実施の形態２に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。実施の形態２に係る画像送信処理において、画像サイズは、ＣＰＵ使用率の平均値に基づいて動的に変更される。但し、ＣＰＵの使用率の平均値を最初に算出するまでは、３２０×２４０等の初期値が用いられる。実施の形態２に係る画像送信処理は、図６を用いて説明した実施の形態１に係る画像送信処理のステップ２０３の処理が、実施の形態１と異なる。情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０２の処理を実行する。
【００４６】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づくサイズ決定部１０２の処理により、制御機構１０にて用いているＣＰＵの使用率を検出し（Ｓ４０１）、検出した使用率の値を記憶機構１３に記憶させる。
【００４７】
情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、記憶機構１３に記憶している計測したＣＰＵの使用率のサンプル数を計数し（Ｓ４０２）、計数したサンプル数が予め設定されている所定値に到達しているか否かを判定する（Ｓ４０３）。ステップＳ４０３における所定値は、フレームレートが３０ｆｐｓで、１０秒間の平均のＣＰＵ使用率を用いる場合３００となる。
【００４８】
ステップＳ４０３において、サンプル数が所定値に到達していると判定した場合（Ｓ４０３：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、記憶機構１３に記憶している所定個数、例えば３００のＣＰＵの使用率の平均値を算出し（Ｓ４０４）、算出したＣＰＵの使用率の平均値を記憶機構１３に記憶し、記憶機構１３に記憶しているＣＰＵの使用率を初期化する（Ｓ４０５）。ステップＳ４０５の初期化とは、記憶している３００個のＣＰＵの使用率の値を消去することを示す。またステップＳ４０５の初期化によりＣＰＵ使用率のサンプル数も初期化されることになる。
【００４９】
ステップＳ４０３において、サンプル数が所定値に到達していないと判定した場合（Ｓ４０３：ＮＯ）、ステップＳ４０４〜Ｓ４０５の処理は実行されない。
【００５０】
そして情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、記憶機構１３に記憶した最後に算出したＣＰＵの使用率の平均値を取得し（Ｓ４０６）、予め設定されている上限ＣＰＵ使用率から、ステップＳ４０６にて取得したＣＰＵの使用率の平均値を減じて余力ＣＰＵ使用率を算出する（Ｓ４０７）。
【００５１】
情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、自装置の処理能力を示す制御機構１０にて用いているＣＰＵの名称及び算出した余力ＣＰＵ使用率に基づき、サイズ決定テーブル１０２ａを参照して、端末装置２へ送信する画像のサイズを決定する（Ｓ４０８）。ステップＳ４０７にて算出した余力ＣＰＵ使用率に一致する許容ＣＰＵ使用率がサイズ決定テーブル１０２ａに設定されていない場合、サイズ決定テーブル１０２ａに設定されている許容ＣＰＵ使用率の中で、余力ＣＰＵ使用率に最も近い値、又は余力ＣＰＵ使用率より大きい値の内で最も小さい値をとる許容ＣＰＵ使用率に基づいて画像のサイズが決定される。
【００５２】
そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０４以降の処理を実行する。この様にして実施の形態２に係る画像送信処理が実行される。
【００５３】
図１１は、本発明の実施の形態２に係る通信システムにおけるＣＰＵ使用率の経時変化の一例を示すグラフである。図１１では、横軸に時間をとり、縦軸にＣＰＵ使用率の値をとってその関係を示している。図１１中、実線は、ＣＰＵ使用率を示し、一点鎖線は、予め設定されている上限ＣＰＵ使用率を示し、点線は、ＣＰＵ使用率の平均値を示している。図１１に示す様に、ＣＰＵ使用率の平均値は、１０秒ごとに更新される。そして図１１中、両矢印にて示した上限ＣＰＵ使用率とＣＰＵ使用率の平均値との差が余力ＣＰＵ使用率であり、サイズ決定テーブル１０２ａに記録されている許容ＣＰＵ使用率と対応付けられる。なおＣＰＵ使用率の平均をとるための所定時間は、１０秒に限るものではなく、適宜設定することが可能であり、また動的に変更する様にしてもよい。平均の為の所定時間が長くなる程、画像サイズが安定し、フレーム毎の画像間の変化量が増大することを防止するので、エンコード効率が向上する。また所定時間が短くなる程、瞬間的なＣＰＵ使用率の増大に追随することができるため、一時的に処理負荷が増大したときの送信処理の滞りを防止することが可能である。この様にＣＰＵの使用率に応じて動的に画像サイズを変更することにより、ＣＰＵの能力の有効利用が可能となる。
【００５４】
実施の形態３．
実施の形態３は、実施の形態２において、サイズ決定テーブルを用いることなく、送信する画像のサイズを動的に変化させる形態である。なお実施の形態１又は２と同様の構成については、実施の形態１及び２と同様の符号を付し、実施の形態１及び２を参照するものとし、その説明を省略する。実施の形態３に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。但し、実施の形態３に係る情報処理装置１は、サイズ決定テーブル１０２ａを必要としない。
【００５５】
次に本発明の実施の形態３に係る各装置の処理について説明する。実施の形態３は、実施の形態１及び２と画像送信処理が異なる。図１２は、本発明の実施の形態３に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。実施の形態３に係る画像送信処理において、画像サイズは、ＣＰＵ使用率の平均値に基づいて動的に変更されるが、ＣＰＵの使用率の平均値を最初に算出するまでは、３２０×２４０等の初期値が用いられる。実施の形態３に係る画像送信処理は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０３の処理が、実施の形態１と異なる。情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０２の処理を実行する。更に情報処理装置１は、図１０を用いて説明した実施の形態２に係る画像送信処理のステップＳ４０１〜Ｓ４０６の処理を実行する。
【００５６】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づくサイズ決定部１０２の処理により、取得したＣＰＵの使用率の平均値を、予め設定されている目標ＣＰＵ使用率で除することにより、サイズ変更倍率を算出する（Ｓ５０１）。目標ＣＰＵ使用率とは、例えば５０％、７０％等のＣＰＵの使用率の目標値であり、例えば記録機構１２又は記憶機構１３に予め設定値が記録されている。例えば目標ＣＰＵ使用率が７０％で、所得したＣＰＵ使用率の平均値が３０％である場合、サイズ変更倍率は、７０／３０≒２．３３倍となる。
【００５７】
情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、設定されている画像サイズに、算出したサイズ変更倍率を乗じて、画像サイズの設定を更新する（Ｓ５０２）。なおステップＳ５０１にて算出したサイズ変更倍率は、面積に対する倍率である。従って縦横の長さ（ドット数）に対しては、サイズ変更倍率の平方根が乗じられる。またステップＳ５０２では、画像サイズに、サイズ変更倍率を乗じた値を更新後の画像サイズとする様にしても良いが、８００×６００、１０２４×７６８等の複数のサイズを選択肢として予め設定しておき、サイズ変更倍率を乗じた値に最も近い画像サイズ、又はサイズ変更倍率を乗じた値より小さい値の内で最も大きい値を更新後の画像サイズとして設定する様にしてもよい。
【００５８】
そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０４以降の処理を実行する。この様にして実施の形態３に係る画像送信処理が実行される。
【００５９】
図１３は、本発明の実施の形態３に係る通信システムにおけるＣＰＵ使用率の経時変化の一例を示すグラフである。図１３では、横軸に時間をとり、縦軸にＣＰＵ使用率の値をとってその関係を示している。図１３中、実線は、ＣＰＵ使用率を示し、一点鎖線は、予め設定されている目標ＣＰＵ使用率を示し、点線は、ＣＰＵ使用率の平均値を示している。図１３に示す様に、目標ＣＰＵ使用率とＣＰＵ使用率の平均値との比に基づいて画像サイズを決定するため、ＣＰＵ使用率の平均値は、目標ＣＰＵ使用率又はそれに近い値を取る。この様にして動的に画像サイズを変更する場合、サイズ決定テーブル１０２ａが不要となる。
【００６０】
実施の形態４．
実施の形態４は、実施の形態２において、情報処理装置が、端末装置からのフィードバックに基づいて画像サイズを動的に変化させる形態である。なお実施の形態１又は２と同様の構成については、実施の形態１及び２と同様の符号を付し、実施の形態１及び２を参照するものとし、その説明を省略する。実施の形態４に係る通信システムの構成例及び各装置のハードウェアの構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。
【００６１】
図１４は、本発明の実施の形態４に係る通信システムが備える各装置のソフトウェアの構成例を示す機能ブロック図である。情報処理装置１は、画像生成部１００、画像取得部１０１、サイズ決定テーブル１０２ａを有するサイズ決定部１０２、処理切替部１０３、検出部１０４、分割部１０５、領域決定部１０６、符号化部１０７、位置情報付加部１０８、端末装置２から受信するフィードバック情報を取得する情報取得部１０９等の各種プログラムモジュールとして様々な機能を実現する。
【００６２】
端末装置２は、画面位置検出部２００、復号部２０１、検出部２０２、自装置に関する情報を収集する自装置情報収集部２０３等の各種プログラムモジュールとして様々な機能を実現する。
【００６３】
次に本発明の実施の形態４に係る各装置の処理について説明する。実施の形態４では、実施の形態１及び２の処理に並行して、フィードバック処理が実行される。図１５は、本発明の実施の形態４に係る通信システムにて実行されるフィードバック処理の一例を示すフローチャートである。端末装置２は、制御機構１０の制御に基づく自装置情報収集部２０３の処理により、自装置に関する情報を収集し（Ｓ６０１）、収集した情報をフィードバック情報として、通信機構２７から通信網ＮＷを介して情報処理装置１へ送信する（Ｓ６０２）。ステップＳ６０１にて収集する自装置に関する情報とは、自装置のＣＰＵ使用率、パケット消失率等の情報である。自装置のＣＰＵ使用率とは、自装置の制御機構１０のＣＰＵの使用率を検出し、検出したＣＰＵ使用率の所定時間の平均値を求めた値である。パケット消失率とは、所定時間の間に情報処理装置１から受信した画像情報に係るパケットについての消失率である。ステップＳ６０２の送信は、例えば所定の時間間隔で実行される。
【００６４】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づいて、通信機構１８にて、端末装置２のＣＰＵの使用率、パケットの消失率等の情報を含むフィードバック情報を受信し（Ｓ６０３）、情報取得部１０９の処理により、受信したフィードバック情報を取得する（Ｓ６０４）。ステップＳ６０４におけるフィードバック情報の取得とは、例えば受信したフィードバック情報を、適宜使用することができる様に記憶機構１３に記憶させる処理である。なお記憶機構１３に以前のフィードバック情報が既に記憶されている場合、新たに受信したフィードバック情報により更新する。
【００６５】
情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、取得したフィードバック情報に含まれる端末装置２のＣＰＵ使用率を用いた所定の計算式により、送信する画像サイズを変更する倍率の候補となる第１候補倍率を算出する（Ｓ６０５）。ステップＳ６０５において、第１候補倍率は下記の式（１）にて算出される。
【００６６】
第１候補倍率＝定数−ＣＰＵ使用率  …式（１）
【００６７】
式（１）において、定数とは、適宜設定することが可能な１．５等の値である。なお画像サイズの拡大による処理負荷の増大を避けるため、第１候補倍率に１等の上限値を設定する様にしてもよい。即ち式（１）による算出結果が１未満である場合、その値を第１変更倍率とし、算出結果が１以上である場合、第１候補倍率を１とするのである。
【００６８】
情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、取得したフィードバック情報に含まれるパケットの消失率を用いた所定の計算式により、送信する画像サイズを変更する倍率の候補となる第２候補倍率を算出する（Ｓ６０６）。ステップＳ６０６において、第２候補倍率は下記の式（２）にて算出される。
【００６９】
第２候補倍率＝１−消失率  …式（２）
【００７０】
そして情報処理装置１は、制御機構１０の制御に基づくサイズ決定部１０２の処理により、算出した第１候補倍率及び第２候補倍率からサイズ変更倍率を決定する（Ｓ６０７）。ステップＳ６０７において、サイズ変更倍率は、第１候補倍率及び第２候補倍率の内で小さい方の値を選択することにより決定される。例えば第１候補倍率が１．００であり、第２候補倍率が０．９９である場合、サイズ変更倍率は０．９９に決定される。なおフィードバック情報として用いる変数、計算式等は上述した例に限らず、適宜設定することが可能である。この様にして実施の形態４に係るフィードバック処理が実行される。
【００７１】
実施の形態４の画像送信処理は、フィードバック処理にて算出されたサイズ変更倍率に基づく計算処理を、実施の形態２の画像送信処理に追加した処理となる。図１６は、本発明の実施の形態４に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０２の処理を実行し、図１０を用いて説明した実施の形態２に係る画像送信処理のステップＳ４０１〜Ｓ４０８の処理を実行する。
【００７２】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づくサイズ決定部１０２の処理により、ステップＳ４０８にて決定した画像のサイズに、フィードバック処理にて決定したサイズ変更倍率を乗じることにより、画像のサイズを更新する（Ｓ７０１）。なおステップＳ４０８にて算出したサイズ変更倍率は、面積に対する倍率である。従って縦横の長さ（ドット数）に対しては、サイズ変更倍率の平方根が乗じられる。またステップＳ７０１では、画像サイズに、サイズ変更倍率を乗じた値を更新後の画像サイズとする様にしても良いが、８００×６００、１０２４×７６８等の複数のサイズを選択肢として予め設定しておき、サイズ変更倍率を乗じた値に最も近い画像サイズ、又はサイズ変更倍率を乗じた値より小さい値の内で最も大きい値を更新後の画像サイズとして設定する様にしてもよい。
【００７３】
そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０４以降の処理を実行する。この様にして実施の形態４に係る画像送信処理が実行される。実施の形態４では、端末装置２の状況を示すＣＰＵ使用率及び通信の状況を示すパケットの消失率をフィードバック情報として用いる形態を示したが、本発明はこれに限らず、端末装置２のＣＰＵの種類、メモリ容量等の端末装置２の状況、平均遅延時間等の通信の状況をフィードバック情報として用いる等、様々な状況を示す状況情報をフィードバック情報として用いることが可能である。そして通信状況、端末装置２の状況等の状況を加味して画像サイズを変更することにより、システム全体としての処理の効率化を実現することが可能となる。
【００７４】
実施の形態５．
実施の形態５は、実施の形態１において、指示情報が示す位置を含む分割領域以外の分割領域の画像を送信する形態である。なお実施の形態１と同様の構成については、実施の形態１と同様の符号を付し、実施の形態１を参照するものとし、その詳細な説明を省略する。実施の形態５に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。
【００７５】
次に実施の形態５に係る各装置の処理について説明する。実施の形態５は、実施の形態１と画像送信処理が異なる。図１７は、本発明の実施の形態５に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。実施の形態５に係る画像送信処理は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０７の処理が、実施の形態１と異なる。情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０６の処理を実行する。
【００７６】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づく検出部１０４の処理により、指示情報が指示する位置の変化の有無を判定する（Ｓ８０１）。指示情報が指示する位置とは、端末装置２の表示機構２３の画面上に表示された画像上の位置である。なおリモートアシスタンスのモードによっては、指示情報が指示する位置は、情報処理装置１の表示機構１４の画面上に表示された画像上の位置と一致する。ステップＳ８０１において、位置の変化の有無は、前回の処理により検出した指示情報が指示する位置と一致するか否かにより判定する。なお原則的には前回の指示情報が示す位置及び今回の指示情報が示す位置が完全に一致した場合に限り、位置の変化無しと判定する。但し、夫々の指示情報が示す位置の差異が所定値以内である場合、又は今回の指示情報が示す位置が、前回指示情報が示す位置を含む分割領域内である場合についても変化無しと判定する様にしても良い。
【００７７】
ステップＳ８０１において、位置の変化が有ると判定した場合（Ｓ８０１：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、予め設定している領域選択カウンタを０に初期化し（Ｓ８０２）、今回、即ち直近に受信した指示情報が示す位置が含まれる分割領域を、端末装置２へ送信する分割領域として決定する（Ｓ８０３）。そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。ステップＳ８０２の領域選択カウンタとは、例えば制御機構１０が備えるレジスタ、記憶機構１３が備える記憶領域を用いて設定されるカウンタである。
【００７８】
ステップＳ８０１において、位置の変化が無いと判定した場合（Ｓ８０１：ＮＯ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、領域選択カウンタの値に１を加算し（Ｓ８０４）、今回、即ち直近に受信した指示情報が示す位置が含まれる分割領域と異なる分割領域を、端末装置２へ送信する分割領域として決定する（Ｓ８０５）。ステップＳ８０５において、指示情報が示す位置に係る分割領域と異なる分割領域は、領域選択カウンタが示す値に基づき決定される。そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【００７９】
図１８は、本発明の実施の形態５に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。図１８中、実線は、情報処理装置１の表示機構１４に表示された画像の全体を示しており、破線は、指示情報が示す位置に基づいて分割した分割領域を示している。各分割領域中に示す数字が領域選択カウンタの値に対応し、数字が「０」である分割領域は、指示情報が示す位置を含む分割領域である。前述したステップＳ８０３では、指示情報が示す位置を含み、数字が「０」である分割領域が送信する分割領域として決定される。そして次に画像を送信する段階において、指示情報の位置の変化が無い場合、数字が「１」である分割領域が送信する分割領域として決定され、更に位置の変化が無い場合、数字が「２」である分割領域が送信する分割領域として決定される。即ち指示情報の位置が移動していない場合、指示情報に係る分割領域を始点として右回りの螺旋状に、前回の送信に係る分割領域に接する分割領域が送信する分割領域として決定される。なお領域選択カウンタには、「１５」等の上限値を設定し、上限値を超えると「０」に初期化する様にしても良い。また分割領域と領域選択カウンタが示す値との関係、即ち送信順序は適宜設定することが可能である。この様にして実施の形態５に係る画像送信処理が実行される。この様に指示情報に変化がない場合、所定の順序で異なる分割領域の画像を送信することにより、端末装置２を操作する熟練者は、指示子の周辺の画像を自動的に取得することができるので、遠隔操作の利便性を向上させることが可能である。
【００８０】
実施の形態６．
実施の形態６は、実施の形態１において、指示情報が示す位置を含む分割領域以外の分割領域の画像を送信する形態であり、送信する分割領域の決定の方法が実施の形態５と異なる。なお実施の形態１と同様の構成については、実施の形態１と同様の符号を付し、実施の形態１を参照するものとし、その詳細な説明を省略する。実施の形態６に係る通信システムの構成例及び各装置のハードウェアの構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。
【００８１】
図１９は、本発明の実施の形態６に係る通信システムが備える各装置のソフトウェアの構成例を示す機能ブロック図である。情報処理装置１は、画像生成部１００、画像取得部１０１、サイズ決定テーブル１０２ａを有するサイズ決定部１０２、処理切替部１０３、検出部１０４、分割部１０５、領域決定部１０６、符号化部１０７、位置情報付加部１０８、更新領域テーブル１０１０ａを有する更新検出部１０１０等の各種プログラムモジュールとして様々な機能を実現する。
【００８２】
更新領域テーブル１０１０ａは、情報処理装置１の表示機構１４の画面上に表示される更新されたウィンドウに関する情報を記録するテーブルである。更新検出部１０１０は、表示機構１４に表示する画像の更新状況を検出する機能を有する。
【００８３】
図２０は、本発明の実施の形態６に係る情報処理装置１が備える更新領域テーブル１０１０ａの記録内容の一例を概念的に示す説明図である。更新領域テーブル１０１０ａには、表示機構１４の画面上に表示されたウィンドウの内で、更新されたウィンドウに関する情報がレコード単位で記録されている。各レコードには、更新されたウィンドウに関する領域番号、左端座標、上端座標、右端座標、下端座標、深度（Z-order ）、面積、送信済み面積等の情報が記録されている。領域番号とは、更新された領域に対して付与された番号である。左端座標、上端座標、右端座標及び下端座標は、更新領域の位置を示す座標である。更新領域テーブル１０１０ａに記録される更新領域とは、表示機構１４の長方形状の画面の下辺に対し、夫々の辺が平行又は垂直の関係にある四辺にて構成される長方形状の更新領域である。従って左端座標、上端座標、右端座標及び下端座標による更新領域の位置、形状及び面積を示すことができる。深度とは、ウィンドウに係るレイヤの深さを示し、表示画面の最前面のウィンドウが１であり、奥側のウィンドウ程、大きな数字となる。なおその更新領域にウィンドウが無い場合は最も奥側（最も大きな数字）になる。面積は、更新領域の面積を示す。送信済み面積は更新領域のうち、端末装置２へ送信した面積の合計を示す。図２０に示す例では、まだ送信されていない状態を示しており、送信済み面積が「０」となっている。
【００８４】
図２０に示す更新領域テーブル１０１０ａのレコードは、新たなウィンドウが開かれたり、閉じられたりすると対応するレコードが記録される。また後述する画像送信処理により、必要に応じてレコードの消去が行われる。なお既に表示しているウィンドウ内で表示されている画像又はウィンドウの位置、形状或いは大きさに変化が有る場合、即ちウィンドウの内容が更新された場合、更新された領域に対応するレコードの記録内容も更新される。
【００８５】
次に実施の形態６に係る各装置の処理について説明する。実施の形態６では、実施の形態１の処理に並行して更新検出処理が実行される。図２１は、本発明の実施の形態６に係る通信システムにて実行される更新検出処理の一例を示すフローチャートである。情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づく更新検出部１０１０の処理により、表示機構１４に表示させる画像中のウィンドウの更新に関する状況を検出し（Ｓ９０１）、検出した更新に係る状況に基づいて更新領域テーブル１０１０ａを更新する（Ｓ９０２）。ステップＳ９０１において、情報処理装置１は、画像生成部１００に画像を描画させる命令、画像生成部１００が生成する画像、画像記憶機構１７に記憶させた画像等の情報に基づいてウィンドウの更新に関する状況を検出する。ウィンドウの更新に関する状況とは、例えば新たなウィンドウが開かれた状況、ウィンドウが閉じられた状況、ウィンドウ内で表示されている画像又はウィンドウの位置、形状或いは大きさに変化が生じた状況である。この様にして実施の形態６に係る更新検出処理が実行される。
【００８６】
実施の形態６の画像送信処理は、更新検出処理にて記録内容が更新される更新領域テーブル１０１０ａに基づいて送信する分割領域を決定する。図２２は、本発明の実施の形態６に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。実施の形態６に係る画像送信処理は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０７の処理が、実施の形態１と異なる。情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０６の処理を実行する。なお実施の形態６に係る画像送信処理では、２つの領域選択カウンタを用いる。
【００８７】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づく検出部１０４の処理により、指示情報が指示する位置の変化の有無を判定する（Ｓ１００１）。
【００８８】
ステップＳ１００１において、位置の変化が有ると判定した場合（Ｓ１００１：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、第１領域選択カウンタを０に初期化し（Ｓ１００２）、第２領域選択カウンタを０に初期化する（Ｓ１００３）。そして情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、今回、即ち直近に受信した指示情報が示す位置が含まれる分割領域を、端末装置２へ送信する分割領域として決定する（Ｓ１００４）。そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【００８９】
ステップＳ１００１において、位置の変化が無いと判定した場合（Ｓ１００１：ＮＯ）、情報処理装置１は、制御機構１０の制御に基づく更新検出部１０１０の処理により、ウィンドウに関する更新の有無を判定する（Ｓ１００５）。ステップＳ１００５では、更新領域テーブル１０１０ａにレコードが記録されている場合、ウィンドウに関する更新が有ったと判定する。
【００９０】
ステップＳ１００５において、更新無しと判定した場合（Ｓ１００５：ＮＯ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、第１領域選択カウンタに１を加算し（Ｓ１００６）、今回、即ち直近に受信した指示情報が示す位置が含まれる分割領域と異なる分割領域を、端末装置２へ送信する分割領域として決定する（Ｓ１００７）。ステップＳ１００７において、指示情報が示す位置に係る分割領域と異なる分割領域は、第１領域選択カウンタが示す値に基づき決定される。そして情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、第２領域選択カウンタを０に初期化し（Ｓ１００８）、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【００９１】
ステップＳ１００５において、更新有りと判定した場合（Ｓ１００５：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、第２領域選択カウンタに１を加算する（Ｓ１００９）。情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、更新領域テーブル１０１０ａに記録されているレコードを参照して、画像の一部又は全部が更新されている分割領域を、端末装置２へ送信する分割領域として決定する（Ｓ１０１０）。ステップＳ１０１０では、第２領域選択カウンタが示す値に基づき送信する分割領域が決定される。この場合、情報処理装置１は、指示情報が示す位置を含む分割領域を始点として右回りの螺旋状に、更新された分割領域であるか否かを判定し、更新された分割領域であると判定した分割領域を、判定した順に送信する分割領域として決定することになる。
【００９２】
情報処理装置１は、制御機構１０の制御に基づく更新検出部１０１０の処理により、更新領域テーブル１０１０ａの記録内容を更新する（Ｓ１０１１）。ステップＳ１０１１では、画像を送信した分割領域に関連するレコードの「送信済み面積」を増加する更新を行う。さらに送信済み面積と領域面積とが同じ値になった場合、即ちレコードの更新領域全ての送信が完了した場合、レコードを消去する更新を行う。そして情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、第１領域選択カウンタを０に初期化し（Ｓ１０１２）、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【００９３】
図２３は、本発明の実施の形態６に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。図２３（ａ）中、実線は、画面に表示された画像の全体を示しており、破線は、分割領域を示しており、更新されたウィンドウの範囲を斜線で示している。情報処理装置１は、指示情報が示す位置を含む分割領域を始点として右回りの螺旋状に、更新された分割領域であるか否かを判定し、更新された分割領域であると判定した順に、分割領域の画像を送信する。図２３（ａ）の例では、分割領域に示した数字の順に分割領域の画像を送信する。なお図２３（ｂ）は、「１」として示した分割領域及び「２」として示した分割領域に係る画像を送信した後、送信する分割領域の画像として「３」として示した画像を選択した状態を示している。
【００９４】
図２３に示す様に更新された画像を含む分割領域が複数である場合、夫々の画像は、１／３０秒等の画像送信間隔で送信する。但し、更新された全ての分割領域に係る画像を送信する前に、更に画像が更新される可能性がある。従って画像が更新されるたびに第２領域選択カウンタを初期化して最初から、即ち指示情報が示す位置に近い領域から送信するようにしても良い。この様にして実施の形態６に係る画像送信処理が実行される。この様に更新された画像に係る分割領域を優先的に送信することにより、遠隔操作の利便性を向上させることが可能である。
【００９５】
実施の形態７．
実施の形態７は、実施の形態６において、送信する画像に係る分割領域の順序を他の方法で決定する形態である。なお実施の形態１又は６と同様の構成については、実施の形態１及び６と同様の符号を付し、実施の形態１及び６を参照するものとし、その説明を省略する。実施の形態７に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態６と同様であるので、実施の形態６を参照するものとし、その説明を省略する。
【００９６】
実施の形態７の各処理は、実施の形態６と同様である。但し、図２２を用いて説明した実施の形態６に係る画像送信処理のステップＳ１０１０の決定方法が異なる。図２４は、本発明の実施の形態７に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。図２４中、実線は、画面に表示された画像の全体を示しており、破線は、分割領域を示しており、更新されたウィンドウの範囲を斜線で示している。なお左上から右下への斜線で示した範囲の方が、右上から左下への斜線で示した範囲より前面のレイヤであることを示している。実施の形態７では、更新領域テーブル１０１０ａに記録されている深度に係るデータを用いて送信順序が決定される。
【００９７】
送信順序の決定に際しては、前面のレイヤのウィンドウに係る分割領域の優先順位が高くなる。同じウィンドウに係る分割領域については、指示情報が示す位置を含む分割領域又は指示情報が示す位置により近い分割領域を始点として右回りの螺旋状に、更新された分割領域であるか否かを判定し、更新された分割領域であると判定した場合、深度の順に、優先順位が高くなる。例えば図２４に示す例では、分割領域に示した数字の順に分割領域の画像を送信する。この様に前面のレイヤのウィンドウに係る分割領域の画像を優先して送信することにより、使用しているウィンドウに係る画像を優先して送信することになるため、遠隔操作の利便性を向上させることが可能である。
【００９８】
実施の形態８．
実施の形態８は、実施の形態１において、所定回数（所定時間）の間、同じ分割領域の画像を送信する形態である。なお実施の形態１と同様の構成については、実施の形態１と同様の符号を付し、実施の形態１を参照するものとし、その詳細な説明を省略する。実施の形態８に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。
【００９９】
次に本発明の実施の形態８に係る各装置の処理について説明する。実施の形態８は、実施の形態１と画像送信処理が異なる。図２５は、本発明の実施の形態８に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。実施の形態８に係る画像送信処理は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０７以降の処理が、実施の形態１と異なる。情報送信装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０６の処理を実行する。
【０１００】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づく領域決定部１０６の処理により、予め設定されている連続送信カウンタが初期値の０であるか否かを判定する（Ｓ１１０１）。ステップＳ１１０１の連続送信カウンタとは、例えば制御機構１０が備えるレジスタ、記憶機構１３が備える記憶領域を用いて設定されるカウンタである。
【０１０１】
ステップＳ１１０１において、連続送信カウンタの値が初期値の０であると判定した場合（Ｓ１１０１：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、指示情報が示す位置が含まれる分割領域の画像を、端末装置２へ送信する分割領域の画像として決定する（Ｓ１１０２）。
【０１０２】
情報処理装置１は、制御機構１０の制御に基づく画像取得部１０の処理により、図６に示したステップＳ２０２の処理にて取得した画面全体の画像から、決定した分割領域の画像である分割領域画像を切り出し（Ｓ１１０３）、領域決定部１０６の処理により、当該分割領域の位置及びサイズを示す分割領域情報を記憶機構１３に記憶する（Ｓ１１０４）。
【０１０３】
なおステップＳ１１０１において、連続送信カウンタの値が初期値の０ではないと判定した場合（Ｓ１１０１：ＮＯ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、以前に記憶した分割領域の位置及びサイズを示す分割領域情報を記憶機構１３から読み取り（Ｓ１１０５）、画像取得部１０の処理により、画面全体の画像から、分割領域情報が示す分割領域の分割領域画像を切り出す（Ｓ１１０６）。ステップＳ１１０５で読み取る分割領域画像情報は、以前のステップＳ１１０４の処理にて記憶した分割領域画像情報である。従ってステップＳ１１０６にて切り出す分割領域画像は、ステップＳ１１０３にて切り出した分割領域画像と同じ分割領域の画像である。なお分割領域情報に基づき位置は固定しながらも、サイズは変更する様にする等、適宜設計することが可能である。
【０１０４】
ステップＳ１１０４又はステップＳ１１０６の処理後、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、連続送信カウンタの値に１を加算し（Ｓ１１０７）、予め設定されている所定の連続送信回数設定値と比較する（Ｓ１１０８）。所定の連続送信回数設定値とは、例えば制御機構１０が備えるレジスタ、記憶機構１３が備える記憶領域を用いて設定される連続送信回数の上限値である。
【０１０５】
ステップＳ１１０８において、連続送信カウンタの値が、連続送信回数設定値に到達していると判定した場合（Ｓ１１０８：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、記憶機構１３に記憶させた分割領域画像を消去し、連続送信カウンタの値を０とする初期化処理を行い（Ｓ１１０９）、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０９以降の処理を実行する。
【０１０６】
ステップＳ１１０８において、連続送信カウンタの値が、連続送信回数設定値に到達していないと判定した場合（Ｓ１１０８：ＮＯ）、情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０９以降の処理を実行する。この様にして実施の形態８に係る画像送信処理が実行される。この様に所定回数、即ち所定時間の間、同じ分割領域の画像を送信する様にすることで、送信する画像の変化量を抑制することができるので、符号化時の圧縮効率を向上させることが可能である。
【０１０７】
実施の形態９．
実施の形態９は、実施の形態６に示した様に更新された分割領域の画像を送信し、かつ実施の形態８に示した様に同じ分割領域の画像を繰り返し送信する形態である。但し、単に更新された分割領域の画像を繰り返し送信するのではなく、実施の形態９では、送信すべき分割領域の面積及び送信する画像のサイズに基づいて繰り返し回数を動的に変更する。なお実施の形態１、６又は８と同様の構成については、実施の形態１、６及び８と同様の符号を付し、実施の形態１、６及び８を参照するものとし、その詳細な説明を省略する。
【０１０８】
実施の形態９では、画像送信処理において、サイズ決定部１０２にて決定した画像のサイズと、更新検出部１０１０にて検出した更新された画像の面積とを用いて下記の式（３）により連続送信回数設定値を算出する。
【０１０９】
連続送信回数設定値＝定数／（更新画像面積／画像サイズ）  …式（３）
【０１１０】
式（３）において、定数とは、適宜設定することが可能な１２等の値である。なお式（３）にて算出される連続送信回数設定値が自然数になる様に近似値を求めても良い。式（３）にて算出される連続送信回数設定値は、更新された画像の面積が大きい程、小さい値をとる。これにより同じ分割領域の画像を繰り返し送信する回数が少なくなるので、大きい面積の画像を短時間で送信することが可能となる。また連続送信回数設定値は、更新された画像の面積が小さい程、大きい値をとる。これにより符号化時の圧縮効率を向上させることが可能となる。さらに式（３）にて算出される連続回数設定値は、１回に送信する画像のサイズが大きい程、大きい値をとる。これにより符号化時の圧縮効率を向上させることが可能となる。また連続回数設定値は、１回に送信する画像のサイズが小さい程、小さい値をとる。これにより更新された分割領域の数が多い場合に全ての分割領域の画像を短時間で送信することが可能となる。この様に実施の形態９では、符号化時の圧縮効率を適正化し、更新された画像全体の送信を短時間で実現することが可能となる。
【０１１１】
実施の形態１０．
実施の形態１０は、実施の形態６に示した様に更新された画像を送信する形態であり、かつ送信する画像のサイズに応じてフレームレートとして設定されている画像を送信する時間間隔を動的に設定する形態である。なお実施の形態１又は６と同様の構成については、実施の形態１及び６と同様の符号を付し、実施の形態１及び６を参照するものとし、その詳細な説明を省略する。実施の形態１０に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態６と同様であるので、実施の形態６を参照するものとし、その説明を省略する。
【０１１２】
次に実施の形態１０に係る各装置の処理について説明する。実施の形態１０は、実施の形態６と同様の更新検出処理を実行する。また実施の形態１０は、実施の形態１及び６と画像送信処理が異なる。図２６は、本発明の実施の形態１０に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。実施の形態１０に係る画像送信処理は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０６以降の処理が実施の形態１と異なる。情報送信装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０５の処理を実行する。
【０１１３】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づく更新検出部１０１０の処理により、ウィンドウに関する更新の有無を判定する（Ｓ１２０１）。
【０１１４】
ステップＳ１２０１において、更新無しと判定した場合（Ｓ１２０１：ＮＯ）、情報処理装置１は、制御機構１０の制御に基づく分割部１０５の処理により、サイズ決定部１０２にて決定した画像のサイズに基づいて表示機構１４に表示している画面全体の画像を複数の分割領域に分割し（Ｓ１２０２）、領域決定部１０６の処理により、指示情報が示す位置が含まれる分割領域の画像を、端末装置２へ送信する分割領域の画像として決定する（Ｓ１２０３）。
【０１１５】
情報処理装置１は、制御機構１０の制御に基づく画像取得部１０の処理により、図６に示したステップＳ２０２の処理にて取得した画面全体の画像から、決定した分割領域の画像である分割領域画像を切り出す（Ｓ１２０４）。そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０９以降の処理を実行する。
【０１１６】
ステップＳ１２０１において、更新有りと判定した場合（Ｓ１２０１：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６及び更新決定部１０１０の処理により、画像が更新されたウィンドウに係る画像の範囲を含む領域を、端末装置２へ送信する分割領域の画像として決定する（Ｓ１２０５）。ステップＳ１２０５にて決定される分割領域は、ステップＳ１２０２の様に画像のサイズに基づいて画面全体の画像を複数の分割領域に分割したものではなく、従って画像のサイズと大きさ及び形状が必ずしも一致するものではない。
【０１１７】
情報処理装置１は、制御機構１０の制御に基づく画像取得部１０の処理により、決定した分割領域の画像である分割領域画像を切り出す（Ｓ１２０６）。
【０１１８】
情報処理装置１は、制御機構１０の制御により、サイズ決定部１０２にて決定した画像のサイズと、ステップＳ１２０５にて決定した分割領域の面積とを用いて下記の式（４）により設定している画像送信間隔に対する係数を算出し（Ｓ１２０７）。
【０１１９】
係数＝分割領域の面積／画像サイズ  …式（４）
【０１２０】
情報処理装置１は、制御機構１０の制御により、算出した係数を画像送信間隔に乗じて得られた数値を新たな画像送信間隔として設定する（Ｓ１２０８）。ステップＳ１２０８にて設定される画像送信間隔は、次回の画像送信までの時間間隔にのみ用いられる。
【０１２１】
そして情報処理装置１は、制御機構１０の制御に基づく更新検出部１０１０の処理により、更新領域テーブル１０１０ａに記録されている更新されたウィンドウに係るレコードを消去すべく、更新領域テーブル１０１０ａを更新する（Ｓ１２０９）。そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０９以降の処理を実行する。
【０１２２】
図２７は、本発明の実施の形態１０に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。図２７中、実線は画面に表示された画像の全体を示しており、破線は、送信する分割領域を示しており、更新されたウィンドウの範囲を斜線で示している。図２７（ａ）は、実施の形態１０に係る画像送信処理による分割領域の時系列での変化を示しており、図２７（ｂ）は、実施の形態６に係る画像送信処理による分割領域の時系列での変化を比較用に示している。図２７（ａ）と図２７（ｂ）を比較すると明らかな様に、分割領域として広い範囲が設定された場合、画像送信間隔は長くなる。即ち送信する分割領域の面積がＮ倍になってもフレームレートを１／Ｎ倍にすることで処理負荷を一定に保つことが可能となる。この様にして実施の形態１０に係る画像送信処理が実行される。
【０１２３】
実施の形態１１．
実施の形態１１は、実施の形態１において指示子の位置及び更新された画像に拘わらず、送信する分割領域を決定する形態である。なお実施の形態１と同様の構成については、実施の形態１と同様の符号を付し、実施の形態１を参照するものとし、その詳細な説明を省略する。実施の形態１１に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。
【０１２４】
次に実施の形態１１に係る各装置の処理について説明する。実施の形態１１は、実施の形態１と画像送信処理が異なる。図２８は、本発明の実施の形態１１に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。実施の形態１１に係る画像送信処理は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０４以降の処理が、実施の形態１と異なる。情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０３の処理を実行する。
【０１２５】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づく処理切替部１０３の処理により、送信する画像のサイズが、表示機構１４に表示している画面全体の画像のサイズ、所謂デスクトップ画面サイズ以上であるか否かを判定する（Ｓ１３０１）。
【０１２６】
ステップＳ１３０１において、送信画像のサイズがデスクトップ画面サイズ未満であると判定した場合（Ｓ１３０１：ＮＯ）、情報処理装置１は、制御機構１０の制御に基づく分割部１０５の処理により、サイズ決定部１０２にて決定した画像のサイズに基づいて表示機構１４に表示している画面全体の画像を複数の分割領域に分割する（Ｓ１３０２）。
【０１２７】
情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、領域選択カウンタの値に１を加算し（Ｓ１３０３）、複数の分割領域の内で、端末装置２へ送信する分割領域の画像を領域選択カウンタの値に基づき決定する（Ｓ１３０４）。ステップＳ１３０３の領域選択カウンタとは、例えば制御機構１０が備えるレジスタ、記憶機構１３が備える記憶領域を用いて設定されるカウンタである。
【０１２８】
情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、領域選択カウンタの値が、分割領域数に到達したか否かを判定する（Ｓ１３０５）。ステップＳ１３０５の分割領域数とは、ステップＳ１３０２にて分割した分割領域の数である。即ちステップＳ１３０５では、全ての分割領域に係る画像を送信したか否かを判定する。
【０１２９】
ステップＳ１３０５において、分割領域数に到達したと判定した場合（Ｓ１３０５：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、領域選択カウンタの値を０に初期化する（Ｓ１３０６）。そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【０１３０】
ステップＳ１３０５において、分割領域数に到達していないと判定した場合（Ｓ１３０５：ＮＯ）、又はステップＳ１３０１において、送信画像のサイズがデスクトップ画面サイズ以上であると判定した場合（Ｓ１３０１：ＹＥＳ）、情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【０１３１】
図２９は、本発明の実施の形態１１に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。図２９中、実線は、画面に表示された画像の全体を示しており、破線は、分割領域を示している。各分割領域中に示す数字が領域選択カウンタの値に対応している。図２９に示す例では、矢印にて示す様に画面左上の分割領域から右側の分割領域、更に一段下の分割領域の順に送信される。この様にして実施の形態１１に係る画像送信処理が実行される。実施の形態１１に係る通信システムでは、処理の単純化による処理負荷の抑制を実現することが可能である。
【０１３２】
実施の形態１２．
実施の形態１２は、実施の形態１において指示子の位置に拘わらず、送信する分割領域を決定する形態である。但し、実施の形態１１と異なり、実施の形態６に示した様に更新された分割領域の画像を優先して送信する形態である。なお実施の形態１、６又は１１と同様の構成については、実施の形態１、６及び１１と同様の符号を付し、実施の形態１、６及び１１を参照するものとし、その詳細な説明を省略する。実施の形態１２に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態６と同様であるので、実施の形態６を参照するものとし、その説明を省略する。
【０１３３】
次に実施の形態１２に係る各装置の処理について説明する。実施の形態１２は、実施の形態６と同様の更新検出処理を実行する。また実施の形態１２は、実施の形態１及び６と画像送信処理が異なる。図３０は、本発明の実施の形態１２に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。実施の形態１２に係る画像送信処理は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０４以降の処理が、実施の形態１と異なる。情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０１〜Ｓ２０３の処理を実行する。
【０１３４】
情報処理装置１は、コンピュータプログラムＰＲＧを実行する制御機構１０の制御に基づく処理切替部１０３の処理により、送信する画像のサイズが、表示機構１４に表示している画面全体の画像のサイズ、所謂デスクトップ画面サイズ以上であるか否かを判定する（Ｓ１４０１）。
【０１３５】
ステップＳ１４０１において、送信画像のサイズがデスクトップ画面サイズ未満であると判定した場合（Ｓ１４０１：ＮＯ）、情報処理装置１は、制御機構１０の制御に基づく分割部１０５の処理により、サイズ決定部１０２にて決定した画像のサイズに基づいて表示機構１４に表示している画面全体の画像を複数の分割領域に分割する（Ｓ１４０２）。
【０１３６】
情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、領域選択カウンタの値に１を加算する（Ｓ１４０３）。ステップＳ１４０３の領域選択カウンタとは、例えば制御機構１０が備えるレジスタ、記憶機構１３が備える記憶領域を用いて設定されるカウンタである。
【０１３７】
情報処理装置１は、制御機構１０の制御に基づく更新検出部１０１０の処理により、更新領域テーブル１０１０ａを参照して、領域選択カウンタの値に対応する分割領域の画像が更新されているか否かを判定する（Ｓ１４０４）。
【０１３８】
ステップＳ１４０４において、領域選択カウンタの値に対応する分割領域の画像が更新されていると判定した場合（Ｓ１４０４：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、端末装置２へ送信する分割領域の画像を領域選択カウンタの値に対応する分割領域の画像に決定する（Ｓ１４０５）。
【０１３９】
情報処理装置１は、制御機構１０の制御に基づく更新検出部１０１０の処理により、更新領域テーブル１０１０ａの記録内容を更新する（Ｓ１４０６）。ステップＳ１４０６では、画像を送信した分割領域に関連するレコードの「送信済み面積」を増加する更新を行う。さらに送信済み面積と領域面積とが同じ値になった場合、つまり、レコードの更新領域すべてを送信し終わった場合、レコードを消去する更新を行う。
【０１４０】
情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、領域選択カウンタの値が、分割領域数に到達したか否かを判定する（Ｓ１４０７）。
【０１４１】
ステップＳ１４０７において、分割領域数に到達したと判定した場合（Ｓ１４０７：ＹＥＳ）、情報処理装置１は、制御機構１０の制御に基づく領域決定部１０６の処理により、領域選択カウンタの値を０に初期化する（Ｓ１４０８）。そして情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【０１４２】
ステップＳ１４０７において、分割領域数に到達していないと判定した場合（Ｓ１４０７：ＮＯ）、情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【０１４３】
ステップＳ１４０４において、領域選択カウンタの値に対応する分割領域の画像が更新されていないと判定した場合（Ｓ１４０４：ＮＯ）、情報処理装置１は、ステップＳ１４０３に戻り、以降の処理を繰り返す。
【０１４４】
ステップＳ１４０１において、送信画像のサイズがデスクトップ画面サイズ以上であると判定した場合（Ｓ１４０１：ＹＥＳ）、情報処理装置１は、図６を用いて説明した実施の形態１に係る画像送信処理のステップＳ２０８以降の処理を実行する。
【０１４５】
図３１は、本発明の実施の形態１２に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。図３１中、実線は、画面に表示された画像の全体を示しており、破線は、分割領域を示しており、更新されたウィンドウの範囲を斜線で示している。また各分割領域中に示す数字が領域選択カウンタの値に対応している。図３１に示す例では、画面左上の分割領域から右側の分割領域、更に一段下の分割領域の順に送信される。但し、送信されるのは、更新されている分割領域に限られる。なお更新されている分割領域が存在しない場合、実施の形態１１と同様の処理が実行される。この様にして実施の形態１２に係る画像送信処理が実行される。この様に更新された画像に係る分割領域を優先的に送信することにより、遠隔操作の利便性を向上させることが可能である。
【０１４６】
実施の形態１３．
実施の形態１３は、実施の形態１２において、更新されたウィンドウの深度を加味して送信する順序を決定する形態である。即ち実施の形態１３とは、実施の形態１２に、実施の形態７にて示した送信する分割領域の決定に係る処理を適用する形態である。なお実施の形態１、７又は１２と同様の構成については、実施の形態１、７及び１２と同様の符号を付し、実施の形態１、７及び１２を参照するものとし、その説明を省略する。実施の形態１３に係る通信システムの構成例並びに各装置のハードウェアの構成例及びソフトウェアの構成例は、実施の形態１２と同様であるので、実施の形態１２を参照するものとし、その説明を省略する。
【０１４７】
実施の形態１３の各処理は、実施の形態１２と実質的に同様である。しかしウィンドウの深度をも加味して送信する順序を決定するため、分割領域を送信する順序については実施の形態１２と異なる。図３２は、本発明の実施の形態１３に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。図３２中、実線は、画面に表示された画像の全体を示しており、破線は、分割領域を示しており、更新されたウィンドウの範囲を斜線で示している。なお左上から右下への斜線で示した範囲の方が、右上から左下への斜線で示した範囲より前面のレイヤであることを示している。実施の形態１３では、更新領域テーブル１０１０ａに記録されている深度に係るデータを用いて送信順序が決定される。
【０１４８】
送信順序の決定に際しては、前面のレイヤのウィンドウに係る分割領域の優先順位が高くなる。同じウィンドウに係る分割領域については、実施の形態１１にて示した様に左上側の分割領域から右下側の分割領域の順に優先順位が決定される。図３２の分割領域に示した数字は、送信する分割領域の順番を示している。この様に前面のレイヤのウィンドウに係る分割領域の画像を優先して送信することにより、使用しているウィンドウに係る画像を優先して送信することになるため、遠隔操作の利便性を向上させることが可能である。
【０１４９】
実施の形態１４．
実施の形態１４は、実施の形態１において、ソフトウェアであるコンピュータプログラムを実行することで実現される本発明に係る各種機能をＶＬＳＩ等の集積回路を用いたチップセット、コプロセッサ等の処理回路、即ちハードウェアとして実装する形態である。なお実施の形態１と同様の構成については、実施の形態１と同様の符号を付し、実施の形態１を参照するものとし、その詳細な説明を省略する。実施の形態１４に係る通信システムの構成例は、実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。
【０１５０】
図３３は、本発明の実施の形態１４に係る通信システムが備える各装置のハードウェア構成例を示すブロック図である。情報処理装置１は、制御機構１０、補助記憶機構１１、記録機構１２、記憶機構１３、表示機構１４、指示機構１５、操作機構１６、画像記憶機構１７、通信機構１８、及び本発明のリモートアシスタンスシステムを実現するチップセット、コプロセッサ等の処理回路機構１９を備えている。
【０１５１】
図３４は、本発明の実施の形態１４に係る通信システムが備える各装置の機能構成例を示す機能ブロック図である。情報処理装置１が備える処理機構回路１９は、画像取得部１９０、サイズ決定部１９１、処理切替部１９２、検出部１９３、分割部１９４、領域決定部１９５、符号化部１９６、位置情報付加部１９７等の機能を実現する。なお処理機構回路１９にて実現される各機能は、実施の形態１に係る各種プログラムモジュールと同様である。
【０１５２】
実施の形態１４に係る通信システムが備える各装置の処理は実施の形態１と同様であるので、実施の形態１を参照するものとする。この様に各種機能をハードウェアとして構成することにより、処理の高速化等の効果を奏する。
【０１５３】
前記実施の形態１乃至１４は、夫々独立して実現する形態に限るものではなく、適宜組み合わせて実現することが可能である。
【０１５４】
また前記実施の形態は、本発明の無限にある実施の形態の一部を例示したに過ぎず、各種ハードウェア及びソフトウェア等の構成は、用途等に応じて適宜設計することが可能である。
【０１５５】
また、本願に開示する情報処理装置の通信部は、端末装置の状況、端末装置の処理の状況、及び通信網に係る通信の状況の少なくとも一つを含む状況情報を、通信網を介して受信する様にしてあり、サイズ決定部は、受信部が受信した状況情報にて示される端末装置の処理能力に基づいてサイズを決定する。このような構成によれば、端末装置やネットワークの処理能力を超えないサイズで情報処理装置から画像を送信することが可能となり、端末装置やネットワークの処理能力が不足し通信が滞るといった事態を回避すること等が期待できる。
【０１５６】
また、本願に開示する情報処理装置は、処理の実行を制御する制御部を更に備え、サイズ決定部は、制御部にて制御している処理の負荷又は制御部の種別に基づく自装置の処理能力に基づいてサイズを決定する。このような構成によれば、情報処理装置の処理能力を超えないサイズで画像を送信することが可能となり、情報処理装置の処理能力が不足し通信が滞るといった事態を回避すること等が期待できる。
【０１５７】
また、本願に開示する情報処理装置の通信部は、端末装置が表示させた端末装置画面上の位置を指示する指示情報を、通信網を介して受信する様にしてあり、通信部が受信した指示情報が示す位置に基づいて、端末装置へ送信する画像の分割領域を決定する領域決定部を更に備え、通信部は、領域決定部が決定した分割領域に係る分割領域画像情報を送信する。このような構成によれば、情報処理装置から受信したい画面上の位置を端末装置側から指示可能となり、端末装置での遠隔サポート作業を容易にできるということ等が期待できる。
【０１５８】
また、本願に開示する情報処理装置は、指示情報に基づいて、該指示情報が示す位置の変化の有無を判定する変化判定部を更に備え、領域決定部は、変化判定部が、位置の変化が有ると判定した場合、直近に受信した指示情報が示す位置に対応する分割領域を、送信する画像の分割領域として決定する様にしてあり、かつ変化判定部が、位置の変化が無いと判定した場合、直近に受信した指示情報が示す位置に対応する分割領域と異なる分割領域を、送信する画像の分割領域として決定する。このような構成によれば、情報処理装置から受信したい画面上の位置を端末装置側から指示可能となるだけでなく、端末装置側から位置を指示しない場合は情報処理装置が未送信の画像データを自動的に選択し送信するため、端末装置での遠隔サポート作業をさらに容易にできるということ等が期待できる。
【０１５９】
また、本願に開示する情報処理装置の領域決定部は、分割領域を所定の時間間隔で繰り返し決定する様にしてあり、決定した分割領域を所定時間又は所定回数固定する。このような構成によれば、送信画像の変化量が減少するため、符号化時におけるデータ量の削減等が期待できる。
【図面の簡単な説明】
【０１６０】
【図１】本発明の実施の形態１に係る通信システムの構成例を示す概念図である。
【図２】本発明の実施の形態１に係る通信システムが備える各装置のハードウェアの構成例を示すブロック図である。
【図３】本発明の実施の形態１に係る通信システムが備える各装置のソフトウェアの構成例を示す機能ブロック図である。
【図４】本発明の実施の形態１に係る情報処理装置１が備えるサイズ決定テーブルの記録内容の一例を概念的に示す説明図である。
【図５】本発明の実施の形態１に係る通信システムにて実行される指示情報送信処理の一例を示すフローチャートである。
【図６】本発明の実施の形態１に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図７】本発明の実施の形態１に係る通信システムにて実行される画像受信処理の一例を示すフローチャートである。
【図８】本発明の実施の形態１に係る通信システムによる処理の一例を概念的に示す説明図である。
【図９】本発明の実施の形態２に係る情報処理装置が備えるサイズ決定テーブルの記録内容の一例を概念的に示す説明図である。
【図１０】本発明の実施の形態２に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図１１】本発明の実施の形態２に係る通信システムにおけるＣＰＵ使用率の経時変化の一例を示すグラフである。
【図１２】本発明の実施の形態３に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図１３】本発明の実施の形態３に係る通信システムにおけるＣＰＵ使用率の経時変化の一例を示すグラフである。
【図１４】本発明の実施の形態４に係る通信システムが備える各装置のソフトウェアの構成例を示す機能ブロック図である。
【図１５】本発明の実施の形態４に係る通信システムにて実行されるフィードバック処理の一例を示すフローチャートである。
【図１６】本発明の実施の形態４に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図１７】本発明の実施の形態５に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図１８】本発明の実施の形態５に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。
【図１９】本発明の実施の形態６に係る通信システムが備える各装置のソフトウェアの構成例を示す機能ブロック図である。
【図２０】本発明の実施の形態６に係る情報処理装置が備える更新領域テーブルの記録内容の一例を概念的に示す説明図である。
【図２１】本発明の実施の形態６に係る通信システムにて実行される更新検出処理の一例を示すフローチャートである。
【図２２】本発明の実施の形態６に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図２３】本発明の実施の形態６に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。
【図２４】本発明の実施の形態７に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。
【図２５】本発明の実施の形態８に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図２６】本発明の実施の形態１０に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図２７】本発明の実施の形態１０に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。
【図２８】本発明の実施の形態１１に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図２９】本発明の実施の形態１１に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。
【図３０】本発明の実施の形態１２に係る通信システムにて実行される画像送信処理の一例を示すフローチャートである。
【図３１】本発明の実施の形態１２に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。
【図３２】本発明の実施の形態１３に係る通信システムにて実行される画像送信処理にて送信する分割領域の一例を概念的に示す説明図である。
【図３３】本発明の実施の形態１４に係る通信システムが備える各装置のハードウェア構成例を示すブロック図である。
【図３４】本発明の実施の形態１４に係る通信システムが備える各装置の機能構成例を示す機能ブロック図である。
【符号の説明】
【０１６１】
１  情報処理装置
１０  制御機構
１１  補助記憶機構
１２  記録機構
１３  記憶機構
１４  表示機構
１５  指示機構
１６  操作機構
１７  画像記憶機構
１８  通信機構
１９  処理回路機構
１００，１９０  画像生成部
１０１，１９１  画像取得部
１０２，１９２  サイズ決定部
１０３，１９３  処理切替部
１０４，１９４  検出部
１０５，１９５  分割部
１０６，１９６  領域決定部
１０７，１９７  符号化部
１０８，１９８  位置情報付加部
１０９  情報取得部
１０１０  更新検出部
１０２ａ  サイズ決定テーブル
１０１０ａ  更新領域テーブル
２  端末装置
２０  制御機構
２１  記録機構
２２  記憶機構
２３  表示機構
２４  指示機構
２５  操作機構
２６  画像記憶機構
２７  通信機構
２００  画面位置検出部
２０１  復号部
２０２  検出部
ＮＷ  通信網
ＰＲＧ  コンピュータプログラム
【図１】
0005163233.tif 000002
【図２】
0005163233.tif 000003
【図３】
0005163233.tif 000004
【図４】
0005163233.tif 000005
【図５】
0005163233.tif 000006
【図６】
0005163233.tif 000007
【図７】
0005163233.tif 000008
【図８】
0005163233.tif 000009
【図９】
0005163233.tif 000010
【図１０】
0005163233.tif 000011
【図１１】
0005163233.tif 000012
【図１２】
0005163233.tif 000013
【図１３】
0005163233.tif 000014
【図１４】
0005163233.tif 000015
【図１５】
0005163233.tif 000016
【図１６】
0005163233.tif 000017
【図１７】
0005163233.tif 000018
【図１８】
0005163233.tif 000019
【図１９】
0005163233.tif 000020
【図２０】
0005163233.tif 000021
【図２１】
0005163233.tif 000022
【図２２】
0005163233.tif 000023
【図２３】
0005163233.tif 000024
【図２４】
0005163233.tif 000025
【図２５】
0005163233.tif 000026
【図２６】
0005163233.tif 000027
【図２７】
0005163233.tif 000028
【図２８】
0005163233.tif 000029
【図２９】
0005163233.tif 000030
【図３０】
0005163233.tif 000031
【図３１】
0005163233.tif 000032
【図３２】
0005163233.tif 000033
【図３３】
0005163233.tif 000034
【図３４】
0005163233.tif 000035