(57)【要約】【課題】手書きモードと操作モードとの切り替えの操作負担を軽減することができる送信制御プログラム、送信制御方法および情報処理装置を提供する。【解決手段】送信制御プログラムは、次の各処理をコンピュータに実行させる。送信制御プログラムは、入力デバイスに対する操作を受け付けると、画像上の操作に応じた位置にポインタを重畳させる。送信制御プログラムは、ポインタの位置が画像の操作エリアに含まれるか否かを判定させる。送信制御プログラムは、ポインタの位置が操作エリアに含まれない場合、ポインタの位置情報と手書きモード情報とを端末装置に送信させる。送信制御プログラムは、ポインタの位置が操作エリアに含まれる場合、ポインタの位置情報と操作モード情報とを端末装置に送信させる。送信制御プログラムは、ポインタの位置が操作エリアに含まれている際に特定の操作を受け付けると、特定の操作を示す情報を端末装置に送信させる。【選択図】図１
2018005636.tif 000002
【特許請求の範囲】
【請求項１】
入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳し、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定し、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
【請求項２】
前記重畳する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする請求項１に記載の送信制御プログラム。
【請求項３】
前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記手書きモードである際に、手書き入力中の前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、前記手書きモード情報とを前記端末装置に送信する、
ことを特徴とする請求項１または２に記載の送信制御プログラム。
【請求項４】
手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
【請求項５】
前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする請求項４に記載の送信制御プログラム。
【請求項６】
入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳し、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定し、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
【請求項７】
手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
【請求項８】
入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳する表示制御部と、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定する判定部と、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する第１送信制御部と、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する第２送信制御部と、
を有することを特徴とする情報処理装置。
【請求項９】
手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する第１送信制御部と、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する第２送信制御部と、
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信制御プログラム、送信制御方法および情報処理装置に関する。
【背景技術】
【０００２】
近年、工場の設備点検等において、点検を行う作業者がヘッドマウントディスプレイ（以下、ＨＭＤ（Head  Mounted  Display）ともいう。）と端末装置とを装着し、作業指示やマニュアル等を参照しながら点検作業を行うことがある。また、作業者に対して支援を行う支援者が、作業者の端末装置とネットワークを介して接続された情報処理装置を用いて、端末装置の画面の画像を共有することで指示を出したり、端末装置を遠隔操作したりすることが提案されている。この場合、支援者は、共有する画面の画像上に手書きで指示を書き込む手書きモードと、端末装置を遠隔操作する操作モードとを切り替える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−０５２６９０号公報
【特許文献２】特開平６−０５１９２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、支援者が指示の書き込みと遠隔操作とを繰り返す場合のように、手書きモードと操作モードとの切り替えの操作が煩雑になる場合がある。このため、支援者は、作業者に対する支援を実施する際に、手書きモードと操作モードとの切り替えの操作が負担になる場合がある。
【０００５】
一つの側面では、本発明は、手書きモードと操作モードとの切り替えの操作負担を軽減することができる送信制御プログラム、送信制御方法および情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
一つの態様では、送信制御プログラムは、入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳する処理をコンピュータに実行させる。送信制御プログラムは、重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定する処理をコンピュータに実行させる。送信制御プログラムは、前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信する処理をコンピュータに実行させる。送信制御プログラムは、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する処理をコンピュータに実行させる。送信制御プログラムは、前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する処理をコンピュータに実行させる。
【発明の効果】
【０００７】
手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例１の情報処理システムの構成の一例を示すブロック図である。
【図２】図２は、画像の共有および操作領域の設定の一例を示す図である。
【図３】図３は、実施例１の送信制御処理の一例を示すシーケンス図である。
【図４】図４は、実施例１の送信制御処理の一例を示すシーケンス図である。
【図５】図５は、実施例２の情報処理システムの構成の一例を示すブロック図である。
【図６】図６は、実施例２の送信制御処理の一例を示すシーケンス図である。
【図７】図７は、送信制御プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本願の開示する送信制御プログラム、送信制御方法および情報処理装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
【実施例１】
【００１０】
図１は、実施例１の情報処理システムの構成の一例を示すブロック図である。図１に示す情報処理システム１は、端末装置１０と、情報処理装置１００とを有する。なお、図１には、システムが１つの端末装置１０および情報処理装置１００を有する場合を示したが、端末装置１０および情報処理装置１００の数は限定されず、情報処理システム１は、任意の数の端末装置１０および情報処理装置１００を有してもよい。
【００１１】
端末装置１０および情報処理装置１００の間は、ネットワークＮを介して相互に通信可能に接続される。かかるネットワークＮには、有線または無線を問わず、インターネットを始め、ＬＡＮ（Local  Area  Network）やＶＰＮ（Virtual  Private  Network）などの任意の種類の通信網を採用できる。
【００１２】
情報処理システム１は、作業者の端末装置１０と支援者の情報処理装置１００との間で、端末装置１０の画面の画像を共有することで指示を出したり、端末装置１０を遠隔操作したりする遠隔支援を行うシステムの一例である。端末装置１０は、例えば、点検を行う作業者がＨＭＤとともに装着し、作業指示やマニュアル等を参照しながら点検作業を行うための情報処理装置である。情報処理装置１００は、作業者に対して支援を行う支援者が用いる情報処理装置であり、作業者の端末装置１０との間で、端末装置１０の画面の画像を共有することで指示を出したり、端末装置１０を遠隔操作したりする情報処理装置である。
【００１３】
情報処理装置１００は、入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。情報処理装置１００は、重畳したポインタの位置が画像に含まれる操作部品のエリアに含まれるか否かを判定する。情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれない場合、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置１０に送信する。情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置１０に送信する。情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれている際に、入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置１０に送信する。これにより、情報処理装置１００は、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
【００１４】
次に、端末装置１０の構成について説明する。図１に示すように、端末装置１０は、通信部１１と、制御部１２と、表示部１３と、操作部１４とを有する。なお、端末装置１０は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
【００１５】
通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、ネットワークＮを介して情報処理装置１００と無線で接続され、情報処理装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、制御部１２から入力された画面の画像、および、操作領域情報を情報処理装置１００に送信する。また、通信部１１は、情報処理装置１００からポインタの位置情報、モード情報およびイベント情報を受信する。通信部１１は、受信したポインタの位置情報、モード情報およびイベント情報を制御部１２に出力する。
【００１６】
制御部１２は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。
【００１７】
制御部１２は、例えば、端末装置１０のユーザである作業者から、情報処理装置１００との間で画像の共有を開始する指示を、操作部１４を介して受け付ける。制御部１２は、当該指示を受け付けると、通信部１１およびネットワークＮを介して、情報処理装置１００に対して端末装置１０の表示部１３に表示される画面の画像の送信を開始する。すなわち、制御部１２は、情報処理装置１００との間で、画面の画像の共有を開始する。なお、制御部１２は、端末装置１０および情報処理装置１００の間で、画面の画像の共有に加えて、双方向の音声の通信を行うようにしてもよい。
【００１８】
また、制御部１２は、端末装置１０の画面の画像について手書き領域と操作領域とを設定する。制御部１２は、例えば、画面の画像のうち、ある領域を操作領域と設定し、他の領域を手書き領域と設定する。制御部１２は、設定した操作領域を操作領域情報として、通信部１１およびネットワークＮを介して情報処理装置１００に送信する。なお、制御部１２は、端末装置１０において画面の画像が変化して操作領域が変化した場合には、変化した操作領域情報を、通信部１１およびネットワークＮを介して情報処理装置１００に送信する。
【００１９】
制御部１２は、通信部１１およびネットワークＮを介して、情報処理装置１００からポインタの位置情報およびモード情報を受信する。制御部１２は、ポインタの位置情報およびモード情報に基づいて、画面の画像上のポインタの位置および形状のうち、１つ以上を変化させる。制御部１２は、例えば、手書きモードにおいて手書き領域内でポインタが移動した場合、手書きモードを示すポインタを手書き領域内で移動させる。また、制御部１２は、例えば、操作モードにおいて操作領域内でポインタが移動した場合、操作モードを示すポインタを操作領域内で移動させる。さらに、制御部１２は、例えば、操作領域内から手書き領域内にポインタが移動した場合、操作モードを示すポインタから手書きモードを示すポインタに変化させる。
【００２０】
制御部１２は、通信部１１およびネットワークＮを介して、情報処理装置１００からポインタの位置情報、モード情報およびイベント情報を受信する。制御部１２は、情報処理装置１００からイベント情報を受信したか否かを判定する。制御部１２は、イベント情報を受信していない場合には、引き続き、ポインタの移動を含む画面の画像を共有する。制御部１２は、イベント情報を受信した場合には、受信したモード情報が操作モードであるか否かを判定する。制御部１２は、モード情報が操作モードである場合には、受信したイベント情報を発行する。また、制御部１２は、受信したポインタの位置情報に基づいて、ポインタを移動する。すなわち、制御部１２は、例えば、ポインタを拡大操作のボタンに移動して押下するといったようなイベントを実行する。
【００２１】
制御部１２は、モード情報が操作モードでない場合、つまり手書きモードである場合には、イベント情報に基づいて手書き描画を実行する。すなわち、制御部１２は、例えば、ポインタの位置情報に基づいてポインタを移動しつつ、イベント情報、例えばマウスの左クリックが押下されている情報に基づいて、線を描画する。
【００２２】
制御部１２は、イベント情報の発行、または、手書き描画の実行を終了すると、情報処理装置１００との間で画像の共有を終了するか否かを判定する。制御部１２は、例えば、作業者から終了する旨の指示を、操作部１４を介して受け付ける。制御部１２は、画像の共有を終了する場合には、送信制御処理を終了する。制御部１２は、画像の共有を終了しない場合には、引き続き画面の画像を共有する。
【００２３】
表示部１３は、各種情報を表示するための表示デバイスである。表示部１３は、例えば、ハーフミラーに映像が投影され、ユーザが映像とともに外部の風景を透過して見ることができる透過型のＨＭＤである。なお、表示部１３は、没入型、ビデオ透過型、網膜投影型等のＨＭＤでもよい。また、表示部１３は、例えば、ＨＭＤとは別に液晶ディスプレイ等を備えるようにしてもよい。なお、端末装置１０と情報処理装置１００との間で共有される画面の画像は、表示部１３に表示される画像である。
【００２４】
操作部１４は、端末装置１０のユーザである作業者から各種操作を受け付ける入力デバイスである。操作部１４は、例えば、入力デバイスとして、タッチパネル等によって実現される。この場合、操作部１４の入力デバイスは、表示部１３の表示デバイスの一例である液晶ディスプレイと一体化されるようにしてもよい。操作部１４は、ユーザである作業者によって入力された操作を操作情報として制御部１２に出力する。なお、操作部１４は、タッチパッド、キーボードおよびマウス等によって実現されるようにしてもよい。
【００２５】
続いて、情報処理装置１００の構成について説明する。図１に示すように、情報処理装置１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０を有する。なお、情報処理装置１００は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
【００２６】
通信部１１０は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１０は、ネットワークＮを介して端末装置１０と無線で接続され、端末装置１０との間で情報の通信を司る通信インタフェースである。通信部１１０は、端末装置１０から画面の画像、および、操作領域情報を受信する。通信部１１０は、受信した画面の画像、および、操作領域情報を制御部１３０に出力する。また、通信部１１０は、制御部１３０から入力されたポインタの位置情報、モード情報およびイベント情報を端末装置１０に送信する。
【００２７】
表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。
【００２８】
操作部１１２は、情報処理装置１００のユーザである支援者から各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。また、操作部１１２は、例えば、入力デバイスとして、タッチパッド、ペンタブレットおよびデジタイザ等のポインティングデバイスを用いるようにしてもよい。操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。
【００２９】
記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、操作領域記憶部１２１を有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
【００３０】
操作領域記憶部１２１は、端末装置１０から受信した操作領域情報に含まれる端末装置１０における画面の操作領域を記憶する。操作領域記憶部１２１は、例えば、操作領域を画面上の座標として記憶する。
【００３１】
制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、表示制御部１３１と、判定部１３２と、第１送信制御部１３３と、第２送信制御部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００３２】
表示制御部１３１は、端末装置１０との間で画像の共有を開始すると、ネットワークＮおよび通信部１１０を介して、端末装置１０から受信した画面の画像を表示部１１１に表示させる。また、表示制御部１３１は、ネットワークＮおよび通信部１１０を介して、端末装置１０から操作領域情報を受信すると、受信した操作領域情報に含まれる操作領域を、操作領域記憶部１２１に記憶する。なお、表示制御部１３１は、操作領域が変化して新たに操作領域情報を受信した場合には、受信した操作領域情報に含まれる操作領域で、操作領域記憶部１２１を更新する。
【００３３】
表示制御部１３１は、判定部１３２から操作に応じた位置情報が入力されると、表示部１１１に表示された画像に対して、操作に応じた位置情報に対応する位置にポインタを重畳して表示させる。すなわち、表示制御部１３１は、例えば、表示部１１１に表示された画像上において、マウスのポインタを動かす操作が入力されると、入力された操作に応じてマウスのポインタを移動させて表示させる。言い換えると、表示制御部１３１は、端末装置１０から受信した画像を表示部１１１に表示し、該画像上の操作に応じた位置にポインタを重畳する。
【００３４】
判定部１３２は、操作部１１２、つまり入力デバイスから入力されるポインタの位置を監視する。すなわち、判定部１３２は、入力デバイスに対する操作を受け付けると、受け付けた操作に応じた位置情報を表示制御部１３１に出力する。また、判定部１３２は、操作部１１２での入力操作、つまり、入力デバイスのイベントが発生したか否かを判定する。イベントは、例えば、基本イベントとして、マウスのボタンが押下される操作を示す「ＰＲＥＳＳ」とＸ，Ｙ座標との組合せ、および、マウスのボタンが離される操作を示す「ＲＥＬＥＡＳＥ」とＸ，Ｙ座標との組合せが挙げられる。また、イベントは、例えば、応用イベントとして、「ＰＲＥＳＳ」しながら移動する操作を示す「ＭＯＶＥ」とＸ，Ｙ座標との組合せ、および、「ＰＲＥＳＳ」と「ＲＥＬＥＡＳＥ」とが行われる操作を示す「ＣＬＩＣＫ」とＸ，Ｙ座標との組合せが挙げられる。
【００３５】
判定部１３２は、入力デバイスのイベントが発生していない場合には、操作領域記憶部１２１の操作領域に基づいて、ポインタが操作領域内か否かを判定する。すなわち、判定部１３２は、重畳したポインタの位置が画像に含まれる操作部品のエリアに含まれるか否かを判定する。判定部１３２は、ポインタが操作領域内である場合には、操作モードに設定する。判定部１３２は、ポインタが操作領域内でない場合には、手書きモードに設定する。判定部１３２は、ポインタの位置を示すポインタの位置情報と、設定した操作モードまたは手書きモードを示すモード情報とを、第１送信制御部１３３に出力する。なお、判定部１３２は、イベントの発生とは関わらず、ポインタの位置情報とモード情報とを、定期的、例えば１秒ごとに第１送信制御部１３３に出力するようにしてもよい。
【００３６】
判定部１３２は、入力デバイスのイベントが発生した場合には、イベントが発生したポインタの位置と、操作領域記憶部１２１の操作領域とに基づいて、イベントが操作領域内であるか否かを判定する。すなわち、判定部１３２は、重畳したポインタの位置が画像に含まれる操作部品のエリアに含まれるか否かを判定する。判定部１３２は、イベントが操作領域内である場合には、操作モードに設定する。判定部１３２は、イベントが操作領域内でない場合には、手書きモードに設定する。判定部１３２は、ポインタの位置を示すポインタの位置情報と、設定した操作モードまたは手書きモードを示すモード情報と、発生したイベントの内容を示すイベント情報とを、第１送信制御部１３３に出力する。
【００３７】
なお、判定部１３２は、手書きモードである際に、手書き入力中のポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、手書きモード情報とを端末装置１０に送信する。すなわち、判定部１３２は、手書きモードで手書き入力中のポインタの位置が手書き領域から操作領域に移動した場合に、手書きモードを継続することで、意図しない操作領域のボタン等の操作を防止することができる。
【００３８】
第１送信制御部１３３は、判定部１３２からポインタの位置情報およびモード情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたポインタの位置情報およびモード情報を端末装置１０に送信する。第１送信制御部１３３は、ポインタの位置情報およびモード情報を端末装置１０に送信すると、端末装置１０との間で画像の共有を終了するか否かを判定する。第１送信制御部１３３は、画像の共有を終了しない場合には、引き続き、画像の共有を行う。第１送信制御部１３３は、画像の共有を終了する場合には、送信制御処理を終了する。
【００３９】
また、第１送信制御部１３３は、判定部１３２からポインタの位置情報、モード情報およびイベント情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたポインタの位置情報およびモード情報を端末装置１０に送信する。さらに、第１送信制御部１３３は、入力されたイベント情報を第２送信制御部１３４に出力する。
【００４０】
すなわち、第１送信制御部１３３は、ポインタの位置が操作部品のエリアに含まれない場合、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置１０に送信する。また、第１送信制御部１３３は、ポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置１０に送信する。
【００４１】
第２送信制御部１３４は、第１送信制御部１３３からイベント情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたイベント情報を端末装置１０に送信する。すなわち、第２送信制御部１３４は、ポインタの位置が操作部品のエリアに含まれている際に、入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置１０に送信する。第２送信制御部１３４は、イベント情報を端末装置１０に送信すると、端末装置１０との間で画像の共有を終了するか否かを判定する。第２送信制御部１３４は、画像の共有を終了しない場合には、引き続き、画像の共有を行う。第２送信制御部１３４は、画像の共有を終了する場合には、送信制御処理を終了する。
【００４２】
ここで、図２を用いて画像の共有および操作領域について説明する。図２は、画像の共有および操作領域の設定の一例を示す図である。図２に示すように、端末装置１０の表示部１３の画面の画像に対して、手書き領域２１と、操作領域２２とを設定する。操作領域２２には、例えば、クリックすることで対応付けられた操作を実行するボタンが配置される。端末装置１０の表示部１３の画面の画像は、情報処理装置１００と共有するために転送される。画面の画像が転送された情報処理装置１００では、表示部１１１に転送された画面の画像が表示される。
【００４３】
図２の例では、手書き領域２１に対応する手書き領域２３、および、操作領域２２に対応する操作領域２４が表示される。なお、表示部１１１には、その他の領域に共有しない画像が表示されていてもよい。また、情報処理装置１００で共有する画面の画像上には、操作部１１２から受け付けた操作に応じたポインタ２５，２６が表示される。ポインタ２５は、手書き領域２３内にポインタが位置する一例である。ポインタ２６は、操作領域２４内にポインタが位置する一例である。また、操作領域２４は、例えば、操作領域２４ａに示すように、操作ボタン２７ａ〜２７ｄの中心部分のみを、操作領域２８ａ〜２８ｄとしてもよい。この場合、情報処理装置１００において、より誤操作を防止できる。
【００４４】
次に、実施例１の情報処理システム１の動作について説明する。図３および図４は、実施例１の送信制御処理の一例を示すシーケンス図である。
【００４５】
情報処理システム１の端末装置１０は、例えばユーザである作業者から、情報処理装置１００との間で画像の共有を開始する指示を受け付ける。端末装置１０は、情報処理装置１００との間で、画面の画像の共有を開始する（ステップＳ１）。
【００４６】
また、端末装置１０の制御部１２は、端末装置１０の画面の画像について手書き領域と操作領域とを設定する。制御部１２は、設定した操作領域を操作領域情報として、画像の共有の開始時に情報処理装置１００に送信する。
【００４７】
情報処理装置１００の表示制御部１３１は、端末装置１０との間で画像の共有を開始すると、端末装置１０から受信した画面の画像を表示部１１１に表示させる。また、表示制御部１３１は、端末装置１０から操作領域情報を受信すると、受信した操作領域情報に含まれる操作領域を、操作領域記憶部１２１に記憶する（ステップＳ２）。
【００４８】
端末装置１０の制御部１２は、端末装置１０において画面の画像が変化して操作領域が変化したか否かを判定する（ステップＳ３）。制御部１２は、操作領域が変化した場合には（ステップＳ３：肯定）、変化した操作領域に対応する操作領域情報を情報処理装置１００に送信し（ステップＳ４）、ステップＳ１７に進む。制御部１２は、操作領域が変化していない場合には（ステップＳ３：否定）、操作領域情報を送信せずにステップＳ１７に進む。
【００４９】
情報処理装置１００の表示制御部１３１は、端末装置１０から操作領域情報を受信したか否かを判定する（ステップＳ５）。表示制御部１３１は、操作領域情報を受信した場合には（ステップＳ５：肯定）、受信した操作領域情報に含まれる操作領域で、操作領域記憶部１２１を更新し（ステップＳ６）、ステップＳ７に進む。表示制御部１３１は、操作領域情報を受信していない場合には（ステップＳ５：否定）、操作領域記憶部１２１を更新せずにステップＳ７に進む。
【００５０】
判定部１３２は、入力デバイスに対する操作を受け付けると、受け付けた操作に応じた位置情報を表示制御部１３１に出力する。表示制御部１３１は、判定部１３２から操作に応じた位置情報が入力されると、表示部１１１に表示された画像に対して、操作に応じた位置情報に対応する位置にポインタを重畳して表示させる。また、判定部１３２は、入力デバイスのイベントが発生したか否かを判定する（ステップＳ７）。判定部１３２は、入力デバイスのイベントが発生していない場合には（ステップＳ７：否定）、操作領域記憶部１２１の操作領域に基づいて、ポインタが操作領域内か否かを判定する（ステップＳ８）。
【００５１】
判定部１３２は、ポインタが操作領域内である場合には（ステップＳ８：肯定）、操作モードに設定する（ステップＳ９）。判定部１３２は、ポインタが操作領域内でない場合には（ステップＳ８：否定）、手書きモードに設定する（ステップＳ１０）。判定部１３２は、ポインタの位置情報および設定したモード情報を、第１送信制御部１３３に出力する。
【００５２】
第１送信制御部１３３は、判定部１３２からポインタの位置情報およびモード情報が入力されると、入力されたポインタの位置情報およびモード情報を端末装置１０に送信し（ステップＳ１１）、ステップＳ１６に進む。
【００５３】
ステップＳ７の説明に戻る。判定部１３２は、入力デバイスのイベントが発生した場合には（ステップＳ７：肯定）、イベントが発生したポインタの位置と、操作領域記憶部１２１の操作領域とに基づいて、イベントが操作領域内であるか否かを判定する（ステップＳ１２）。判定部１３２は、イベントが操作領域内である場合には（ステップＳ１２：肯定）、操作モードに設定する（ステップＳ１３）。判定部１３２は、イベントが操作領域内でない場合には（ステップＳ１２：否定）、手書きモードに設定する（ステップＳ１４）。判定部１３２は、ポインタの位置情報、設定したモード情報、および、イベント情報を、第１送信制御部１３３に出力する。
【００５４】
第１送信制御部１３３は、判定部１３２からポインタの位置情報、モード情報およびイベント情報が入力されると、入力されたポインタの位置情報およびモード情報を端末装置１０に送信する。さらに、第１送信制御部１３３は、入力されたイベント情報を第２送信制御部１３４に出力する。第２送信制御部１３４は、第１送信制御部１３３からイベント情報が入力されると、入力されたイベント情報を端末装置１０に送信し（ステップＳ１５）、ステップＳ１６に進む。
【００５５】
第１送信制御部１３３または第２送信制御部１３４は、端末装置１０との間で画像の共有を終了するか否かを判定する（ステップＳ１６）。第１送信制御部１３３または第２送信制御部１３４は、画像の共有を終了しない場合には（ステップＳ１６：否定）、ステップＳ５に戻る。第１送信制御部１３３または第２送信制御部１３４は、画像の共有を終了する場合には（ステップＳ１６：肯定）、送信制御処理を終了する。
【００５６】
端末装置１０の制御部１２は、情報処理装置１００からポインタの位置情報、モード情報およびイベント情報を受信する。制御部１２は、情報処理装置１００からイベント情報を受信したか否かを判定する（ステップＳ１７）。制御部１２は、イベント情報を受信していない場合には（ステップＳ１７：否定）、ステップＳ３に戻る。すなわち、制御部１２は、情報処理装置１００からポインタの位置情報およびモード情報を受信した場合には、ポインタの位置情報およびモード情報を表示部１３に表示させる画面に反映させる。
【００５７】
制御部１２は、イベント情報を受信した場合には（ステップＳ１７：肯定）、受信したモード情報が操作モードであるか否かを判定する（ステップＳ１８）。制御部１２は、モード情報が操作モードである場合には（ステップＳ１８：肯定）、受信したイベント情報を発行し（ステップＳ１９）、ステップＳ２１に進む。
【００５８】
制御部１２は、モード情報が操作モードでない場合には（ステップＳ１８：否定）、イベント情報に基づいて手書き描画を実行し（ステップＳ２０）、ステップＳ２１に進む。
【００５９】
制御部１２は、イベント情報の発行、または、手書き描画の実行を終了すると、情報処理装置１００との間で画像の共有を終了するか否かを判定する（ステップＳ２１）。制御部１２は、画像の共有を終了しない場合には（ステップＳ２１：否定）、ステップＳ３に戻る。制御部１２は、画像の共有を終了する場合には（ステップＳ２１：肯定）、送信制御処理を終了する。これにより、情報処理装置１００は、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
【００６０】
このように、情報処理装置１００は、入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、情報処理装置１００は、重畳したポインタの位置が画像に含まれる操作部品のエリアに含まれるか否かを判定する。また、情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれない場合、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置１０に送信する。また、情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置１０に送信する。また、情報処理装置１００は、ポインタの位置が操作部品のエリアに含まれている際に、入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置１０に送信する。その結果、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
【００６１】
また、情報処理装置１００は、端末装置１０から受信した画像を表示部１１１に表示し、該画像上の、操作に応じた位置にポインタを重畳する。その結果、端末装置１０との間で画像の共有ができ、情報処理装置１００側で共有した画像上において操作を行うことができる。
【００６２】
また、情報処理装置１００は、手書きモードである際に、手書き入力中のポインタの位置が操作部品のエリアに含まれる場合、ポインタの位置情報と、手書きモード情報とを端末装置１０に送信する。その結果、手書き入力中に意図しない操作を行うことが防止できる。
【実施例２】
【００６３】
上記実施例１では、画面の領域によって手書きモードと操作モードとを切り替えたが、入力デバイスに応じて手書きモードと操作モードとを切り替えてもよく、この場合の実施の形態につき、実施例２として説明する。図５は、実施例２の情報処理システムの構成の一例を示すブロック図である。図５に示す情報処理システム２は、端末装置５０と、情報処理装置２００とを有する。なお、実施例１の情報処理システム１と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
【００６４】
実施例２の端末装置５０は、実施例１の端末装置１０と比較して、制御部１２に代えて制御部５２を有する。
【００６５】
制御部５２は、制御部１２と比較して手書き領域および操作領域の設定、操作領域情報の送信を行わない。制御部５２は、その他の処理については、制御部１２と同様であるので、その説明を省略する。
【００６６】
実施例２の情報処理装置２００の操作部１１２は、例えば、手書き入力を受け付ける入力デバイスとしてタッチパッドを有し、他の入力デバイスとしてマウスを有する。また、情報処理装置２００の記憶部２２０は、実施例１の記憶部１２０と比較して、操作領域記憶部１２１を有さない。
【００６７】
実施例２の情報処理装置２００の制御部２３０は、実施例１の制御部１３０と比較して、表示制御部１３１に代えて表示制御部２３１を有し、判定部１３２を有さない。また、制御部２３０は、制御部１３０と比較して、第１送信制御部１３３および第２送信制御部１３４に代えて、第１送信制御部２３３および第２送信制御部２３４を有する。
【００６８】
表示制御部２３１は、端末装置５０との間で画像の共有を開始すると、ネットワークＮおよび通信部１１０を介して、端末装置５０から受信した画面の画像を表示部１１１に表示させる。
【００６９】
表示制御部２３１は、操作部１１２、つまり入力デバイスから入力されるポインタの位置を監視する。また、表示制御部２３１は、操作部１１２での入力操作、つまり、入力デバイスのイベントが発生したか否かを判定する。表示制御部２３１は、入力デバイスのイベントが発生していない場合には、入力デバイスの種別を収集する。表示制御部２３１は、収集した入力デバイスの種別が、手書き入力を受け付ける入力デバイス、つまり、手書きデバイスか否かを判定する。
【００７０】
表示制御部２３１は、種別が手書きデバイスである場合には、表示部１１１に表示された画像に対して、操作に応じた位置にポインタを重畳して表示させる。すなわち、表示制御部２３１は、例えば、表示部１１１に表示された画像上において、手書き入力のポインタを動かす操作が入力されると、入力された操作に応じて手書き入力のポインタを移動させて、例えば線を描画して表示させる。言い換えると、表示制御部２３１は、手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、表示制御部２３１は、手書きデバイスに対する操作を受け付けたことに応じて、モード情報を手書きモードであることを示す手書きモードに設定する。
【００７１】
表示制御部２３１は、種別が手書きデバイスでない、つまり、他の入力デバイスである場合には、表示部１１１に表示された画像に対して、操作に応じた位置にポインタを重畳して表示させる。すなわち、表示制御部２３１は、例えば、表示部１１１に表示された画像上において、マウスのポインタを動かす操作が入力されると、入力された操作に応じてマウスのポインタを移動させて表示させる。言い換えると、表示制御部２３１は、他の入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、表示制御部２３１は、他の入力デバイスに対する操作を受け付けたことに応じて、モード情報を操作モードであることを示す操作モードに設定する。なお、他の入力デバイスは、例えば、マウス、キーボード等が挙げられる。
【００７２】
表示制御部２３１は、ポインタの位置を示すポインタの位置情報と、設定した操作モードまたは手書きモードを示すモード情報とを、第１送信制御部２３３に出力する。なお、表示制御部２３１は、イベントの発生とは関わらず、ポインタの位置情報とモード情報とを、定期的、例えば１秒ごとに第１送信制御部２３３に出力するようにしてもよい。
【００７３】
表示制御部２３１は、入力デバイスのイベントが発生した場合には、入力デバイスの種別を収集する。表示制御部２３１は、収集した入力デバイスの種別が手書きデバイスか否かを判定する。表示制御部２３１は、種別が手書きデバイスである場合には、表示部１１１に表示された画像に対して、操作に応じた位置にイベントに対応するポインタを重畳して表示させる。また、表示制御部２３１は、操作に応じた位置に対応するイベントの内容を示すイベント情報を生成する。すなわち、表示制御部２３１は、例えば、表示部１１１に表示された画像上において、手書き入力のポインタを動かした後に、例えば手書き入力に用いたペンが離される操作が入力されると、例えば、線の描画をペンが離された位置で終了して表示させる。また、表示制御部２３１は、手書きデバイスに対する操作を受け付けたことに応じて、モード情報を手書きモードであることを示す手書きモードに設定する。
【００７４】
表示制御部２３１は、種別が手書きデバイスでない、つまり、他の入力デバイスである場合には、表示部１１１に表示された画像に対して、操作に応じた位置にイベントに対応するポインタを重畳して表示させる。また、表示制御部２３１は、操作に応じた位置に対応するイベントの内容を示すイベント情報を生成する。すなわち、表示制御部２３１は、例えば、表示部１１１に表示された画像上において、マウスのポインタを動かした後にクリックする操作が入力されると、ポインタを移動した位置にある操作ボタンを押下するイベント情報を生成する。また、表示制御部２３１は、他の入力デバイスに対する操作を受け付けたことに応じて、モード情報を操作モードであることを示す操作モードに設定する。
【００７５】
表示制御部２３１は、ポインタの位置を示すポインタの位置情報と、設定した操作モードまたは手書きモードを示すモード情報と、発生したイベントの内容を示すイベント情報とを、第１送信制御部２３３に出力する。
【００７６】
なお、ポインタの重畳表示について言い換えると、表示制御部２３１は、イベントの発生有無、および、入力デバイスの種別に関わらず、端末装置５０から受信した画像を表示部１１１に表示し、該画像上の、操作に応じた位置にポインタを重畳する。また、表示制御部２３１は、第１送信制御部２３３に統合してもよい。
【００７７】
第１送信制御部２３３は、表示制御部２３１からポインタの位置情報およびモード情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたポインタの位置情報およびモード情報を端末装置５０に送信する。第１送信制御部２３３は、ポインタの位置情報およびモード情報を端末装置５０に送信すると、端末装置５０との間で画像の共有を終了するか否かを判定する。第１送信制御部２３３は、画像の共有を終了しない場合には、引き続き、画像の共有を行う。第１送信制御部２３３は、画像の共有を終了する場合には、送信制御処理を終了する。
【００７８】
また、第１送信制御部２３３は、表示制御部２３１からポインタの位置情報、モード情報およびイベント情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたポインタの位置情報およびモード情報を端末装置５０に送信する。さらに、第１送信制御部２３３は、入力されたイベント情報を第２送信制御部２３４に出力する。
【００７９】
すなわち、第１送信制御部２３３は、手書き入力を受け付ける入力デバイスに対する操作を受け付けた場合、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置５０に送信する。また、第１送信制御部２３３は、他の入力デバイスに対する操作を受け付けた場合、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置５０に送信する。
【００８０】
第２送信制御部２３４は、第１送信制御部２３３からイベント情報が入力されると、通信部１１０およびネットワークＮを介して、入力されたイベント情報を端末装置５０に送信する。すなわち、第２送信制御部２３４は、他の入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置５０に送信する。第２送信制御部２３４は、イベント情報を端末装置５０に送信すると、端末装置５０との間で画像の共有を終了するか否かを判定する。第２送信制御部２３４は、画像の共有を終了しない場合には、引き続き、画像の共有を行う。第２送信制御部２３４は、画像の共有を終了する場合には、送信制御処理を終了する。
【００８１】
次に、実施例２の情報処理システム２の動作について説明する。図６は、実施例２の送信制御処理の一例を示すシーケンス図である。以下の説明では、ステップＳ１６〜Ｓ２１の処理は、実施例１と同様であるので、その説明を省略する。
【００８２】
情報処理システム２の端末装置５０は、例えばユーザである作業者から、情報処理装置２００との間で画像の共有を開始する指示を受け付ける。端末装置５０は、情報処理装置２００との間で、画面の画像の共有を開始する（ステップＳ５０）。情報処理装置２００の表示制御部２３１は、端末装置５０との間で画像の共有を開始すると、端末装置５０から受信した画面の画像を表示部１１１に表示させる。
【００８３】
表示制御部２３１は、操作部１１２、つまり入力デバイスから入力されるポインタの位置を監視する。また、表示制御部２３１は、入力デバイスのイベントが発生したか否かを判定する（ステップＳ５１）。表示制御部２３１は、入力デバイスのイベントが発生していない場合には（ステップＳ５１：否定）、入力デバイスの種別を収集する（ステップＳ５２）。表示制御部２３１は、収集した入力デバイスの種別が手書きデバイスか否かを判定する（ステップＳ５３）。
【００８４】
表示制御部２３１は、種別が手書きデバイスでない場合には（ステップＳ５３：否定）、表示部１１１に表示された画像に対して、操作に応じた位置にポインタを重畳して表示させる。また、表示制御部２３１は、他の入力デバイスに対する操作を受け付けたことに応じて、モード情報を操作モードであることを示す操作モードに設定する（ステップＳ５４）。表示制御部２３１は、ポインタの位置情報およびモード情報を、第１送信制御部２３３に出力する。
【００８５】
表示制御部２３１は、種別が手書きデバイスである場合には（ステップＳ５３：肯定）、表示部１１１に表示された画像に対して、操作に応じた位置にポインタを重畳して表示させる。また、表示制御部２３１は、手書きデバイスに対する操作を受け付けたことに応じて、モード情報を手書きモードであることを示す手書きモードに設定する（ステップＳ５５）。表示制御部２３１は、ポインタの位置情報およびモード情報を、第１送信制御部２３３に出力する。
【００８６】
第１送信制御部２３３は、表示制御部２３１からポインタの位置情報およびモード情報が入力されると、入力されたポインタの位置情報およびモード情報を端末装置５０に送信し（ステップＳ５６）、ステップＳ１６に進む。
【００８７】
ステップＳ５１の説明に戻って、表示制御部２３１は、入力デバイスのイベントが発生した場合には（ステップＳ５１：肯定）、入力デバイスの種別を収集する（ステップＳ５７）。表示制御部２３１は、収集した入力デバイスの種別が手書きデバイスか否かを判定する（ステップＳ５８）。
【００８８】
表示制御部２３１は、種別が手書きデバイスでない場合には（ステップＳ５８：否定）、表示部１１１に表示された画像に対して、操作に応じた位置にイベントに対応するポインタを重畳して表示させる。また、表示制御部２３１は、操作に応じた位置に対応するイベントの内容を示すイベント情報を生成する。さらに、表示制御部２３１は、他の入力デバイスに対する操作を受け付けたことに応じて、モード情報を操作モードであることを示す操作モードに設定する（ステップＳ５９）。表示制御部２３１は、ポインタの位置情報、モード情報およびイベント情報を、第１送信制御部２３３に出力する。
【００８９】
表示制御部２３１は、種別が手書きデバイスである場合には（ステップＳ５８：肯定）、表示部１１１に表示された画像に対して、操作に応じた位置にイベントに対応するポインタを重畳して表示させる。また、表示制御部２３１は、操作に応じた位置に対応するイベントの内容を示すイベント情報を生成する。さらに、表示制御部２３１は、手書きデバイスに対する操作を受け付けたことに応じて、モード情報を手書きモードであることを示す手書きモードに設定する（ステップＳ６０）。表示制御部２３１は、ポインタの位置情報、モード情報およびイベント情報を、第１送信制御部２３３に出力する。
【００９０】
第１送信制御部２３３は、表示制御部２３１からポインタの位置情報、モード情報およびイベント情報が入力されると、入力されたポインタの位置情報およびモード情報を端末装置５０に送信する。さらに、第１送信制御部２３３は、入力されたイベント情報を第２送信制御部２３４に出力する。第２送信制御部２３４は、第１送信制御部２３３からイベント情報が入力されると、入力されたイベント情報を端末装置５０に送信し（ステップＳ６１）、ステップＳ１６に進む。これにより、情報処理装置２００は、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
【００９１】
このように、情報処理装置２００は、手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、情報処理装置２００は、ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置５０に送信する。また、情報処理装置２００は、他の入力デバイスに対する操作を受け付けると、表示部１１１に表示された画像上の、受け付けた操作に応じた位置にポインタを重畳する。また、情報処理装置２００は、ポインタの位置情報と、操作モードであることを示す操作モード情報とを端末装置５０に送信する。また、情報処理装置２００は、他の入力デバイスによる特定の操作を受け付けると、受け付けた特定の操作を示す情報を端末装置５０に送信する。その結果、手書きモードと操作モードとの切り替えの操作負担を軽減することができる。
【００９２】
また、情報処理装置２００は、端末装置５０から受信した画像を表示部１１１に表示し、該画像上の、操作に応じた位置にポインタを重畳する。その結果、端末装置５０との間で画像の共有ができ、情報処理装置２００側で共有した画像上において操作を行うことができる。
【００９３】
なお、上記各実施例では、一人の作業者の端末装置１０または５０と、一人の支援者の情報処理装置１００または２００との間で画像を共有したが、これに限定されない。例えば、一人の作業者の端末装置１０または５０と、複数の支援者の情報処理装置１００または２００との間で画像を共有して遠隔支援を行ってもよい。また、複数の作業者の端末装置１０または５０と、一人の支援者の情報処理装置１００または２００との間で画像を共有して遠隔支援を行ってもよい。さらに、複数の作業者の端末装置１０または５０と、複数の支援者の情報処理装置１００または２００との間で画像を共有して遠隔支援を行ってもよい。
【００９４】
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、第１送信制御部１３３と第２送信制御部１３４とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
【００９５】
さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
【００９６】
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図７は、送信制御プログラムを実行するコンピュータの一例を示す図である。
【００９７】
図７に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、ハードディスク装置３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。
【００９８】
ハードディスク装置３０８には、図１に示した表示制御部１３１、判定部１３２、第１送信制御部１３３および第２送信制御部１３４の各処理部と同様の機能を有する送信制御プログラムが記憶される。また、ハードディスク装置３０８には、図５に示した表示制御部２３１、第１送信制御部２３３および第２送信制御部２３４の各処理部と同様の機能を有する送信制御プログラムが記憶されてもよい。また、ハードディスク装置３０８には、操作領域記憶部１２１、および、送信制御プログラムを実現するための各種データが記憶される。入力装置３０２は、例えば、図１または図５に示した操作部１１２と同様の機能を有し、コンピュータ３００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、コンピュータ３００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置３０５は、例えば印刷装置等が接続される。通信装置３０６は、例えば、図１または図５に示した通信部１１０と同様の機能を有し端末装置１０または５０と接続され、端末装置１０または５０と各種情報をやりとりする。
【００９９】
ＣＰＵ３０１は、ハードディスク装置３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図１に示した表示制御部１３１、判定部１３２、第１送信制御部１３３および第２送信制御部１３４として機能させることができる。または、これらのプログラムは、コンピュータ３００を図５に示した表示制御部２３１、第１送信制御部２３３および第２送信制御部２３４として機能させることができる。
【０１００】
なお、上記の送信制御プログラムは、必ずしもハードディスク装置３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal  Serial  Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの送信制御プログラムを記憶させておき、コンピュータ３００がこれらから送信制御プログラムを読み出して実行するようにしてもよい。
【０１０１】
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
【０１０２】
（付記１）入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳し、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定し、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
【０１０３】
（付記２）前記重畳する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記１に記載の送信制御プログラム。
【０１０４】
（付記３）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記手書きモードである際に、手書き入力中の前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、前記手書きモード情報とを前記端末装置に送信する、
ことを特徴とする付記１または２に記載の送信制御プログラム。
【０１０５】
（付記４）手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
【０１０６】
（付記５）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記４に記載の送信制御プログラム。
【０１０７】
（付記６）入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳し、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定し、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
【０１０８】
（付記７）前記重畳する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記６に記載の送信制御方法。
【０１０９】
（付記８）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記手書きモードである際に、手書き入力中の前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、前記手書きモード情報とを前記端末装置に送信する、
ことを特徴とする付記６または７に記載の送信制御方法。
【０１１０】
（付記９）手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信し、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
【０１１１】
（付記１０）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記９に記載の送信制御方法。
【０１１２】
（付記１１）入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳する表示制御部と、
重畳した前記ポインタの位置が前記画像に含まれる操作部品のエリアに含まれるか否かを判定する判定部と、
前記ポインタの位置が前記操作部品のエリアに含まれない場合、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する第１送信制御部と、
前記ポインタの位置が前記操作部品のエリアに含まれている際に、前記入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する第２送信制御部と、
を有することを特徴とする情報処理装置。
【０１１３】
（付記１２）前記重畳する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記１１に記載の情報処理装置。
【０１１４】
（付記１３）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記手書きモードである際に、手書き入力中の前記ポインタの位置が前記操作部品のエリアに含まれる場合、前記ポインタの位置情報と、前記手書きモード情報とを前記端末装置に送信する、
ことを特徴とする付記１１または１２に記載の情報処理装置。
【０１１５】
（付記１４）手書き入力を受け付ける入力デバイスに対する操作を受け付けると、表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、手書きモードであることを示す手書きモード情報とを端末装置に送信し、他の入力デバイスに対する操作を受け付けると、前記表示部に表示された画像上の、受け付けた前記操作に応じた位置にポインタを重畳するとともに、前記ポインタの位置情報と、操作モードであることを示す操作モード情報とを前記端末装置に送信する第１送信制御部と、
前記他の入力デバイスによる特定の操作を受け付けると、受け付けた前記特定の操作を示す情報を前記端末装置に送信する第２送信制御部と、
を有することを特徴とする情報処理装置。
【０１１６】
（付記１５）前記手書きモード情報または操作モード情報を前記端末装置に送信する処理は、前記端末装置から受信した画像を前記表示部に表示し、該画像上の、前記操作に応じた位置に前記ポインタを重畳する、
ことを特徴とする付記１４に記載の情報処理装置。
【符号の説明】
【０１１７】
１，２  情報処理システム
１０，５０  端末装置
１１  通信部
１２，５２  制御部
１３  表示部
１４  操作部
１００，２００  情報処理装置
１１０  通信部
１１１  表示部
１１２  操作部
１２０，２２０  記憶部
１２１  操作領域記憶部
１３０，２３０  制御部
１３１，２３１  表示制御部
１３２  判定部
１３３，２３３  第１送信制御部
１３４，２３４  第２送信制御部
Ｎ  ネットワーク
【図１】
2018005636.tif 000003
【図２】
2018005636.tif 000004
【図３】
2018005636.tif 000005
【図４】
2018005636.tif 000006
【図５】
2018005636.tif 000007
【図６】
2018005636.tif 000008
【図７】
2018005636.tif 000009