(57)【要約】      （修正有）【課題】共有されるデータに対する描画のための領域を柔軟に形成可能な通信システムを提供する。【解決手段】情報処理装置４０は、当該情報処理装置に接続された表示手段に形成された任意の領域に表示データを表示する表示制御手段４７と、ユーザの操作を受け付ける対象となる操作受付領域を検出して、操作受付領域に表示された表示データを取得する表示データ取得手段４３ｃと、前記操作受付領域の少なくとも一部に重ねて、表示データが目視可能な描画受付エリアを形成するエリア形成手段４５と、描画受付エリアに対する描画を受け付ける描画受付手段４４ａと、描画受付エリアに描画された描画データを取得する描画データ取得手段４４ｂと、表示データに描画データを合成する描画データ合成手段４４ｃと、描画データ合成手段が描画データを合成した表示データを端末を介して他の端末に送信するデータ送信手段４１と、を有する。【選択図】図６
2015097070.tif 000002
【特許請求の範囲】
【請求項１】
端末と、該端末に通信可能に接続された情報処理装置と、前記端末とネットワークを介して通信可能に接続された他の端末と、を有する通信システムであって、
前記情報処理装置は、
当該情報処理装置に接続された第１の表示手段に形成された任意の領域に表示データを表示する第１の表示制御手段と、
ユーザの操作を受け付ける対象となる操作受付領域又は全体領域に表示された前記表示データを取得する表示データ取得手段と、
前記操作受付領域の少なくとも一部に重ねて、描画受付エリアを形成するエリア形成手段と、
前記描画受付エリアに対する描画を受け付ける描画受付手段と、
前記描画受付エリアに描画された描画データを取得する描画データ取得手段と、
前記表示データに前記描画データを合成する描画データ合成手段と、
前記描画データ合成手段が前記描画データを合成した前記表示データを前記端末に送信するデータ送信手段と、を有し、
前記端末は、
前記描画データ合成手段が前記描画データを合成した前記表示データを受信するデータ受信手段と、
前記表示データを当該端末に接続された第２の表示手段に表示する第２の表示制御手段と、
前記表示データを前記他の端末に送信するデータ送信手段と、を有する、
ことを特徴とする通信システム。
【請求項２】
前記エリア形成手段は、前記操作受付領域の位置とサイズを所定のプログラムから取得し、前記操作受付領域と同じ位置及びサイズの透明な前記描画受付エリアを形成する、
ことを特徴とする請求項１記載の通信システム。
【請求項３】
前記データ送信手段は前記描画データ合成手段が前記表示データと前記描画データとを合成する前に、前記描画データ及び前記表示データをそれぞれ前記端末に送信し、
前記端末の前記データ受信手段は、前記描画データ及び前記表示データを受信し、
前記端末は、周囲を撮影して画像データを作成する撮影手段と、
前記表示データを前記他の端末と共有しているか否かが設定された設定情報記憶手段と、
前記設定情報記憶手段にて前記表示データを前記他の端末と共有していると設定されている場合、前記表示データに前記描画データを合成し、
共有していないと設定されている場合、前記画像データに前記描画データを合成する描画データ合成手段と、を有し、
前記第２の表示制御手段は、前記描画データが合成された前記表示データ又は前記画像データを第２の表示手段に表示し、
前記データ送信手段は、前記描画データが合成された前記表示データ又は前記画像データを前記他の端末に送信する、
ことを特徴とする請求項１又は２記載の通信システム。
【請求項４】
前記エリア形成手段は前記操作受付領域が切り替わったことを検出して、前記操作受付領域が切り替わる度に、前記操作受付領域の位置とサイズを所定のプログラムから取得し、前記操作受付領域と同じ位置及びサイズの描画受付エリアを形成する、
ことを特徴とする請求項２又は３記載の通信システム。
【請求項５】
前記描画受付手段が前記描画受付エリアの位置又はサイズの変更を受け付けた場合、又は、前記描画受付エリアと前記操作受付領域の位置又はサイズが異なる場合、
前記描画データ取得手段と前記表示データ取得手段はそれぞれ、前記操作受付領域と前記描画受付エリアを両方含む矩形領域をワークスペースに設定し、
前記描画データ取得手段は、前記ワークスペース内の前記描画受付エリアから前記描画データを取得し、前記表示データ取得手段は、前記ワークスペース内の前記操作受付領域から表示データを取得し、
前記描画データ合成手段は、ワークスペース内に前記描画データと前記表示データを合成する、
ことを特徴とする請求項２〜４いずれか１項記載の通信システム。
【請求項６】
前記操作受付領域が切り替わった場合、
前記描画受付手段は、切り替わる前までに前記描画受付エリアに対し受け付けた描画内容を前記操作受付領域の識別情報に紐づけて保存し、
切り替わった後の前記操作受付領域の識別情報に紐づけて記憶されている描画内容を読み出して前記描画受付エリアに表示する、
ことを特徴とする請求項２〜４いずれか１項記載の通信システム。
【請求項７】
前記第２の表示制御手段は、前記第２の表示手段の画面を分割して前記表示データと共に、当該端末に接続された撮影手段が撮影した画像データ、及び、前記他の端末に接続された撮影手段が撮影した送信した画像データを表示する、
ことを特徴とする請求項１〜６いずれか１項記載の通信システム。
【請求項８】
前記エリア形成手段は、前記描画受付エリアの外縁に目視可能な線を表示する、
ことを特徴とする請求項１〜７いずれか１項記載の通信システム。
【請求項９】
前記エリア形成手段は、外縁に枠線が付された透明領域エリアを、前記描画受付エリアと重畳させて形成する、
ことを特徴とする請求項８記載の通信システム。
【請求項１０】
前記エリア形成手段は、前記透明領域エリアの透明度を１００％未満に設定する、
ことを特徴とする請求項９記載の通信システム。
【請求項１１】
前記エリア形成手段は、視点側からみて前記透明領域エリア、前記描画受付エリア、前記操作受付領域の順にこれらを形成し、
前記描画受付手段は、前記透明領域エリアに対する描画内容を前記透明領域エリアから取得して前記描画受付エリアに描画する、
ことを特徴とする請求項９又は１０記載の通信システム。
【請求項１２】
操作メニューを表示する操作を検出する操作受付手段を有し、
前記操作受付手段が前記操作を検出した場合、前記描画データ取得手段は前記操作メニューの画像データを含まない前記描画データを一時的に保存しておき、
前記操作受付手段が前記操作メニューを表示して、前記操作メニューから前記描画データを保存する操作を受け付けた場合、前記描画データ取得手段は一時的に保存した前記描画データを保存する、
ことを特徴とする請求項１〜１１いずれか１項記載の通信システム。
【請求項１３】
操作メニューを表示する操作を検出する操作受付手段を有し、
前記操作受付手段が前記操作を検出した場合、前記描画データ取得手段は前記操作メニューの画像データを含まない前記描画データと合成された前記表示データを一時的に保存しておき、
前記操作受付手段が前記操作メニューを表示して、前記操作メニューから前記描画データを保存する操作を受け付けた場合、前記描画データ取得手段は一時的に保存した前記合成された描画データを保存する、
ことを特徴とする請求項１〜１１いずれか１項記載の通信システム。
【請求項１４】
端末と通信可能に接続された情報処理装置であって、
前記端末は、
前記情報処理装置から表示データを受信するデータ受信手段と、
前記表示データを当該端末に接続された第２の表示手段に表示する第２の表示制御手段と、
前記表示データをネットワークを介して通信可能に接続された他の端末に送信するデータ送信手段と、を有し、
前記情報処理装置は、
当該情報処理装置に接続された第１の表示手段に形成された任意の領域に表示データを表示する第１の表示制御手段と、
ユーザの操作を受け付ける対象となる操作受付領域又は全体領域に表示された前記表示データを取得する表示データ取得手段と、
前記操作受付領域の少なくとも一部に重ねて、描画受付エリアを形成するエリア形成手段と、
前記描画受付エリアに対する描画を受け付ける描画受付手段と、
前記描画受付エリアに描画された描画データを取得する描画データ取得手段と、
前記表示データに前記描画データを合成する描画データ合成手段と、
前記描画データ合成手段が前記描画データを合成した前記表示データを前記端末に送信するデータ送信手段と、
を有することを特徴とする情報処理装置。
【請求項１５】
端末と通信可能に接続された情報処理装置に処理を実行させるプログラムであって、
前記端末は、
前記情報処理装置から表示データを受信するデータ受信手段と、
前記表示データを当該端末に接続された第２の表示手段に表示する第２の表示制御手段と、
前記表示データをネットワークを介して通信可能に接続された他の端末に送信するデータ送信手段と、を有し、
前記プログラムは、前記情報処理装置に、
当該情報処理装置に接続された第１の表示手段に形成された任意の領域に表示データを表示する第１の表示制御ステップと、
ユーザの操作を受け付ける対象となる操作受付領域又は全体領域に表示された前記表示データを取得する表示データ取得ステップと、
前記操作受付領域の少なくとも一部に重ねて、前記表示データが目視可能な描画受付エリアを形成するエリア形成ステップと、
前記描画受付エリアに対する描画を受け付ける描画受付ステップと、
前記描画受付エリアに描画された描画データを取得する描画データ取得ステップと、
前記表示データに前記描画データを合成する描画データ合成ステップと、
前記描画データ合成ステップにより前記描画データが合成された前記表示データを、前記端末に送信するデータ送信ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
端末と通信可能に接続された情報処理装置を有する通信システム等に関する。
【背景技術】
【０００２】
カメラやマイクを備えた通信端末同士で画像データや音声データを送受信して離れた場所のユーザ同士が会議を行う遠隔会議システムが知られている。各通信端末はディスプレイに会議の相手の通信端末が送信した画像データを表示し、音声をスピーカから出力する。これにより複数の拠点のユーザは同じ会議室で会議を行う場合と同様に会議を行える。
【０００３】
この遠隔会議システムにおいて、通信端末に接続されたＰＣ（Personal Computer）がディスプレイに表示する画面を、通信端末が他の通信端末に送信できれば、ＰＣのアプリケーション画面を通信端末同士で共有することができる（例えば特許文献１参照。）。
【０００４】
図３３は、ＰＣがディスプレイに表示する画面の共有が可能な遠隔会議システムの概略構成図の一例を示す。通信端末１０ａａに接続されたディスプレイ１２０ａａの画面はいくつかの領域Ａ２１〜Ａ２４に分割され、領域Ａ２１に外部入力装置４０ａａがディスプレイ２０８ａａ表示する表示データが、領域Ａ２２に通信端末１０ｄｂが撮影するカメラの画像データが、領域Ａ２３に通信端末１０ａａが撮影するカメラの画像データが、それぞれ表示されている。領域Ａ２１の表示データと領域Ａ２３に通信端末１０ａａが撮影するカメラの画像データは、通信端末１０ｄｂに送信され、ディスプレイ１２０ｄｂに表示される。
【０００５】
したがって、遠隔地のユーザａａとユーザｄｂは、外部入力装置４０ａａが表示するアプリケーションの文書などを見ながら会議することができる。
【０００６】
しかし、このような遠隔会議システムでは、外部入力装置４０ａａの画面にメモ書きなどを描画できない。物理的に存在する資料では、参加者が資料にマルを付けたり下線を引いたりすることができるが、遠隔会議システムでは困難であるため資料の図や記載を指摘することが難しく、効率的なコミュニケーションができない。
【０００７】
参加者のメモ書きを他の装置に送信するため、液晶ディスプレイに表示された会議資料に対するメモ書きをレイヤとして保存し、会議資料と合成して配信する会議支援システムが考案されている（例えば特許文献２参照。）。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２に記載された会議支援システムでは、メモ書き用のエリアと会議資料の位置が固定されているためいくつかの不都合がある。例えば、ＰＣなどの外部入力装置はいくつかのアプリケーションをウィンドウ（以下、領域という）毎に表示するが、領域のサイズはユーザが任意に変更できる。このため、領域に対するメモ書きを不足なく受け付けるには、少なくとも領域以上のサイズのメモ書き領域を作成する必要がある。このような領域を作成する処理を不要にするため、ある領域だけでなくディスプレイの全体をメモ書き領域とすると、ユーザが共有したくない領域まで共有されてしまう。また、会議資料に空白が無い場合にはメモ書きするエリアが不足するため、メモ書きするためにメモ書き領域を大きくしたい状況も存在する。
【０００９】
このように、メモ書き用のエリアと会議資料の位置が固定されている特許文献２に記載された会議支援システムでは、領域のサイズが様々であったり、複数の領域が存在することが考慮されていないという問題があった。
【００１０】
本発明は、上記課題に鑑み、共有されるデータに対する描画のための領域を柔軟に形成可能な通信システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、端末と、該端末に通信可能に接続された情報処理装置と、前記端末とネットワークを介して通信可能に接続された他の端末と、を有する通信システムであって、前記情報処理装置は、当該情報処理装置に接続された第１の表示手段に形成された任意の領域に表示データを表示する第１の表示制御手段と、ユーザの操作を受け付ける対象となる操作受付領域又は全体領域に表示された前記表示データを取得する表示データ取得手段と、前記操作受付領域の少なくとも一部に重ねて、描画受付エリアを形成するエリア形成手段と、前記描画受付エリアに対する描画を受け付ける描画受付手段と、前記描画受付エリアに描画された描画データを取得する描画データ取得手段と、前記表示データに前記描画データを合成する描画データ合成手段と、前記描画データ合成手段が前記描画データを合成した前記表示データを前記端末に送信するデータ送信手段と、を有し、前記端末は、前記描画データ合成手段が前記描画データを合成した前記表示データを受信するデータ受信手段と、前記表示データを当該端末に接続された第２の表示手段に表示する第２の表示制御手段と、前記表示データを前記他の端末に送信するデータ送信手段と、を有することを特徴とする。
【発明の効果】
【００１２】
共有されるデータに対する描画のための領域を柔軟に形成可能な通信システムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の通信システムの概略動作を模式的に説明する図の一例である。
【図２】本発明の一実施形態に係る通信システムの全体構成を示す概略図である。
【図３】通信端末間で通信を実現する場合の通信状況を示す概念図である。
【図４】本実施形態に係る通信システムを構成する通信端末のハードウェア構成図である。
【図５】本実施形態に係る通信システムを構成する通信管理システムのハードウェア構成図である。
【図６】本実施形態の通信システムの一部を構成する通信端末、通信管理システム及び外部入力装置の機能ブロック図である
【図７】イベントフラグテーブル等の一例を示す図である。
【図８】中継装置管理テーブルを示す概念図である。
【図９】端末認証管理テーブルを示す概念図である。
【図１０】端末状態管理テーブルを示す概念図である。
【図１１】宛先リスト管理テーブルを示す概念図である。
【図１２】セッション管理テーブルを示す概念図である。
【図１３】通信端末間で通信を開始する準備を行い、セッションを確立する処理を示すシーケンス図である。
【図１４】外部入力装置が表示した表示データを、会議の相手である通信端末に表示させる処理を示したシーケンス図である。
【図１５】外部入力装置に接続されているディスプレイに表示されているデスクトップ画面、通信端末に接続されているディスプレイに表示される表示画面の一例を示す図である。
【図１６】表示データ取得部が全体領域又は領域の表示データを取得する手順を示すフローチャート図の一例である。
【図１７】描画アプリの動作について説明する図の一例である。
【図１８】キーフック用ＤＬＬが描画アプリを制御する手順を示すフローチャート図の一例である。
【図１９】外部入力装置に接続されたディスプレイに表示された描画アプリを説明する図の一例である。
【図２０】別の領域に重畳された描画アプリの領域を示す図の一例である。
【図２１】描画アプリの動作手順を示すシーケンス図の一例である。
【図２２】通信システムの概略動作を模式的に説明する図の一例である（実施例２）。
【図２３】通信システムの一部を構成する通信端末、通信管理システム及び外部入力装置の機能ブロック図である（実施例２）。
【図２４】描画データの保存形式一例を説明する図である。
【図２５】描画データと画像データの合成について説明する図の一例である。
【図２６】通信端末の動作手順を示すフローチャート図の一例である。
【図２７】外部入力装置４０に接続されたディスプレイ２０８における描画アプリの表示例を説明する図の一例である。
【図２８】枠線の表示と合成について説明する図の一例である。
【図２９】キーフック用ＤＬＬが描画アプリを制御する手順を示すフローチャート図の一例である。
【図３０】描画アプリの領域Ｅ、枠線を備えた透明領域、表示データ、及び、表示データの背後のウィンドウを模式的に示す図の一例である。
【図３１】描画データの取得時の不都合を説明する図の一例である。
【図３２】描画アプリが描画データを保存する手順を示すフローチャート図の一例である。
【図３３】ＰＣのアプリケーション画面の共有が可能な遠隔会議システムの概略構成図の一例である。
【発明を実施するための形態】
【実施例１】
【００１４】
図１は、本実施形態の通信システムの概略動作を模式的に説明する図の一例である。
通信端末１０ａａと通信端末１０ｄｂが通信ネットワークを介して接続されている。通信端末１０ａａには外部入力装置４０ａａが接続されており、通信端末１０ｄｂには外部入力装置４０ｄｂが接続されている。
（１）ユーザａａは外部入力装置４０ａａを操作してディスプレイ２０８ａａに、任意のアプリケーションが作成する領域（ａ）、領域（ｂ）を表示している。
（２）ユーザａａは、メモ書きなどを受け付ける描画アプリを起動させることができる。描画アプリの領域（特許請求の範囲の「描画受付エリア」の一例である）は、アクティブ領域（ユーザの入力や操作を受け付ける領域。特許請求の範囲の「操作受付領域」の一例である。）と同じサイズ・同じ位置に形成される。描画アプリの領域は透明なので、ユーザａａはアクティブ領域を目視可能である。ユーザａａはマウスやタッチパネルにより描画アプリの領域に線、曲線、基本図形、文字、記号、などを描画することができる。図ではアクティブ領域（ａ）に三角形が描画されている。
（３）外部入力装置４０ａａはアクティブ領域に表示された情報を取り込む。取り込んだデータを表示データと称する。また、外部入力装置４０ａａは描画アプリの領域に描画された情報を取り込む。取り込んだデータを描画データと称する。外部入力装置４０ａａは表示データに描画データを上書きして通信端末１０ａａに送信する。
（４）通信端末１０ａａは、従来と同様に、表示データを領域Ａ２１に、通信端末１０ａａのカメラが撮影した画像データを領域Ａ２３に、通信端末１０ｄｂのカメラが撮影した画像データを領域Ａ２２にそれぞれ表示する。
【００１５】
このように、外部入力装置４０ａａの描画アプリは、アクティブな領域を特定して、アクティブ領域がどのようなサイズ・位置でも同じサイズ・位置の描画アプリの領域を作成できる。したがって、ユーザａａが共有したいアプリケーションの表示データだけを共有しながら、図形などを描画して描画した内容を表示データに合成し、他の通信端末と共有できる。また、アクティブな領域が切り替われば取り込まれる表示データもアクティブな領域のものに切り替わるが、描画アプリの領域は自動的にアクティブな領域に重ねられるので、ユーザａａは共有している表示データに対し常に図形等を描画することができる。また、ユーザａａは描画アプリの領域のサイズ・位置を任意に変更できるので、アクティブ領域の外側に図形等を描画しても、表示データと合成して共有することができる。
【００１６】
〔実施形態の全体構成〕
図２は、本発明の一実施形態に係る通信システム１の全体構成を示す概略図である。以下、図２を参照して本実施形態を説明する。
【００１７】
一般に通信システム１には、通信管理システム５０を介して一方の通信端末から他方の通信端末に一方向でコンテンツデータを通信するデータ提供システムや、通信管理システムを介して複数の通信端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム（「通信管理システム」に相当）を介して複数のコミュニケーション端末（「通信端末」に相当）間で情報や感情等を相互に伝達するためのシステムであり、テレビまたはビデオ会議システム、テレビ電話システム、音声会議システム、音声電話システム、ＰＣ（Personal computer）画面共有システム等が例として挙げられる。
【００１８】
本実施形態では、コミュニケーションシステムの一例としてのテレビまたはビデオ会議システム、コミュニケーション管理システムの一例としてのテレビまたはビデオ会議管理システム、およびコミュニケーション端末の一例としてのテレビまたはビデオ会議端末を想定した上で、通信システム、通信管理システム、および通信端末について説明する。すなわち、本発明の通信端末および通信管理システムは、テレビまたはビデオ会議システムに適用されるだけでなく、コミュニケーションシステム、または通信システムにも適用される。
【００１９】
本実施形態の通信システム１（図２参照）は、複数の通信端末１０ａａ，１０ａｂ，１０ｂａ，１０ｂｂ，１０ｃａ，１０ｃｂ，１０ｄａおよび１０ｄｂと、各通信端末用の複数のディスプレイ１２０ａａ，１２０ａｂ，１２０ｂａ，１２０ｂｂ，１２０ｃａ，１２０ｃｂ，１２０ｄａおよび１２０ｄｂと、各通信端末にそれぞれ接続される複数のＰＣ等の外部入力装置４０ａａ，４０ａｂ，４０ｂａ，４０ｂｂ，４０ｃａ，４０ｃｂ，４０ｄａおよび４０ｄｂと、複数の中継装置３０ａ，３０ｂ，３０ｃおよび３０ｄと、通信管理システム５０と、プログラム提供システム９０と、メンテナンスシステム１００とによって構築されている。
【００２０】
なお、以下の説明において特に明記しない限り、複数の通信端末１０ａａ，……，１０ｄｂのうち任意の通信端末を示すときは「通信端末１０」と表記し、複数のディスプレイ１２０ａａ，……，１２０ｄｂのうち任意のディスプレイを示すときは「ディスプレイ１２０」と表記し、複数の外部入力装置４０ａａ，……，４０ｄｂのうち任意の外部入力装置を示すときは「外部入力装置４０」と表記し、複数の中継装置３０ａ，……，３０ｄのうち任意の中継装置を示すときは「中継装置３０」と表記する。また、ディスプレイ１２０は通信端末１０の表示装置の一例である。
【００２１】
通信端末１０は、他の通信端末１０との間で、画像データ、音声データ等の送受信を行う。本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であってもよい。また、画像データの画像には、動画と静止画の両方が含まれてもよい。中継装置３０は、複数の通信端末１０の間で、画像データ及び音声データの中継を行う。通信管理システム５０は、通信端末１０及び中継装置３０を一元的に管理する。なお、図２に示した通信端末１０はディスプレイ１２０が外付けだったが、ディスプレイ１２０が通信端末１０に内蔵されていてもよい。また、ディスプレイ１２０が内蔵されていてもいなくても、通信端末１０がプロジェクタを有しディスプレイ１２０の表示内容を投影してもよい。
【００２２】
外部入力装置４０は、通信端末１０と接続され、通信端末１０に対して資料データを表示するための表示データを送信する。ここでの資料データとは、たとえば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用されるデータを意味する。外部入力装置４０は、例えばＰＣであるが、タブレット、スマートフォン、ＰＤＡ（Personal Data Assistant）などの情報処理装置でもよい。
【００２３】
また、図２に示されている複数のルータ（７０ａ，７０ｂ，…，７０ｆ）は、画像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ（７０ａ，７０ｂ，…，７０ｆ）のうち任意のルータを示す場合には「ルータ７０」を用いる。
【００２４】
プログラム提供システム９０は、通信端末１０に各種機能又は各種手段を実現させるための通信端末用プログラムが記憶された、不図示のＨＤＤ(Hard Disk Drive)を備えており、通信端末１０に、通信端末用プログラムを送信することができる。また、プログラム提供システム９０のＨＤＤには、中継装置３０に各種機能又は各種手段を実現させるための中継装置用プログラムも記憶されており、中継装置３０に、中継装置用プログラムを送信することができる。更に、プログラム提供システム９０のＨＤＤには、通信管理システム５０に各種機能又は各種手段を実現させるための遠隔通信管理用プログラムも記憶されており、通信管理システム５０に、遠隔通信管理用プログラムを送信することができる。
【００２５】
また、通信端末１０ａａ、通信端末１０ａｂ、中継装置３０ａ、及び、ルータ７０ａは、ＬＡＮ２ａによって互いに通信可能に接続されている。通信端末１０ｂａ、通信端末１０ｂｂ、中継装置３０ｂ、及び、ルータ７０ｂは、ＬＡＮ２ｂによって互いに通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ｃが含まれた専用線２ａｂによって通信可能に接続されており、所定の地域Ａ内で構築されている。例えば、地域Ａは日本であり、ＬＡＮ２ａは東京の事業所内で構築されており、ＬＡＮ２ｂは大阪の事業所内で構築されている。
【００２６】
一方、通信端末１０ｃａ、通信端末１０ｃｂ、中継装置３０ｃ、及び、ルータ７０ｄは、ＬＡＮ２ｃによって互いに通信可能に接続されている。通信端末１０ｄａ、通信端末１０ｄｂ、中継装置３０ｄ、及び、ルータ７０ｅは、ＬＡＮ２ｄによって互いに通信可能に接続されている。また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｆが含まれた専用線２ｃｄによって通信可能に接続されており、所定の地域Ｂ内で構築されている。例えば、地域Ｂはアメリカであり、ＬＡＮ２ｃはニューヨークの事業所内で構築されており、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。
【００２７】
地域Ａ及び地域Ｂは、それぞれルータ（７０ｃ，７０ｆ）からインターネット２ｉを介して通信可能に接続されている。
【００２８】
また、通信管理システム５０、プログラム提供システム９０及びメンテナンスシステム１００は、インターネット２ｉを介して、通信端末１０及び中継装置３０と通信可能に接続されている。通信管理システム５０、プログラム提供システム９０及びメンテナンスシステム１００は、地域Ａ又は地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。
【００２９】
なお、本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用線２ａｂ、インターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、本実施形態の通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ(Wireless Fidelity)やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線による通信が行われる箇所があってもよい。
【００３０】
また、図２において、各通信端末１０、各中継装置３０、通信管理システム５０、各ルータ７０、プログラム提供システム９０、及び、メンテナンスシステム１００の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。例えば、通信端末１０ａａのＩＰアドレスは「１．２．１．３」である。また、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよいが。説明を簡略化するため、ＩＰｖ４を用いて説明する。
【００３１】
続いて、図３を用いて、２つの通信端末の間で通信を実現する場合の通信状況について説明する。なお、図３は通信端末間で通信を実現する場合の通信状況を示す概念図である。
【００３２】
この通信システム１では、通信開始の要求元である要求元端末(通信端末１０)と、この要求元端末の通信相手としての宛先端末（通信端末１０）との間で、通信のための各種データの送受信が行われる。また、要求元端末（通信端末１０）から、この要求元端末の通信相手としての印刷端末２０へ印刷データが送信され、印刷端末２０で印刷データが用紙に印刷される。通信端末１０は主に通信するための機能を有し、印刷端末２０は主に印刷するための機能を有するため、それぞれの処理能力は異なっている。
【００３３】
また、要求元端末と通信管理システム５０との間、宛先端末（通信端末１０）と通信管理システム５０との間、及び、宛先端末（印刷端末２０）と通信管理システム５０との間では、それぞれ各種の管理情報を送受信するための管理用の通信セッションseiが確立される。また、この通信セッションseiは、呼制御用の通信セッションでもある。
【００３４】
また、各通信端末１０は、中継装置３０を介して、所定の呼制御方式と符号化方式による通信方式を利用して、通信データの通信を行う。
【００３５】
呼制御方式の例としては、(1)SIP(Session Initiation Protocol)、(2)H.323、(3)SIPを拡張したプロトコル、(4)インスタントメッセンジャーのプロトコル、(5)SIPのMESSAGEメソッドを利用したプロトコル、(6)インターネットリレーチャットのプロトコル(IRC(Internet Relay Chat))、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。このうち、(4)インスタントメッセンジャーのプロトコルは、例えば、(4-1)XMPP(Extensible Messaging and Presence Protocol)、又は(4-2)ICQ（登録商標）、AIM（登録商標）、若しくはSkype（登録商標）などで利用されるプロトコルである。また、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコルは、例えば、Jingleである。
【００３６】
符号化方式の例としては、H.264/SVC(Scalable Video Coding)や、H.264/AVC(Advanced Video Coding)等が挙げられる。具体的には、符号化方式がH.264/SVCの場合には、要求元端末としての通信端末１０と中継装置３０との間では、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの４つの通信データを送受信するための通信用の第１の通信セッションsed1が確立されている。更に、中継装置３０と宛先端末としての通信端末１０との間では、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの４つの通信データを送受信するための通信用の第２の通信セッションsed2が確立されている。
【００３７】
＜ハードウェア構成＞
次に、本実施形態のハードウェア構成を説明する。
図４は、本実施形態に係る通信システム１を構成する通信端末１０のハードウェア構成図である。図４に示されるように、通信端末１０は、通信端末１０全体の動作を制御するＣＰＵ(Central Processing Unit)１０１と、通信端末用プログラムを記憶したＲＯＭ(Read Only Memory)１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３と、画像データや音声データ等の各種データを記憶するフラッシュメモリ１０４と、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しおよび書き込みを制御するＳＳＤ (Solid State Drive)１０５と、フラッシュメモリ等の記録メディア１０６に対するデータの読み出しまたは書き込み（記憶）を制御するメディアドライブ１０７と、通信端末１０の宛先を選択する場合などに操作される操作ボタン１０８と、通信端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９と、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ１１１と、ＣＰＵ１０１の制御に従って被写体を含む周囲を撮像し画像データを得るカメラ１１２と、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３と、音声を入力するマイク１１４と、音声を出力するスピーカ１１５と、ＣＰＵ１０１の制御に従ってマイク１１４およびスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６と、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７と、外部の装置との間で各種データを送受信する外部装置Ｉ／Ｆ１１８と、上記各構成要素を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００３８】
なお、記録メディア１０６は、通信端末１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御に従ってデータの読み出しまたは書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。また、カメラ１１２は、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子、例えば、ＣＣＤ(Charge Coupled Device) 素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等を備えている。また、ＳＳＤ１０５以外にＨＤＤ（Hard Disk Drive)を用いてもよい。
【００３９】
また、ディスプレイ１２０は、被写体の画像や操作用アイコン等を表示する液晶素子や有機ＥＬ素子等を用いて構成されている。
【００４０】
なお、外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイク１１４や内蔵型のスピーカ１１５に優先して、外付けマイクや外付けスピーカが駆動する。
【００４１】
また、上記通信端末用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア１０６等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００４２】
なお、カメラ１１２、マイク１１４、スピーカ１１５は必ずしも内蔵型の必要はなく、外付けにしてもよい。また、通信端末１０は、ＰＣ、スマートフォン、タブレット端末、携帯電話などであってもよい。
【００４３】
図５は、本実施形態に係る通信システム１を構成する通信管理システム５０のハードウェア構成図である。通信管理システム５０は、通信管理システム５０全体の動作を制御するＣＰＵ２０１と、通信管理用プログラムを記憶したＲＯＭ２０２と、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３と、各種データを記憶するＨＤ(Hard Disk)２０４と、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出しおよび書き込みを制御するＨＤＤ２０５と、フラッシュメモリ等の記録メディア２０６に対するデータの読み出しおよび書き込み（記憶）を制御するメディアドライブ２０７と、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報をディスプレイ２０８に表示させるためのディスプレイＩ／Ｆ２０８と、後述の通信ネットワーク２を利用してデータ通信をするためのネットワークＩ／Ｆ２０９と、文字、数値、各種指示等を入力するための複数のキーを備えたキーボード２１１と、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行うマウス２１２と、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)２１３に対するデータの読み出しおよび書き込みを制御するＣＤ−ＲＯＭドライブ２１４と、外部の装置との間で情報を送受信するための外部装置Ｉ／Ｆ２１５と、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン２１０とを備えている。なお、ディスプレイ２０８は、外部入力装置４０の表示装置の一例でもある。外部装置Ｉ／Ｆ２１５は、ＵＳＢインタフェース、BlueTooth（登録商標）、ＮＦＣ（Near Field Communication）、TransferJet（登録商標）などが一例として挙げられる。
【００４４】
また、上記通信管理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。上記通信管理用プログラムはＨＤ２０４に記憶されていてもよい。
【００４５】
また、外部入力装置４０は、通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、外部入力装置４０を制御するための外部入力装置用プログラムが格納されている。この場合も、外部入力装置用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００４６】
また、中継装置３０は、通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、中継装置３０を制御するための中継装置用プログラムが格納されている。この場合も、中継装置用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００４７】
また、プログラム提供システム９０は、通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、プログラム提供システム９０を制御するためのプログラム提供システム用プログラムが格納されている。この場合も、プログラム提供システム用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。なお、プログラム提供システム用プログラムは、ＲＯＭ２０２ではなくＨＤ２０４に格納されるようにしてもよい。
【００４８】
また、メンテナンスシステム１００は、通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。このメンテナンスシステム１００は、通信端末１０、中継装置３０、通信管理システム５０およびプログラム提供システム９０のうちの少なくとも１つの維持、管理または保守を行うためのコンピュータである。例えば、メンテナンスシステム１００が国内に設置され、通信端末１０、中継装置３０、通信管理システム５０またはプログラム提供システム９０が国外に設置されている場合、メンテナンスシステム１００は、通信ネットワーク２を介して遠隔的に、通信端末１０、中継装置３０、通信管理システム５０およびプログラム提供システム９０のうちの少なくとも１つの維持、管理、保守等のメンテナンスを行うようになっている。
【００４９】
また、メンテナンスシステム１００は、通信ネットワーク２を介さずに、通信端末１０、中継装置３０、通信管理システム５０およびプログラム提供システム９０のうちの少なくとも１つにおける機種番号、製造番号、販売先、保守点検または故障履歴の管理等のメンテナンスを行うようにしてもよい。
【００５０】
なお、上記の着脱可能な記録媒体の他の形態としては、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に格納して提供するように構成してもよい。
【００５１】
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図６は、本実施形態の通信システム１の一部を構成する通信端末１０、通信管理システム５０及び外部入力装置４０の機能ブロック図である。図６では、通信端末１０、及び、通信管理システム５０が、通信ネットワーク２を介してデータ通信することができるように接続されている。また、外部入力装置４０は、通信端末１０との間でデータを送受信することができるように接続されている。なお、図２に示されるプログラム提供システム９０、メンテナンスシステム１００及び中継装置３０は、図６では図示を省略している。
【００５２】
＜通信端末の機能構成＞
通信端末１０は、送受信部１１、操作入力受付部１２、ログイン要求部１３、撮像部１４ａ、画像表示制御部１４ｂ、音声入力部１５ａ、音声出力部１５ｂ、外部情報送受信部１８、記憶・読出処理部１９、配置情報選択部２１、及び、表示データ制御部２２を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
【００５３】
また、通信端末１０は、図４に示されているＲＯＭ１０２、ＲＡＭ１０３、フラッシュメモリ１０４のいずれかによって構築される記憶部１０００を有している。記憶部１０００には、配置情報管理テーブル２３、イベントフラグテーブル２４及び外部入力装置用プログラム（表示データ共有アプリ、描画アプリ）２５が記憶されている。
【００５４】
（通信端末の各機能部）
次に、通信端末の各部を詳細に説明する。通信端末１０の送受信部１１は、図４に示されているネットワークＩ／Ｆ１１１によって実現され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。操作入力受付部１２は、図４に示されている操作ボタン１０８、及び電源スイッチ１０９によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図４に示されている電源スイッチ１０９をＯＮにすると、図６に示されている操作入力受付部１２が電源ＯＮを受け付けて、電源をＯＮにする。ログイン要求部１３は、図４に示されているＣＰＵ１０１からの命令によって実現され、上記電源ＯＮの受け付けを契機として、送受信部１１から通信ネットワーク２を介して通信管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び通信端末１０ａｂの現時点のＩＰアドレスを自動的に送信する。
【００５５】
撮像部１４ａは、図４に示されているカメラ１１２、及び撮像素子Ｉ／Ｆ１１３によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。画像表示制御部１４ｂは、図４に示されているディスプレイＩ／Ｆ１１７によって実現され、ディスプレイ１２０に対して画像データを送信するための制御を行う。画像表示制御部１４ｂは自機である通信端末１０及び他の通信端末１０の撮像部１４ａで撮像された画像データの他に、自機である通信端末１０に接続された外部入力装置４０のディスプレイ２０８で表示されキャプチャされた表示データを表示する。画像表示制御部１４ｂは、映像データや表示データの表示領域を制御する機能をもつ。
【００５６】
音声入力部１５ａは、図４に示されているマイク１１４、及び音声入出力Ｉ／Ｆ１１６によって実現され、利用者の音声を入力し、この音声を音声信号に変換することで、音声信号に係る音声データを出力する。音声出力部１５ｂは、図４に示されているスピーカ１１５、及び音声入出力Ｉ／Ｆ１１６によって実現され、音声データに係る音声信号を音声に変換して出力する。音声入力部１５ａは音声信号の入力レベルを測定しそれを閾値などと比較することで、音声信号の有無について判定する。
【００５７】
配置情報選択部２１は中継装置３０から通知される表示データの配信イベントに基づき、イベントフラグテーブル２４から共有フラグを選択し配置情報管理テーブル２３に設定する。これにより、画像表示制御部１４ｂにディスプレイ１２０に表示させる画面の配置情報を指示する。詳細は後述する。
【００５８】
表示データ制御部２２は、外部入力装置４０の表示データを取得するものであり、取得した表示データを、中継装置３０を介して他の通信端末１０ｄｂに送信する。表示データとは、ディスプレイ２０８に表示された画像をＪＰＥＧ（Joint Photographic Experts Group）やＢｉｔｍａｐ等の形式にした画像データを表す。表示データには、描画アプリにより描画内容が上書きされる（合成される）場合がある。
【００５９】
また、表示データ制御部２２は、中継装置３０から通知される配信イベントに応じてイベントフラグテーブル２４を参照して表示制御フラグの状態を決定し、表示制御フラグを外部入力装置４０へ送信する。なお、自端末に接続された外部入力装置４０から通知される配信要求（後述する配信開始）もいったん中継装置３０に送信され、その後、中継装置３０から配信イベントとして自端末と他の通信端末に送信される。
【００６０】
なお、本実施形態の端末ＩＤ、及び後述の中継装置ＩＤは、それぞれ通信端末１０、及び中継装置３０を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ＩＤ、及び中継装置ＩＤは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも２つが組み合わされた識別情報であってもよい。
【００６１】
＜ディスプレイ１２０の領域の制御＞
図７（ａ）は、イベントフラグテーブル２４の一例を示す図である。イベントフラグテーブルには、中継装置３０から送信される配信イベントと、配信イベントに応じて配置情報選択部２１が参照する共有フラグ、及び、表示データ制御部２２が参照する表示制御フラグが対応づけて登録されている。
【００６２】
配信イベントには「配信開始イベント」「他からの配信開始イベント」「配信停止イベント」「他からの配信停止イベント」がある。前者２つの配信イベントの共有フラグは、通信端末１０が表示データを受信する配信イベントに対応して「SHARED」であり、後者２つの配信イベントの共有フラグは、通信端末１０が表示データを受信しない配信イベントに対応して「UNSHARED」である。
【００６３】
また、「配信開始イベント」に対応する表示制御フラグは「SHARED」であり、「他からの配信開始イベント」に対応する表示制御フラグは「SHARED＿ANOTHER」であり、「配信開始イベント」と「他からの配信停止イベント」に対応する表示制御フラグは「UNSHARED」である。「SHARED」は自端末の表示データを共有することであり、「SHARED＿ANOTHER」は他の端末の表示データを共有することであり、「UNSHARED」は表示データを共有しないことを示す。
【００６４】
図７（ｂ）は、配置情報管理テーブルの一例を示す図である。配置情報管理テーブル２３には、表示データの配置を管理するための情報が登録されている。「配置情報No」はレコードを識別するための識別情報であり、「配置情報」は、映像データ及び表示データをディスプレイ１２０にどのように配置するかを指示する「VIEW_MULTI」と「SHARED_MULTI」がある。「VIEW_MULTI」は画像データだけを表示することを、「SHARED_MULTI」は画像データと表示データを混在させて表示することを、それぞれ意味する。
【００６５】
また、「共有フラグ」は、図７（ａ）のイベントフラグテーブル２４に対応している。「共有フラグ」により「配置情報Ｎｏ」が一意に定まる。画像表示制御部１４ｂはイベントフラグテーブルの共有フラグが「SHARED」であれば、配置情報No2の「SHARED_MULTI」の配置情報を採用してディスプレイ１２０に表示する表示画面を制御し、共有フラグが「UNSHARED」であれば配置情報No1の「VIEW_MULTI」の配置情報を採用してディスプレイ１２０に表示する表示画面を制御する。
【００６６】
図７（ｃ）は、配置情報と、各領域Ａ２１〜Ａ２４に割り当てられる画像データ又は表示データの関係の一例を示す図である。図７（ｄ）は領域Ａ２１〜Ａ２４の一例を示す。配置情報＝「VIEW_MULTI」の場合、領域Ａ２１には画像データ１が、領域Ａ２２には画像データ２が、それぞれ表示され、全ての領域Ａ２１〜Ａ２４に画像データが表示される。配置情報＝「SHARED_MULTI」の場合、領域Ａ２１には表示データが、領域Ａ２２には画像データ１が、領域Ａ２３には画像データ２が、それぞれ表示される。
【００６７】
＜外部入力装置の機能構成＞
外部入力装置４０は、図６に示されているように、端末通信部４１、接続検出部４２、インストール判定部４３ａ、プログラム取得部４３ｂ、表示データ取得部４３ｃ、表示データ送信部４３ｄ、描画制御部４４ａ、描画データ取得部４４ｂ、合成部４４ｃ、描画アプリ制御部４５、操作入力受付部４６、表示制御部４７、マウント部４８、及び、記憶・読出処理部４９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、外部入力装置４０は、Ｗｉｎｄｏｗｓ（登録商標）等のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を搭載し、これにより、他の装置と接続したときにはプログラムを実行する機能を備えている。
【００６８】
＜外部入力装置の各機能部＞
次に、外部入力装置４０の各部を詳細に説明する。外部入力装置４０の端末通信部４１は、図５に示されている外部装置Ｉ／Ｆ２１５によって実現され、通信端末１０から各種データ（情報）の送受信を行う。接続検出部４２は外部装置Ｉ／Ｆ２１５により通信端末１０とデータの送受信が可能となったことを検出する。
【００６９】
インストール判定部４３ａは外部入力装置４０に外部入力装置用プログラム２５がインストールされているか否かを判定する。インストールされていない場合、プログラム取得部４３ｂは、端末通信部４１を経由してマウント部４８がマウントした通信端末１０の記憶部１０００から外部入力装置用プログラム２５をインストールする。
【００７０】
表示データ取得部４３ｃは、ディスプレイ２０８の画面のユーザによる入力や操作の対象となるアクティブな領域を取り込む（キャプチャする）ことで表示データを取得する。描画制御部４４ａは、透明な描画アプリの領域を作成し、操作入力受付部４６が受け付けた操作内容に従って図形等の描画を受け付ける。描画データ取得部４４ｂは、描画アプリの領域の描画内容を取り込んで描画データを作成する。合成部４４ｃは、表示データに描画データを上書き（合成する）ことで、図形等が書き込まれた表示データを作成する。表示データ送信部４３ｄは、合成部４４ｃが作成した表示データを端末通信部４１を介して通信端末１０に送信する。
【００７１】
描画アプリ制御部４５は、描画アプリが描画を受け付ける領域の位置・サイズを、アクティブな領域と同じ位置・サイズに制御する。なお、描画アプリの位置と描画アプリの領域の位置を同様の意味として用いる場合がある。
【００７２】
操作入力受付部４６は、キーボードやマウスにより実現され利用者の操作による入力を受け付ける。表示制御部４７は、表示制御フラグに従って、表示データの共有に関するメニューの内容や共有の状態をディスプレイ２０８に表示させる。
【００７３】
マウント部４８は、端末通信部４１に接続されている通信端末の記憶部１０００を記憶部４０００にマウントする。上記のプログラム取得部４３ｂは記憶部４０００から外部入力装置用プログラムをインストールする。
【００７４】
記憶・読出処理部４９は、図５に示されているＨＤＤ２０５を実体とし各種データを記憶したり、記憶部４０００に記憶された各種データを読み出したりする処理を行う。
【００７５】
なお、インストール判定部４３ａ、プログラム取得部４３ｂ、表示データ取得部４３ｃ、及び、表示データ送信部４３ｄは、ＣＰＵ２０１が表示データ共有アプリを実行することで実現され、描画制御部４４ａ、描画データ取得部４４ｂ及び合成部４４ｃはＣＰＵ２０１が描画アプリを実行することで実現される。また、描画アプリ制御部４５はＣＰＵ２０１がキーフック用ＤＬＬを実行することで実現される。
【００７６】
＜通信管理システムの機能構成＞
通信管理システム５０は、送受信部５１、端末認証部５２、状態管理部５３、判断部５４、セッション管理部５５、及び記憶・読出処理部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ２０３上に展開された通信管理システム５０用のプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、通信管理システム５０は、図５に示されているＨＤ２０４により構築される記憶部５０００を有している。この記憶部５０００には、以下に示すような各テーブルによって構成されているＤＢ（５００１，５００２，５００３，５００４，５００５）が構築される。
【００７７】
（中継装置管理テーブル）
図８は、中継装置管理テーブルを示す概念図である。記憶部５０００には、図８に示されているような中継装置管理テーブルによって構成されている中継装置管理ＤＢ５００１が構築されている。この中継装置管理テーブルでは、各中継装置３０の中継装置ＩＤ毎に、各中継装置３０の稼動状態、稼動状態が示される状態情報が通信管理システム５０で受信された受信日時、中継装置３０のＩＰアドレス、及び中継装置３０における最大データ通信速度（Ｍｂｐｓ）が関連付けられて管理される。
【００７８】
（端末認証管理テーブル）
図９は、端末認証管理テーブルを示す概念図である。記憶部５０００には、図９に示されているような端末認証管理テーブルによって構成されている端末認証管理ＤＢ５００２が構築されている。この端末認証管理テーブルでは、通信管理システム５０によって管理される全ての端末１０の各端末ＩＤに対して、認証用のパスワードが関連付けられて管理される。
【００７９】
（端末状態管理テーブル）
図１０は、端末状態管理テーブルを示す概念図である。記憶部５０００には、図１０に示されているような端末状態管理テーブルによって構成されている端末状態管理ＤＢ５００３が構築されている。この端末状態管理テーブルでは、各通信端末１０の端末ＩＤ毎に、端末の種類、各端末を宛先とした場合の宛先名、各端末の稼動状態、後述のログイン要求情報が通信管理システム５０で受信された受信日時、及び各端末のＩＰアドレスが関連付けられて管理される。なお、端末ＩＤ、端末の種類、及び宛先名は、各通信端末１０が、通信システム１を利用して通信するために、通信管理システム５０に登録される際に、記憶されて管理される。
【００８０】
（宛先リスト管理テーブル）
図１１は、宛先リスト管理テーブルを示す概念図である。記憶部５０００には、図１１に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ５００４が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する要求元端末の端末ＩＤに対して、通信相手の候補として登録されている宛先端末の端末ＩＤが全て関連付けられて管理される。この通信相手の候補は、任意の要求元端末から通信管理システム５０に対する追加又は削除の要請により、追加又は削除されることで更新される。
【００８１】
（セッション管理テーブル）
図１２は、セッション管理テーブルを示す概念図である。記憶部５０００には、図１２に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ５００５が構築されている。このセッション管理テーブルでは、通信データ（画像データ及び音声データ）の中継に使用される中継装置３０の中継装置ＩＤ、要求元端末の端末ＩＤ、宛先端末の端末ＩＤ、宛先端末において画像データが受信される際の受信の遅延時間（ｍｓ）、及びこの遅延時間を示す遅延時間情報を宛先端末から送られて来て通信管理システム５０で受信された受信日時が関連付けられて管理される。なお、２つの通信端末１０の間で通信を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延時間情報に基づいて、遅延時間情報の受信日時を管理してもよい。但し、３つ以上の通信端末１０の間で通信を行う場合には、画像データ及び音声データの受信側の端末１０から送信されてきた遅延時間情報に基づいて、遅延時間情報の受信日時が管理される。
【００８２】
（通信管理システムの各機能構成）
次に、通信管理システム５０の各機能構成について詳細に説明する。送受信部５１は、図５に示されているＣＰＵ２０１からの命令、及び図５に示されているネットワークＩ／Ｆ２０９によって実行され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。
【００８３】
端末認証部５２は、図５に示されているＣＰＵ２０１からの命令によって実現され、送受信部５１を介して受信されたログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとして、端末認証管理テーブルを検索し、この端末認証管理テーブルに同一の端末ＩＤ及びパスワードが管理されているかを判断することによって端末認証を行う。
【００８４】
状態管理部５３は、図５に示されているＣＰＵ２０１からの命令によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末状態管理テーブルに、この要求元端末の端末ＩＤ、要求元端末の稼動状態、通信管理システム５０でログイン要求情報が受信された受信日時、及び要求元端末のＩＰアドレスを関連付けて記憶して管理する。また、状態管理部５３は、通信端末１０から送られてきた、電源をＯＦＦする旨の状態情報に基づいて、端末状態管理テーブルのオンラインを示す稼動状態をオフラインに変更する。
【００８５】
判断部５４は、図５に示されているＣＰＵ２０１からの命令によって実現され、稼動状態情報で示される稼動状態が「オンライン」であるか否かを判断する。更に、判断部５４は、「オンライン」と判断した場合には、所定の通信端末１０に対して、稼動状態情報を送信可能と判断し、「オンライン」ではないと判断した場合には、所定の通信端末１０に対して、稼動状態情報を送信不可と判断する。
【００８６】
セッション管理部５５は、図５に示されているＣＰＵ２０１からの命令によって実現され、記憶部５０００のセッション管理テーブルに、通信データの中継に使用される中継装置３０の中継装置ＩＤ、要求元端末の端末ＩＤ、宛先端末の端末ＩＤ、宛先端末において画像データが受信される際の受信の遅延時間（ｍｓ）、及びこの遅延時間が示されている遅延時間情報を宛先端末から送られて来て通信管理システム５０で受信された受信日時が関連付けて記憶して管理する。また、セッション管理部５５は、通信セッションを確立するために使用されるセッションＩＤを作成する。
【００８７】
記憶・読出処理部５９は、図５に示されているＣＰＵ２０１からの命令、及び図５に示されているＨＤＤ２０５によって実行され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出す処理を行う。
【００８８】
＜＜実施形態の処理または動作＞＞
続いて、図１３を用いて、本実施形態の処理または動作について説明する。図１３は、通信端末間で通信を開始する準備を行い、セッションを確立する処理を示すシーケンス図である。
S1：まず、要求元端末（通信端末１０ａａ）のユーザａａが、電源スイッチ１０９をＯＮにすると、操作入力受付部１２が電源オンを受け付けて、通信端末１０の電源をＯＮにする。
S2：送受信部１１は、電源オンの受け付けを契機とし、通信ネットワーク２を介して通信管理システム５０に、ログイン要求を示すログイン要求情報を送信する。このログイン要求情報には、要求元端末である端末１０ａａを識別するための端末ＩＤ、及びパスワードが含まれている。これら端末ＩＤ、及びパスワードは、記憶・読出処理部１９を介して記憶部１０００から読み出されて、送受信部１１に送られたデータである。要求元端末（端末１０ａａ）から通信管理システム５０へログイン要求情報が送信される際は、受信側である通信管理システム５０は、送信側である端末１０ａａのＩＰアドレスを把握することができる。また、ログイン要求は、上述のように、電源オンではなく、利用者の指示入力を契機としてもよい。更に、端末ＩＤ及びパスワードは、要求元端末に対して利用者が入力できるようにしてもよい。
S3：次に、通信管理システム５０の端末認証部５２は、送受信部５１を介して受信したログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとして、端末認証管理テーブルを検索し、この端末認証管理テーブルに同一の端末ＩＤ及び同一のパスワードが管理されているかを判断することによって端末認証を行う。
S4：この端末認証部５２によって、同一の端末ＩＤ及び同一のパスワードが管理されているため、正当な利用権限を有する通信端末１０からのログイン要求であると判断された場合には、状態管理部５３は、端末状態管理テーブルに、通信端末１０ａａの端末ＩＤ、端末の種類及び宛先名で示されるレコード毎に、稼動状態、上記ログイン要求情報が受信された受信日時、及び端末１０ａａのＩＰアドレスを関連付けて記憶する。
S5：そして、通信管理システム５０の送受信部５１は、上記端末認証部５２によって得られた認証結果が示された認証結果情報を、通信ネットワーク２を介して、上記ログイン要求してきた要求元端末（通信端末１０ａａ）に送信する。
S6：通信管理システム５０の記憶・読出処理部５９は、ログイン要求してきた要求元端末（通信端末１０ａａ）の端末ＩＤ「０１ａａ」に基づいて宛先リスト管理テーブルを検索することにより、上記要求元端末（通信端末１０ａａ）の端末ＩＤ「０１ａａ」を通信相手の候補として登録している他の要求元端末の端末ＩＤを抽出する（ステップＳ２６）。ここでは、説明の簡略化のため、ステップＳ６で抽出された端末ＩＤが、通信端末１０ｄｂの端末ＩＤ「０１ｄｂ」の場合について、以下続けて説明する。
S7：次に、送受信部５１は、端末１０ｄｂに対して、要求元端末（通信端末１０ａａ）の端末ＩＤ「０１ａａ」と、要求元端末（通信端末１０ａａ）の稼動状態を示した稼動状態情報とが含まれた「端末の状態情報」を送信する。これにより、通信端末１０ｄｂの送受信部１１は、端末１０ａａの状態情報を受信する。
【００８９】
この後、端末１０ａａは、通信管理システム５０に対し宛先リスト管理テーブルに登録された宛先端末ＩＤを要求して、宛先リスト情報（端末ＩＤ、宛先名）及び各端末の稼働状態を取得する。端末１０ａａの画像表示制御部１４ｂは宛先リストを一覧表示する宛先リスト画面（不図示）をディスプレイ２０８に表示する。
S8：利用者は、宛先リスト一覧の中から通信を開始する宛先の端末を選択すると、操作入力受付部１２は、宛先端末（通信端末１０ｄｂ）との通信を開始する要求を受け付ける。
S9：要求元端末（通信端末１０ａａ）の送受信部１１は、要求元端末（通信端末１０ａａ）の端末ＩＤ「０１ａａ」、及び宛先端末（通信端末１０ｄｂ）の端末ＩＤ「０１ｄｂ」が含まれ、通信を開始したい旨を示す開始要求情報を、通信管理システム５０へ送信する。これにより、通信管理システム５０の送受信部５１は、上記開始要求情報を受信すると共に、送信元である要求元端末（通信端末１０ａａ）のＩＰアドレス「１．２．１．３」を受信することができる。
S10：そして、状態管理部５３は、開始要求情報に含まれる要求元端末（通信端末１０ａａ）の端末ＩＤ「０１ａａ」及び宛先端末（通信端末１０ｄｂ）の端末ＩＤ「０１ｄｂ」に基づき、端末状態管理テーブルにおいて、上記端末ＩＤ「０１ａａ」及び端末ＩＤ「０１ｄｂ」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「オンライン（通信可能）」から「オンライン（通信中）」に変更する。
S11：次に、セッション管理部５５は、記憶部５０００のセッション管理テーブルに、利用される中継装置３０ａの中継装置ＩＤ「１１１ａ」、要求元端末（通信端末１０ａａ）の端末ＩＤ「０１ａａ」、及び宛先端末（通信端末１０ｄｂ）の端末ＩＤ「０１ｄｂ」を関連付けて記憶して管理する。この場合、例えば、要求元端末（通信端末１０ａａ）のＩＰアドレスに近いＩＰアドレスの中継装置３０ａが選ばれる。
S12：次に、通信管理システム５０の送受信部５１は、中継装置３０ａに対して、セッション初期化要求情報を送信する。これにより、中継装置３０ａでは、セッション初期化要求情報を受信する。このセッション初期化要求情報は、中継装置３０ａの通信セッションを初期化する命令であり、要求元端末（通信端末１０ａａ）のＩＰアドレス「１．２．１．３」、及び宛先端末（通信端末１０ｄｂ）のＩＰアドレス「１．３．２．３」が含まれている。各ＩＰアドレスは、端末状態管理テーブルにおいて、ステップＳ６２によって受信された要求元端末（通信端末１０ａａ）の端末ＩＤ及び宛先端末（通信端末１０ｄｂ）の端末ＩＤにそれぞれ対応するＩＰアドレスである。
S13：次に、中継装置３０ａは、ステップＳ１２によって受信した要求元端末（通信端末１０ａａ）のＩＰアドレス「１．２．１．３」に基づき、要求元端末（通信端末１０ａａ）にセッション開始指示情報を送信する。このセッション開始指示情報は、要求元端末（通信端末１０ａａ）に通信セッションを開始する指示である。また、この際、中継装置３０ａのＩＰアドレス「１．２．１．２」も送信される。
S14：同じく、中継装置３０ａは、ステップＳ１２によって受信した宛先端末（通信端末１０ｄｂ）のＩＰアドレス「１．３．２．３」に基づき、宛先端末（通信端末１０ｄｂ）にセッション開始指示情報を送信する（ステップＳ６８）。このセッション開始指示情報は、宛先端末（通信端末１０ｄｂ）に通信セッションを開始する指示である。また、この際、中継装置３０ａのＩＰアドレス「１．２．１．２」も送信される。
S15：これにより、要求元端末（通信端末１０ａａ）と中継装置３０ａとの間で、第１の通信セッションsed1が確立される。
S16：また、宛先端末（通信端末１０ｄｂ）と中継装置３０ａとの間で、第２の通信セッションsed2が確立される。
【００９０】
これにより、要求元端末（通信端末１０ａａ）と宛先端末（通信端末１０ｄｂ）との間で通信が開始され、図１５のＩ（ｂ）に示すような表示画面（通信画面）が要求元端末（通信端末１０ａａ）側と宛先端末（通信端末１０ｄｂ）のディスプレイ１２０に表示される。
【００９１】
＜表示データの送信動作＞
図１４は、外部入力装置４０が表示した表示データを、会議の相手である通信端末１０に表示させる処理を示したシーケンス図である。ここでは、通信端末１０ａａに接続されている外部入力装置４０ａａが表示している表示画面を、宛先端末である通信端末１０ｄｂに表示させる例を説明する。
【００９２】
前述したように、中継装置３０が決定されると、Ｓ６７−２１で通信管理システム５０
が送信した中継装置ＩＤ「１１１ａ」、宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を、通信端末１０ａａの送受信部１１が受信し、受信した中継装置ＩＤ「１１１ａ」、ＩＰアドレス「１．３．２．４」を記憶・読出処理部１９が記憶部１０００に記憶させる（ステップＳ６７−２２）。
【００９３】
また、外部入力装置４０ａａと通信端末１０ａａが互いに接続されると、外部入力装置４０ａａの接続検出部４２がそれを検知する（ステップＳ７０）。接続検出部４２が、外部入力装置４０ａａと通信端末１０ａａが互いに接続されたことを検知すると、インストール判定部４３ａは、表示データ共有アプリと描画アプリが既にインストールされているか否かを判定する（ステップＳ７１）。ステップＳ７１で表示データ共有アプリと描画アプリがインストールされていると判定された場合は、ステップＳ７４以降の処理に移る。
【００９４】
ステップＳ７１で、表示データ共有アプリと描画アプリがインストールされていないと判定された場合は、マウント部４８は通信端末１０の記憶部１０００を記憶部４０００にマウントする（ステップＳ７２）。
【００９５】
プログラム取得部４３ｂは、マウントした記憶部１０００に記憶されている表示データ共有アプリと描画アプリを取得しインストールする（ステップＳ７３）。
【００９６】
ステップＳ７３で、表示データ共有アプリと描画アプリがインストールされると、外部入力装置４０ａａは表示データ取得部４３ｃが処理を実行する許可を通信端末１０ａａに要求する（ステップＳ７４）。
【００９７】
通信端末１０ａａが外部入力装置４０ａａに対して、表示データ取得部４３ｃの処理の実行を許可すると、表示データ取得部４３ｃは表示データを取得する（ステップＳ７５）。ステップＳ７５の処理について詳細を後述する。
【００９８】
次に、表示データ送信部４３ｄが、表示データ取得部４３ｃが取得した表示データを通信端末１０ａａに対して送信する（ステップＳ７６）。
【００９９】
送信先の通信端末１０ａａの外部情報送受信部１８が表示データを受信すると、記憶・読出処理部１９が、記憶部１０００に記憶されている中継装置ＩＤ「１１１ａ」、宛先となる通信端末１０ｄｂのＩＰアドレス「１．３．２．４」を取得する（ステップＳ７７）。
【０１００】
そして、ステップＳ７７で取得された中継装置ＩＤ「１１１ａ」で示される中継装置３０に対して、表示データ制御部２２は送受信部１１を介して、表示データ、及び、宛先となる通信端末１０ｄｂのＩＰアドレス「１．３．２．４」を送信する（ステップＳ７８）。
【０１０１】
ステップＳ７８で通信端末１０ａａから送信された表示データを受信すると、中継装置３０は通信端末１０ｄｂのＩＰアドレス「１．３．２．４」に基づいて、表示データの品質を変更し（ステップＳ７９）、通信端末１０ｄｂに表示データを送信する（ステップＳ８０）。
【０１０２】
中継装置３０から送信された表示データを通信端末１０ｄｂの送受信部１１が受信すると、画像表示制御部１４ｂが表示させる。
【０１０３】
〔表示データの取得〕
ステップＳ７５における表示データの取得について説明する。ユーザが外部入力装置４０のポインティングデバイス（例えばマウス２１２）を操作するだけで、外部入力装置４０に接続されたディスプレイ２０８に表示される複数の領域のうち任意の領域をアクティブ領域に切り替えることができる。また、表示データ取得部４３ｃは、アクティブ領域の表示データを取得するので、通信端末１０は任意の領域を他の通信端末１０と共有しディスプレイ１２０に表示することが可能である。なお、ポインティングデバイスとは、主にマウス２１２をいうが、ディスプレイ２０８がタッチパネルを実装している場合は、ユーザの指先の位置を検出する機能がポインティングデバイスである。
【０１０４】
図１５（ａ）は外部入力装置４０ａａに接続されているディスプレイ２０８に表示されているデスクトップ画面の一例であり、図１５（ｂ）は通信端末１０ａａに接続されているディスプレイ１２０に表示される表示画面の一例である。
【０１０５】
外部入力装置４０ａａにインストールされた表示データ共有アプリの例えば表示制御部４７は、定常的に又はユーザが所定の操作を行うことで例えばデスクトップ画面の右下に共有設定受付ボタン３０１を表示させる。所定の操作は、例えば外部入力装置用プログラムのアイコンをクリック又はダブルクリックすること、該アイコンをマウスオーバーすることなどである。
【０１０６】
図１５のI（a）は、表示データの共有開始前であるため、共有設定受付ボタン３０１には「共有の開始」と表示されている。このため、Ｉ（ｂ）に示すように、ディスプレイ１２０には通信端末１０ａａと１０ｄｂの画像データのみが表示される。
【０１０７】
ユーザがポインティングデバイスで共有設定受付ボタン３０１をクリックすると、外部入力装置４０ａａのディスプレイ２０８ａａに表示されている表示データの共有が開始される。具体的には操作入力受付部４６が共有設定受付ボタン３０１の操作を検出して、表示データ取得部４３ｃが通信端末１０ａａに通知し、通信端末１０ａａの表示データ制御部２２が中継装置３０に通知する。中継装置３０から中継装置１０ａａに配信イベントが通知されることで、共有フラグが定まり「配置情報No」も定まる。また、共有フラグが定まると表示制御フラグも定まるので、表示データ制御部２２が表示制御フラグを外部入力装置４０に送信する。その後、外部入力装置４０ａａから通信端末１０ａａに、また、通信端末１０ａａから中継装置に、表示データがいったん送信され、中継装置３０から自端末を含む通信端末１０に表示データが配信される。画像表示制御部１４ｂは「配置情報No」に基づき表示データ、画像データを表示する。
【０１０８】
受信した表示制御フラグに応じて共有設定受付ボタン３０１の表記が変更される。すなわち、外部入力装置４０ａａのディスプレイ２０８に表示されている表示データが共有されている状態では、ＩＩ（ａ）に示すように「共有の停止」と表示される。
【０１０９】
表示データの共有時に、ユーザがポインティングデバイスで領域を選択しなかった場合、表示データ取得部は全体領域の表示データを取得する。このため、ＩＩ（ｂ）に示すように、ディスプレイ１２０には外部入力装置のディスプレイ２０８のデスクトップ画面が表示データとして領域Ａ２１に表示される。
【０１１０】
一方、ユーザがポインティングデバイスで領域を選択した場合、選択されたアクティブ領域が取り込まれて表示データが作成される。III（ａ）では領域（ａ）を選択したため、III（ｂ）に示すように、ディスプレイ１２０にはデスクトップ画面でアクティブ領域である領域（ａ）が表示データとして領域Ａ２１に表示される。
【０１１１】
III（ｂ）でユーザがポインティングデバイスで共有設定受付ボタン３０１をクリックすると配信イベントが発生し、外部入力装置４０ａａのディスプレイ２０８ａａに表示されている表示データを、通信端末１０ｄｂと共有することが停止される（中継装置が中継しなくなる）。また、共有設定受付ボタン３０１は「共有の開始」と表示されることになる。
【０１１２】
なお、通信システム１では、最後に「共有の開始」と表示された共有設定受付ボタン３０１をクリックした外部入力装置４０の全体領域又は領域の表示データが共有されるようになっている。したがって、ユーザｄｂが「共有の開始」が表示された共有設定受付ボタン３０１をクリックした場合、ユーザａａが「共有の停止」と表示された共有設定受付ボタン３０１をクリックしなくても、外部入力装置４０ａａのディスプレイ２０８に表示されている表示データの共有が自動的に停止する。
【０１１３】
図１６は、図１４のステップＳ７５において、表示データ取得部４３ｃが全体領域又は領域の表示データを取得する手順を示すフローチャート図の一例である。ユーザａａは、すでに図１５の「共有の開始」が表示された共有設定受付ボタン３０１をクリックしたものとする。
【０１１４】
操作入力受付部４６は、全体領域の選択を受け付けたか否かを判定する（Ｓ７５０１）。全体領域を選択するには、ユーザａａがポインティングデバイスでデスクトップ画面の領域以外の部分をクリックする。ＯＳはクリックされた位置を検出する。本実施例では、外部入力装置４０で動作しているＯＳが領域だけでなく全体領域を１つの領域として扱い、領域外のクリックが全体領域の選択操作となっている。つまり、デスクトップ画面の全体が１つの領域として扱われる。ＯＳには、画面全体(デスクトップ画面)を表す全体領域の指定を可能とするＡＰＩ（Application Program Interface）が定義されている。よって、ユーザがこの全体領域をポインティングデバイスで選択した場合、操作入力受付部４６がＡＰＩを介して全体領域の選択を検知し、全体領域を表示データとして共有することができる。なお、ＯＳによっては領域をオブジェクト（処理対象）と称し、位置や属性値、操作対象となっているか否か等を管理している。
【０１１５】
全体領域の選択を受け付けた場合（Ｓ７５０１のＹｅｓ）、表示データ取得部４３ｃはディスプレイ２０８に表示されているデスクトップ画面の全体を表示データとして取得して終了する（Ｓ７５０２）。
【０１１６】
全体領域の選択を受け付けない場合（Ｓ７５０１のＮｏ）、表示データ取得部４３ｃはアクティブな領域があるか否かを判定する（Ｓ７５０３）。この判定には、例えばＯＳの機能を利用する。例えばWindows（登録商標）ＡＰＩを利用した場合、アクティブな領域のハンドルを取得し、ハンドルの値がNULLでなければ、アクティブな領域があると判定する。なお、アクティブな領域とは、ユーザによる入力や操作対象となっている領域をいい、Windows（登録商標）やMac OS等ではアクティブウィンドウと呼ばれる。
【０１１７】
ユーザａａがアクティブな領域を閉じるなどして、アクティブな領域がなかった場合（Ｓ７５０３のＮｏ）、処理はステップＳ７５０２に進みデスクトップ画面の全体（すなわち全体領域）を表示データとして取得する。
【０１１８】
アクティブな領域があった場合（Ｓ７５０３のＹｅｓ）、表示データ取得部４３ｃは、表示制御部４７がディスプレイ２０８に表示させている表示データのうち、アクティブになっている領域の表示データを取得する（Ｓ７５０４）。この領域は、ステップＳ７５０３で取得したアクティブな領域のハンドルにより指定されているので、表示データ取得部４３ｃは、取得すべき領域の表示データを参照することができる。
【０１１９】
次に、表示データ取得部４３ｃは、取得した領域の幅又は高さが閾値より小さいか否かを判定する（Ｓ７５０５）。幅の閾値を例えば128ピクセル、高さの閾値を36ピクセルとする。この判定は、あまりに小さい領域の表示データは意味のある内容を有さないためと、後述するように解像度変換による拡大処理の処理負荷が増大してしまうためである。また、解像度の変換により拡大しても拡大率が大きすぎるため、ユーザｄｂが判別できない可能性が高い。拡大する領域のサイズの下限を決めておくことにより、通信端末１０ａａが表示データをレンダリングする際のＣＰＵの負荷を低減できる。
【０１２０】
領域の幅又は高さいずれかが閾値より小さい場合（Ｓ７５０５のＹｅｓ）、表示データ取得部４３ｃは現在の表示データの領域が閾値の幅×高さ(例えば128x36ピクセル)になるまで黒ピクセルを付加して終了する（Ｓ７５０６）。なお、黒ピクセルは以下のように配置する。まず、閾値の幅×高さの領域を用意し、この領域の左上コーナの位置が現在の表示データの左上コーナの位置と一致するように、現在の表示データを配置する。閾値の幅×高さの領域のうち、現在の表示データが配置されないピクセルを黒ピクセルとすればよい。なお、現在の表示データは、他の３個所（左下、右上、右下）のいずれかに配置してもよいし、幅または高さの中心位置に配置してもよい。また、付加するピクセルは黒ピクセルに限るものではなく、他の色にしても構わない。
【０１２１】
＜描画アプリの動作＞
図１７は、描画アプリの動作について説明する図の一例である。これまで説明したように、外部入力装置４０には描画アプリ７１と表示データ共有アプリ７２がインストールされている。また、キーフック用ＤＬＬ７３がインストールされている。
（１）まず、ユーザは表示データ共有アプリを起動する。インストールにより自動的に起動する場合は、起動操作は不要である。起動により、表示データ共有アプリのアイコンがタスクトレイに登録される。キーフック用ＤＬＬ７３は表示データ共有アプリの起動を契機に起動する。なお、ユーザは表示データ共有アプリを終了することもできる。
（２）描画アプリを使用したいユーザは描画アプリを起動させるため、起動操作が割り当てられたキーを押下する。図ではPrintScreenキーが描画アプリを起動させるキーとして割り当てられている。
【０１２２】
このようなユーザ操作の受付はいわゆるグローバルフックと呼ばれる手法を用いることで実現されている。
HHOOK SetWindowsHookEx(
int idHook,
HOOKPROC lpfn,
HINSTANCE hMod,
DWORD dwThreadId
);
この関数は、Windows（登録商標）が提供するグローバルフック関数である。第１引数のidHookは、フックタイプを指定するものであり、PrintScreenキーのイベントをフックする場合WH_KEYBOARDである。第２引数の lpfnは、フックプロシージャのアドレスが指定される。第３引数の hModには、フックプロシージャを実装するＤＬＬ（キーフック用ＤＬＬ）のハンドルが指定される。第４引数のdwThreadIdには全てのスレッドを指定するため 0が指定される。
【０１２３】
キーフック用ＤＬＬは、ユーザ操作を受け付けて描画アプリを制御する。任意のキー(例えば、PrintScreenキー)が押下された場合、表示データ共有アプリにPrintScreenキー)の押下を通知する。表示データ共有アプリは、描画アプリを起動する。キーフック用ＤＬＬは外部入力装置４０でアクティブな領域を検出して、その領域と同じサイズかつ位置に描画アプリを表示する。キーフック用ＤＬＬは、特許性請求の範囲のエリア形成手段の一例である。
【０１２４】
キーフック用ＤＬＬは、ユーザがPrintScreenキーを押下する毎にそれを表示データ共有アプリに通知し、キーフック用ＤＬＬはその度にアクティブな領域と同じサイズかつ位置に描画アプリを表示する。
【０１２５】
また、グローバルフックをPrintScreenキー以外に使用してもよく、例えば領域がアクティブになる毎に、予め作成しておいたフック用のＤＬＬが表示データ共有アプリに通知し、該ＤＬＬがその度にアクティブな領域と同じサイズかつ位置に描画アプリを表示することも可能である。
【０１２６】
また、領域ではなく描画アプリがマウスなどのユーザ操作によってアクティブになった際に、描画アプリが描画アプリを所定のサイズに表示することもできる。この場合、キーフック用ＤＬＬはなくてもよい。
【０１２７】
この他、表示データ共有アプリは描画アプリを最小化したり元に戻したりすることができる。表示データ共有アプリが終了すると、キーフック用ＤＬＬも終了する。また、描画アプリと表示データ共有アプリは別々である必要はなく、１つのアプリケーションとして提供されてもよい。
【０１２８】
図１８は、キーフック用ＤＬＬが描画アプリを制御する手順を示すフローチャート図の一例である。図１８の処理は、図１４のステップＳ７３の後に実行され、表示データ共有アプリが起動中に繰り返し実行される。また、図１８の処理と並行して、表示データの取得が行われている。
【０１２９】
描画アプリ制御部４５は、PrintScreenキーが押下されたという通知に対し、描画アプリが起動しているか否かを判定する（Ｓ７５−１）。
【０１３０】
描画アプリが起動していない場合（Ｓ７５−１のＮｏ）、表示データ共有アプリは描画アプリを起動する（Ｓ７５−２）。
【０１３１】
描画アプリが起動している場合（Ｓ７５−１のＹｅｓ）、描画アプリ制御部４５（キーフック用ＤＬＬ）は描画アプリを、アクティブな領域と同じ位置・サイズで表示する（Ｓ７５−３）。アクティブな領域は表示データと同様にＯＳから取得でき、領域の位置とサイズもＯＳから取得できる。これにより、ユーザは領域に重ねて直線、曲線、矩形、円、又はテキストを描画できる（Ｓ７５−４）。描画アプリの描画制御部４４ａは、ユーザが操作するマウス位置、矩形や円の描画命令、テキストの描画命令を受け付け、描画アプリの領域に表示する。
【０１３２】
また、ユーザが線種や太さ、色などを変更した場合、描画制御部４４ａは変更内容を受け付ける（Ｓ７５−５）。
【０１３３】
描画データ取得部４４ｂは、描画アプリが受け付けた描画内容を描画データとして取得する（Ｓ７５−６）。描画データは例えば点の座標の時系列データ又は点の集まりなどである。ただし、合成しやすいフォーマットに変更してもよい。
【０１３４】
合成部４４ｃは、表示データ取得部４３ｃが取得した表示データに描画データを合成する（Ｓ７５−７）。表示データと描画データはサイズ・位置が同じなので、原点を同じにすれば（例えば、左上コーナー）座標変換なしに合成できる。描画データは背景が透明なので、描画データの透明でない画素で、表示データの画素を置き換えればよい。合成後の表示データは、BITMAPデータのままでもよいが、JPEG/MJPEG/H.264/AVCなどで圧縮された静止画・動画に変換してもよい。
【０１３５】
＜描画アプリの機能＞
図１９（ａ）は、外部入力装置４０に接続されたディスプレイ２０８における描画アプリの動作を模式的に説明する図の一例である。描画アプリが作成する描画アプリの領域Ｅは背景が透明であり、点線で囲む範囲が描画アプリの領域である。なお、描画アプリの領域は透明なので、ユーザに描画アプリの領域の存在を把握させるため、描画アプリの領域の外縁に目視可能な線、点線、トンボ枠などを表示してもよい。
【０１３６】
図ではユーザが描画アプリの領域に三角形と「Ｇｏｏｄ！」と描画している。描画データ取得部４４ｂは三角形と「Ｇｏｏｄ！」を取得して描画データ１８０を作成する。
【０１３７】
描画アプリは、ペイント系のアプリケーションと同様に、ユーザ操作により線などの描画を受け付ける。図１９（ｂ）はツールバーの一例を示す図である。ツールバー１９１はマウスの右クリックなどで表示されるか又は常時表示されている。また、ツールバーと共にカラーパレット１９３及び線幅アイコン１９２が表示され、ユーザは任意の色を選択して選択した線幅（太さ）で、以下のような描画を行うことができる。
・マウスが左クリックされた状態でドラッグされると、マウスの軌跡の座標が時系列に取り込まれる。
・ツールバーからテキストを選択し、ユーザがテキストの入力モードを選択すると、ユーザがキーボードから入力したコードに対応する文字、数字、記号、アルファベットなどが指定されたフォントとサイズで描画される。この場合、テキストの点の座標が取り込まれる。
・ツールバーから基本図形を選択し、予め用意されている図形（円、矩形、多角形、矢印線、記号など）をユーザが指定すると、その図形を描画する。図形の点の座標が取り込まれる。
・ツールバーから塗りつぶしを選択し、図形を選択すると、図形内を塗りつぶすことができる。
・ツールバーからブラシを選択し、マウスが左クリックされた状態でドラッグされると、マウスの軌跡に沿ってブラシで描画した軌跡の座標が時系列に取り込まれる。
・ツールバーから領域選択を選択し、マウスで矩形領域を指定すると、矩形内の描画内容を選択できる。
・ツールバーから消しゴムを選択し、マウスですでに描画された描画内容を指定すると、指定した箇所の描画内容が消去される。
・ツールバーから全て消す、を選択すると、描画アプリの領域の描画内容が全て消去される。
【０１３８】
なお、描画アプリの領域は完全な透明（透過率１００％）である必要はなく、下側の領域を目視可能であればよい。例えば、ユーザが任意の透過率を指定することができようにしてもよいし、また、下側の領域を目視可能な程度の薄い色で着色してもよい。このようにしてユーザが描画アプリの領域を把握できる場合、枠線などは不要になる。
【０１３９】
＜領域と描画アプリの領域の関係＞
図２０（ａ）は別の領域に重畳された描画アプリの領域を示す図の一例である。ユーザが領域（ｂ）をマウスでクリックするなどして領域（ｂ）がアクティブ領域になった場合、描画アプリの領域も領域（ｂ）に移動する。移動する方法としては、
・ユーザがPrintScreenキーを押下し、それをキーフック用ＤＬＬが検知して、キーフック用ＤＬＬが描画アプリの領域を移動させる方法
・領域がアクティブになったことをキーフック用ＤＬＬが検知して、キーフック用ＤＬＬが描画アプリの領域を移動させる方法
・ユーザが描画アプリをアクティブにし、描画アプリがアクティブな領域に移動する方法などがある。
【０１４０】
このように、本実施例の外部入力装置４０は領域が複数ありそのサイズが様々でも、常にアクティブな領域と同じ位置・サイズで描画アプリの領域を重ねて表示することができる。
【０１４１】
なお、移動前の領域（ａ）において、ユーザが描画した内容は、ファイルとしてＨＤ２０４などに記憶される。したがって、ユーザは後から描画内容を開くことができる。また、ファイルとして保存する際は、領域の識別情報（例えば、領域のハンドル）と紐づけておくことが好ましい。これにより、再度、ユーザが領域（ａ）をアクティブにした場合、描画アプリはファイルを読み出して表示（再生）することができる。
【０１４２】
図２０（ｂ）は全体領域に重畳された描画アプリの領域を示す図の一例である。ユーザがアクティブな領域を選択しないか、又は、全体領域を選択した場合、描画アプリの領域が全体領域に拡大される。拡大する方法は、アクティブな領域に移動する場合と同じである。全体領域が選択されている場合は、描画アプリの領域も全体領域に重なるので、自動的に表示データと同じ領域を描画アプリの領域とすることができる。
【０１４３】
図２０（ｃ）はアクティブな領域よりも大きな描画アプリの領域の一例を示す図である。ユーザが領域の表示内容に関係するが領域内に描画したくない場合、ユーザは描画アプリの領域を拡大又は移動することができる。そして、領域と重複していない描画アプリの領域に文字等を描画する。このように、ユーザは領域のサイズ・位置とは異なるサイズ・位置に描画アプリの領域を変更でき、変更後の描画アプリの領域に描画された内容を取得することができる。
【０１４４】
なお、この場合、表示データと描画アプリの領域のサイズが異なると合成が困難になる。そこで、表示データ取得部４３ｃと描画データ取得部４４ｂはそれぞれワークスペースを設定する。表示データ取得部４３ｃは描画アプリから描画アプリの領域を取得し、描画アプリの領域とアクティブ領域を両方含む最小の矩形領域をワークスペースに設定する。図２０（ｃ）の例では、描画アプリの領域の左上頂点と、領域（ｂ）の右下頂点を対角とする矩形領域がワークスペースである。つまり、描画アプリの領域ＥとワークスペースＷが等しい。描画データ取得部４４ｂも同様にワークスペースを設定する。
【０１４５】
図２０（ｄ）は、アクティブ領域と描画アプリの領域のサイズが異なる別の一例を示す図である。図２０（ｃ）のようにユーザが描画アプリの領域を拡張するほか、キーフック用ＤＬＬが予めアクティブ領域と位置・サイズが異なる描画アプリの領域を作成してもよい。例えば、少し大きめの描画アプリの領域を作成しておくことが考えられる。この場合、描画データ取得部４４ｂはアクティブ領域外の描画内容を無視してもよい。無視する場合、描画データ取得部４４ｂは、描画アプリの領域とアクティブ領域の重複部分だけを取得するか、又は、合成部が描画データ１８０と表示データのうち重複部分だけを合成する。
【０１４６】
一方、図２０（ｃ）と同様に扱ってもよい。図２０（ｃ）と同様に扱う場合、表示データ取得部と描画データ取得部４４ｂは、同様に、描画アプリの領域とアクティブ領域を両方含む最小の矩形領域をワークスペースに設定する。
【０１４７】
ワークスペースＷの左上コーナを原点とする座標系に対し、描画データ取得部４４ｂは描画データ１８０を取得し、表示データ取得部は表示データを取得する。したがって、ワークスペースは描画アプリの領域より大きく、ワークスペースはアクティブ領域よりも大きい。描画データ１８０と表示データが合成されて作成される表示データはワークスペースのサイズとなる。したがって、アクティブ領域と描画アプリの領域のサイズが異なっていても、アクティブ領域内の表示データだけと、描画アプリの領域内の描画データ１８０だけを合成できる。
【０１４８】
このように、任意の位置・サイズのアクティブ領域に対し、描画アプリの領域を柔軟に形成して、アクティブ領域の表示データと描画データ１８０を合成することができる。
【０１４９】
図２１は、描画アプリの動作手順を示すシーケンス図の一例を示す。
S1：ユーザはテレビ会議の中で共有したい任意のアプリケーションが作成した領域をアクティブ領域に変更する。アクティブな領域でなく全体領域を選択する場合もある。
S2：ユーザが例えばPrintScreenキーを押下するとキーフック用ＤＬＬがそれを検知する。
S3：キーフック用ＤＬＬはPrintScreenキーの押下を表示データ共有アプリに通知する。これにより、描画アプリが起動していない場合、表示データ共有アプリは描画アプリを起動できる。
S4：キーフック用ＤＬＬは描画アプリにアクティブ領域を通知する。上記のように、描画アプリがアクティブにされたことを、PrintScreenキーの押下と見なす場合、描画アプリは領域の広さなどを属性として保持しているので、キーフック用ＤＬＬはなくてもよい。
S5：描画アプリは、直前に通知されていたアクティブ領域と今回のアクティブ領域を比較して（例えばハンドルを比較して）変化していると判定すると、領域の識別情報（例えばハンドル）に紐づけて描画内容を保存する。
S6：また、キーフック用ＤＬＬはアクティブ領域又は全体領域と同じ位置・サイズに描画アプリの領域を変更する。これにより、ユーザが変更したアクティブ領域に重ねて描画アプリの領域が生成される。
S7：描画アプリは今回アクティブになった領域の識別情報に紐づけて保存されている描画内容を再生する。
S8：描画アプリは描画を受け付ける。
S9：また、受け付けた描画内容を周期的に取得して描画データ１８０を作成する。
S10：ユーザが手動で描画アプリの領域を変更した。
S11：描画アプリは描画アプリの領域の変更を受け付け、変更後を位置・サイズを属性値から読み出す。
S12：描画アプリは変更後の描画アプリの領域を表示データ共有アプリに通知する。これにより、表示データ共有アプリと描画アプリは表示データ又は描画データ１８０を取得するワークスペースを設定できる。
【０１５０】
以上説明したように、本実施例の通信システムは、位置・サイズが任意のアクティブ領域に対し描画アプリの領域を柔軟に形成し、描画データ１８０と表示データを合成できる。
【実施例２】
【０１５１】
本実施例では、表示データだけでなく通信端末１０ａａのカメラが撮影した画像データに描画データ１８０を合成可能な通信システム１について説明する。
【０１５２】
図２２は、本実施形態の通信システムの概略動作を模式的に説明する図の一例である。全体的な構成は実施例１と同様なので本実施例の主要部について主に説明する場合がある。
（１）ユーザａａは外部入力装置４０ａａを操作してディスプレイ２０８ａａに領域ａ、領域ｂを表示している。
（２）ユーザａａは描画アプリを起動させることができる。描画アプリの領域は以下のように設定される。
・表示データを共有している場合は実施例１と同様にアクティブ領域と同じサイズ・同じ位置に配置される。
・表示データを共有していない場合は、例えば画面中央や全体領域と同じサイズで配置される。
（３）表示データを共有している場合は、外部入力装置４０ａａはアクティブ領域の表示データを取り込んで通信端末１０ａａに送信する。また、表示データを共有しているか否かに関係なく、外部入力装置４０ａａは描画アプリの領域を取り込んで描画データ１８０を通信端末１０ａａに送信する。
（４）通信端末１０ａａは、表示データを共有している場合は、表示データに描画データ１８０を上書きして通信端末１０ｄｂに送信する。表示データを共有していない場合は、画像データに描画データ１８０を上書きして通信端末１０ｄｂに送信する。すなわち、本実施例では通信端末１０ａａが合成処理を行う。
（５）通信端末１０ａａは、表示データを共有している場合は表示データを領域Ａ２１に、通信端末１０ａａのカメラが撮影した画像データを領域Ａ２３に、通信端末１０ｄｂのカメラが撮影した画像データを領域Ａ２２にそれぞれ表示する。表示データを共有していない場合は、描画データ１８０と合成された画像データを領域Ａ２１に、通信端末１０ｄｂのカメラが撮影した画像データを領域Ａ２１にそれぞれ表示する。
【０１５３】
このように、本実施例の外部入力装置４０ａａは、表示データだけでなく、カメラが撮影した画像データに描画データ１８０を上書きすることができる。例えば、通信端末のカメラで撮影したプリント基板などの構造が複雑な対象物に、外部入力装置から多様な線などを使って注目してほしい個所を指摘できる。
【０１５４】
図２３は、本実施例の通信システム１の一部を構成する通信端末１０、通信管理システム５０及び外部入力装置４０の機能ブロック図である。本実施例は、通信端末１０が合成部４４ｃを有している。通信端末１０の合成部４４ｃは、配置管理テーブルの共有フラグが「SHARED」か否かに応じて、描画データ１８０を表示データ又は撮像部１４ｂが撮影した画像データに合成する。
【０１５５】
図２４は、描画データ１８０の保存形式一例を説明する図である。「線種」は新規、続き、消去、全消去、などがある。新規はつながる他の線がない新しい線を示し、続きは直前の線とつながっている線を示す。消去は線が消去されたことを示す。全消去は描画アプリの領域全ての線が消去されたことを示す。線種３の図の例では、その操作を線番号７として開始線番号５，終了線番号６が消去された線番号として指定されている。線種４の図の例では、その操作を線番号８として開始線番号５，終了線番号６が消去された線番号として指定されている。
【０１５６】
「線番号」は、表示データの共有開始時に、最初に描画された線の番号を１番にして、以降、１つずつ増加する連番が割り振られる。「Ｘ絶対座標」「Ｙ絶対座標」は、描画アプリの領域におけるＸＹ座標であり、描画アプリの領域の左上を原点(0,0)として右下頂点を(Xmax , Ymax)とする。単位はピクセルである。
【０１５７】
「X相対座標」「Ｙ相対座標」は、外部入力装置のディスプレイ２０８ｃの画面解像度に対する相対座標で、ディスプレイ２０８の右下頂点を指すときに(1.000, 1.000)となる。「ペン種」は、ブラシ、ペン、マーカなど描画する線のスタイルを表している。「ペン幅」は、線の太さを表す。「色」はペンの色を表している。このような描画データ１８０が外部入力装置４０から通信端末１０に送信される。
【０１５８】
図２５は、描画データ１８０と画像データの合成について説明する図の一例である。図２５（ａ）は描画アプリの領域の解像度を、図２５（ｂ）はカメラの画像データの解像度を、それぞれ示す。本実施例のキーフック用ＤＬＬは実施例１と同様に描画アプリの領域を作成するが、表示データと合成しない場合、アクティブ領域と同じ位置・サイズでなくてもよい。例えば、ディスプレイ２０８の中央に、カメラの解像度と同じ解像度の描画アプリの領域を作成してもよいし、全体領域を描画アプリの領域としてもよい。また、表示データを目視しなくてもよいので、透明でなくてもよい。
【０１５９】
合成部４４ｃは、描画データ１８０と画像データとを合成する場合、描画アプリの領域の全体が画像データの全体と一致するように合成する。
【０１６０】
描画アプリの領域の左上頂点を原点（０，０）、描画アプリの領域の解像度をｘｐ、ｙｐ、画像データの解像度をｘｇ、ｙｇ、とすると、マウス座標（ｘｍ、ｙｍ）の画像データにおける位置は（ｘｍ´、ｙｍ´）は以下のように算出できる。
ｘｍ´＝  ｘｇ×（ｘｍ／ｘｐ）
ｙｍ´＝  ｙｇ×（ｙｍ／ｙｐ）
カメラの画像データにはマウス位置を常時、表示しておくことが好ましいため、描画データ取得部４４ｂはマウス座標（ｘｍ、ｙｍ）を描画データ１８０とは別に通信端末１０に送信する。通信端末１０の合成部４４ｃは、予め記憶しているマウスポインタの画像データを、（ｘｍ´、ｙｍ´）に表示する。これにより、ディスプレイ１２０において画像データにマウスの位置を表示できる。画像データには基板などが撮影されているので、ユーザはマウスが基板などのどの場所を指しているかを判断できる。
【０１６１】
描画データ１８０と合成する場合、図２４で説明したように、描画データ１８０には「Ｘ絶対座標」「Ｙ絶対座標」が含まれているので、以下のようにして描画データ１８０を画像データの座標系に変換できる。
変換後Ｘ座標＝ｘｇ×「Ｘ絶対座標／ｘｐ」
変換後Ｙ座標＝ｙｇ×「Ｙ絶対座標／ｙｐ」
合成部４４ｃは、このようにして変換した描画データ１８０を画像データに上書きすることで合成する。
【０１６２】
図２６は、通信端末１０の動作手順を示すフローチャート図の一例である。図２６は図１４のステップＳ７７の後に実行される。
【０１６３】
まず、合成部４４ｃは、描画データ１８０を、カメラの画像データと合成する、表示データと合成するか決定するため、配置情報管理テーブル２３の共有フラグを取得する（Ｓ７７−１）。共有フラグが「ＵＮＳＨＡＲＥＤ」であれば画像データと合成し、共有フラグが「ＳＨＡＲＥＤ」であれば外部入力装置４０の表示データと合成する。また、外部入力装置の表示データ共有アプリのメニューや通信端末のボタンやメニューから、画像データと表示データのどちらと共有するかを選択できてもよい。この場合、共有フラグを取得するのでなく、設定状態に応じてフローを分岐させる。
【０１６４】
共有フラグが「ＳＨＡＲＥＤ」の場合、通信端末１０の外部情報送受信部１８は、外部入力装置４０から送信される描画データ１８０を取得する（Ｓ７７−２）。描画データ１８０の共有中は描画データ１８０は全て記憶されている。
【０１６５】
次に、通信端末１０の外部情報送受信部１８は、外部入力装置４０から送信される表示データを取得する（Ｓ７７−３）。表示データは、BITMAPでもよく、JPEGなど圧縮されたデータでもよい。
【０１６６】
合成部４４ｃは、Ｓ７７−２で取得した描画データ１８０と、Ｓ７７−３で取得した表示データとを合成する（Ｓ７７−４）。描画データ１８０と表示データは同じサイズなので、合成する際の描画データ１８０の座標系は絶対座標でよい。また、表示データと描画データ１８０のサイズが異なっている場合、相対座標系を使ってもよい。
【０１６７】
通信端末１０の送受信部は、描画データ１８０を合成した表示データを中継装置に送信する（Ｓ７７−５）。
【０１６８】
一方、共有フラグが「ＵＮＳＨＡＲＥＤ」の場合、通信端末１０の外部情報送受信部１８は、外部入力装置４０から送信される描画データ１８０を取得する（Ｓ７７−６）。描画データ１８０の共有中は描画データ１８０は全て記憶されている。
【０１６９】
次に、撮像部１４ａは、カメラが撮影した画像データを取得する（Ｓ７７−７）。表示データは、BITMAPでもよく、JPEGなど圧縮されたデータでもよい。
【０１７０】
合成部４４ｃは、Ｓ７７−６で取得した描画データ１８０と、Ｓ７７−７で取得した画像データとを合成する（Ｓ７７−８）。画像データと描画データ１８０のサイズが異なっている場合、描画データ１８０の相対座標系を使う。
【０１７１】
通信端末１０の送受信部１１は、描画データ１８０を合成した画像データを中継装置に送信する（Ｓ７７−９）。
【０１７２】
合成部４４ｃは、表示データ又は画像データの共有が終了したか否かを判定する（Ｓ７７−１０）。共有中はステップＳ７７−１にループする。共有が終了した場合、合成を終了する。
【０１７３】
以上説明したように、本実施例の通信システムは、表示データ又は画像データのどちらが共有されているかを判定し、描画データ１８０の合成先を切り替えることができる。また、カメラで撮影された画像に、外部入力装置で描画された描画データ１８０を合成できる。
【実施例３】
【０１７４】
実施例１，２にて説明したように、ユーザが領域又は全体領域の表示データを目視できるように、描画アプリが領域Ｅの背景を透明にして表示する場合がある。描画アプリの領域Ｅが透明であるとユーザは描画してよいか否か、又は、どこに描画すべきかを把握しにくい場合がある。そこで、本実施例では、ユーザに描画アプリの領域Ｅの存在を把握させるため、描画アプリの領域を示す目視可能な枠線を表示する外部入力装置４０について説明する。
【０１７５】
〔枠線の表示例〕
図２７は、外部入力装置４０に接続されたディスプレイ２０８における描画アプリの表示例を説明する図の一例である。図２７（ａ）では、領域（ｂ）がアクティブ領域になっているため、領域（ｂ）に枠線１９４が表示されている。枠線１９４は描画アプリの領域Ｅを囲むように形成されるため、描画アプリの領域Ｅと接して（領域Ｅの点線は表示されないが）領域Ｅの外側に形成される。
【０１７６】
図２７（ｂ）では、全体領域に枠線１９４が表示されている。全体領域よりも外側に枠線１９４を形成することは困難なので、枠線１９４は描画アプリの領域Ｅと接して領域Ｅの内側に形成される。または、描画アプリの領域Ｅを全体領域よりも枠線１９４の太さ分だけ小さくして、枠線１９４を領域Ｅと接して領域Ｅの外側に形成してもよい。
【０１７７】
図２７（ｃ）では、アクティブな領域（ｂ）よりも大きい描画アプリの領域Ｅを囲む枠線１９４が表示されている。枠線１９４は描画アプリの領域Ｅと接して領域Ｅの外側に形成されている。図２７（ｃ）のように、領域よりも描画アプリの領域Ｅの方が大きい任意の大きさの場合でも、ユーザは枠線１９４により領域Ｅを容易に判別できる。
【０１７８】
このように、描画アプリの領域Ｅに目視可能な枠線１９４が表示されるので、ユーザは描画アプリの場所を直ちに認識できる。
【０１７９】
なお、枠線１９４の位置は表示データの見やすさなどを考慮して適宜設計可能である。例えば、描画アプリの領域Ｅの外縁と重畳して形成されてもよいし、描画アプリの領域Ｅの内側に形成されてもよい。
【０１８０】
また、枠線１９４の色、透明度、線種（実線、点線、破線）、及び、太さなどの枠線の属性は予め設定されていてもよいし、ユーザが任意の属性を選択可能としてもよい。
【０１８１】
ところで、外部入力装置４０が枠線１９４を形成すると、枠線１９４が領域又は全体領域の表示データと重なってしまい、わずかであるが領域又は全体領域の表示データが覆い隠されてしまう。そこで、本実施例では、枠線１９４を表示するだけでなく、枠線１９４を表示することで表示データが覆い隠されることを抑制する方法についても説明する。
【０１８２】
〔枠線の形成、取り込み〕
外部入力装置４０の機能ブロック図は図６（又は図２３）と同様であるが、いくつかの機能が異なっている。まず、本実施例の外部入力装置４０の描画アプリ制御部４５は、透明な描画アプリの領域Ｅだけでなく、枠線１９４を表示する。また、描画データ取得部４４ｂは、描画アプリの領域の描画内容だけを取り込んで描画データ１８０を作成する。合成部４４ｃは、枠線１９４は合成することなく、表示データに描画データ１８０を合成することで、図形等が書き込まれた表示データを作成する。
【０１８３】
図２８は、枠線１９４の表示と合成について説明する図の一例である。図２８（ａ）は、外部入力装置４０のディスプレイ２０８に表示された領域又は全体領域の一例を示す。この領域には、
(i)  描画アプリの領域E
(ii)  枠線１９４を備えた透明領域
(iii)  表示データが表示される領域
の３つの領域が重畳されている。
【０１８４】
(ii)のように目視可能な枠線１９４だけでなく枠線１９４を備えた透明領域を形成することで、枠線１９４も領域として扱うことができる。
【０１８５】
描画アプリが起動された場合、描画アプリ制御部４５は、ユーザの視線方向から順番に、(i)(ii)の順に領域Ｅと透明領域を表示する。表示データの領域は視線方向から最も奥側である。(i)の領域Ｅを最も前面に表示することでユーザは描画内容を描画できる。また、(ii)の透明領域を、(iii)表示データが表示される領域よりも手前に表示することで、枠線１９４が表示データに隠れて見えなくなることを防止できる。
【０１８６】
図２８（ｂ）は、描画データ１８０と表示データの合成について説明する図の一例である。描画データ取得部４４ｂは描画アプリの領域Eの描画内容から描画データ１８０を作成する。合成部４４ｃは、描画データ１８０と表示データのみを合成する。これにより、外部入力装置４０が通信端末１０ａａに送信する表示データには枠線１９４が含まれないので、他の通信端末１０ｄｂがディスプレイ１２０に表示する表示データに枠線１９４が表示されない。したがって、枠線１９４に表示データが隠れて見えにくくなることを抑制できる。また、描画アプリのユーザが描画できるか否かを把握していればよいので、該ユーザが表示データを共有している通信相手に枠線を見せる必要性は低い。
【０１８７】
なお、描画アプリの領域Eに枠線１９４を追加しても、目視可能な枠線１９４を表示できるが、この場合、合成時に枠線１９４だけを合成対象から除外する処理が必要になる。これに対し本実施例では(ii)枠線１９４を備えた透明領域を１つの領域として作成することで、合成時に透明領域を合成しないだけでよいので処理負荷を低減できる。
【０１８８】
〔動作手順〕
図２９は、キーフック用ＤＬＬが描画アプリを制御する手順を示すフローチャート図の一例である。図２９では本実施例の主要なステップの処理について説明する。ステップＳ７５−１〜Ｓ７５−３については図１８と同様である。
【０１８９】
ステップＳ７５−３で描画アプリ制御部４５が描画アプリを表示すると、描画アプリ制御部４５は枠線１９４を備えた透明領域を、描画アプリの奥側に表示する（Ｓ７５−３−１）。すなわち、描画アプリがアクティブになることで枠線１９４を備えた透明領域も表示される。
【０１９０】
ステップＳ７５−４〜Ｓ７５−６については図１８と同様である。そして、合成部４４ｃは、表示データ取得部４３ｃが取得した表示データに描画データ１８０を合成する（Ｓ７５−７）。この場合、合成部４４ｃは枠線１９４を備えた透明領域を合成しない。
【０１９１】
したがって、本実施例の外部入力装置４０は、描画アプリがアクティブである場合は、目視可能な枠線１９４が表示されるので、ユーザは描画アプリがアクティブであるか非アクティブであるかを直ちに認識できる。また、通信端末１０ｄｂに送信される表示データは枠線１９４を備えた透明領域が合成されていないので、描画データ１８０や表示データが見えにくくなることを抑制できる。
【０１９２】
〔枠線を備えた透明領域を表示した場合の透過率〕
図２８（ａ）ではユーザの視点側から見て(i)(ii)(iii)の３つのウィンドウが表示されている。また、枠線を備えた透明領域の透過率を例えば１００％とすることでユーザは枠線を備えた透明領域を意識することなく、描画アプリに描画できる。
【０１９３】
しかしながら、枠線を備えた透明領域の透過率、及び、描画アプリの透過率が共に１００％で、表示データの透過率が100%（一部でも100%の領域がある）の場合に、表示データの背後にウィンドウが重なっている場合がある。
【０１９４】
図３０（ａ）は描画アプリの領域Ｅ、枠線を備えた透明領域、表示データ、及び、表示データの背後のウィンドウを模式的に示す図の一例である。この場合に、ユーザが(i)(ii)(iii)の全てで透過率100％の領域をクリックすると、(iv)背後のウィンドウが選択されるので、合成対象となる描画領域が変更されてしまう。
【０１９５】
また、当然ながら、(ii)枠線を備えた透明領域がなく、(i)描画アプリの領域Ｅと(iii)表示データと(iv)背後のウィンドウが重なっている場合も、(i)描画アプリの領域Ｅと(iii)表示データの透過率が100%の場合、(iv)背後のウィンドウが選択されてしまう。
【０１９６】
したがって、枠線を備えた透明領域を形成し、枠線を備えた透明領域の透明度は100％未満の透明に近い値（例えば、99.6％）に設定することが好ましい。100％未満とすることで、(iv)背後のウィンドウが選択されることを防止できる。なお、枠線を備えた透明領域の透明度は、例えば99.6％に限定されるものではなく、ユーザが透明と見なせる透明度（例えば90〜99.9%）のうち、(iv)背後のウィンドウが選択されない透明度から選択可能である（例えば、(iv)背後のウィンドウが選択されない透明度のうち最も高い透明度を選択する）。
【０１９７】
枠線を備えた透明領域のサイズは、描画アプリの領域Ｅと同じか、枠線分だけ大きいサイズであることが好ましいが、描画アプリの領域Ｅより大きくてもよい。
【０１９８】
また、図３０（ｂ）に示すように、(i)〜(iii)のウィンドウの重畳順は、ユーザの視点側から見て(ii)(i)(iii)の順番でもよい。この場合、ユーザは(ii)枠線を備えた透明領域に文字などを描画するので、描画アプリは描画データ１８０を取得できない。そこで、(ii)枠線を備えた透明領域のウィンドウは、マウスや指先などのポインタの軌跡（時系列の座標データ）を描画アプリに通知する。描画アプリは座標データを受信して、描画アプリが(i)描画アプリの領域Ｅのウィンドウに描画する。なお、ウィンドウ間の通信は、ＯＳが提供するプロセス間通信の仕組みを利用すればよく、ウィンドウ間で座標データ（軌跡）を送受信できる。枠線を備えた透明領域のウィンドウと描画アプリの領域のウィンドウとが、描画アプリにより作成されていてもよい。
【０１９９】
枠線が不要であれば、図３０（ｃ）に示すように、描画アプリ制御部４５は(ii)´枠線を備えていない透明領域を形成する。そしてこの透明領域の透明度を100％未満の透明度に設定する。図３０（ｃ）においても、(i) 描画アプリの領域Ｅの方が(ii)´枠線を備えていない透明領域よりも視点側に配置されてよい。
【０２００】
なお、(iv)背後のウィンドウが選択されてしまうという不都合は、特定のＯＳが作成するＵＩで生じやすい。特定のＯＳは、例えばAero UIがＯＦＦにされたWindows（登録商標）や、比較的、視覚効果の小さいＵＩを採用しているWindows（登録商標） XPのようなＯＳである。
【０２０１】
以上のように、枠線を備えた透明領域の透過率を適切に設定することで、特定のＯＳ上で描画アプリを動作させても、表示データの背後のウィンドウが選択されることなく、ユーザは確実に現在、選択されているウィンドウ（描画アプリのウィンドウ又は枠線を備えた透明領域のウィンドウ）に描画することができる。
【実施例４】
【０２０２】
本実施例では、視覚的効果のあるＵＩを作成するＯＳにおいて、ユーザが意図する描画データを取得可能な外部入力装置４０について説明する。
【０２０３】
図３１は、描画データの取得時の不都合を説明する図の一例である。図３１では、表示データに枠線を備えた透明領域と描画アプリの領域Ｅが重畳している。ユーザは描画アプリにより○印４０１、矢印４０２、及び、OKという文字４０３を描画した。描画した内容は描画データ取得部４４ｂにより取得され表示データと合成されて、通信相手の通信端末１０に送信される。
【０２０４】
しかし、表示データとの合成とは別にユーザが描画データを保存しておきたい場合がある。このような要請に備え、描画アプリは操作メニュー４０４を表示できる。ユーザが例えば右クリックすると描画アプリは描画アプリの操作メニュー４０４を表示する。操作メニュー４０４には、例えば「線の変更」「線の消去」「名前をつけて保存」「メモモード終了」「描画アプリの終了」などが表示される。ここで、ユーザが「名前をつけて保存」を選択すると、描画アプリは描画データ（○印４０１、矢印４０２、及び、OKという文字４０３）を保存する。
【０２０５】
描画アプリは、「名前をつけて保存」というユーザ操作を受け付けて描画データを保存するが、視覚的効果のあるＵＩを作成するＯＳは操作メニュー４０４を消去する際に、操作メニュー４０４を徐々に薄くする。このため、描画アプリが取得する描画データと共に消去途中の操作メニュー４０４も含まれてしまい、ユーザが所望する描画データとならない場合がある。
【０２０６】
そこで、本実施例では、ユーザが右クリックして操作メニュー４０４を表示させた時点の描画データを描画アプリが取り込むことで、消去途中の操作メニュー４０４が含まれることを抑制する。
【０２０７】
図３２は、描画アプリが描画データを保存する手順を示すフローチャート図の一例である。図３２は、描画アプリの起動中に、上記不都合を回避して描画データを保存するために実行される手順である。
【０２０８】
操作入力受付部４６は右クリックが押下されたか否かを判定する（Ｓ４−１）。右クリックを検出するのは操作メニュー４０４を表示するための操作だからであり、操作メニュー４０４を表示する操作が他にあれば該操作が検出される。例えば、キーボードの所定のキー(例えばCtrlキー+Ｓキー）に保存機能を割り当てられている場合、これらのキーの押下が検出される。
【０２０９】
右クリックが検出された場合（Ｓ４−１のＹｅｓ）、操作メニュー４０４を表示する前に、描画データ取得部４４ｂは描画アプリの領域Ｅに描画された描画データを取得する。描画データは記憶部４０００に一時的に保存される（Ｓ４−２）。
【０２１０】
そして、描画アプリは操作メニュー４０４を表示する（Ｓ４−３）。したがって、操作メニュー４０４が写っていない描画データを保存できる。
【０２１１】
操作入力受付部４６は、「名前をつけて保存」が選択されたか否かを判定する（Ｓ４−４）。
【０２１２】
そして、「名前をつけて保存」が選択された場合（Ｓ４−４のＹｅｓ）、描画データ取得部４４ｂは保存処理を行う（Ｓ４−５）。保存処理は、例えば、ファイル名を付与するためのＵＩを表示する処理である。ユーザがファイル名を付与すると、記憶部４０００に記憶されている描画データにファイル名が付与され、ユーザが指定するフォルダに保存される。描画データと表示データは合成されて表示されるので、合成した状態で保存することでディスプレイ２０８ａａへの表示処理が容易になる。また、描画データは表示データとは別に保存されてもよい。
【０２１３】
したがって、本実施例の外部入力装置４０によれば、視覚的効果のあるＵＩを作成するＯＳ上で動作する描画アプリが描画データを取得しても、操作メニュー４０４が写りこまない描画データを取得できる。
【符号の説明】
【０２１４】
１  通信システム
２  通信ネットワーク
１０（１０ａａ，…，１０ｄｂ）  通信端末
３０（３０ａ，…，３０ｄ）  中継装置
４０（４０ａａ，…，４０ｄｂ）  外部入力装置
４１    端末通信部
４２    接続検出部
４３ａ  インストール判定部
４３ｂ  プログラム取得部
４３ｃ  表示データ取得部
４３ｄ  表示データ送信部
４４ａ  描画制御部
４４ｂ  描画データ取得部
４４ｃ  合成部
４５    描画アプリ制御部
４６    操作入力受付部
４７    表示制御部
４８    マウント部
５０    通信管理システム
１２０，２０８ディスプレイ
【先行技術文献】
【特許文献】
【０２１５】
【特許文献１】特開2011-254453号公報
【特許文献２】特開2010-251919号公報
【図１】
2015097070.tif 000003
【図２】
2015097070.tif 000004
【図３】
2015097070.tif 000005
【図４】
2015097070.tif 000006
【図５】
2015097070.tif 000007
【図６】
2015097070.tif 000008
【図７】
2015097070.tif 000009
【図８】
2015097070.tif 000010
【図９】
2015097070.tif 000011
【図１０】
2015097070.tif 000012
【図１１】
2015097070.tif 000013
【図１２】
2015097070.tif 000014
【図１３】
2015097070.tif 000015
【図１４】
2015097070.tif 000016
【図１５】
2015097070.tif 000017
【図１６】
2015097070.tif 000018
【図１７】
2015097070.tif 000019
【図１８】
2015097070.tif 000020
【図２０】
2015097070.tif 000021
【図２１】
2015097070.tif 000022
【図２２】
2015097070.tif 000023
【図２３】
2015097070.tif 000024
【図２４】
2015097070.tif 000025
【図２５】
2015097070.tif 000026
【図２６】
2015097070.tif 000027
【図２７】
2015097070.tif 000028
【図２９】
2015097070.tif 000029
【図３０】
2015097070.tif 000030
【図３１】
2015097070.tif 000031
【図３２】
2015097070.tif 000032
【図３３】
2015097070.tif 000033
【図１９】
2015097070.tif 000034
【図２８】
2015097070.tif 000035