(57)【要約】【課題】複数の情報端末の間で映像を共有できるほか、表示画面中の指定部分を複数の情報端末の間で共有できるようにした情報共有システムを提供すること。【解決手段】複数の情報端末がネットワークを介して互いに通信可能に接続されていて、情報端末１ａは、当該情報端末１ａ側の表示装置７ａ上のカーソルを情報端末１ａの入力装置５ａで動かすと、このカーソルの動作情報をネットワーク３を介して情報端末１ｂに配信し、情報端末１ｂはネットワーク３を介して送られてくるカーソル情報を受信すると、当該カーソル情報を基に、当該情報端末１ｂの再生画面上にカーソル画像を合成して表示できるようにし、かつ当該映像情報とカーソル情報とを記録装置に記録保存する。【選択図】図１
2007249695.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報端末がネットワークを介して互いに通信可能に接続されていて、
一方の情報端末は、当該一方の情報端末側の撮像装置により撮影した映像データを前記ネットワークを介して他方の情報端末に配信する手段を備え、
他方の情報端末は、前記ネットワークから送られてくる映像データを受信したときには、当該他方の情報端末側の表示装置に映像を表示させる手段を備えた情報共有システムであって、
前記一方の情報端末は、前記一方の情報端末側の表示装置上のカーソルを入力装置で動かすと、このカーソル情報を前記ネットワークを介して他方の情報端末に配信する手段を備え、
前記他方の情報端末は、前記ネットワークを介して送られてくるカーソル情報を受信すると、当該カーソル情報を基に、当該他方の情報端末の再生画面上にカーソル画像を合成して表示できる手段と、当該映像情報とカーソル情報とを記録装置に記録保存する手段とを備えたことを特徴とする情報共有システム。
【請求項２】
前記一方の情報端末は、撮像装置から取り込んだビットマップ情報をエンコードで圧縮して映像データとし、当該映像データを前記ネットワークを介して他方の情報端末に配信する手段を備え、
前記他方の情報端末は、ネットワークを介して送られてくる映像データを受信したときには、当該映像データをデコードで元のビットマップ情報に戻すことができる手段を備えたことを特徴とする請求項１記載の情報共有システム。
【請求項３】
前記一方の情報端末は、入力装置から入力されるカーソルの位置情報を映像上で監視し、当該映像上でカーソルの位置情報に変化があったときは、カーソル位置の座標情報を取得し、ネットワークを介して他方の情報端末にこのカーソル情報を配信し、
前記他方の情報端末は、ネットワークを介してカーソル情報を受信すると、当該カーソル情報に基づいて、時刻、座標、形状、色のカーソル画像を生成し、前記ビットマップの画像に重ねた画像を合成してから表示装置に表示することを特徴とする請求項１記載の情報共有システム。
【請求項４】
前記一方の情報端末は、共有カーソル設定では、カーソルの形状やサイズ、色などを設定する手段と、前記手段で設定した共有カーソル設定情報をネットワークを介して他方の情報端末に送出する手段とを備え、
前記他方の情報端末は、前記ネットワークを介して得た共有カーソル設定情報を基にカーソル表示属性を変更指示する手段と、前記手段からの指示により前記カーソルの表示様態を変更する手段とを備えたことを特徴とする情報共有システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して互いに通信可能に接続された複数の情報端末において、一方の情報端末で取得した映像、画像、音などのマルチメディア・コンテンツやその他の情報を、他方の情報端末でも共有できるようにした情報共有システムに関するものである。
【背景技術】
【０００２】
この種の情報共有システムとは、ネットワークを介して互いに通信可能に接続されている複数の情報端末側の表示装置の画面で、同じ情報を同期して表示できるシステムであって、任意の時刻に前記情報を前記画面に再生表示させるためのスケジュール情報を作成した情報端末から他の情報端末に、当該スケジュール情報をネットワークを介して配信し、前記スケジュール情報を受信した情報端末により、予め記録しておいた情報の中から前記スケジュールにしたがって当該情報を再生し、前記情報の再生時に特殊再生を実行した情報端末から、当該特殊再生の操作情報を前記ネットワークを介して他の情報端末に配信し、前記操作情報を受信した情報端末により、当該操作情報に基づいて当該操作情報を発信した情報端末と同じ種類の特殊再生を行うようにしたものである（特許文献１参照）。
【０００３】
上述した従来の情報共有システムによれば、スケジュールにしたがって当該情報を再生したときに、その再生した側の情報端末の特殊な操作情報を他の情報端末に送り、特殊な操作情報を受信した情報端末でも、その操作情報に基づいて再生を行うというものである。
【特許文献１】特開２００２−２１８２７７公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された情報共有システムで予定している特殊な操作とは、例えば早送り、巻き戻し、一時停止、再スタート等の操作のことを指したものであって、その他の操作を予期したものではなく、遠隔地にいるもの同士で特定の場所の指定等をしようとするには使用できないものであった。
すなわち、上記特許文献１に記載された情報共有システムでは、上述したように動作するものであるため、例えば機械の修理を現場と遠隔地とに分かれて行う場合、現場の様子や機械の動作確認を、異なる場所にいるユーザ同士で映像でリアルタイムに共有することができないほか、操作情報が特殊なものであるために、リアルタイム映像の中の指定したい部分を指定することができず、コミュニケーションの質が悪化してしまうという不都合があった。
【０００５】
本発明は、上述した従来技術の不都合を解消し、複数の情報端末の間で映像を共有できるほか、表示画面中の指定部分を複数の情報端末の間で共有できるようにした情報共有システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１記載の情報共有システムは、複数の情報端末がネットワークを介して互いに通信可能に接続されていて、一方の情報端末は、当該一方の情報端末側の撮像装置により撮影した映像データを前記ネットワークを介して他方の情報端末に配信する手段を備え、他方の情報端末は、前記ネットワークから送られてくる映像データを受信したときには、当該他方の情報端末側の表示装置に映像を表示させる手段を備えた情報共有システムであって、前記一方の情報端末は、前記一方の情報端末側の表示装置上のカーソルを入力装置で動かすと、このカーソル情報を前記ネットワークを介して他方の情報端末に配信する手段を備え、前記他方の情報端末は、前記ネットワークを介して送られてくるカーソル情報を受信すると、当該カーソル情報を基に、当該他方の情報端末の再生画面上にカーソル画像を合成して表示できる手段と、当該映像情報とカーソル情報とを記録装置に記録保存する手段とを備えたことを特徴とする。
請求項２記載の情報共有システムでは、請求項１において、前記一方の情報端末は、撮像装置から取り込んだビットマップ情報をエンコードで圧縮して映像データとし、当該映像データを前記ネットワークを介して他方の情報端末に配信する手段を備え、前記他方の情報端末は、ネットワークを介して送られてくる映像データを受信したときには、当該映像データをデコードで元のビットマップ情報に戻すことができる手段を備えたことを特徴とする。
請求項３記載の情報共有システムでは、請求項１において、前記一方の情報端末は、入力装置から入力されるカーソルの位置情報を映像上で監視し、当該映像上でカーソルの位置情報に変化があったときは、カーソル位置の座標情報を取得し、ネットワークを介して他方の情報端末にこのカーソル情報を配信し、前記他方の情報端末は、ネットワークを介してカーソル情報を受信すると、当該カーソル情報に基づいて、時刻、座標、形状、色のカーソル画像を生成し、前記ビットマップの画像に重ねた画像を合成してから表示装置に表示することを特徴とする。
請求項４記載の情報共有システムでは、請求項１において、前記一方の情報端末は、共有カーソル設定では、カーソルの形状やサイズ、色などを設定する手段と、前記手段で設定した共有カーソル設定情報をネットワークを介して他方の情報端末に送出する手段とを備え、前記他方の情報端末は、前記ネットワークを介して得た共有カーソル設定情報を基にカーソル表示属性を変更指示する手段と、前記手段からの指示により前記カーソルの表示様態を変更する手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
請求項１記載の情報共有システムによれば、遠隔地に動画をリアルタイムに送って、その動画上に遠隔地同士のカーソルを表示できるようにして操作情報を共有できるようにしたので、動画上のどの部分を指しているかが明確になり、スムーズにコミュニケーションをとることができるほか、動画とカーソル指示の情報を別々に保管することで、動画再生したときに、カーソルの表示・非表示や、カーソルの様態を自由に指示できる。
また、カーソル画像があることで遠隔地の別の情報端末の操作者が指示したカーソルの位置や動きを確認できるとともに、そのカーソルがオリジナル映像に重なることによって、オリジナル映像が見にくくなってしまう場合には、カーソル表示モードを切り替えることによって、カーソルの表示を取りやめることもできる。
さらに、各情報端末が、それぞれ配信側、受信側になることができ、相互の映像とカーソル情報を交換しあうことができるので、遠隔地にいる者同士が互いの現場の状況を把握しあいながらコミュニケーションすることが容易になる。
【０００８】
請求項２記載の情報共有システムによれば、ネットワークに送り込む映像データを少なくできる。
請求項３記載の情報共有システムによれば、カーソルに変化のあったときにだけカーソル情報を送るだけでよいので、ネットワーク上に送るデータ量が少なくてすむ。
請求項４記載の情報共有システムによれば、カーソルの形状やサイズ、色などが設定できるので、実情に沿った最適なカーソルを送ることができ、コミュニケーションの精度が向上する。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の好適な実施の形態を図１ないし図７を参照して詳細に説明する。
図１は、本発明の実施形態に係る情報共有システムを示した全体構成図である。
この図１において、本発明の実施形態に係る情報共有システムは、複数の情報端末１ａ，１ｂ，１ｃがネットワーク３を介して互いに通信可能に接続されている。また、情報端末１ａには、入力装置５ａと、表示装置７ａと、撮像装置９ａとが接続されている。情報端末１ｂには、入力装置５ｂと、表示装置７ｂと、撮像装置９ｂとが接続されている。情報端末１ｃには、入力装置５ｃと、表示装置７ｃと、撮像装置９ｃとが接続されている。
【００１０】
各入力装置５ａ，５ｂ，５ｃは、ここではマウスを想定しており、マウスを操作した情報が各情報端末１ａ，１ｂ，１ｃにそれぞれ入力されるようになっている。また、各表示装置７ａ，７ｂ，７ｃは、ここでは液晶モニター等を想定しており、各情報端末１ａ，１ｂ，１ｃで処理された表示情報をそれぞれ表示できるようになっている。さらに、撮像装置９ａ，９ｂ，９ｃは、ＣＣＤ動画カメラ等を想定しており、撮像した動画映像信号を各情報端末１ａ，１ｂ，１ｃにそれぞれ入力することができるようになっている。
ここで、一方の情報端末を例えば情報端末１ａとすると、他方の情報端末は例えば情報端末１ｂ，１ｃとなる。以下では、上述した仮定状態で説明するが、これに限定されるものではない。
【００１１】
情報端末１ａは、図示しないが、第１の配信手段と、第２の配信手段とを備えている。この第１の配信手段は、当該情報端末１ａ側の撮像装置９ａにより撮影した映像データをネットワーク３を介して情報端末１ｂ，１ｃに配信することができるものである。前記第２の配信手段は、当該情報端末１ａ側の表示装置７ａ上のカーソルを情報端末１ａ側の入力装置５ａで動かすと、このカーソルの動作情報をネットワーク３を介して情報端末１ｂ，１ｃに配信することができるものである。
各情報端末１ｂ，１ｃは、第１の表示手段と、第２の表示手段と、保存手段とを各々備えている。第１の表示手段は、ネットワーク３から送られてくる映像データを受信したときに、情報端末１ｂ，１ｃ側の表示装置７ｂ，７ｃに映像を表示させることができる手段である。第２の表示手段は、ネットワーク３を介して送られてくるカーソル情報を受信すると、当該カーソル情報を基に、情報端末１ｂ，１ｃの表示装置７ｂ，７ｃに表示される再生画面上にカーソル画像を合成して表示することができる手段である。前記保存手段は、当該映像情報とカーソル情報とを記録装置に記録保存することができる手段である。
【００１２】
図２は、本発明の実施形態に係る情報共有システムにおける情報端末等の構成例を示したブロック図である。
この図２において、本発明の実施形態では、各情報端末１ａ，１ｂ，１ｃは同一の構成としてあるので、情報端末１ａを代表して説明し、他の情報端末１ｂ，１ｃの説明は省略する。
情報端末１ａは、ネットワーク３との通信を司る通信装置１１ａと、映像、画像、音などのマルチメディア・コンテンツやその他の情報を格納するファイル保存装置１２ａと、前記第１の表示手段や第２の表示手段を実現する受信処理装置１３ａと、これらの動作を制御する制御装置１４ａとから構成されている。
また、情報端末１ａの制御装置１４ａには、入力装置５ａと、表示装置７ａと、撮像装置９ａとが接続されている。
【００１３】
図３は、本発明の実施形態に係る情報共有システムの総合的な動作を説明するためのシーケンス図である。
ここで、任意のユーザが情報端末１ａを他のユーザの情報端末１ｂに接続して、情報の共有を図ろうとする場合について説明する。
まず、ユーザは情報端末１ａを使用し、当該情報端末１ａを本システムの認証サーバ２０にアクセスさせる（ステップ１０１）。認証サーバ２０にＩＤやパスワードを入力することにより認証サーバ２０に認証処理を実行させ（ステップ１０２）、自身の情報端末１ａを特定する。
ここで、例えば電話などを使って、他のユーザに連絡して、他のユーザの情報端末１ｂを本システムの認証サーバ２０にアクセスさせる（ステップ１０３）。同様に、認証サーバ２０にＩＤやパスワードを入力することにより認証サーバ２０に認証処理を実行させ（ステップ１０４）、情報端末１ｂを認証させる。
【００１４】
これらにより、お互いの情報端末１ａ，１ｂの情報を交換する。例えば、双方の端末ＩＤや、ネットワーク上のＩＰアドレスなどである。そして、認証サーバ２０によってセッションの確立がなされる（ステップ１０５）。
また、情報端末１ａでは、カーソルの形状が指定されると、その指定を処理する（ステップ１０６）。
ここで、情報端末１ａは、映像配信指示があると、セッションの確立した情報端末１ｂに配信処理を実行する（ステップ１０７）。この配信処理（ステップ１０７）は、動画送信、映像送信、カーソル情報送信などである。また、映像配信は、例えばＵＤＰやＴＣＰ／ＩＰなどのプロトコルで映像送信を行う。そして、情報端末１ａは、映像を転送し（ステップ１０８）、カーソル情報を配信する（ステップ１０９）。
また、情報端末１ｂは、受信・再生・保存の各処理を実行する（ステップ１１０）。
【００１５】
図４は、本発明の実施形態に係る情報共有システムにおいて、セッションが確立した２台の情報端末のそれぞれの処理を示したフローチャートであって、図４（ａ）は情報端末１ａの処理を、図４（ｂ）は情報端末１ｂの処理を、それぞれ示したフローチャートである。
図５は、本発明の実施形態に係る情報共有システムにおいて、共有カーソルの表示例を示した図である。図６は、本発明の実施形態に係る情報共有システムにおいて、カーソル形状設定画面の例を示した図である。
図４において、情報端末１ａが映像を配信する側であり、情報端末１ｂが映像を受信する側である。
なお、情報端末１ａ、１ｂが順次処理をしていく上で、表示画面を使用するので、まず共有カーソル表示画面７００、及びカーソル形状設定画面８００について説明する。
【００１６】
共有カーソル表示画面７００は、中央に動画画像７０１が表示されており、その動画画像７０１の下部に図示左側からカーソルの表示ボタン７０２、非表示ボタン７０３、開始ボタン７０４、停止ボタン７０５、スナップショットボタン７０６が配置されており、上側右端に左側から最小化ボタン７０７、最大化ボタン７０８、閉じるボタン７０９が配置されている。
カーソル形状設定画面８００は、最下部にＯＫボタン８０１、キャンセルボタン８０２が設けられており、それらの上側にカーソルの色を設定するための色表示部８０３及び設定ボタン８０４が設けられており、さらにその上にカーソルのサイズを設定するための入力部８０５が設けられ、最上部にカーソルの形状を設定するラジオボタンで円選択ボタン８０６、三角選択ボタン８０７、四角選択ボタン８０８が設けられている。
【００１７】
情報端末１ａでは、まず、図６に示すカーソル形状設定画面８００を表示装置７ａに表示させて、カーソルに関する指定を行う（ステップ２０１）。
次に、情報端末１ａでは、ビデオカメラなどの撮像装置９ａから取り込まれた映像の１フレームを取得し（ステップ２０２）、情報端末１ａの表示装置７ａに表示する（ステップ２０３）。
さらに、情報端末１ａでは、映像をエンコードして例えばＭＰＥＧ４などの規格で圧縮する（ステップ２０４）。
また、操作者が、入力装置（この場合、マウス）５ａを操作し、表示装置７ａに表示された映像のある部分を指し示したとする。
情報端末１ａは、カーソルの位置が変化したことを検知した場合には（ステップ２０５；Ｙ）、現時点でのカーソルの情報（カーソルの形状、サイズ、色、座標）を取得し、カーソル情報として情報端末１ｂに向けてネットワーク３上に配信する（ステップ２０６）。この場合、映像配信の通信ポートとは別のポートに向け配信する。
【００１８】
一方、情報端末１ａは、カーソルの位置が変化しないことを検知した場合には（ステップ２０５；Ｎ）、何もせずにステップ２０７に移行する。
カーソル情報の配信（ステップ２０６）、または、カーソルの位置が変化しないことを検知した場合には（ステップ２０５；Ｎ）、情報端末１ａは、前記エンコードされ圧縮された映像情報を情報端末１ｂに向けてネットワーク３上に配信する（ステップ２０７）。
そして、カメラからの１フレーム取得の処理（ステップ２０２）に戻り、上記フローを繰り返し行う。
一方、情報端末１ｂでは、情報端末１ａから映像をネットワーク３を介して取得すると（ステップ３０１）、まず当該映像を記録手段であるハードディスクドライブ等に記録させる（ステップ３０２）。
【００１９】
次に、情報端末１ｂは、デコードにより１フレーム映像をビットマップに変換する（ステップ３０３）。ついで、情報端末１ｂは、フレームカウンターにより受け取ったフレーム番号をカウントアップする（ステップ３０４）。
さらに、情報端末１ｂは、情報端末１ａからのカーソル情報を受信したか否かを判断し（ステップ３０５）、受信した場合（ステップ３０５；Ｙ）、デコードした映像フレーム番号と共にハードディスクドライブなどの記録手段に記録させる（ステップ３０６）。
一方、カーソル情報を受信していない場合は（ステップ３０５；Ｎ）、前回受信したカーソル情報を今回の受信カーソル情報として保存する（ステップ３０７）。
【００２０】
次に、情報端末１ｂは、カーソル表示モードをチェックする（ステップ３０８）。図５に示す共有カーソル表示画面７００のカーソルの表示ボタン７０２、または非表示ボタン７０３を操作者に押下させることで、カーソル表示・非表示のモードを切り替えることができる。
ここで、情報端末１ｂが、カーソル表示モードであった場合（ステップ３０８；表示モード）、カーソル情報からカーソル画像を生成してビットマップ画像に合成する（ステップ３０９）。なお、カーソルの形状は、情報端末１ａ側において、図６に示すカーソル形状設定画面８００により、「カーソルの形状（丸、三角、四角）」、「サイズ」、「色」などが指定される。
【００２１】
次に、情報端末１ｂは、カーソル画像とビットマップ画像とを合成した画像を表示装置７ｂに表示する（ステップ３１０）。
なお、情報端末１ｂは、カーソル非表示モードであった場合には（ステップ３０８；非表示モード）、ビットマップ画像を表示する（ステップ３１０）。
そして、情報端末１ａからの映像の取得処理（ステップ３０１）に戻り、上記フローを繰り返し行う。
【００２２】
図７は、本発明の実施形態に係る情報共有システムにおいて、情報端末１ｂで記録装置に保存された映像情報とカーソル情報とを読み出し、再生するときの処理動作を説明するためのフローチャートである。
情報端末１ｂは、記録手段から映像を１フレーム取り出す（ステップ４０１）。同様に、情報端末１ｂは、記録手段からカーソル情報を取り出す（ステップ４０２）。
また、情報端末１ｂは、取り出した映像情報をデコードすることにより１フレームをビットマップ画像に変換する（ステップ４０３）。
次に、情報端末１ｂは、カーソル表示モードをチェックし（ステップ４０４）、表示モードと判断した場合には（ステップ４０４；カーソル表示モード）、取り出したカーソル情報からカーソル画像を生成し、先のビットマップに合成する（ステップ４０５）。
【００２３】
一方、情報端末１ｂは、カーソル表示モードをチェックしたときに（ステップ４０４）、非表示モードと判断した場合は（ステップ４０４；カーソル非表示モード）、直ちにステップ４０６に移行する。
そして、カーソル画像を生成して先のビットマップに合成する処理（ステップ４０５）、あるいは、カーソル非表示モードと判断された場合には（ステップ４０４；カーソル非表示モード）、情報端末１ｂは、そのモードに従いビットマップ画像を表示装置７ｂに表示する（ステップ４０６）。
【００２４】
このように本発明の実施形態に係る情報共有システムによれば、カーソル画像があることで遠隔地の別の情報端末の操作者が指示したカーソルの位置や動きが確認できるとともに、そのカーソルがオリジナル映像に重なることによって、オリジナル映像が見にくくなってしまうときには、カーソル表示モードを切り替えることによって、カーソルの表示を取りやめることもできる。
また、本発明の実施形態に係る情報共有システムによれば、各情報端末が、それぞれ配信側、受信側になることができ、相互の映像とカーソル情報を交換しあうことができるので、遠隔地にいる者同士が互いの現場の状況を把握しあいながらコミュニケーションすることが容易になる。
【００２５】
なお、本発明の実施形態に係る情報共有システムでは、カーソルの大きさを小さくする、あるいはカーソルの色を半透明にするなどの指示が他方の情報端末側でできるようにしてもよい。このようにすることにより、受信側の操作者が指示することで、カーソルの大きさや、半透明化を実施することができる。カーソル画像の縮小の場合は、世の中でよく知られている最近傍法、線形補完法、３次補完法、面積平均法などの手法を用いて画像を変換すればよい。半透明化では、アルファブレンドなどの方法により実現すればよい。
このようにすれば、本発明の実施形態に係る情報共有システムは、カーソルが見にくい場合には、カーソルの形状を大きくして、見つけやすくしたり、あるいは逆にカーソルが邪魔で映像が見にくい場合には、カーソルを小さくしたり、半透明化することで、映像を見やすくすることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る情報共有システムを示した全体構成図である。
【図２】本発明の実施形態に係る情報共有システムにおける情報端末等の構成例を示したブロック図である。
【図３】本発明の実施形態に係る情報共有システムの総合的な動作を説明するためのシーケンス図である。
【図４】本発明の実施形態に係る情報共有システムにおいて、セッションが確立した２台の情報端末のそれぞれの処理を示したフローチャートである。
【図５】本発明の実施形態に係る情報共有システムにおいて、共有カーソルの表示例を示した図である。
【図６】本発明の実施形態に係る情報共有システムにおいて、カーソル形状設定画面の例を示した図である。
【図７】本発明の実施形態に係る情報共有システムにおいて、他方の情報端末で記録装置に保存された映像情報とカーソル情報を読み出し、再生するときの処理動作を説明するためのフローチャートである。
【符号の説明】
【００２７】
１ａ，１ｂ，１ｃ  情報端末
３  ネットワーク
５ａ，５ｂ，５ｃ  入力装置
７ａ，７ｂ，７ｃ  表示装置
９ａ，９ｂ，９ｃ  撮像装置
１１ａ  通信装置
１２ａ  ファイル保存装置
１３ａ  受信処理装置
１４ａ  制御装置
２０  認証サーバ
【図１】
2007249695.tif 000003
【図２】
2007249695.tif 000004
【図３】
2007249695.tif 000005
【図４】
2007249695.tif 000006
【図５】
2007249695.tif 000007
【図６】
2007249695.tif 000008
【図７】
2007249695.tif 000009