(57)【要約】【課題】拡大画像が送られてくるまでの時間遅れに起因する無用な操作を回避することが可能な遠隔操作システムを提供する。【解決手段】クライアント２が、ユーザからの拡大指示コマンドに基づいて現在表示されている俯瞰画像から仮の画像（予測画像）を生成する。また、拡大指示コマンドに応じた操作が完了した拡大用カメラ６によって実際に撮影される撮影画像（拡大画像）がビデオサーバ１ｂから送付されるまでの間は、クライアント２は、ディスプレイ２１上に仮の画像（予測画像）を表示する。【選択図】図１
2009049942.tif 000002
【特許請求の範囲】
【請求項１】
対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置を有する情報処理装置と接続され、少なくとも前記拡大画像撮影装置を遠隔操作する遠隔操作装置であって、
前記拡大画像撮影装置の操作情報を、前記情報処理装置に送付する送付手段と、
前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて生成する予測画像生成手段と、
前記予測画像を表示するとともに、前記操作された後の拡大画像撮影装置により実際に撮影された拡大画像を前記情報処理装置から受信した後は、前記予測画像に代えて前記実際に撮影された拡大画像を表示する表示手段と、を備える遠隔操作装置。
【請求項２】
前記操作情報に基づいて操作された後の拡大画像撮影装置により実際に撮影された拡大画像を受信した際に、当該受信した旨を前記情報処理装置に返信する返信手段を更に備える請求項１に記載の遠隔操作装置。
【請求項３】
前記表示手段は、前記予測画像を表示している間、当該画像が予測画像である旨を表示することを特徴とする請求項１又は２に記載の遠隔操作装置。
【請求項４】
対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置を有する情報処理装置と、前記情報処理装置に接続され、少なくとも前記拡大画像撮影装置を遠隔操作する遠隔操作装置と、を備える遠隔操作システムであって、
前記遠隔操作装置は、
前記拡大画像撮影装置の操作情報を、前記情報処理装置に送付する送付手段と、
前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて生成する予測画像生成手段と、
前記予測画像を表示するとともに、前記操作された後の拡大画像撮影装置により実際に撮影された拡大画像を前記情報処理装置から受信した後は、前記予測画像に代えて前記実際に撮影された拡大画像を表示する表示手段と、を有することを特徴とする遠隔操作システム。
【請求項５】
前記情報処理装置は、前記操作された後の拡大画像撮影装置により実際に撮影された拡大画像を前記遠隔操作装置に送信する際には、前記拡大画像に、前記操作終了後の拡大画像であることを示す操作終了フラグを付与することを特徴とする請求項４に記載の遠隔操作システム。
【請求項６】
前記遠隔操作装置は、前記操作終了フラグが付与された拡大画像を受信した際に、当該受信した旨を前記情報処理装置に返信する返信手段を更に有することを特徴とする請求項５に記載の遠隔操作システム。
【請求項７】
前記情報処理装置は、前記対象物に対して図形を投影する投影装置を更に有し、
前記投影装置は、前記操作情報に基づいて、前記拡大画像撮影装置により撮影される部分に図形を投影することを特徴とする請求項４〜６のいずれか一項に記載の遠隔操作システム。
【請求項８】
前記投影装置は、前記遠隔操作装置の前記表示手段に表示されている画像が、前記予測画像である場合と前記拡大画像である場合とで、異なる図形を前記対象物に投影することを特徴とする請求項７に記載の遠隔操作システム。
【請求項９】
前記遠隔操作装置を複数備え、
前記複数の遠隔操作装置の１つから、前記情報処理装置に前記操作情報が送付されると、前記情報処理装置は、前記複数の遠隔操作装置の全てに前記操作情報を送信し、
前記遠隔操作装置それぞれは、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて、前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を生成することを特徴とする請求項４〜８のいずれか一項に記載の遠隔操作システム。
【請求項１０】
前記遠隔操作装置を複数備え、
前記複数の遠隔操作装置の１つから、前記情報処理装置に前記操作情報が送付されると、前記情報処理装置は、前記操作情報を送付した遠隔操作装置以外の遠隔操作装置に前記操作情報を送信し、
前記遠隔操作装置それぞれは、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて、前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を生成することを特徴とする請求項４〜８のいずれか一項に記載の遠隔操作システム。
【請求項１１】
前記遠隔操作装置を複数備え、
前記複数の遠隔操作装置のうちの１つは、前記情報処理装置に前記操作情報を送付するとともに、他の遠隔操作装置に対しても前記操作情報を送付し、
前記遠隔操作装置それぞれは、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて、前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を生成することを特徴とする請求項４〜８のいずれか一項に記載の遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は遠隔操作装置及び遠隔操作システムに関し、特に対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置を有する情報処理装置と接続され、少なくとも拡大画像撮影装置を遠隔操作する遠隔操作装置、及び該遠隔操作装置を備える遠隔操作システムに関する。
【背景技術】
【０００２】
従来より、ビデオカメラ及びプロジェクタが接続されているサーバ（例えばコンピュータ）と、ネットワークを介して当該サーバに接続される遠隔地のクライアント（例えばコンピュータ）とを備える遠隔指示システムが知られている（例えば、特許文献１参照）。
【０００３】
この遠隔指示システムでは、サーバは、サーバに接続されているビデオカメラにより撮影される対象物の撮影画像を、ネットワークを介してクライアントに送信するものであり、クライアントは、表示装置の表示画面に立体物を含む撮影画像を表示し、当該表示画面上にアノテーション画像（線、図形、文字）などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信するものである。また、サーバは受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を対象物を含む投影領域の適切な位置（これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する）に投影する。
【０００４】
更に、このような遠隔指示システムには、クライアント側から、ビデオカメラの撮影倍率拡大・縮小指示などの操作指示を出すことが可能な機能も設けられている。しかるに、このようなシステムでは、遠隔指示システムのサーバとクライアントの間の通信速度等に起因して、クライアント側からの操作指示に対応した画像がサーバ側から転送されてくるまでの時間に遅延が生じることがあるため、画像が転送されてくるまでの間に、クライアント側のユーザが無用な操作（不必要なマウスのクリックなどの再操作）を繰り返してしまうおそれがある。このような背景から、最近では、サーバ側からクライアント側への画像の転送時間の遅延などによって生じる違和感を解消するための技術が提案されている（例えば、特許文献２参照）。
【０００５】
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】特開２０００−１０１９９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した特許文献２に記載の技術では、ビデオカメラのパン及びチルトを制御しながら撮像を繰り返し、各撮像画像を合成することによってビデオカメラの最大撮影範囲に対応した画像を作成し、所望の画像領域を電子的に拡大処理することが行われている。しかしながら、当該技術では、前もって撮像された画像の合成画像から拡大画像を生成しているため、拡大要求が発生した時点における状況（撮影対象物の位置や姿勢など）を、拡大画像に反映させることができないおそれがある。
【０００７】
そこで、本発明は上記の課題に鑑みてなされたものであり、拡大画像が送られてくるまでの時間遅れに起因する無用な操作を効果的に回避することが可能な遠隔操作装置及び遠隔操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の遠隔操作装置は、対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置を有する情報処理装置と接続され、少なくとも前記拡大画像撮影装置を遠隔操作するものであり、前記拡大画像撮影装置の操作情報を、前記情報処理装置に送付する送付手段と、前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて生成する予測画像生成手段と、前記予測画像を表示するとともに、前記操作された後の拡大画像撮影装置により実際に撮影された拡大画像を前記情報処理装置から受信した後は、前記予測画像に代えて前記実際に撮影された拡大画像を表示する表示手段と、を備えることを特徴とする。
【０００９】
これによれば、予測画像生成手段が、俯瞰画像及び／又は拡大画像と操作情報とに基づいて予測画像を生成し、拡大画像撮影装置により実際に撮影された拡大画像が情報処理装置から送付されるまでの間は、表示手段が予測画像を表示することとしているので、ユーザが操作をしてから（操作情報が情報処理装置に送付されてから）、拡大画像撮影装置により実際に撮影された拡大画像が送られてくるまでの間に遅れ等が生じても、表示手段が予測画像を表示することで、ユーザは、次に表示される拡大画像の概要を、早期に知ることが可能となる。これにより、ユーザは自己の操作どおりに拡大画像が表示されるか否かを判断することができるので、拡大画像が送られてくるまでの時間遅れに起因する無用な操作（再操作等）を回避することが可能となる。また、予測画像生成手段は、予測画像を、実際の俯瞰画像及び拡大画像の少なくとも一方に基づいて生成することとしているので、実際の状況（撮影対象物の位置や姿勢など）に応じた適切な予測画像を生成することができる。これにより、ユーザの無用な操作を効果的に回避することが可能となる。
【００１０】
この場合において、前記操作情報に基づいて操作された後の拡大画像撮影装置により実際に撮影された拡大画像を受信した際に、当該受信した旨を前記情報処理装置に返信する返信手段を更に備えることとすることができる。かかる場合には、実際に撮影された拡大画像を受信したことを情報処理装置に返信することで、表示手段に拡大画像が適切に表示されているか否かを情報処理装置側で判断することが可能となる。
【００１１】
また、本発明の遠隔操作装置では、前記表示手段は、前記予測画像を表示している間、当該画像が予測画像である旨を表示することとすることができる。かかる場合には、ユーザは、表示手段に表示されている画像が、予測画像と実際の拡大画像のいずれであるかを容易に判断することが可能となる。
【００１２】
本発明の遠隔操作システムは、対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置を有する情報処理装置と、前記情報処理装置に接続され、少なくとも前記拡大画像撮影装置を遠隔操作する遠隔操作装置と、を備えており、前記遠隔操作装置は、前記拡大画像撮影装置の操作情報を、前記情報処理装置に送付する送付手段と、前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて生成する予測画像生成手段と、前記予測画像を表示するとともに、前記操作された後の拡大画像撮影装置により実際に撮影された拡大画像を前記情報処理装置から受信した後は、前記予測画像に代えて前記実際に撮影された拡大画像を表示する表示手段と、を有することを特徴とする。
【００１３】
これによれば、予測画像生成手段が、俯瞰画像及び／又は拡大画像と操作情報とに基づいて予測画像を生成し、拡大画像撮影装置により実際に撮影された拡大画像が情報処理装置から送付されるまでの間は、表示手段が予測画像を表示することとしているので、ユーザが操作をしてから（操作情報が情報処理装置に送付されてから）、拡大画像撮影装置により実際に撮影された拡大画像が送られてくるまでの間に遅れ等が生じても、表示手段が予測画像を表示することで、ユーザは次に表示される拡大画像の概要を、早期に知ることが可能となる。これにより、ユーザは自己の操作どおりに拡大画像が表示されるか否かを判断することができるので、拡大画像が送られてくるまでの時間遅れに起因する無用な操作（再操作等）を回避することが可能となる。また、予測画像生成手段は、予測画像を、実際の俯瞰画像及び拡大画像の少なくとも一方に基づいて生成することとしているので、実際の状況（撮影対象物の位置や姿勢など）に応じた適切な予測画像を生成することができる。これにより、ユーザの無用な操作を効果的に回避することが可能となる。
【００１４】
この場合において、前記情報処理装置は、前記操作された後の拡大画像撮影装置により実際に撮影された拡大画像を前記遠隔操作装置に送信する際には、前記拡大画像に、前記操作終了後の拡大画像であることを示す操作終了フラグを付与することとすることができる。かかる場合には、情報処理装置側から送付された画像が、操作情報に基づいて操作された後の拡大画像撮影装置により実際に撮影された拡大画像であるか否かを、遠隔操作装置側において容易に判断することが可能となる。
【００１５】
この場合において、前記遠隔操作装置は、前記操作終了フラグが付与された拡大画像を受信した際に、当該受信した旨を前記情報処理装置に返信する返信手段を更に有することとすることができる。かかる場合には、実際に撮影された拡大画像を受信したことを情報処理装置に返信することで、表示手段に拡大画像が適切に表示されているか否かを情報処理装置側で判断することが可能となる。
【００１６】
本発明の遠隔操作システムでは、前記情報処理装置は、前記対象物に対して図形を投影する投影装置を更に有し、前記投影装置は、前記操作情報に基づいて、前記拡大画像撮影装置により撮影される部分に図形を投影することとすることができる。かかる場合には、遠隔操作装置の表示手段に表示されている（又は表示されようとしている）部分がどの部分であるかを、情報処理装置側でも容易に認知することができるので、情報処理装置側のユーザと遠隔操作装置側のユーザとの間のやり取り（遠隔地間の会議など）をスムーズに行うことが可能となる。
【００１７】
この場合において、前記投影装置は、前記遠隔操作装置の前記表示手段に表示されている画像が、前記予測画像である場合と前記拡大画像である場合とで、異なる図形を前記対象物に投影することとすることができる。かかる場合には、情報処理装置側で、遠隔操作装置の表示手段の表示状態を容易に認識することが可能となる。
【００１８】
本発明の遠隔操作システムでは、前記遠隔操作装置を複数備え、前記複数の遠隔操作装置の１つから、前記情報処理装置に前記操作情報が送付されると、前記情報処理装置は、前記複数の遠隔操作装置の全てに前記操作情報を送信し、前記遠隔操作装置それぞれは、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて、前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を生成することとすることができる。また、前記遠隔操作装置を複数備え、前記複数の遠隔操作装置の１つから、前記情報処理装置に前記操作情報が送付されると、前記情報処理装置は、前記操作情報を送付した遠隔操作装置以外の遠隔操作装置に前記操作情報を送信し、前記遠隔操作装置それぞれは、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて、前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を生成することとすることができる。いずれの場合においても、複数の遠隔操作装置それぞれにおいて、予測画像を生成することができるので、複数の遠隔操作装置間における無用な操作（再操作や重複操作など）を抑制することが可能となる。
【００１９】
更に、本発明の遠隔操作システムでは、前記遠隔操作装置を複数備え、前記複数の遠隔操作装置のうちの１つは、前記情報処理装置に前記操作情報を送付するとともに、他の遠隔操作装置に対しても前記操作情報を送付し、前記遠隔操作装置それぞれは、前記俯瞰画像及び／又は前記拡大画像と前記操作情報とに基づいて、前記操作情報に基づいて操作された後の拡大画像撮影装置により撮影されると予測される予測画像を生成することとすることができる。かかる場合にも、複数の遠隔操作装置それぞれにおいて、予測画像を生成することができるので、複数の遠隔操作装置間における無用な操作（再操作や重複操作など）を抑制することが可能となる。
【発明の効果】
【００２０】
本発明によれば、拡大画像が送られてくるまでの時間遅れに起因する無用な操作を回避することが可能な遠隔操作装置及び遠隔操作システムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
《第１の実施形態》
以下、本発明の第１の実施形態について図１〜図６に基づいて詳細に説明する。
【００２２】
図１には、本実施形態の遠隔操作システム１００の構成が概略的に示されている。
【００２３】
図１の遠隔操作システム１００は、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）、クライアントとして機能するＰＣ２（遠隔操作装置）を備えており、これらは、ネットワーク３を介して互いに接続されている。なお、以下においては、説明の便宜上、ＰＣ１を「サーバ１」と呼び、ＰＣ２を「クライアント２」と呼ぶものとする。サーバ１は、描画サーバ１ａと、ビデオサーバ１ｂとを備えている。なお、描画サーバ１ａ及びビデオサーバ１ｂは、それらの機能を実現するためのソフトウェアのプログラムによって構成することとしても良い。
【００２４】
このうち、描画サーバ１ａには、プロジェクタ４（投影装置）及び拡大用カメラ６（拡大画像撮影装置）が接続され、ビデオサーバ１ｂには、ビデオカメラ５（俯瞰画像撮影装置）及び拡大用カメラ６が接続されている。
【００２５】
プロジェクタ４は、描画サーバ１ａからの制御コマンドに基づいて、ホワイトボード７（対象物）に対して、ハーフミラー８を介して単なる光線を照射したり、アノテーション画像（注釈画像）等を投影したりする。なお、アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。
【００２６】
ビデオカメラ５は、ホワイトボード７の反射画像をハーフミラー８を介して撮影し、撮影画像（俯瞰画像）をビデオサーバ１ｂに出力する。拡大用カメラ６は、ホワイトボード７の一部を拡大した状態で撮影することが可能なパン・チルト・ズーム機能付きのビデオカメラであり、撮影した画像（拡大画像）をビデオサーバ１ｂに出力する。
【００２７】
クライアント２には、ディスプレイ（表示手段）２１が接続されており、ディスプレイ２１は、俯瞰画像と拡大画像とを、別々のウィンドウ２２ａ，２２ｂ内に表示する。なお、クライアント２を、ディスプレイ２１を備える一体型のパーソナルコンピュータにより構成することとしても良い。
【００２８】
ウィンドウ２２ａには、ペン、テキスト、消去、ズームなどのボタン群、線種や色種のアイコンが表示されている。ウィンドウ２２ａ内の表示領域２３ａ内には、ビデオカメラ５で撮影された撮影画像（俯瞰画像）が表示される。図１においては、ホワイトボード７をビデオカメラ５により撮影した撮影画像（俯瞰画像）が表示領域２３ａに表示されている。
【００２９】
このように構成されるウィンドウ２２ａにおいては、例えば、クライアント２に接続されたマウスなどの入力部２４により、ペンボタンがクリックされて、マウスポインタの移動により、ホワイトボード７上に図形等が記載されると、当該図形の情報（具体的には、当該図形を示す、表示領域２３ａにおける座標（ｘ、ｙ））はクライアント２からサーバ１（描画サーバ１ａ）に出力される。描画サーバ１ａは、当該図形の情報をプロジェクタ４の座標の情報に変換し、プロジェクタ４に出力する。プロジェクタ４は当該変換された図形の情報に基づいてホワイトボード７上に当該図形を投影する。なお、撮影画像は表示領域２３ａに表示されるため、撮影画像における座標（ｘ、ｙ）は、表示領域２３ａにおける座標（ｘ、ｙ）と一致する。
【００３０】
また、ウィンドウ２２ａにおいては、例えば、クライアント２に接続されたマウスなどの入力部２４により、ズームボタンがクリックされて、マウスポインタで、ホワイトボード７上の一部の領域（例えば、図１において点線で囲まれた領域）が指定されると、その操作情報が、クライアント２からネットワーク３を介してサーバ１（描画サーバ１ａ）に送られ、描画サーバ１ａは、拡大用カメラ６を制御して、指定された領域に該当する部分を撮影する。また、撮影画像（拡大画像）は、ビデオサーバ１ｂに送られ、ビデオサーバ１ｂから、ネットワーク３を介してクライアント２に送られる。クライアント２では、ディスプレイ２１上のウィンドウ２２ｂの表示領域２３ｂ内に、当該拡大画像を表示する。なお、ウィンドウ２２ｂには、表示領域２３ｂのほか、ズームイン、ズームアウト、及び上下左右への画像移動ボタンが設けられている。
【００３１】
次に、本実施形態において、クライアント２側から拡大指示が出されたとき（クライアント２のユーザにより拡大領域が指定されたとき）の、動作の概要について、図２（ａ）〜図３（ｂ）に基づいて簡単に説明する。
【００３２】
図２（ａ）に示されるように、クライアント２側のユーザが、ウィンドウ２２ａ上で領域Ａを指定して拡大指示を行った場合、クライアント２から描画サーバ１ａに拡大指示が送付されるが、クライアント２では、表示領域２３ａ内に表示されている画像（俯瞰画像）から、領域Ａ部分を抽出して拡大し、図２（ｂ）に示されるような仮の画像（領域Ａ部分を抽出したため、画質が荒い画像である）を図１のウィンドウ２２ｂの表示領域２３ｂに表示する。
【００３３】
これに対し、サーバ１側では、クライアント２側からの拡大指示を描画サーバ１ａが受信すると、描画サーバ１ａは、拡大用カメラ６を操作（制御）して、領域Ａ内を撮影し、ビデオサーバ１ｂが、その撮影画像（拡大画像）を、クライアント２に送付する。
【００３４】
クライアント２に実際の撮影画像（拡大画像）が送付されると、クライアント２は、その拡大画像（図２（ｃ）参照）を、図２（ｂ）の仮の画像と置換して、ウィンドウ２２ｂの表示領域２３ｂに表示する。
【００３５】
一方、サーバ１では、クライアント２側から拡大指示を受け取った段階で、図３（ａ）に示されるように、プロジェクタ４を介して、ホワイトボード７上に領域Ａを破線にて描画する。また、上述のように、拡大用カメラ６により撮影された拡大画像が、ディスプレイ２１上に表示された段階で、図３（ｂ）に示されるように、ホワイトボード７上に領域Ａを実線にて描画する。
【００３６】
次に、上記動作を実現するための処理について、図４〜図６のフローチャートに沿って説明する。図４は、クライアント２の処理を示すフローチャートであり、図５は、描画サーバ１ａの処理を示すフローチャートであり、図６は、ビデオサーバ１ｂの処理を示すフローチャートである。
【００３７】
まず、図４のフローチャートに沿って、クライアント２の処理について説明する。
【００３８】
クライアント２は、ステップＳ１０においてサーバ１に接続すると、次のステップＳ１２において、コマンドを受領したか否か、すなわち、クライアント２のユーザから入力部２４を介した入力があったか否かを判断する。ここでのコマンドとしては、例えば、ホワイトボード７の一部を拡大するための拡大指示コマンド、ホワイトボード７上に図形（アノテーション）を描画するための図形描画コマンド、及び描画した画像を消去するための図形消去コマンドなどが挙げられる。
【００３９】
このステップＳ１２における判断が肯定されると、次のステップＳ１４に移行し、ステップＳ１２で受領したコマンドが拡大指示コマンドであるか否かを判断する。ここでの判断が肯定されると、ステップＳ１６において拡大操作モードがオンにされ、次のステップＳ１８において、拡大画像を受信することが可能か否かを判断する。ここでは、まだ、コマンドをサーバ１に送っておらず、サーバ１側から拡大画像が送られてくることは無いので、判断は否定され、ステップＳ２０に移行する。
【００４０】
ステップＳ２０では、対応部分画像の生成を行う。すなわち、ユーザからの拡大指示コマンドに対応した画像を図２（ａ）の俯瞰画像から抽出して拡大し、図２（ｂ）に示される仮の画像（予測画像）を生成する。
【００４１】
次いで、ステップＳ２２では、仮の画像（予測画像）をディスプレイ２１上のウィンドウ２２ｂ（表示領域２３ｂ）内に表示する。
【００４２】
次いで、ステップＳ２４では、拡大観察モードがオフであるか否か、すなわち、ユーザにより、拡大画像を表示するウィンドウ２２ｂのクローズボタンが押されるなどしたか否かを判断する。ここでの判断が否定されると、ステップＳ２５（画像描画処理）を経て、ステップＳ２６に移行して、拡大指示コマンドをサーバ１に送信する。その後、ステップＳ２８において、終了処理が行われたか否かを判断し、ここでの判断が否定されると、ステップＳ１２に戻る。
【００４３】
ステップＳ１２では、新たなコマンドを受領したか否かを判断するが、ここでの判断が否定された場合には、ステップＳ３０に移行して、拡大操作モードがオンであるか否かを判断する。ここでは、前述したステップＳ１６において拡大操作モードがオンになっているので、判断が肯定され、次のステップＳ１８に移行する。
【００４４】
このステップＳ１８の段階で、サーバ１側から拡大画像が送られてきていた場合には、ステップＳ１８の判断が肯定されるので、次のステップＳ３２に移行して、拡大画像の受信を開始する。ただし、ここでの拡大画像は、領域Ａを撮影する途中の画像（すなわち、拡大用カメラ６を制御している途中の画像）である可能性がある。
【００４５】
次いで、ステップＳ３４では、描画サーバ１ａにおけるカメラ制御が終了しており、拡大画像に「制御終了フラグ」が付与されているか否かを判断する。この場合の「制御終了フラグ」とは、ユーザの拡大指示コマンドに応じた拡大用カメラ６の操作（制御）が完了した際に撮影された画像に、ビデオサーバ１ｂにて付与されるものである（これについては後述する）。なお、ここでは、未だ、拡大画像に制御終了フラグが付与されていないものとして説明する。
【００４６】
このステップＳ３４の判断が否定されると、ステップＳ２０に移行して、仮の画像を生成するとともに、ステップＳ２２において、その仮の画像をウィンドウ２２ｂに表示する。なお、前回行われたステップＳ２０、Ｓ２２において、仮の画像の生成及び表示が既に実行されているので、ここでは、ステップＳ２０、Ｓ２２を経由しないような制御を行うこととしても良い。
【００４７】
その後は、ステップＳ２４の判断（否定されたものとする）、ステップＳ２５（画像描画処理）の処理、ステップＳ２６の処理（ただし、新たなコマンドを受領していないので、コマンドの送付は行わない）、ステップＳ２８の判断（否定されたものとする）を経て、ステップＳ１２に戻る。
【００４８】
その後、ステップＳ１２→Ｓ３０→Ｓ１８→Ｓ３２を経て、ステップＳ３４に移行し、このステップＳ３４における判断が肯定された場合（ビデオサーバ１ｂから制御終了フラグを付与された拡大画像が送付され、その画像を受信した場合）には、ステップＳ３６に移行して、最終的な拡大画像を受信したことを示す画像受信信号をサーバ１（描画サーバ１ａ）に送信する。
【００４９】
そして、次のステップＳ２２に移行して、最終的な拡大画像を、現在ディスプレイ２１上に表示されている仮の画像と置換して、ディスプレイ２１上のウィンドウ２２ｂに表示する。
【００５０】
なお、処理の途中において、ユーザがウィンドウ２２ｂのクローズボタンを押すことにより拡大観察モードがオフされた場合には、ステップＳ２４の判断が肯定される。この場合、ステップＳ３８に移行して、拡大表示を行っているウィンドウ２２ｂをディスプレイ２１上から消去するとともに、拡大操作モードをオフ状態に設定する。
【００５１】
また、ステップＳ３８を経て、拡大操作モードがオフになった状態では、ステップＳ３０における判断が否定されるので、受領したコマンドが、例えば、図形描画コマンドであった場合には、ステップＳ２５において、当該コマンドに応じた画像描画処理を行う。
【００５２】
その後は、ステップＳ２８における判断が肯定されるまで、上記処理が順次繰り返されるようになっている。
【００５３】
次に、図５のフローチャートに沿って、描画サーバ１ａの処理について説明する。
【００５４】
まず、ステップＳ５０では、クライアント２側からコマンドが送られてきて（図４のステップＳ２６参照）、描画サーバ１ａがそのコマンドを受領したか否かを判断する。ここでの判断が肯定されると、ステップＳ５２に移行し、その受領したコマンドが拡大指示コマンドであるか否かを判断する。ここでの判断が肯定されると、ステップＳ５４に移行して、拡大指示コマンドに応じて、拡大用カメラ６の操作（制御）を行うとともに、拡大用カメラ制御モードをオンに設定する。
【００５５】
次のステップＳ５６では、拡大用カメラ６の制御が終了したか否かを判断する。ここでの判断が否定された場合には、ステップＳ５８に移行して画像受信信号（図４のステップＳ３６参照）を受信したか否かを判断する。このステップＳ５８の判断が否定された場合には、ステップＳ６０に移行し、拡大操作伝達中モードであるとして、プロジェクタ４を介して、ホワイトボード７上に拡大指示領域を破線にて描画する（図３（ａ）参照）。そして、ステップＳ６２（通常描画モードでの画像投射処理）を経て、ステップＳ６４の終了判断が否定されると、ステップＳ５０に戻る。
【００５６】
このステップＳ５０では、新たなコマンドを受領したか否かを判断するが、ここでの判断が否定された場合には、ステップＳ６６に移行して、拡大用カメラ制御モードがオンであるか否かを判断する。ここでは、前述したステップＳ５４において拡大用カメラ制御モードがオンに設定されているので、判断は肯定され、ステップＳ５６において、拡大用カメラ６の制御が終了したか否かを判断する。ここで、拡大用カメラ６の制御が既に終了していた場合には、判断が肯定され、ステップＳ６８に移行する。このステップＳ６８では、制御終了をビデオサーバ１ｂに通知した後、ステップＳ５８に移行する。
【００５７】
次のステップＳ５８では、前述のように画像受信信号をクライアント２から受信したか否かを判断するが、クライアント２が、図４のステップＳ３６において既に画像受信信号を送信しており、描画サーバ１ａがその画像受信信号を受信していた場合には、ここでの判断が肯定されるようになっている。
【００５８】
ここでの判断が肯定されると、次のステップＳ７０において、拡大用カメラ制御モードがオフ状態に設定され、次のステップＳ７２において、拡大観察モードであるとして、プロジェクタ４を介して、ホワイトボード７上に拡大指示領域を実線にて描画する（図３（ｂ）参照）。
【００５９】
なお、ステップＳ７０を経て、拡大用カメラ制御モードがオフ状態に設定された状態では、ステップＳ６６における判断が否定されるので、受領したコマンドが、例えば、図形描画コマンドであった場合には、ステップＳ６２において、プロジェクタ４を介したホワイトボード７上への図形の描画などを実行する。
【００６０】
その後は、ステップＳ６４における判断が肯定されるまで、上記処理が順次繰り返されるようになっている。
【００６１】
次に、図６のフローチャートに沿って、ビデオサーバ１ｂの処理について説明する。
【００６２】
まず、ステップＳ８０では、拡大画像要求があったか否か、すなわち、クライアント２から描画サーバ１ａに対して拡大要求コマンドが送信されたか否かを判断する。ここでの判断が肯定された場合には、ステップＳ８２に移行し、拡大制御が終了したか否か、すなわち、図５のステップＳ６８において、描画サーバ１ａからビデオサーバ１ｂに対して制御終了が通知されたか否かを判断する。ここでの判断が否定された場合には、ステップＳ８６に移行して、拡大画像をクライアント２に向けて送信して、ステップＳ９２に移行する。一方、ステップＳ８２の判断が肯定された場合には、ステップＳ８４において制御終了フラグを拡大画像に付加した後、ステップＳ８６において、制御終了フラグが付加された拡大画像を、クライアント２に向けて送信して、ステップＳ９２に移行する。なお、制御終了フラグの付加方法は、種々考えられるが、例えば、サーバ１からクライアント２に向けた拡大画像の送信をＨＴＴＰで送信する場合であれば、ＨＴＴＰのヘッダとして制御終了フラグを付加することが可能である。
【００６３】
一方、ステップＳ８０の判断が否定された場合、すなわち、拡大画像要求が無かった場合には、ステップＳ８８に移行して、俯瞰画像要求があったか否か、を判断する。ここでの俯瞰画像要求は、例えば、描画サーバ１ａにおいて、ビデオカメラ５により撮影される画像の変化を、画像処理等を用いて判別し、画像の変化が一定以上あった場合に、ビデオサーバ１ｂに対して出されるものである。
【００６４】
このステップＳ８８における判断が肯定された場合には、ステップＳ９０において、クライアント２に向けて、俯瞰画像を送信する。また、ステップＳ８８の判断が否定された場合には、ステップＳ９０を経ずに、ステップＳ９２に移行する。
【００６５】
その後、ステップＳ９２の判断（ユーザによる終了処理が行われたか否かの判断）が肯定されるまで、上記処理が繰り返されるようになっている。
【００６６】
以上、詳細に説明したように、本第１の実施形態によると、クライアント２が、拡大指示コマンドに基づいて現在表示されている俯瞰画像から仮の画像（予測画像）を生成し、拡大指示コマンドに応じた操作が完了した拡大用カメラ６による実際の撮影画像（拡大画像）がビデオサーバ１ｂから送付されるまでの間は、ディスプレイ２１上に仮の画像（予測画像）を表示することとしているので、ユーザが拡大指示を出してから、実際に撮影された拡大画像が送られてくるまでの間に遅れ等が生じても、ユーザは、仮の画像（予測画像）を見ることができるので、次に表示される拡大画像の概要を、早期に知ることができる。したがって、本第１の実施形態では、ユーザは自己の操作どおりに拡大画像が表示されるか否かを早期に判断することができるので、拡大画像が送られてくるまでの時間遅れに起因する無用な操作（再操作等）を回避することができる。
【００６７】
また、本第１の実施形態では、仮の画像（予測画像）が、実際の俯瞰画像から抽出されていることから、実際の状況（ホワイトボードの位置や記載されている内容など）に応じた、適切な仮の画像（予測画像）を生成することができる。
【００６８】
また、本第１の実施形態では、サーバ１側から送付される拡大画像が、制御終了後の拡大用カメラ６によって撮影された画像である場合に、その画像に制御終了フラグが付与されるようになっているので（図６のステップＳ８６）、クライアント２側では、制御終了後の拡大画像であるか否かを容易に判別することができる。また、本第１の実施形態では、クライアント２側で、制御終了フラグが付与された拡大画像を受信したときに、画像受信信号を返信することとしているので（図４のステップＳ３６）、サーバ１側においても、クライアント２側のディスプレイ２１に拡大画像が適切に表示されているか否かを判別することが可能である。
【００６９】
更に、本第１の実施形態では、図３（ａ），図３（ｂ）に示されるように、サーバ１側では、ユーザが拡大指示した領域が、プロジェクタ４を介して描画されるようになっているので、ディスプレイ２１に表示されている（又は表示されようとしている）領域がどの部分であるかを、サーバ１側で容易に認知することができる。これにより、サーバ１側にいるユーザとクライアント２側でディスプレイ２１を見ているユーザとの間のやり取り（遠隔地間の会議など）がスムーズに進行するようになる。また、本第１の実施形態では、クライアント２側で仮の画像（予測画像）が表示されている場合には、拡大指示された領域を破線で描画し、実際に撮影された拡大画像が表示されている場合には拡大指示された領域を実線で描画することとしているので、クライアント２側でどのような画像が表示されているかを、サーバ１側でも容易に判断することが可能である。
【００７０】
なお、上記においては、クライアント２側で仮の画像（予測画像）が表示されている場合に、拡大指示された領域を破線で描画し、実際に撮影された拡大画像が表示されている場合に、拡大指示された領域を実線で描画することとしているが、これに限らず、その他の線種により区別することとしても良い。また、領域内の色の変化などその他の手段により、区別することとしても良い。
【００７１】
なお、上記第１の実施形態では、クライアント２側のユーザは、ウィンドウ２２ａ内に表示されている俯瞰画像上で領域Ａを指定し、その拡大指示コマンドに基づいて、クライアント２が俯瞰画像から仮の画像（予測画像）を生成する場合について説明したが、これに限られるものではなく、例えば、図７（ａ）に示されるように、クライアント２側のユーザが、ウィンドウ２２ｂ内に表示されている拡大領域を更に拡大指定することとしても良い。この場合、クライアント２では、その拡大指示コマンドに基づいて、ウィンドウ２２ｂ内に表示されている拡大画像から、仮の画像（予測画像）を生成するようにしても良い。また、俯瞰画像上で領域を指定した場合であっても、その指定した領域が、現在ウィンドウ２２ｂで表示している拡大画像に含まれる場合には、拡大画像から仮の画像（予測画像）を抽出することとしても良い。更に、俯瞰画像と拡大画像の両方から、仮の画像を抽出する（すなわち、例えば、拡大指定された領域が拡大画像の一部に含まれる場合に、その一部を拡大画像から抽出し、その他の部分を俯瞰画像から抽出するなどする）こととしても良い。
【００７２】
また、上記第１の実施形態において、例えば、クライアントが２台以上存在する場合には、サーバ１側では、拡大領域の表示を図７（ｂ）に示されるように、クライアントごとに表示することとしても良い。この場合、例えば、クライアントごとに色分けなどして表示することとしても良い。このようにすることで、クライアントと各サーバ間との通信速度が異なる場合でも、各クライアントにおけるディスプレイの表示状態（仮の画像（予測画像）が表示されているのか、実際に撮影された拡大画像が表示されているのか）をサーバ１側で確認することが可能である。
【００７３】
なお、上記第１の実施形態では、仮の画像（予測画像）がディスプレイ２１上に表示されている場合には、仮の画像の表示と併せて、仮の画像が表示されている旨（例えば、「仮の画像表示中」などの表示）をディスプレイ２１上に表示するようにしても良い。これにより、ユーザは、ディスプレイ２１上に表示されている画像が仮の画像なのか、実際に撮影された画像なのかを容易に判別することができるようになる。また、これとは逆に、実際の撮影画像がディスプレイ２１上に表示されている場合に、実際の撮影画像と併せて、その旨をディスプレイ２１に表示するようにしても良い。
【００７４】
なお、上記第１の実施形態では、ユーザが拡大領域を指定した場合について説明したが、これに限られるものではなく、ユーザが拡大領域を移動した場合等においても、本発明を適用することができる。
【００７５】
《第２の実施形態》
次に、本発明の第２の実施形態について、図８〜図１０に基づいて説明する。この第２の実施形態は、クライアントが複数存在する点が上記第１の実施形態と異なっている。すなわち、第２の実施形態の遠隔操作システム１００’は、図８に示されるように、クライアント２に加えて、クライアント２’を備えている。また、クライアント２’には、ディスプレイ２１’及び入力部２４’が接続されている。なお、クライアント２側のディスプレイ２１とクライアント２’側のディスプレイ２１’とには、同一のウィンドウ（２２ａ、２２ｂ）が表示されるようになっている。
【００７６】
図９には、サーバ１及びクライアント２、２’の機能構成がブロック図にて示されている。
【００７７】
この図９に示されるように、サーバ１は、画像送信部１０１と、カメラ操作指示受付部１０２と、カメラ制御部１０３と、カメラ操作指示配信部１０４と、接続クライアントデータベース１０５とを備えている。
【００７８】
画像送信部１０１は、ビデオカメラ５で撮影される撮影画像（俯瞰画像）及び拡大用カメラ６で撮影される撮影画像（拡大画像）をクライアント２（２’）に向けて送信する。カメラ操作指示受付部１０２は、クライアント２（２’）のユーザから入力されるカメラ操作指示を受領する。カメラ制御部１０３は、カメラ操作指示受付部１０２で受領されたカメラ操作指示に基づいて、拡大用カメラ６を操作（制御）する。カメラ操作指示配信部１０４は、接続クライアントデータベース１０５に格納されているクライアントデータ（本実施形態ではクライアント２およびクライアント２’のデータ）に基づいて、カメラ操作指示受付部１０２で受領したカメラ操作指示を、全てのクライアント（２，２’）に対して配信する。
【００７９】
クライアント２（又は２’）は、図９に示されるように、同一の機能構成を有しており、より具体的には、クライアント２（２’）は、カメラ操作指示送信部２０１と、カメラ操作指示受信部２０２と、画像受信部２０３と、俯瞰画像保持部２０４と、俯瞰画像表示部２０５と、予測画像生成部２０６と、拡大画像表示部２０７と、を備えている。
【００８０】
カメラ操作指示送信部２０１は、ユーザから入力されたカメラ操作指示を、サーバ１のカメラ操作指示受付部１０２に送信する。カメラ操作指示受信部２０２は、サーバ１のカメラ操作指示配信部１０４から配信されてきたカメラ操作指示を受領する。画像受信部２０３は、サーバ１の画像送信部１０１から送信されてきた俯瞰画像及び拡大画像を受信する。俯瞰画像保持部２０４は、画像受信部２０３にて受信した画像のうち、俯瞰画像のみを保持するものであり、俯瞰画像表示部２０５は、俯瞰画像保持部２０４により保持されている最新の画像をディスプレイ２１（２１’）に表示するものである。予測画像生成部２０６は、カメラ操作指示受信部２０２において受領されたカメラ操作指示に基づいて、俯瞰画像保持部２０４により保持されている最新の画像から拡大領域を抽出して、予測画像を生成する。拡大画像表示部２０７は、予測画像生成部２０６において生成された画像と画像受信部２０３で受信された拡大画像のいずれかをディスプレイ２１（２１’）上に表示する。
【００８１】
図１０には、上記のように構成される遠隔操作システム１００’の処理が、サーバ側の処理と、クライアント側の処理とに分けて、それぞれフローチャートにて示されている。
【００８２】
この図１０に示されるように、サーバ側では、ステップＳ１１０において、カメラ操作指示受付部１０２が、クライアント２、２’のカメラ操作指示送信部２０１のいずれかからカメラ操作指示を受信したか否かを判断する。ここでの判断が肯定されると、次のステップＳ１１２において、カメラ操作指示配信部１０４が、接続クライアントデータベース１０５内のクライアントデータに基づいて、カメラ操作指示を各クライアント２，２’のカメラ操作指示受信部２０２に対して配信する。
【００８３】
次のステップＳ１１４では、全てのクライアントへのカメラ操作指示の配信が終了したかを判断し、ここでの判断が肯定されるまで、ステップＳ１１２及びステップＳ１１４を繰り返す。そして、ここでの判断が肯定されると、次のステップＳ１１６に移行して、カメラ制御部１０３が、カメラ操作指示に基づいて、拡大用カメラ６の操作（制御）を実行する。
【００８４】
その後、拡大用カメラ６の操作が終了すると、画像送信部１０１は、拡大用カメラ６により撮影されている画像をキャプチャし（ステップＳ１１８）、ステップＳ１２０において、各クライアント２，２’の画像受信部２０３に対してキャプチャされた画像を配信し、ステップＳ１２２に移行する。
【００８５】
ステップＳ１２２では、全てのクライアントへのキャプチャ画像の配信が終了したかを判断し、ここでの判断が肯定されるまで、ステップＳ１２０及びステップＳ１２２を繰り返す。そして、ここでの判断が肯定された段階で、サーバ側の処理は終了する。
【００８６】
一方、クライアント側では、ステップＳ１３０において、前述したステップＳ１１２でサーバ側からクライアント側に送信されたカメラ操作指示を、カメラ操作指示受信部２０２が受信したか否かを判断する。ここでの判断が肯定されると、次のステップＳ１３２に移行して、予測画像生成部２０６が、カメラ操作指示に基づいて、俯瞰画像保持部２０４に保持されている俯瞰画像からカメラ操作後の予測画像を生成する（より具体的には、俯瞰画像からカメラ操作指示に対応する部分を抽出し、拡大する）。
【００８７】
次いで、ステップＳ１３４では、拡大画像表示部２０７が、ディスプレイ２１上のウィンドウ２２ｂ内に予測画像を表示する。その後、画像受信部２０３が、サーバ１側から画像（カメラ操作後のキャプチャ画像）を受信するまで待機し（ステップＳ１３６）、キャプチャ画像を受信した段階で、ステップＳ１３８に移行する。
【００８８】
このステップＳ１３８では、受信したキャプチャ画像を、現在ディスプレイ２１上に表示されている予測画像と置換して、ディスプレイ２１上のウィンドウ２２ｂ内に表示し、その後、図１０のクライアント側の処理を終了する。
【００８９】
以上のように、本第２の実施形態では、クライアント２、２’のいずれかにおいてカメラ操作指示が出された場合に、サーバ１側からキャプチャ画像が送られてくるまでは、各クライアントにおいてカメラ操作指示に基づいて生成された予測画像を、ディスプレイ２１（２１’）上に表示することとしているので、実際のキャプチャ画像がサーバ１側から送られてくるまでに時間がかかる場合（遅れが生じる場合）であっても、クライアント２（２’）のユーザは、その後にどのようなキャプチャ画像が表示されるのかを、キャプチャ画像が実際に送られてくる前に知ることができる。これにより、クライアント２（２’）のユーザそれぞれが、例えば、同じ領域を拡大したいと考えているような場合であっても、一方のクライアントが操作をした後、実際のキャプチャ画像が送られてくるまでの間に、他方のクライアントが重複した操作を実行することがなくなる。すなわち、複数のユーザによるカメラ操作のコンフリクトを極力抑制することが可能となる。
【００９０】
なお、上記第２の実施形態では、例えばクライアント２側からサーバ１側にカメラ操作指示が出された場合に、サーバ１（カメラ操作指示配信部１０４）側からクライアント２を含む全クライアントにカメラ操作指示を送信する場合について説明したが、これに限られるものではなく、例えば、クライアント２からカメラ操作指示が出された場合には、クライアント２以外のクライアント（本実施形態ではクライアント２’のみ）にカメラ操作指示を送信することとしても良い。この場合、クライアント２では、予測画像生成部２０６に対するカメラ操作指示の送信を、カメラ操作指示送信部２０１から直接行うこととすれば良い。
【００９１】
なお、上記第２の実施形態では、クライアントが２台（クライアント２、２’）である場合について説明したが、これに限らず、クライアントが３台以上あっても良い。
【００９２】
《第３の実施形態》
次に、本発明の第３の実施形態について、図１１及び図１２について説明する。図１１に示される本第３の実施形態に係る遠隔操作システムは、クライアント２が、カメラ操作を実行する操作クライアントとしての機能を有し、クライアント２’が、カメラ操作を行わない受信クライアントとして機能を有している。すなわち、クライアント２のユーザのみがカメラ操作を行うことが可能であり、クライアント２’のユーザは、クライアント２の操作状態の閲覧のみが可能となっている。なお、以下においては、説明の便宜上、クライアント２を「操作クライアント２」と呼び、クライアント２’を「受信クライアント２’」とも呼ぶものとする。
【００９３】
図１１には、本第３の実施形態に係る遠隔操作システムの機能構成がブロック図にて示されている。この図１１と図９（第２の実施形態の遠隔操作システム）とを比較すると分かるように、本実施形態のクライアント２は、カメラ操作指示送信部２０１に、接続クライアントデータベース２１７が接続されている点、及びカメラ操作指示受信部２０２が取り除かれている点に特徴を有している。また、本実施形態のクライアント２’は、カメラ操作指示送信部２０１を有していない点に特徴を有している。また、本実施形態のサーバ１は、カメラ操作指示配信部１０４及び接続クライアントデータベース１０５が取り除かれている点に特徴を有している。
【００９４】
図１２には、上記のように構成される遠隔操作システムの処理が、サーバ１、操作クライアント２、及び受信クライアント２’の処理ごとに、フローチャートにて示されている。
【００９５】
この図１２に示されるように、サーバ１では、まずステップＳ２１０において、カメラ操作指示受付部１０２が、クライアント２（カメラ操作指示送信部２０１）からカメラ操作指示を受信したか否かを判断する。ここでの判断が肯定されると、次のステップＳ２１２において、カメラ制御部１０３が、カメラ操作指示に基づいて、拡大用カメラ６の操作（制御）を実行する。その後、拡大用カメラ６の操作が終了すると、画像送信部１０１は、拡大用カメラ６により撮影されている画像をキャプチャし（ステップＳ２１４）、ステップＳ２１６において、各クライアント２，２’の画像受信部２０３に対してキャプチャされた画像を配信し、ステップＳ２１８に移行する。
【００９６】
ステップＳ２１８では、全てのクライアントへのキャプチャ画像の配信が終了したか否かを判断し、ここでの判断が肯定されるまで、ステップＳ２１６及びステップＳ２１８を繰り返す。そして、ステップＳ２１８の判断が肯定された段階で、サーバ１の処理を終了する。
【００９７】
一方、操作クライアント２では、ステップＳ２２０において、カメラ操作指示送信部２０１が、ユーザからのカメラ操作指示を受領したか否かを判断する。ここでの判断が肯定されると、次のステップＳ２２２において、カメラ操作指示に基づいて、俯瞰画像保持部２０４に保持されている俯瞰画像からカメラ操作後の予測画像を生成する（より具体的には、俯瞰画像からカメラ操作指示に対応する部分を抽出し、拡大する）。
【００９８】
次いで、ステップＳ２２４では、拡大画像表示部２０７が、ディスプレイ２１上のウィンドウ２２ｂ内に予測画像を表示する。
【００９９】
次いで、ステップＳ２２６では、カメラ操作指示送信部２０１が、接続クライアントデータベース２１７内のデータに基づいてカメラ操作指示を全クライアント（ここでは、クライアント２’のみである）のカメラ操作指示受信部２０２に対して配信する。
【０１００】
次のステップＳ２２８では、全てのクライアントへの配信が終了したかを判断し、ここでの判断が肯定されるまで、ステップＳ２２６及びステップＳ２２８を繰り返す。そして、ここでの判断が肯定されると、次のステップＳ２３０に移行して、カメラ操作指示送信部２０１が、サーバ１（カメラ操作指示受付部１０２）に対して、カメラ操作指示を送信する。
【０１０１】
その後は、画像受信部２０３が、サーバ１側から画像（カメラ操作後のキャプチャ画像）を受信するまで待機し（ステップＳ２３２）、キャプチャ画像を受信した段階で、ステップＳ２３４に移行して、受信したキャプチャ画像を、現在ディスプレイ２１上に表示されている予測画像と置換して、ディスプレイ２１上のウィンドウ２２ｂ内に表示することにより、操作クライアント２の処理を終了する。
【０１０２】
これに対し、受信クライアント２’では、前述した操作クライアント２のステップＳ２２６の処理により送信されたカメラ操作指令をカメラ操作指示受信部２０２が受信すると、ステップＳ２４０の判断が肯定され、ステップＳ２４２において、カメラ操作指示に基づいて、俯瞰画像保持部２０４に保持されている俯瞰画像からカメラ操作後の予測画像を生成する（より具体的には、俯瞰画像からカメラ操作指示に対応する部分を抽出し、拡大する）。
【０１０３】
次いで、ステップＳ２４４では、拡大画像表示部２０７が、ディスプレイ２１上のウィンドウ２２ｂ内に予測画像を表示する。
【０１０４】
その後、画像受信部２０３が、サーバ１側から画像（カメラ操作後のキャプチャ画像）を受信するまで待機し（ステップＳ２４６）、キャプチャ画像を受信した段階で、ステップＳ２４８に移行して、受信したキャプチャ画像を、現在ディスプレイ２１’上に表示されている予測画像と置換して、ディスプレイ２１’上のウィンドウ２２ｂ内に表示することにより、受信クライアント２’の処理を終了する。
【０１０５】
以上説明したように、本第３の実施形態では、操作クライアント２においてカメラ操作指示が出された場合に、操作クライアント２が、受信クライアント２’に対してカメラ操作指示を送信し、受信クライアント２’では、サーバ１側からキャプチャ画像が送られてくるまでは、受信クライアント２’において、カメラ操作指示に基づいて生成された予測画像をディスプレイ２１’上に表示することとしているので、実際のキャプチャ画像がサーバ１側から送られてくるまでに時間がかかる場合であっても、受信クライアント２’では、その後にどのようなキャプチャ画像が表示されるのかを、キャプチャ画像が実際に送られてくる前の早い段階で知ることができる。これにより、例えば、各クライアント２，２’とサーバ１との間の通信速度が異なる場合等において、各クライアント２，２’を操作するユーザ同士で会議等を行うこととしても、次に表示される画像の概要を早期に知ることができるので、会議等の円滑な進行が期待できる。
【０１０６】
なお、上記第３の実施形態では、受信クライアント２’を１台のみ設けた場合について説明したが、受信クライアント２’が複数台あっても良い。
【０１０７】
なお、上記第３の実施形態では、操作クライアント２が１台である場合について説明したが、これに限らず、例えば、操作クライアント２が複数台あっても良い。また、受信クライアントを設けずに、複数台の操作クライアント２のみで構成することとしても良い。
【０１０８】
なお、上記第２、第３の実施形態においても、サーバ１側において、前述した図７（ｂ）のような図形を、プロジェクタ４を介してホワイトボード７上に表示するようにしても良い。
【０１０９】
なお、上記第２、第３の実施形態においても、クライアント２側のユーザが、ウィンドウ２２ｂ内に表示されている拡大領域を更に操作することとしても良い。この場合、クライアント２では、そのカメラ操作指示に基づいて、ウィンドウ２２ｂ内に表示されている拡大画像から、仮の画像（予測画像）を生成するようにしても良い。また、俯瞰画像上でカメラ操作指示を行った場合（例えば拡大指示をした場合）であっても、その拡大指示した領域が、現在ウィンドウ２２ｂで表示している拡大画像に含まれる場合には、拡大画像から仮の画像（予測画像）を抽出することとしても良い。更に、俯瞰画像と拡大画像の両方から、仮の画像を抽出する（すなわち、例えば、拡大指定された領域が拡大画像の一部に含まれる場合に、その一部を拡大画像から抽出し、その他の部分を俯瞰画像から抽出するなどする）こととしても良い。
【０１１０】
なお、上記各実施形態では、ビデオカメラ５及び拡大用カメラ６により撮影される対象物がホワイトボード７である場合について説明したが、これに限られるものではなく、対象物としては種々の物体を採用することが可能である。
【０１１１】
なお、上記各実施形態では、プロジェクタ４をサーバ１に接続し、ビデオカメラ５を不図示の他のＰＣに接続するようにしても良い。この場合、ビデオカメラ５の撮影画像は、当該他のＰＣを介してクライアント２（又は２’）に出力される。
【０１１２】
なお、サーバ１、クライアント２（２’）の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、各ＰＣに供給し、各ＰＣのＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。
【０１１３】
また、サーバ１、クライアント２（２’）のＣＰＵが、各ＰＣの機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
【０１１４】
上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【図面の簡単な説明】
【０１１５】
【図１】第１の実施形態に係る遠隔操作システムの概略構成を示す図である。
【図２】遠隔操作システムの動作を説明するための図（その１）である。
【図３】遠隔操作システムの動作を説明するための図（その２）である。
【図４】第１の実施形態に係るクライアントの処理を示すフローチャートである。
【図５】第１の実施形態に係る描画サーバの処理を示すフローチャートである。
【図６】第１の実施形態に係るビデオサーバの処理を示すフローチャートである。
【図７】第１の実施形態の変形例を示す図である。
【図８】第２の実施形態に係る遠隔操作システムの概略構成を示す図である。
【図９】第２の実施形態に係る遠隔操作システムの機能構成を示すブロック図である。
【図１０】図９の遠隔操作システムの処理を示すフローチャートである。
【図１１】第３の実施形態に係る遠隔操作システムの機能構成を示すブロック図である。
【図１２】図１１の遠隔操作システムの処理を示すフローチャートである。
【符号の説明】
【０１１６】
１  サーバ
２  クライアント
２’  クライアント
４  プロジェクタ
５  ビデオカメラ
６  拡大用カメラ
７  ホワイトボード
１００  遠隔操作システム
【図１】
2009049942.tif 000003
【図２】
2009049942.tif 000004
【図３】
2009049942.tif 000005
【図４】
2009049942.tif 000006
【図５】
2009049942.tif 000007
【図６】
2009049942.tif 000008
【図７】
2009049942.tif 000009
【図８】
2009049942.tif 000010
【図９】
2009049942.tif 000011
【図１０】
2009049942.tif 000012
【図１１】
2009049942.tif 000013
【図１２】
2009049942.tif 000014