(57)【要約】【課題】  ユーザの操作負担を軽減することができる情報処理装置及び制御プログラムを提供する。【解決手段】  ＰＣ１は、ＰＣ２から入力されたアノテーション画像を対象物及び背景を含む投影領域に投影するプロジェクタ４、及び当該対象物及び当該背景を含む投影領域を撮影するビデオカメラ５に接続される。ＰＣ１の制御部１０１は、ビデオカメラ５により撮影された撮影画像に基づいて、対象物８の移動を検出し、対象物８の移動により生じた撮影画像上の変化領域を抽出し、当該変化領域にアノテーション画像（注釈画像）が含まれる場合に、当該アノテーション画像を消去する。【選択図】  図２
2008287691.tif 000002
【特許請求の範囲】
【請求項１】
外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続される情報処理装置であって、
前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段と、
前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段と、
当該変化領域に前記注釈画像が含まれる場合に、前記撮影画像及び前記注釈画像の少なくとも一方に対する処理を実行する処理手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記検出手段は、前記撮影装置により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とを比較することにより、前記対象物の移動を検出することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記検出手段は、前記撮影装置により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とをそれぞれ複数の小領域に分割し、互いに対応する分割された小領域同士を比較することにより、前記対象物の移動を検出することを特徴とする請求項１又は２記載の情報処理装置。
【請求項４】
前記抽出手段は、前記外部端末からの前記注釈画像の入力中に生じる前記変化領域又は前記外部端末からの前記注釈画像の座標情報に基づいて前記表示領域内の前記注釈画像の領域を無視することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記処理手段により実行される処理には、前記注釈画像の消去が含まれることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記処理手段で消去される注釈画像の情報を前記外部端末に送信する送信手段をさらに備え、
前記外部端末は、前記撮影装置による撮影画像を表示すると共に、前記送信手段からの消去される注釈画像の情報に応じて、当該注釈画像の消去の取消を前記処理手段に対して指示可能な指示部を表示する画像表示手段を備えることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記画像表示手段は、前記送信手段からの消去される注釈画像の情報に応じて、当該注釈画像を一定時間点滅表示することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記処理手段は、前記変化領域に前記注釈画像の一部が含まれる場合に、当該注釈画像の全てを消去することを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記処理手段は、前記変化領域から所定距離広げた範囲内にある注釈画像をも消去することを特徴とする請求項５乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記処理手段は、前記外部端末から入力された複数の注釈画像を１つのグループとして扱い、少なくとも１つの注釈画像を消去する場合には、同一グループに属する他の注釈画像も消去することを特徴とする請求項５乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記外部端末から前記注釈画像及び当該注釈画像に関連付けられている領域の情報を取得する取得手段を更に備え、
前記処理手段は、前記変化領域に前記注釈画像に関連付けられている領域が含まれる場合に、前記注釈画像を消去することを特徴とする請求項５乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記処理手段により実行される処理には、前記変化領域に前記注釈画像が含まれる前の時点における前記撮影画像の記憶、が含まれることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記処理手段は、前記変化領域に前記注釈画像の少なくとも一部が含まれる場合に、その前の時点における前記撮影画像を記憶することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記処理手段は、前記変化領域から所定距離広げた範囲内に前記注釈画像の少なくとも一部が含まれる場合にも、その前の時点における前記撮影画像を記憶することを特徴とする請求項１２又は１３に記載の情報処理装置。
【請求項１５】
対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段と、
前記対象物の移動を検出する検出手段と、
前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段と、
当該変化領域に前記注釈画像が含まれる場合に、前記表示領域内における表示に対する処理を実行する処理手段とを備えることを特徴とする情報処理装置。
【請求項１６】
前記抽出手段は、前記外部端末からの前記注釈画像の入力中に生じる前記変化領域又は前記外部端末からの前記注釈画像の座標情報に基づいて前記表示領域内の前記注釈画像の領域を無視することを特徴とする請求項１５に記載の情報処理装置。
【請求項１７】
前記処理手段により実行される処理には、前記注釈画像の消去が含まれることを特徴とする請求項１５又は１６に記載の情報処理装置。
【請求項１８】
前記処理手段は、前記変化領域に前記注釈画像の一部が含まれる場合に、当該注釈画像の全てを消去することを特徴とする請求項１７に記載の情報処理装置。
【請求項１９】
前記処理手段は、前記変化領域から所定距離広げた範囲内にある注釈画像をも消去することを特徴とする請求項１７又は１８に記載の情報処理装置。
【請求項２０】
前記処理手段は、前記外部端末から入力された複数の注釈画像を１つのグループとして扱い、少なくとも１つの注釈画像を消去する場合には、同一グループに属する他の注釈画像も消去することを特徴とする請求項１７乃至１９のいずれか１項に記載の情報処理装置。
【請求項２１】
前記外部端末から前記注釈画像及び当該注釈画像に関連付けられている領域の情報を取得する取得手段を更に備え、
前記処理手段は、前記変化領域に前記注釈画像に関連付けられている領域が含まれる場合に、前記注釈画像を消去することを特徴とする請求項１７乃至２０のいずれか１項に記載の情報処理装置。
【請求項２２】
前記処理手段により実行される処理には、前記変化領域に前記注釈画像が含まれる前の時点における前記表示領域内の表示の記憶、が含まれることを特徴とする請求項１５乃至２１のいずれか１項に記載の情報処理装置。
【請求項２３】
前記処理手段は、前記変化領域に前記注釈画像の少なくとも一部が含まれる場合に、その前の時点における前記表示領域内の表示を記憶することを特徴とする請求項２２に記載の情報処理装置。
【請求項２４】
前記処理手段は、前記変化領域から所定距離広げた範囲内に前記注釈画像の少なくとも一部が含まれる場合にも、その前の時点における前記表示領域内の表示を記憶することを特徴とする請求項２２又は２３に記載の情報処理装置。
【請求項２５】
外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続される情報処理装置であって、
前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段と、
前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段と、
当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報との少なくとも一方に基づいて、前記撮影画像の重要度を算出し、前記重要度に応じた前記撮影画像の記憶を実行する記憶手段とを備えることを特徴とする情報処理装置。
【請求項２６】
対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段と、
前記対象物の移動を検出する検出手段と、
前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段と、
当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報との少なくとも一方に基づいて、前記表示領域内の表示の重要度を算出し、前記重要度に応じた前記表示の記憶を実行する記憶手段とを備えることを特徴とする情報処理装置。
【請求項２７】
前記記憶手段は、前記重要度が所定値以上である場合に、前記記憶を実行することを特徴とする請求項２５又は２６に記載の情報処理装置。
【請求項２８】
前記記憶手段は、前記記憶を実行する際に、前記重要度のデータも記憶することを特徴とする請求項２５乃至２７のいずれか１項に記載の情報処理装置。
【請求項２９】
前記重要度の算出に用いられる前記変化領域の情報には、該変化領域の大きさ、前記変化領域が発生するまでの時間の少なくとも一方が含まれ、
前記変化領域に含まれる前記注釈画像の情報には、前記変化領域に含まれる前記注釈画像の数、前記変化領域内に複数の注釈画像が含まれる場合における各注釈画像間の距離及び各注釈画像が描画された時間間隔の少なくとも１つが含まれることを特徴とする請求項２５乃至２８のいずれか１項に記載の情報処理装置。
【請求項３０】
外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続されるコンピュータを、
前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段、
前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段、及び
当該変化領域に前記注釈画像が含まれる場合に、前記撮影画像及び前記注釈画像の少なくとも一方に対する処理を実行する処理手段として機能させることを特徴とするプログラム。
【請求項３１】
コンピュータを、
対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段、
前記対象物の移動を検出する検出手段、
前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段、及び
当該変化領域に前記注釈画像が含まれる場合に、前記表示領域内における表示に対する処理を実行する処理手段として機能させることを特徴とするプログラム。
【請求項３２】
外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続されるコンピュータを、
前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段、
前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段、及び
当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報との少なくとも一方に基づいて、前記撮影画像の重要度を算出し、前記重要度に応じた前記撮影画像の記憶を行う記憶手段として機能させることを特徴とするプログラム。
【請求項３３】
コンピュータを、
対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段、
前記対象物の移動を検出する検出手段、
前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段、及び
当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報との少なくとも一方に基づいて、前記表示領域内の表示の重要度を算出し、前記重要度に応じた前記表示の記憶を実行する記憶手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、ビデオカメラ及びプロジェクタが接続されているサーバ（例えばコンピュータ）と、ネットワークを介して当該サーバに接続される遠隔地のクライアント（例えばコンピュータ）とを備える遠隔指示システムが知られている（例えば、特許文献１、２参照）。
【０００３】
この遠隔指示システムでは、サーバは、サーバに接続されているビデオカメラによって撮影された対象物の撮影画像を、ネットワークを介してクライアントに送信する。クライアントは、クライアントに接続されている表示装置の表示画面に立体物を含む撮影画像を表示し、当該表示画面上にアノテーション画像（線、図形、文字）などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信する。サーバは、受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を対象物を含む投影領域の適切な位置（これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する）に投影する。
【特許文献１】米国特許公開２００４／００７０６７４号公報
【特許文献２】特開２００５−３３７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記遠隔指示システムでは、表示画面に表示されている対象物上に、クライアントのユーザによってアノテーション画像が書き込まれた後で、対象物が移動されると、当該アノテーション画像は意味のないものになる。このため、クライアントのユーザは意味のなくなったアノテーション画像を表示画面から削除するが、この作業は、クライアントのユーザにとって手間と時間がかかる。
【０００５】
また、上記遠隔指示システムでは、当該遠隔指示システムを用いた会議の議事録を作成したりするために、アノテーション画像が投影された対象物の画像を適宜保存しておくことが望ましい。しかしながら、ユーザが、画像を保存する適切なタイミングを判断するのは難しいため、適切な画像の保存を行うことができない可能性がある。また、ユーザは、会議の最中に、画像保存のための適切なタイミングを計らなければならないため、この作業が、ユーザにとって負担となる可能性がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ユーザの操作負担を軽減することができる情報処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１の情報処理装置は、外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続される情報処理装置であって、前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段と、前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段と、当該変化領域に前記注釈画像が含まれる場合に、前記撮影画像及び前記注釈画像の少なくとも一方に対する処理を実行する処理手段とを備えることを特徴とする。
【０００８】
請求項２の情報処理装置は、請求項１記載の情報処理装置において、前記検出手段は、前記撮影装置により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とを比較することにより、前記対象物の移動を検出することを特徴とする。
【０００９】
請求項３の情報処理装置は、請求項１又は２記載の情報処理装置において、前記検出手段は、前記撮影装置により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とをそれぞれ複数の小領域に分割し、互いに対応する分割された小領域同士を比較することにより、前記対象物の移動を検出することを特徴とする。
【００１０】
請求項４の情報処理装置は、請求項１乃至３のいずれか１項に記載の情報処理装置において、前記抽出手段は、前記外部端末からの前記注釈画像の入力中に生じる前記変化領域又は前記外部端末からの前記注釈画像の座標情報に基づいて前記表示領域内の前記注釈画像の領域を無視することを特徴とする。
【００１１】
請求項５の情報処理装置は、請求項１乃至４のいずれか１項に記載の情報処理装置において、前記処理手段により実行される処理には、前記注釈画像の消去が含まれることを特徴とする。
【００１２】
請求項６の情報処理装置は、請求項５に記載の情報処理装置において、前記処理手段で消去される注釈画像の情報を前記外部端末に送信する送信手段をさらに備え、前記外部端末は、前記撮影装置による撮影画像を表示すると共に、前記送信手段からの消去される注釈画像の情報に応じて、当該注釈画像の消去の取消を前記処理手段に対して指示可能な指示部を表示する画像表示手段を備えることを特徴とする。
【００１３】
請求項７の情報処理装置は、請求項６に記載の情報処理装置において、前記画像表示手段は、前記送信手段からの消去される注釈画像の情報に応じて、当該注釈画像を一定時間点滅表示することを特徴とする。
【００１４】
請求項８の情報処理装置は、請求項５乃至７のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域に前記注釈画像の一部が含まれる場合に、当該注釈画像の全てを消去することを特徴とする。
【００１５】
請求項９の情報処理装置は、請求項５乃至８のいずれか１項に記載の情報処理装置において、前記処理手段は、前記変化領域から所定距離広げた範囲内にある注釈画像をも消去することを特徴とする。
【００１６】
請求項１０の情報処理装置は、請求項５乃至９のいずれか１項に記載の情報処理装置において、前記処理手段は、前記外部端末から入力された複数の注釈画像を１つのグループとして扱い、少なくとも１つの注釈画像を消去する場合には、同一グループに属する他の注釈画像も消去することを特徴とする。
【００１７】
請求項１１の情報処理装置は、請求項５乃至１０のいずれか１項に記載の情報処理装置において、前記外部端末から前記注釈画像及び当該注釈画像に関連付けられている領域の情報を取得する取得手段を更に備え、前記処理手段は、前記変化領域に前記注釈画像に関連付けられている領域が含まれる場合に、前記注釈画像を消去することを特徴とする。
【００１８】
請求項１２の情報処理装置は、請求項１乃至１１のいずれか１項に記載の情報処理装置において、前記処理手段により実行される処理には、前記変化領域に前記注釈画像が含まれる前の時点における前記撮影画像の記憶、が含まれることを特徴とする。
【００１９】
請求項１３の情報処理装置は、請求項１２に記載の情報処理装置において、前記処理手段は、前記変化領域に前記注釈画像の少なくとも一部が含まれる場合に、その前の時点における前記撮影画像を記憶することを特徴とする。
【００２０】
請求項１４の情報処理装置は、請求項１２又は１３に記載の情報処理装置において、前記処理手段は、前記変化領域から所定距離広げた範囲内に前記注釈画像の少なくとも一部が含まれる場合にも、その前の時点における前記撮影画像を記憶することを特徴とする。
【００２１】
請求項１５の情報処理装置は、対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段と、前記対象物の移動を検出する検出手段と、前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段と、当該変化領域に前記注釈画像が含まれる場合に、前記表示領域内における表示に対する処理を実行する処理手段とを備えることを特徴とする。
【００２２】
請求項１６の情報処理装置は、請求項１５に記載の情報処理装置において、前記抽出手段は、前記外部端末からの前記注釈画像の入力中に生じる前記変化領域又は前記外部端末からの前記注釈画像の座標情報に基づいて前記表示領域内の前記注釈画像の領域を無視することを特徴とする。
【００２３】
請求項１７の情報処理装置は、請求項１５又は１６に記載の情報処理装置において、前記処理手段により実行される処理には、前記注釈画像の消去が含まれることを特徴とする。
【００２４】
請求項１８の情報処理装置は、請求項１７に記載の情報処理装置において、前記処理手段は、前記変化領域に前記注釈画像の一部が含まれる場合に、当該注釈画像の全てを消去することを特徴とする。
【００２５】
請求項１９の情報処理装置は、請求項１７又は１８に記載の情報処理装置において、前記処理手段は、前記変化領域から所定距離広げた範囲内にある注釈画像をも消去することを特徴とする。
【００２６】
請求項２０の情報処理装置は、請求項１７乃至１９のいずれか１項に記載の情報処理装置において、前記処理手段は、前記外部端末から入力された複数の注釈画像を１つのグループとして扱い、少なくとも１つの注釈画像を消去する場合には、同一グループに属する他の注釈画像も消去することを特徴とする。
【００２７】
請求項２１の情報処理装置は、請求項１７乃至２０のいずれか１項に記載の情報処理装置において、前記外部端末から前記注釈画像及び当該注釈画像に関連付けられている領域の情報を取得する取得手段を更に備え、前記処理手段は、前記変化領域に前記注釈画像に関連付けられている領域が含まれる場合に、前記注釈画像を消去することを特徴とする。
【００２８】
請求項２２の情報処理装置は、請求項１５乃至２１のいずれか１項に記載の情報処理装置において、前記処理手段により実行される処理には、前記変化領域に前記注釈画像が含まれる前の時点における前記表示領域内の表示の記憶、が含まれることを特徴とする。
【００２９】
請求項２３の情報処理装置は、請求項２２に記載の情報処理装置において、前記処理手段は、前記変化領域に前記注釈画像の少なくとも一部が含まれる場合に、その前の時点における前記表示領域内の表示を記憶することを特徴とする。
【００３０】
請求項２４の情報処理装置は、請求項２２又は２３に記載の情報処理装置において、前記処理手段は、前記変化領域から所定距離広げた範囲内に前記注釈画像の少なくとも一部が含まれる場合にも、その前の時点における前記表示領域内の表示を記憶することを特徴とする。
【００３１】
請求項２５の情報処理装置は、外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続される情報処理装置であって、前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段と、前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段と、当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報との少なくとも一方に基づいて、前記撮影画像の重要度を算出し、前記重要度に応じた前記撮影画像の記憶を実行する記憶手段とを備えることを特徴とする。
【００３２】
請求項２６の情報処理装置は、対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段と、前記対象物の移動を検出する検出手段と、前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段と、当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報との少なくとも一方に基づいて、前記表示領域内の表示の重要度を算出し、前記重要度に応じた前記表示の記憶を実行する記憶手段とを備えることを特徴とする。
【００３３】
請求項２７の情報処理装置は、請求項２５又は２６に記載の情報処理装置において、前記記憶手段は、前記重要度が所定値以上である場合に、前記記憶を実行することを特徴とする。
【００３４】
請求項２８の情報処理装置は、請求項２５乃至２７のいずれか１項に記載の情報処理装置において、前記記憶手段は、前記記憶を実行する際に、前記重要度のデータも記憶することを特徴とする。
【００３５】
請求項２９の情報処理装置は、請求項２５乃至２８のいずれか１項に記載の情報処理装置において、前記重要度の算出に用いられる前記変化領域の情報には、該変化領域の大きさ、前記変化領域が発生するまでの時間の少なくとも一方が含まれ、前記変化領域に含まれる前記注釈画像の情報には、前記変化領域に含まれる前記注釈画像の数、前記変化領域内に複数の注釈画像が含まれる場合における各注釈画像間の距離及び各注釈画像が描画された時間間隔の少なくとも１つが含まれることを特徴とする。
【００３６】
請求項３０のプログラムは、外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続されるコンピュータを、前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段、前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段、及び当該変化領域に前記注釈画像が含まれる場合に、前記撮影画像及び前記注釈画像の少なくとも一方に対する処理を実行する処理手段として機能させることを特徴とする。
【００３７】
請求項３１のプログラムは、コンピュータを、対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段、前記対象物の移動を検出する検出手段、前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段、及び当該変化領域に前記注釈画像が含まれる場合に、前記表示領域内における表示に対する処理を実行する処理手段として機能させることを特徴とする。
【００３８】
請求項３２のプログラムは、外部端末から入力された注釈画像を対象物及び背景を含む投影領域に投影する投影装置、及び当該対象物及び当該背景を含む投影領域を撮影する撮影装置に接続されるコンピュータを、前記撮影装置により撮影された撮影画像に基づいて、前記対象物の移動を検出する検出手段、前記対象物の移動により生じた前記撮影画像上の変化領域を抽出する抽出手段、及び当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報との少なくとも一方に基づいて、前記撮影画像の重要度を算出し、前記重要度に応じた前記撮影画像の記憶を行う記憶手段として機能させることを特徴とする。
【００３９】
請求項３３のプログラムは、コンピュータを、対象物及び外部端末から入力された注釈画像を表示領域に表示する表示手段、前記対象物の移動を検出する検出手段、前記対象物の移動により生じた、前記表示領域内の変化領域を抽出する抽出手段、及び当該変化領域の情報と、当該変化領域に含まれる前記注釈画像の情報との少なくとも一方に基づいて、前記表示領域内の表示の重要度を算出し、前記重要度に応じた前記表示の記憶を実行する記憶手段として機能させることを特徴とする。
【発明の効果】
【００４０】
請求項１、１５の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに、画像又は表示に対する処理を自動的に行うので、ユーザの操作負担を軽減することができる。
【００４１】
請求項２の発明によれば、対象物の移動を追跡する処理を実行する場合と比べて、対象物の移動を検出するのに必要な計算量を少なくすることができる。
【００４２】
請求項３の発明によれば、撮影画像のノイズ等の影響を受けずに、正確に対象物の移動を検出することができる。
【００４３】
請求項４、１６の発明によれば、必要な注釈画像の入力を確保することができる。
【００４４】
請求項５、１７の発明によれば、対象物の移動により不要になった注釈画像を自動的に削除でき、ユーザの操作負担を軽減することができる。
【００４５】
請求項６の発明によれば、外部端末のユーザが、注釈画像の消去の取消を指示することができる。
【００４６】
請求項７の発明によれば、外部端末のユーザに消去対象の注釈画像を知らせることができる。
【００４７】
請求項８、１８の発明によれば、対象物の移動により不要になった注釈画像を全て消去でき、ユーザの操作負担を軽減することができる。
【００４８】
請求項９、１９の発明によれば、不要になった注釈画像を効果的に消去することができ、ユーザの操作負担を軽減することができる。
【００４９】
請求項１０、２０の発明によれば、複数の注釈画像を一度に消去することができ、ユーザの操作負担を軽減することができる。
【００５０】
請求項１１、２１の発明によれば、変化領域に注釈画像に関連付けられている領域が含まれる場合には、当該注釈画像を自動的に削除することができ、ユーザの操作負担を軽減することができる。
【００５１】
請求項１２、２２の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに、その直前の画像又は表示を自動的に記憶するので、ユーザの操作負担を軽減することができる。
【００５２】
請求項１３，２３の発明によれば、対象物の移動により対象物と注釈画像との位置関係が変化した全ての場合において、その直前の画像又は表示を自動的に記憶するので、ユーザの操作負担を軽減することができる。
【００５３】
請求項１４、２４の発明によれば、画像を効果的に記憶することができ、ユーザの操作負担を軽減することができる。
【００５４】
請求項２５、２６の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに、撮影画像又は表示の重要度に応じた記憶を自動的に実行するので、適切な記憶を、ユーザの操作負担を軽減した状態で行うことができる。
【００５５】
請求項２７の発明によれば、重要度の高い画像又は表示のみ、記憶することができる。
【００５６】
請求項２８の発明によれば、画像又は表示とともに重要度も記憶するので、ユーザは、重要度に応じて画像又は表示を使用することができる。
【００５７】
請求項２９の発明によれば、重要度を定量的に判断することができる。
【００５８】
請求項３０、３１の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに画像又は表示に対する処理を自動的に行うことができるので、ユーザの操作負担を軽減することができる。
【００５９】
請求項３２、３３の発明によれば、対象物の移動により、対象物と注釈画像との位置関係が変化したときに、撮影画像又は表示の重要度に応じた記憶を自動的に実行するので、適切な記憶を、ユーザの操作負担を軽減した状態で行うことができる。
【発明を実施するための最良の形態】
【００６０】
以下、本発明の実施の形態について、図面を参照して説明する。
【００６１】
（第１の実施の形態）
図１は、本発明の実施の形態に係る情報処理装置を含む遠隔指示システムの構成を示す図である。
【００６２】
図１の遠隔指示システムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）、クライアントとして機能するＰＣ２（外部端末）を備えており、これらは、ネットワーク３を介して互いに接続されている。ＰＣ１には、プロジェクタ４（投影装置）、及びビデオカメラ５（撮影装置）が接続されている。プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、対象物８及びスクリーン１０に対して、ハーフミラー６を介して単なる光線を照射する又はアノテーション画像（注釈画像）等を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。
【００６３】
ビデオカメラ５は、対象物８を含むスクリーン１０の反射画像をハーフミラー６を介して撮影し、撮影画像をＰＣ１に出力する。
【００６４】
ＰＣ１は、ビデオカメラ５により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２０５に接続されており、表示部２０５は、撮影画像の表示領域１２及びユーザインターフェース（ＵＩ）１４を表示する。尚、ＰＣ２は、表示部２０５を備える一体型のパーソナルコンピュータで構成してもよい。
【００６５】
ＵＩ１４は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域１２には、ビデオカメラ５で撮影された撮影画像が表示される。図１においては、対象物８を含むスクリーン１０をビデオカメラ５により撮影した撮影画像が表示領域１２に表示されている。
【００６６】
例えば、ＵＩ１４のペンボタンが押下されて、表示領域１２内の対象物８上に図形等が記載されると、当該図形の情報（具体的には、当該図形を示す、表示領域１２における座標（ｘ、ｙ））はＰＣ２からＰＣ１に出力される。ＰＣ１は、当該図形の情報をプロジェクタ４の座標の情報に変換し、プロジェクタ４に出力する。プロジェクタ４は当該変換された図形の情報に基づいて対象物８上に当該図形を投影する。尚、撮影画像は表示部２０５の表示領域１２に表示されるため、撮影画像における座標（ｘ、ｙ）は、表示領域１２における座標（ｘ、ｙ）と一致する。
【００６７】
また、ＰＣ２は、ＰＣ１に対して制御コマンドを出力し、プロジェクタ４及びビデオカメラ５の動作（例えば、ビデオカメラ５の撮影角度や撮影画像の明るさ、及びプロジェクタ４の投影画像の明るさなど）を制御することができる。
【００６８】
尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、遠隔指示システムは、複数のクライアント（ＰＣ）を備えていてもよい。また、プロジェクタ４をＰＣ１に接続し、ビデオカメラ５を不図示の他のＰＣに接続するようにしてもよい。この場合、ビデオカメラ５の撮影画像は、当該他のＰＣを介してＰＣ２に出力される。
【００６９】
図２は、ＰＣ１〜２の機能構成を示すブロック図である。
【００７０】
ＰＣ１は、装置全体を制御すると共にプロジェクタ４、ビデオカメラ５及び三次元計測装置７の動作を制御する制御部１０１（検出手段、抽出手段、処理手段、取得手段）と、ネットワーク３を介してＰＣ２と情報やデータの送受信を行う送受信部１０２（送信手段）と、制御プログラム、データ及び情報等を記憶する記憶部１０３と、プロジェクタ４、及びビデオカメラ５と接続するためのインタフェース（ＩＦ）部１０４とを備えている。制御部１０１は、送受信部１０２、記憶部１０３、及びＩＦ部１０４に接続されており、さらにＩＦ部１０４を介してプロジェクタ４、及びビデオカメラ５に接続されている。
【００７１】
尚、ＰＣ１は、マウスやキーボードなどで構成される操作部１０５と、撮影画像を表示する表示部１０６（表示手段）とをさらに備えていてもよい。
【００７２】
ＰＣ２は、装置全体を制御する制御部２０１と、ネットワーク３を介してＰＣ１と情報やデータの送受信を行う送受信部２０２と、制御プログラム、データ及び情報等を記憶する記憶部２０３と、マウスやキーボードなどで構成される操作部２０４と、表示部２０５（画像表示手段）とを備えている。制御部２０１は、送受信部２０２、記憶部２０３、操作部２０４、及び表示部２０５に接続されている。
【００７３】
図３は、ＰＣ１のハードウェア構成を示すブロック図である。
【００７４】
ＰＣ１は、装置全体を制御するＣＰＵ２１、制御プログラムを備えるＲＯＭ２２、ワーキングエリアとして機能するＲＡＭ２３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、他のコンピュータと接続するためのネットワークインタフェース２６、液晶モニタ又はＣＲＴで構成されるディスプレイ２７、及び不図示のＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インタフェース２８を備えている。ＣＰＵ２１はシステムバス２９を介してＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、ネットワークインタフェース２６、ディスプレイ２７及びＵＳＢインタフェース２８に接続されている。
【００７５】
制御部１０１は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。送受信部１０２は、ネットワークインタフェース２６に相当し、記憶部１０３は、ハードディスクドライブ（ＨＤＤ）２４に相当する。ＩＦ部１０４は、ＵＳＢインタフェース２８に相当する。操作部１０５は、マウス及びキーボード２５に相当し、表示部１０６は、ディスプレイ２７に相当する。
【００７６】
ＰＣ２は、ＰＣ１と同様に、図３に示す構成を有している。
【００７７】
図４は、ＰＣ１で実行される処理を示すフローチャートである。
【００７８】
ＰＣ１の制御部１０１は、ビデオカメラ５から撮影画像を受信し、記憶部１０３に記憶する（ステップＳ１）。この撮影画像は、例えば、０．５秒ごとにフレーム画像としてビデオカメラ５から送られる。
【００７９】
制御部１０１は、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをピクセル毎に比較する（ステップＳ２）。具体的には、制御部１０１は、ビデオカメラ５から受信した直後のフレーム画像と、その直前に記憶部１０３に記憶されたフレーム画像とをピクセル毎に比較する。
【００８０】
制御部１０１は、ステップＳ２の比較結果に基づいて、対象物８が移動されたか否かを判別する（ステップＳ３）。このステップＳ３では、制御部１０１は、上記２つの撮影画像（フレーム画像）に差分があると、対象物８が移動したと判別する。
【００８１】
尚、制御部１０１は、アノテーション画像の投影による撮影画像（フレーム画像）の変化は、検知しない。即ち、制御部１０１は、アノテーション画像の投影前後のフレーム画像間の差分を無視する。これにより、必要な注釈画像の入力を確保することができる。
【００８２】
次いで、制御部１０１は、対象物８の移動が終了したか否かを判別する（ステップＳ４）。例えば、制御部１０１は、連続した５０枚のフレーム画像に変化がなければ、対象物８の移動が終了したと判別する。
【００８３】
ステップＳ４でＮＯの場合には、当該判別処理を繰り返す。一方、ステップＳ４でＹＥＳの場合には、制御部１０１は、ビデオカメラ５から受信した直後の撮影画像（フレーム画像）に含まれる、変化のあった領域（即ち、撮影画像に含まれる対象物８の移動前及び移動後の領域）（以下、変化領域という）を抽出する（ステップＳ５）。
【００８４】
表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報がＰＣ２からＰＣ１に送信される。よって、制御部１０１は、アノテーション画像を示す座標情報に基づいて、図４のステップＳ５で抽出された領域のうち、アノテーション画像の領域は除外するようにしてもよい。これにより、必要な注釈画像の入力を確保することができる。
【００８５】
図５（Ａ）は、記憶部１０３に記憶された撮影画像の一例を示す図であり、図５（Ｂ）は、ビデオカメラ５から受信した直後の撮影画像の一例を示す図である。
【００８６】
図５（Ａ）では、表示領域１２内に対象物８ａ，８ｂが表示されており、対象物８ａ上にアノテーション画像９が投影されている。図５（Ｂ）では、対象物８ａが図５（Ａ）の状態から移動している。同図の符号３０は、変化領域を示し、上記ステップＳ５では、この変化領域３０が抽出される。尚、制御部１０１は、変化領域３０に対応する、撮影画像上の座標情報を保持する。
【００８７】
図４に戻り、制御部１０１は、変化領域３０にアノテーション画像が含まれているか否かを判別する（ステップＳ６）。表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報がＰＣ２からＰＣ１に送信される。よって、ステップＳ６の判別は、制御部１０１が、上記変化領域３０に対応する座標情報にアノテーション画像を示す座標情報が含まれるか否かを判別することにより実行される。
【００８８】
上記ステップＳ６でＮＯの場合には、ステップＳ１に戻る。一方、ステップＳ６でＹＥＳの場合には、制御部１０１は、撮影画像から変化領域３０に含まれるアノテーション画像を消去する（ステップＳ７）。制御部１０１は、ＰＣ２からアノテーション画像を示す座標情報を受信しているので、当該アノテーション画像を示す座標情報を破棄する又はプロジェクタ４に当該アノテーション画像を示す座標情報を出力しないことで、撮影画像から変化領域３０に含まれるアノテーション画像を消去することができる。
【００８９】
その後、制御部１０１は、消去対象のアノテーション画像の座標情報をＰＣ２へ送信して（ステップＳ８）、ステップＳ１に戻る。尚、ＰＣ２の制御部２０１は、消去対象のアノテーション画像の座標情報をＰＣ１から受信し、表示領域１２から当該アノテーション画像を消去する。図５（Ｃ）は、アノテーション画像９の削除後の撮影画像の一例を示す。
【００９０】
上記ステップＳ７では、撮影画像から変化領域３０に含まれるアノテーション画像を消去したが、変化領域３０にアノテーション画像の一部が含まれている場合も、制御部１０１は、当該アノテーション画像を消去するようにしてもよい。このようなアノテーション画像は対象物が移動することにより意味をなさないからである。
【００９１】
また、制御部１０１は、変化領域３０から所定距離広げた範囲内（例えば、変化領域３０から上下左右に３０ピクセル広げた範囲）にあるアノテーション画像を消去するようにしてもよい。アノテーション画像を投影した光によって撮影画像の変化が検出されなかった場合でも、不要になったアノテーション画像を消去することができる。
【００９２】
また、制御部１０１は、複数のアノテーション画像を１つのグループとして扱い、少なくとも１つのアノテーション画像を消去する場合には、同一グループに属する他のアノテーション画像も消去するようにしてもよい。これにより、複数の注釈画像を一度に消去することができ、ユーザの操作負担を軽減することができる。例えば、図６（Ａ）に示すように、アノテーション画像３１ａ，３１ｂを１つのグループとして扱う場合、制御部１０１は、アノテーション画像３１ａを消去する場合には、同時にアノテーション画像３１ｂも消去する。同一グループに属する複数のアノテーション画像は、例えば、一定時間内に表示領域１２に書き込まれた複数のアノテーション画像、一定距離の範囲内に書き込まれた複数のアノテーション画像、又は一定時間内且つ一定距離の範囲内に書き込まれた複数のアノテーション画像などがある。
【００９３】
さらに、アノテーション画像は、所定の領域と関連付けされていてもよい。この場合、表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報及び当該アノテーション画像に関連付けられている領域の座標情報がＰＣ２からＰＣ１に送信される。制御部１０１は、送受信部１０２を介して当該アノテーション画像を示す座標情報及び当該アノテーション画像に関連付けられている領域の座標情報を取得する。例えば、図６（Ｂ）に示すように、矩形のアノテーション画像３１ａは、その内部の領域３２ａと関連付けられている。また、矢印のアノテーション画像３１ｂは、他印の先端にある円形の領域３２ｂと関連付けられている。制御部１０１は、領域３２ａ又は領域３２ｂが上述した変化領域３０に含まれる場合には、それぞれ矩形のアノテーション画像３１ａ又は矢印のアノテーション画像３１ｂを消去する。
【００９４】
削除対象のアノテーション画像の形状等によっては、アノテーション画像が変化領域３０に含まれない場合もあるが、変化領域３０にアノテーション画像に関連付けられている領域が含まれる場合には、当該アノテーション画像を自動的に削除することができ、ユーザの操作負担を軽減することができる。
【００９５】
以上詳細に説明したように、本実施の形態によれば、制御部１０１が、ビデオカメラ５により撮影された撮影画像に基づいて、対象物８の移動を検出し、対象物８の移動により生じた撮影画像上の変化領域を抽出し、当該変化領域にアノテーション画像が含まれる場合に、当該アノテーション画像を消去するので、対象物の移動により不要になった注釈画像を自動的に削除でき、ユーザの操作負担を軽減することができる。
【００９６】
また、制御部１０１は、ビデオカメラ５により撮影された撮影画像と、当該撮影画像の直後に撮影された撮影画像とを比較することにより、対象物８の移動を検出するので、対象物８の移動を追跡する処理を実行する場合と比べて、対象物８の移動を検出するのに必要な計算量を少なくすることができる。
【００９７】
（第２の実施の形態）
本実施の形態は、制御部１０１がアノテーション画像を消去する前に、表示部２０５に「消去中止ボタン」を表示し、ユーザの意思を確認する点で、第１の実施の形態と異なる。
【００９８】
本実施の形態に係る遠隔指示システムは、図１の遠隔指示システムと同一の構成を有するので、その説明は省略する。
【００９９】
図７は、ＰＣ１で実行される処理を示すフローチャートである。図４の処理と同一の処理については、同一のステップ番号を付し、その説明は省略する。
【０１００】
ステップＳ６でＹＥＳの場合、制御部１０１は、変化領域３０に含まれるアノテーション画像の点滅表示及び消去中止ボタンの表示の指示をＰＣ２に送信する（ステップＳ１１）。
【０１０１】
図８は、撮影画像を表示する表示領域１２の一例を示す図である。
【０１０２】
ＰＣ２の制御部２０１は、ＰＣ１から送受信部２０２を介して変化領域３０に含まれるアノテーション画像の点滅表示及び消去中止ボタンの表示の指示を受信すると、表示部２０５に当該アノテーション画像を点滅表示させ、消去中止ボタンを表示させる。図８では、表示領域１２内でアノテーション画像９が点滅表示され、消去中止ボタン４０が表示されている。この消去中止ボタン４０は一定時間（例えば１分間）表示され、当該一定時間経過すると、自動的に消される。また、ユーザが、操作部２０４を介して一定時間内に消去中止ボタン４０を押下すると、制御部２０１は送受信部２０２を介してＰＣ１の制御部１０１に消去中止の指示を送信する。
【０１０３】
上記ステップＳ１１の処理後、制御部１０１は、一定時間内に消去中止ボタンが押下されたか否かを判別する（ステップＳ１２）。ここでは、制御部１０１は、一定時間内にＰＣ２から消去中止の指示を受信した場合に、消去中止ボタンが押下されたと判別し、一定時間内にＰＣ２から消去中止の指示を受信しなかった場合に、消去中止ボタンが押下されていないと判別する。
【０１０４】
上記ステップＳ１２でＹＥＳの場合には、変化領域３０に含まれるアノテーション画像の消去は中止され、ステップＳ１に戻る。一方、ステップＳ１２でＮＯの場合には、撮影画像から変化領域３０に含まれるアノテーション画像を消去するために、上記ステップＳ７に進む。
【０１０５】
尚、図８の例では、表示部２０５に消去中止ボタン４０が表示されたが、消去ボタンが表示されるようにしてもよい。この場合、消去ボタンが押下された場合に、制御部１０１は、変化領域３０に含まれるアノテーション画像を消去する。
【０１０６】
また、制御部１０１は、複数のアノテーション画像を１つのグループとして扱い、消去中止ボタン４０が押下された場合に、同一グループに属する全てのアノテーション画像の消去を中止するようにしてもよい。この場合、消去中止ボタン４０は１つのみ表示される。また、制御部１０１は、一定時間内に点滅する複数のアノテーション画像を１つのグループとして扱うようにしてもよい。この場合、複数のアノテーション画像の点滅は、同時に開始される必要はない。さらに、制御部１０１は、互いに表示位置の近い（例えば、２０ピクセル以下しか離れていない）複数のアノテーション画像を１つのグループとして扱うようにしてもよい。
【０１０７】
以上説明したように、本実施の形態によれば、ＰＣ２の表示部２０５は、ビデオカメラ５による撮影画像を表示すると共に、ＰＣ１からの消去されるアノテーション画像の情報（座標情報）に応じて、当該アノテーション画像の消去の取消をＰＣ１の制御部１０１に対して指示可能な消去中止ボタン４０を表示するので、ＰＣ２のユーザが、アノテーション画像の消去の取消を指示することができる。
【０１０８】
また、表示部２０５は、ＰＣ１からの消去されるアノテーション画像の情報に応じて、当該アノテーション画像を一定時間点滅表示するので、ＰＣ２のユーザに消去対象のアノテーション画像を知らせることができる。
【０１０９】
上記第１及び第２の実施の形態では、制御部１０１は、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをピクセル毎に比較することにより、対象物が移動されているか否かを判別している（ステップＳ２、Ｓ３）。これに対して、図９に示すように、制御部１０１は、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをそれぞれ複数の小領域に分割し、互いに対応する分割された小領域同士を比較することにより、対象物が移動されているか否かを判別するようにしてもよい。これにより、撮影画像のノイズ等の影響を受けずに、正確に対象物が移動されているか否かを判別することができる。
【０１１０】
また、制御部１０１は、アノテーション画像の周辺の一定数以上の小領域（例えば、５つ以上の小領域）で変化が起きたときに、アノテーション画像を消去するようにしてもよい。これにより、撮影画像のノイズ等の影響を回避し、不要になったアノテーション画像を消去することができる。
【０１１１】
上記第１及び第２の実施の形態では、対象物８（８ａ、８ｂ）が移動した場合を想定したが、例えば、プロジェクタ４又はビデオカメラ５が移動された場合には、撮影画像全体が変化領域となるため、制御部１０１は撮影画像内の全てのアノテーション画像を消去するようにしてもよい。
【０１１２】
上記第１及び第２の実施の形態では、ＰＣ１にプロジェクタ４及びビデオカメラ５が接続されているが、図１０に示すように、ＰＣ１の表示部１０６とＰＣ２の表示部２０５に同一の対象物８及び同一のアノテーション画像９を表示するようにしてもよい。図１０のシステムでは、対象物８は仮想物体である。図１０のシステムでも、ＰＣ１は図４及び図７のフローチャートの処理が実行できる。
【０１１３】
この場合、ＰＣ１の表示部１０６が対象物８及びＰＣ１から入力されたアノテーション画像を表示部１０６の表示領域に表示する。そして、制御部１０１が、対象物８の移動を検出し、対象物８の移動により生じた、表示領域内の変化領域を抽出し、当該変化領域にアノテーション画像が含まれる場合に、当該アノテーション画像を消去する。これにより、対象物の移動により不要になったアノテーション画像を自動的に削除することができ、ユーザの操作負担を軽減することができる。
【０１１４】
（第３の実施の形態）
次に、本発明の第３の実施形態について、図１１〜図１２（Ｃ）に基づいて説明する。本第３の実施形態では、制御部１０１により抽出された撮影画像上の変化領域にアノテーション画像が含まれた場合に、その直前の画像を記憶する点に特徴を有している。なお、本第３の実施形態に係る遠隔指示システムは、図１の遠隔指示システムと同一の構成を有するので、その説明は省略するものとする。
【０１１５】
図１１には、ＰＣ１で実行される処理がフローチャートにて示されている。この図１１に示されるように、ＰＣ１の制御部１０１は、ビデオカメラ５から撮影画像（これを「撮影画像Ｐｆ」と呼ぶ）を受信（取得）する（ステップＳ１０１）。この撮影画像は、例えば、０．５秒ごとにフレーム画像としてビデオカメラ５から送られる。
【０１１６】
制御部１０１は、ステップＳ１０１で取得した撮影画像Ｐｆとビデオカメラ５から受信した直後の撮影画像（これを「撮影画像Ｐａ」と呼ぶ）とをピクセル毎に比較する（ステップＳ１０２）。具体的には、制御部１０１は、ビデオカメラ５から受信した直後のフレーム画像と、その直前に記憶部１０３に記憶されたフレーム画像とをピクセル毎に比較する。
【０１１７】
制御部１０１は、ステップＳ１０２の比較結果に基づいて、対象物８が移動されたか否かを判別する（ステップＳ１０３）。このステップＳ１０３では、制御部１０１は、上記２つの撮影画像（フレーム画像）に差分があると、対象物８が移動したと判別する。なお、制御部１０１は、アノテーション画像の投影による撮影画像（フレーム画像）の変化は、検知しない。即ち、制御部１０１は、アノテーション画像の投影前後のフレーム画像間の差分のうちアノテーション画像の領域にあるものを無視する。これにより、必要な注釈画像の入力を確保することができる。
【０１１８】
このステップＳ１０３における判断が否定された場合（すなわち、対象物が移動していない場合）には、撮影画像Ｐｆを記憶部１０３に記憶し（ステップＳ１０４）、ステップＳ１０１に戻る。
【０１１９】
これに対し、ステップＳ１０３における判断が肯定された場合（すなわち、対象物が移動した場合）には、制御部１０１は、対象物８の移動が終了したか否かを判別する（ステップＳ１０５）。例えば、制御部１０１は、連続した５０枚のフレーム画像に変化がなければ、対象物８の移動が終了したと判別する。
【０１２０】
ステップＳ１０５の判断が否定された場合には、当該判別処理を繰り返し、ステップＳ１０５の判断が肯定された段階で、制御部１０１は、ビデオカメラ５から受信した直後の撮影画像（フレーム画像）に含まれる、変化のあった領域（変化領域）を抽出する（ステップＳ１０６）。
【０１２１】
表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報がＰＣ２からＰＣ１に送信される。よって、制御部１０１は、アノテーション画像を示す座標情報に基づいて、図１１のステップＳ１０６で抽出された領域のうち、アノテーション画像の領域は除外するようにしてもよい。これにより、必要な注釈画像の入力を確保することができる。
【０１２２】
図１２（Ａ）には、表示領域１２内に対象物８ａ，８ｂが表示されており、対象物８ａ上にアノテーション画像９が投影された状態（撮影画像Ｐｆ）が示されている。図１２（Ｂ）には、対象物８ａが図１２（Ａ）の状態から移動した状態（撮影画像Ｐａ）が示されている。また、図１２（Ｃ）には、変化のあった領域を抽出した状態（ステップＳ１０６）が示されている。この図１２（Ｃ）において、符号１３０、１３０’で示される領域が変化領域である。なお、制御部１０１は、変化領域１３０、１３０’に対応する、撮影画像上の座標情報を保持する。
【０１２３】
図１１に戻り、制御部１０１は、変化領域１３０、１３０’にアノテーション画像が含まれているか否かを判別する（ステップＳ１０７）。表示部２０５の表示領域１２内にアノテーション画像が書き込まれると、アノテーション画像を示す座標情報がＰＣ２からＰＣ１に送信される。よって、ステップＳ１０７の判別は、制御部１０１が、上記変化領域３０に対応する座標情報にアノテーション画像を示す座標情報が含まれるか否かを判別することにより実行される。
【０１２４】
上記ステップＳ１０７の判断が否定された場合には、ステップＳ１０１に戻る。一方、ステップＳ１０７の判断が肯定された場合には、制御部１０１は、撮影画像Ｐｆ（対象物の移動前における撮影画像）を、記憶部１０３内の撮影画像リストに追加する（保存する）（ステップＳ１０８）。
【０１２５】
なお、上記ステップＳ１０７では、変化領域１３０、１３０’にアノテーション画像の全てが含まれている場合に、撮影画像Ｐｆを記憶する場合について説明したが、これに限らず、変化領域１３０、１３０’にアノテーション画像の一部が含まれている場合にも、撮影画像Ｐｆを記憶するようにしても良い。
【０１２６】
また、制御部１０１は、変化領域１３０、１３０’から所定距離広げた範囲内（例えば、変化領域１３０，１３０’から上下左右に３０ピクセル広げた範囲）にアノテーション画像の少なくとも一部が含まれている場合に、撮影画像Ｐｆを記憶するようにしても良い。このようにすることで、アノテーション画像を投影したプロジェクタの光によって撮影画像の変化が検出されなかった場合でも、適切なタイミングで撮影画像を記憶することができる。
【０１２７】
上記のようにしてステップＳ１０１〜Ｓ１０８の処理・判断が順次繰り返されることにより、記憶部１０３の撮影画像リストには、撮影画像が適切なタイミングで蓄積されていくことになる。ユーザは、これら蓄積された撮影画像を用いることにより、本実施形態の遠隔指示システムを用いて行われた遠隔地間の会議などの議事録等を作成することができる。
【０１２８】
以上詳細に説明したように、本第３の実施形態によれば、制御部１０１が、ビデオカメラ５により撮影された撮影画像に基づいて、対象物８の移動を検出し、対象物８の移動により生じた撮影画像上の変化領域を抽出し、当該変化領域にアノテーション画像が含まれる場合に、変化前の撮影画像Ｐｆを記憶部１０３の撮影画像リストに追加（記憶）するため、適切なタイミングで撮影画像を自動的に記憶することができ、ユーザの操作負担を軽減することができる。また、適切なタイミングで記憶された撮影画像を用いることにより、適切な議事録等を作成することが可能である。
【０１２９】
なお、上記第３の実施形態では、撮影画像Ｐｆを記憶部１０３に記憶する場合について説明したが、これに限られるものではなく、例えば、ネットワーク上に存在するＰＣ１とは別の装置（ＰＣ）に、撮影画像Ｐｆを記憶するようにしても良い。
【０１３０】
（第４の実施形態）
次に、本発明の第４の実施形態について、図１３〜図１４（Ｆ）に基づいて説明する。この第４の実施形態は、制御部１０１により抽出された撮影画像上の変化領域にアノテーション画像が含まれた場合の、撮影画像の記憶方法が、上述した第３の実施形態と異なっている。したがって、以下においては、この点を中心にして説明するものとする。
【０１３１】
図１３には、ＰＣ１で実行される処理がフローチャートにて示されている。この図１３と、図１１（前述した第３の実施形態の処理）とを比較すると分かるように、図１３のステップＳ２０１〜Ｓ２０６と、図１１のステップＳ１０１〜Ｓ１０６とは、同一の処理内容となっている。したがって、ここではステップＳ２０１〜Ｓ２０６の説明は省略するものとする。
【０１３２】
制御部１０１は、ステップＳ２０６において変化領域の抽出を行った後、変化前の撮影画像Ｐｆの重要度を計算する（ステップＳ２０７）。ここで、重要度を決定するためのパラメータとして、本実施形態では、変化領域に関するパラメータ（変化領域の大きさに関するパラメータ（β1）、変化領域が発生するまでの時間に関するパラメータ（β2）…など）や、変化領域に含まれるアノテーション画像に関するパラメータ（変化領域に含まれるアノテーション画像の数に関するパラメータ（βn-2）、変化領域内に複数のアノテーション画像が含まれる場合における各アノテーション画像間の距離に関するパラメータ（βn-1）、及び各アノテーション画像が描画された時間間隔に関するパラメータ（βn）…など）を採用することとしている。
【０１３３】
ここで、重要度について具体的に説明すると、例えば、図１４（Ａ）、図１４（Ｂ）に示されるように、変化領域１３０，１３０’に含まれるアノテーション画像の数が異なる場合には、アノテーション画像の数が多いほど、撮影画像Ｐｆの重要度が高くなるように（「図１４（Ａ）の重要度＜図１４（Ｂ）の重要度」となるように）取り扱うこととする。また、図１４（Ｃ）、図１４（Ｄ）に示されるように、変化領域１３０，１３０’内に複数のアノテーション画像が存在する場合には、各アノテーション画像間の距離が小さい方（接近度が高い方）の撮影画像Ｐｆの重要度が高くなるように（「図１４（Ａ）の重要度＜図１４（Ｂ）の重要度」となるように）取り扱うこととする。更に、図１４（Ｅ）、図１４（Ｆ）に示されるように、変化領域の大きさが異なる場合には、変化領域が大きいほど、撮影画像Ｐｆの重要度が高くなるように（「図１４（Ｅ）の重要度＜図１４（Ｆ）の重要度」となるように）取り扱うこととする。
【０１３４】
また、図示はしていないが、例えば、以前に撮影画像が記憶されてから、次の撮影画像を記憶するか否かの判断を行うまでに要した時間が短い場合と、長い場合とでは、長い方が、その画像について十分に話し合ったものと想定されるので、その時間が長ければ長いほど、撮影画像Ｐｆの重要度が高くなるように取り扱うこととする。
【０１３５】
更に、重要度を決定する際に描画されているアノテーション画像の描画間隔（時間間隔）が、短い場合と長い場合とでは、短い方が、その画像について活発な議論がされたものと想定されるので、その時間が短ければ短いほど、撮影画像Ｐｆの重要度が高くなるように取り扱うこととする。
【０１３６】
したがって、制御部１０１では、上記パラメータ（β1〜βn）と、これらパラメータの重み付けを行う重み付け係数（α1〜αn）とを用いて、重要度（γ）を次式（１）のようにして算出する。
γ＝α1β1＋α2β2＋…＋αnβn          …（１）
【０１３７】
図１３に戻り、制御部１０１は、上記のようにして算出された重要度（γ）と、予め定められた重要度の閾値（γｓ）とを比較して、重要度（γ）が、閾値（γｓ）以上であるか否かを判断する（ステップＳ２０８）。
【０１３８】
このステップＳ２０８における判断が肯定された場合には、撮影画像Ｐｆの重要度が比較的高いと判断されたことを意味するので、制御部１０１は、その画像を、記憶部１０３の撮影画像リストに追加（記憶）する。
【０１３９】
これに対し、ステップＳ２０８における判断が否定された場合には、撮影画像Ｐｆの重要度があまり高くないと判断されたことを意味するので、制御部１０１は、その画像を記憶せずに、ステップＳ２０１に戻る。
【０１４０】
上記のようにしてステップＳ２０１〜Ｓ２０９の処理・判断が順次繰り返されることにより、記憶部１０３の撮影画像リストには、撮影画像が適切なタイミングで蓄積されていくことになる。ユーザは、これら蓄積された撮影画像を用いることにより、本実施形態の遠隔指示システムを用いて行われた遠隔地間の会議などの議事録等を作成することができる。
【０１４１】
以上詳細に説明したように、本第４の実施形態によれば、制御部１０１が、ビデオカメラ５により撮影された撮影画像に基づいて、対象物８の移動を検出し、対象物８の移動により生じた撮影画像上の変化領域を抽出するとともに、変化前の撮影画像の重要度（γ）を算出し、その重要度（γ）が閾値（γｓ）以上である場合にのみ撮影画像を自動的に記憶することとしているので、撮影画像のうち、重要度の高い画像のみを記憶することができる。また、このような重要度の高い撮影画像を用いて、議事録等を作成することにより、適切な議事録等の作成を行うことが可能である。
【０１４２】
なお、上記第４の実施形態では、重要度の算出を、式（１）により行うこととしたが、これに限られるものではなく、その他の統計演算式などを用いて、重要度の算出を行うことも可能である。統計演算式としては、たとえば標準偏差を用いることができる。すなわち、アノテーション画像が描画された時間間隔の全データに対する、各アノテーション画像が描画された時間間隔の標準偏差δnを用いて、
γ＝α1δ1＋α2δ2＋…＋αnδn          …（２）
と表すことができる。なお、標準偏差を用いた式としては、上記式（２）以外の式を採用することも可能である。
【０１４３】
なお、上記第４の実施形態では、重要度（γ）が閾値（γｓ）以上である場合に、撮影画像を記憶することとしたが、この撮影画像を記憶部１０３の撮影画像リストに追加（記憶）する際に作成されるテーブル（ファイル名や記憶日時などを管理するテーブル）に、図１５に示されるように、重要度を記載することとしても良い。このようにすることで、ユーザは、撮影画像の重要度を参考にしながら、議事録等を作成することができる。
【０１４４】
また、上記第４の実施形態では、図１３のステップＳ２０８において、重要度が閾値以上であるか否かを判断することとしたが、これに限られるものではなく、例えば、重要度が閾値以上であるか否かの判断をせずに、重要度を算出した画像の全てを、重要度の値とともに記憶部１０３の撮影画像リストに追加（記憶）することとしても良い。このようにしても、ユーザは、撮影画像の重要度を参考にしながら、議事録等を作成することができる。
【０１４５】
なお、上記第３及び第４の実施の形態では、制御部１０１は、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをピクセル毎に比較することにより、対象物が移動されているか否かを判別したが、これに限らず、記憶部１０３に記憶された撮影画像とビデオカメラ５から受信した直後の撮影画像とをそれぞれ複数の小領域に分割し、互いに対応する分割された小領域同士を比較することにより、対象物が移動されているか否かを判別するようにしてもよい（図９参照）。これにより、撮影画像のノイズ等の影響を受けずに、正確に対象物が移動されているか否かを判別することができる。
【０１４６】
なお、上記第３及び第４の実施の形態においても、前述した第１、第２の実施形態の場合と同様、図１０に示されるように、ＰＣ１の表示部１０６とＰＣ２の表示部２０５に同一の対象物（仮想物体）８及び同一のアノテーション画像９を表示するようにしてもよい。この図１０のシステムでも、ＰＣ１は図１１や図１３のフローチャートに沿った処理を実行することができる。
【０１４７】
なお、上記第１又は第２の実施形態と、第３又は第４の実施形態とを併用することも可能である。すなわち、例えば、制御部１０１は、変化領域内にアノテーション画像が含まれていた場合に、その変化の直前の撮影画像を記憶部１０３（撮影画像リスト）に記憶するとともに、変化領域に含まれていたアノテーション画像を削除する処理を行うこととすることも可能である。
【０１４８】
なお、上記各実施形態では、撮影画像がＰＣ１からＰＣ２に対して、ネットワークを介して、直接送信される場合について説明したが、これに限らず、例えば、ＰＣ１の近傍に別のハードウェアを設けておき、ＰＣ１から撮影画像を受信したその別のハードウェアからＰＣ２に対して、ネットワークを介して、撮影画像を送信することとしても良い。
【０１４９】
ＰＣ１〜ＰＣ２の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、各ＰＣに供給し、各ＰＣのＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。
【０１５０】
また、各ＰＣのＣＰＵが、各ＰＣの機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
【０１５１】
なお、本発明は、上述した各実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
【図面の簡単な説明】
【０１５２】
【図１】本発明の実施の形態に係る情報処理装置を含む遠隔指示システムの構成を示す図である。
【図２】ＰＣ１〜２の機能構成を示すブロック図である。
【図３】ＰＣ１のハードウェア構成を示すブロック図である。
【図４】ＰＣ１で実行される処理を示すフローチャートである。
【図５】（Ａ）は、記憶部に記憶された撮影画像の一例を示す図であり、（Ｂ）は、ビデオカメラから受信した直後の撮影画像の一例を示す図であり、（Ｃ）は、アノテーション画像の削除後の撮影画像の一例を示す。
【図６】（Ａ）は、２つのアノテーション画像を１つのグループとして扱う場合の撮影画像の一例を示す図であり、（Ｂ）は、アノテーション画像及び当該アノテーション画像に関連付けられている領域を含む撮影画像の一例を示す図である。
【図７】第２の実施の形態に係るＰＣ１で実行される処理を示すフローチャートである。
【図８】撮影画像を表示する表示領域の一例を示す図である。
【図９】複数の小領域に分割された撮影画像の一例を示す図である。
【図１０】情報処理装置を含む遠隔指示システムの構成の変形例を示す図である。
【図１１】第３の実施形態に係るＰＣ１で実行される処理を示すフローチャートである。
【図１２】図１２（Ａ）は、記憶部に記憶された撮影画像の一例を示す図であり、図１２（Ｂ）は、ビデオカメラから受信した直後の撮影画像の一例を示す図であり、図１２（Ｃ）は、変化領域の一例を示す図である。
【図１３】第４の実施形態に係るＰＣ１で実行される処理を示すフローチャートである。
【図１４】図１４（Ａ）〜図１４（Ｆ）は、重要度について説明するための図である。
【図１５】データを管理するために用いられるテーブルの一例を示す図である。
【符号の説明】
【０１５３】
１  ＰＣ（情報処理装置）
２  ＰＣ（外部端末）
３  ネットワーク
４  プロジェクタ（投影装置）
５  ビデオカメラ（撮影装置）
６  ハーフミラー
１０１  制御部（検出手段、抽出手段、処理手段、取得手段）
１０２  送受信部（送信手段）
１０３  記憶部
１０４  ＩＦ部
１０５  操作部
１０６  表示部（表示手段）
２０１  制御部
２０２  送受信部
２０３  記憶部
２０４  操作部
２０５  表示部（画像表示手段）
【図１】
2008287691.tif 000003
【図２】
2008287691.tif 000004
【図３】
2008287691.tif 000005
【図４】
2008287691.tif 000006
【図５】
2008287691.tif 000007
【図６】
2008287691.tif 000008
【図７】
2008287691.tif 000009
【図８】
2008287691.tif 000010
【図９】
2008287691.tif 000011
【図１０】
2008287691.tif 000012
【図１１】
2008287691.tif 000013
【図１２】
2008287691.tif 000014
【図１３】
2008287691.tif 000015
【図１４】
2008287691.tif 000016
【図１５】
2008287691.tif 000017