(57)【要約】【課題】表示装置に対する操作を再生するときに、その内容をより把握できるようにすることを目的とする。【解決手段】表示装置に対する操作に係る操作情報を再生する再生処理装置であって、前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成手段と、前記操作情報及び前記表示情報生成手段で生成された前記表示情報を再生する再生処理手段とを有することを特徴とする。【選択図】図２
2009302952.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に対する操作に係る操作情報を再生する再生処理装置であって、
前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成手段と、
前記操作情報及び前記表示情報生成手段で生成された前記表示情報を再生する再生処理手段と
を有することを特徴とする再生処理装置。
【請求項２】
前記表示情報生成手段は、前記操作情報の位置を示すポインタを前記表示情報として生成するポインタ生成手段を有し、
前記再生処理手段は、前記ポインタ生成手段で生成された前記表示情報及び前記操作情報を順に再生することを特徴とする請求項１に記載の再生処理装置。
【請求項３】
前記表示情報生成手段は、前記操作情報のパス情報に基づいて前記操作情報の位置を示すポインタの軌道を前記表示情報として生成する軌道生成手段を有し、
前記再生処理手段は、前記軌道生成手段で生成された前記表示情報及び前記操作情報を同期して再生することを特徴とする請求項１に記載の再生処理装置。
【請求項４】
前記表示情報生成手段は、前記操作情報の範囲を示す領域を前記表示情報として生成する領域生成手段を有し、
前記再生処理手段は、前記領域生成手段で生成された前記表示情報及び前記操作情報を順に再生することを特徴とする請求項１に記載の再生処理装置。
【請求項５】
前記操作情報のうちストロークに係る操作情報を再生するときに、
前記表示情報生成手段は、前記ストロークのパス情報に基づいて前記ストロークの軌道を前記表示情報として生成するストローク軌道生成手段を有し、
前記再生処理手段は、前記ストローク軌道生成手段で生成された前記表示情報及び前記操作情報を順に再生することを特徴とする請求項１に記載の再生処理装置。
【請求項６】
前記表示情報生成手段は、オブジェクトの画像情報に基づいて前記オブジェクトと同じオブジェクトを前記表示情報として生成するオブジェクト生成手段を有し、
前記再生処理手段は、前記オブジェクト生成手段で生成された前記表示情報及び前記操作情報を順に再生することを特徴とする請求項１に記載の再生処理装置。
【請求項７】
前記表示情報生成手段は、前記表示情報に点滅表示の情報を追加して生成することを特徴とする請求項２乃至６の何れか１項に記載の再生処理装置。
【請求項８】
前記操作情報のうちストロークに係る操作情報を再生するときに、
前記ストロークが検索キーワードにしたストロークであるか否かを判定する検索元判定手段を更に有し、
前記検索元判定手段において、前記ストロークが検索キーワードにしたストロークであると判定された場合、
前記表示情報生成手段は、前記ストロークを示す識別表示を前記表示情報として生成することを特徴とする請求項１に記載の再生処理装置。
【請求項９】
前記操作情報のうちオブジェクトに係る操作情報を再生するときに、
前記オブジェクトが複製されたオブジェクトであるか否かを判定する複製判定手段を更に有し、
前記複製判定手段において、前記オブジェクトが複製されたオブジェクトであると判定された場合、
前記表示情報生成手段は、前記複製されたオブジェクトの引用元のオブジェクトを示す識別表示を前記表示情報として生成することを特徴とする請求項１に記載の再生処理装置。
【請求項１０】
異なるユーザによる操作情報を複数、再生するときに、
前記表示情報生成手段は、前記ユーザに応じた識別表示を含むように表示情報を生成することを特徴とする請求項１に記載の再生処理装置。
【請求項１１】
前記表示情報生成手段は、前記ユーザに応じた異なる色情報を含むように表示情報を生成することを特徴とする請求項１０に記載の再生処理装置。
【請求項１２】
前記表示情報生成手段は、時間の経過により色の変化情報を含むように表示情報を生成することを特徴とする請求項１又は５に記載の再生処理装置。
【請求項１３】
前記色の変化情報とは、時間の経過により色を薄くする情報であることを特徴とする請求項１２に記載の再生処理装置。
【請求項１４】
前記色の変化情報とは、最初は濃い色で時間の経過により元の色に戻す情報であることを特徴とする請求項１２に記載の再生処理装置。
【請求項１５】
表示装置に対する操作に係る操作情報を再生する再生処理装置における再生処理方法であって、
前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成ステップと、
前記操作情報及び前記表示情報生成ステップで生成された前記表示情報を再生する再生処理ステップと
を有することを特徴とする再生処理方法。
【請求項１６】
表示装置に対する操作に係る操作情報を再生する再生処理装置を制御させるためのプログラムであって、
前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成ステップと、
前記操作情報及び前記表示情報生成ステップで生成された前記表示情報を再生する再生処理ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に対する操作の操作情報を再生処理する再生処理装置、再生処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来から、表示装置等を用いた電子会議システムが知られている（例えば、特許文献１参照）。電子会議システムでは、会議の会議データを保存することができるように構成されている。ここで会議データには、表示装置に対して手書きされたストロークデータ、図形データ、テキストデータ等の描画オブジェクトデータが含まれる。また、その他会議データには、参加者情報、開催場所、開始終了時刻、会議資料のデータ等が含まれる。上述した会議データは、電子会議システムに接続されているローカル又はネットワーク上のハードディスク等の記憶装置に保存される。したがって、記憶装置に保存された会議データを再生することで会議に出席していなくとも、会議の内容を把握することができる。
【０００３】
【特許文献１】特開昭６２―１９９１８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の電子会議システムでは、例えば記憶装置に記憶された、描画操作によって描画されたデータを読み出し、表示装置に再生しようとする場合、例えば描画オブジェクト等の描画したデータ自体又は描画したデータを要約したデータを表示していた。
一方、会議に参加している場合、会議の参加者は発表者がポインティングデバイス等を用いて描画操作をするところを直接見ることで、会議に対する理解がより深まる。しかしながら、従来の電子会議システムにおける再生では、描画操作に関連するデータまでは再生することができない。したがって、会議の内容を後から把握しようとする者は、例えば、現在どの部分を強調して説明しているのか、発表者がこれからどの領域に書き込もうとしているか等を理解することができないという問題がある。
【０００５】
本発明は上述したような問題点に鑑みてなされたものであり、表示装置に対する操作を再生するときに、その内容をより把握できるようにする。
【課題を解決するための手段】
【０００６】
本発明は、表示装置に対する操作に係る操作情報を再生する再生処理装置であって、前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成手段と、前記操作情報及び前記表示情報生成手段で生成された前記表示情報を再生する再生処理手段とを有することを特徴とする。
本発明は、表示装置に対する操作に係る操作情報を再生する再生処理装置における再生処理方法であって、前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成ステップと、前記操作情報及び前記表示情報生成ステップで生成された前記表示情報を再生する再生処理ステップとを有することを特徴とする再生処理方法。
本発明は、表示装置に対する操作に係る操作情報を再生する再生処理装置を制御させるためのプログラムであって、前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成ステップと、前記操作情報及び前記表示情報生成ステップで生成された前記表示情報を再生する再生処理ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００７】
本発明によれば、表示装置に対する操作を再生するときに、その内容をより把握することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（第１の実施形態）
図１は、本実施形態に係る再生処理システム（以下、会議システムという）の構成の一例を示す図である。
図１に示す会議システム１０は、表示装置１０１と検出装置１０２、１０３と入力装置１０７と情報処理装置１０８とを含んで構成されている。表示装置１０１と情報処理装置１０８とは、例えば画像信号ケーブル１０５や通信ケーブル１０６等により接続されている。ここで、情報処理装置１０８は、再生処理装置の一例である。
【０００９】
表示装置１０１は、例えばリアプロジェクション型ディスプレイであり、コンピュータやビデオ機器等の映像機器の画像を画面上に表示する。ここで、リアプロジェクション型ディスプレイには、光源ランプ、カラーフィルタ、液晶パネル、光学レンズ、ミラー等からなる光学系が設けられている。光源ランプから発行された光は、カラーフィルタ等によりＲＧＢの３色に分離され、それぞれ液晶パネルに照射される。液晶パネルにて変調された光は光学系によりリアプロジェクション型ディスプレイの画面上に拡大表示され画像が形成される。
【００１０】
検出装置１０２、１０３は、例えばデジタイザモジュールであり、表示装置１０１の画面上部の左右に配置されている。検出装置１０２、１０３は、赤外線を発信して表示装置１０１の画面の表面をスキャンしている。表示装置１０１の画面上に障害物があると、発信された赤外線が遮られるので、受信信号のレベルが変化する。検出装置１０２、１０３は、受信信号の変化から障害物の位置及び大きさを検出する。検出装置１０２、１０３は、ユーザが例えば指や指示棒等で表示装置１０１の画面上をポインティングした場合、その位置及び大きさを検出することができる。
【００１１】
入力装置１０７は、ペン型のポインティングデバイスであり、表示装置１０１の画面への描画や操作等の座標入力を行うことができる光学式デジタイザペンである。入力装置１０７には、ペン先端にクリック判定用スイッチとペン側面に消しゴム用スイッチ１１０とが設けられている。ユーザが、消しゴム用スイッチ１１０を押下することで一時的に消しゴムモードになり、表示装置１０１の画面上に入力することで、描画した描画オブジェクトを消すことができる。
情報処理装置１０８は、パーソナルコンピュータであり、ネットワークケーブル１０９を介してネットワークと接続されている。情報処理装置１０８は、操作情報等を他の情報処理装置との間で送受信することができる。また、情報処理装置１０８には、キーボードやマウス等の後述する入力装置が接続されている。
【００１２】
図２は、会議システムの各構成要素の内部構成の一例を示す図である。
図２に示す会議システム１０は、情報処理装置１０８と、入力装置１０７、２２１と、表示装置１０１と、検出装置１０２、１０３とを含んで構成されている。会議システム１０には、入力装置１０７により表示装置１０１の表示面に直接描画操作を行うことができるホワイトボード機能を備えている。ここで、ホワイトボード機能は、例えば検出装置１０２、１０３が入力装置１０７の位置を検出した情報を表示装置１０１に送信し、表示装置１０１が受信した情報に基づいて表示部２３１に表示する機能である。
【００１３】
情報処理装置１０８は、入力部２０１と、制御部２０２と、記憶部２０４と、ネットワークインタフェース部２０８と、を含んで構成されている。
入力部２０１は、キーボードやマウス等の入力装置２２１や表示装置１０１の出力部２３３から、座標入力やコマンド入力を受け取る。
制御部２０２は、ＣＰＵやＭＰＵ等からなり、情報処理装置１０８の各内部構成の制御を行う。
【００１４】
記憶部２０４は、ＲＯＭ、ＲＡＭ、Ｆｌａｓｈメモリ及びＨＤＤ等の記憶装置である。記憶部２０４には、会議データやパス情報等の操作情報、会議データを会議再生プログラム及び文字認識処理を行う際のプログラム等が記憶されている。
映像出力部２０５は、表示装置１０１に対して再生画面出力等の映像出力を行う。
ネットワークインタフェース部２０８は、ネットワークケーブル１０９を介して外部との通信を行う。ネットワークインタフェース部２０８は、入力部２０１から入力された操作情報、記憶部２０４に記憶された操作情報、強調表示情報（表示情報）等を、ネットワークケーブル１０９を介して他の情報処理装置へ送信する。また、ネットワークインタフェース部２０８は、他の情報処理装置から受け取った操作情報を制御部２０２、記憶部２０４及び映像出力部２０５等に受け渡す。
【００１５】
表示装置１０１は、表示部２３１と、入力部２３２と、出力部２３３と、を含んで構成されている。表示部２３１は、情報処理装置１０８から出力された情報の表示を行うディスプレイである。入力部２３２は、入力装置１０７により入力され、検出装置１０２、１０３で検出した自由曲線や図形等のオブジェクトを構成する入力座標列を受け取る。出力部２３３は、入力された座標を情報処理装置１０８に出力する。
入力装置２２１は、情報処理装置１０８へ入力を行うためのマウスやキーボードである。
【００１６】
図３は、情報処理装置の機能構成の一例を示す図である。なお、図３に示す機能構成は、情報処理装置１０８の制御部２０２が、記憶部２０４に記憶されたプログラムを実行することにより実現される。
情報処理装置１０８は、描画操作制御部２５１と、強調表示情報生成部２５２と、再生処理部２５３とを含んで構成されている。
描画操作制御部２５１は、入力装置１０７、２２１から入力され入力部２０１を介して取得した情報から自由曲線や図形等の描画オブジェクトの生成、編集、削除、ホワイトボード機能の操作、表示制御等、操作に関する処理を行う。
強調表示情報生成部２５２は、一連の操作情報に基づいて、操作情報に追加して表示する強調表示情報の生成を行う。強調表示情報生成部２５２において強調表示情報を生成する生成条件や生成する情報については後述する。
再生処理部２５３は、記憶部２０４に記憶した操作情報又はネットワークインタフェース部２０８を介して他の情報処理装置１０８より取得した操作情報及び強調表示情報生成部２５２で生成された強調表示情報に基づいて会議データ等の再生制御を行う。
【００１７】
図４は、会議中に表示装置に表示される画面の一例を示す図である。
図４に示すように、表示装置１０１は画面３０１を有している。ここで、画面３０１は、表示装置１０１の入力部２３２を兼ねている。例えば、ユーザが入力装置１０７等で画面３０１に座標入力することで、上述したホワイトボード機能によりオブジェクトを描画することができる。図４に示す画面３０１には、ユーザによって操作されて表示された複数のオブジェクトが表示されている。より具体的に説明すると、表示画面３０１には、手書きのストローク３１１と、手書きのストローク３１２と、矩形３１３と、貼付した図形３１４とが表示されている。
【００１８】
ストローク３１１及びストローク３１２は、ユーザにより描画を行う操作により表示された自由曲線である。矩形３１３は、ユーザにより始点及び終点が指定されることで表示された図形である。貼付した図形３１４は外部より読み込まれた図形である。なお、ストロークを描画したり、各オブジェクトを消去したり、移動の操作をしたりするとき等の描画ツールの切り替えは、ユーザが図示しないメニューを選択することにより行われる。この描画メニューは、表示画面３０１に配置してもよいし、入力装置１０７のペンに設けられたスイッチを押下することでコンテキストメニューとして表示させるようにしてもよい。また、ユーザがペンに設けられた描画ツール切り替え用の専用スイッチを押下することにより、描画ツールの切り替えを行えるようにしてもよい。描画ツールを切り替えることにより、ユーザは表示装置１０１の画面３０１に手書文字、円、直線等の描画をしたり、検索、コピー及び貼付等の操作をしたりすることができる。例えば、描画により表示されたストローク３１１、３１２等のオブジェクトは、ユーザがオブジェクトを選択し、メニューから項目を選択することで移動、リサイズ、消去、カット、コピー等の編集作業を行うことができる。
【００１９】
次に、ユーザが表示装置に対して操作した操作情報を記憶した描画操作情報テーブルについて図５を参照して説明する。図５は、例えば会議中にユーザによる操作の操作情報が記録された描画操作情報テーブルの一例を示す図である。描画操作情報テーブル１１は、例えば制御部２０２が、記憶部２０４に記憶する。
図５に示す描画操作情報テーブル１１の項目には、「操作開始時刻」、「操作終了時刻」、「操作種別１」、「操作種別２」、「オブジェクトＩＤ」、「パスＩＤ」及び「ユーザＩＤ」が含まれている。ここで「操作開始時刻」は、操作を開始した時刻である。「操作終了時刻」は、操作を終了した時刻である。「操作種別１」は、ユーザ又はシステムにより「描画」又は描画以外の「操作」の何れかが行われたかを示すものである。「操作種別２」は、「操作種別１」より細かい操作内容及び描画内容を示すものである。
【００２０】
「オブジェクトＩＤ」は、「操作種別１」が「操作」のときは、操作対象となるオブジェクトを識別するＩＤを示し、「操作種別１」が「描画」のときは、描画結果として生成されるオブジェクトを識別するＩＤを示すものである。この「オブジェクトＩＤ」は、後述する図６に示すオブジェクト形状情報テーブル１２の「オブジェクトＩＤ」と関連付けられている。したがって、制御部２０２は、対応する図６に示すオブジェクト形状情報テーブル１２の「画像情報」や「初期配置情報」を参照することで、実際の形状や表示位置を取得できる。
「パスＩＤ」は、ユーザによるペンの軌道情報としてのパス情報を特定するＩＤを示すものである。この「パスＩＤ」は、後述する図７に示すペン軌道情報テーブル１３の「パスＩＤ」と関連付けられている。したがって、制御部２０２は、対応する図７に示すペン軌道情報テーブル１３の「パス情報」を参照することで、実際のパス情報を取得できる。
「ユーザＩＤ」は、操作者のＩＤを示すものである。なお、会議システム１０によって生成されたオブジェクトについては、制御部２０２は、「ユーザＩＤ」を設定しない。
【００２１】
次に、画像情報等を記録したオブジェクト形状情報テーブルについて図６を参照して説明する。図６は、オブジェクト形状情報テーブル１２の一例を示す図である。オブジェクト形状情報テーブル１２は、例えば制御部２０２が、記憶部２０４に記憶する。
図６に示すオブジェクト形状情報テーブル１２の項目には、「オブジェクトＩＤ」毎に「画像情報」、「初期配置情報」が含まれている。ここで、「画像情報」は、画像の形状を示すものであり、画像の形状が保存されているファイルへのリンク情報又は画像情報そのものが記憶されている。ここで、画像情報としては、ラスタ情報やベクタ情報の何れであってもよい。ベクタ情報の場合、その表示は矩形（ｒｅｃｔ）、円（ｃｉｒｃｌｅ）、直線（ｌｉｎｅ）や、自由曲線（ｐａｔｈ）等である。
【００２２】
「初期配置情報」は、画像の初期配置位置を示すものである。「初期配置情報」には、各オブジェクトを描画する際の領域を特定する座標情報が入力されている。
なお、操作を再生するとき、画像情報にベクタ情報が埋め込まれている場合、制御部２０２は、初期配置情報に相当する情報はベクタ情報にも含まれるため画像情報だけを利用して再生を行うことができる。一方、画像情報にその他の情報が入っている場合、制御部２０２は、画像情報だけでは描画領域を特定できないため、初期配置情報内に内接するようにして画像情報から生成される画像データを拡縮し、初期配置情報に示された領域に配置する。
【００２３】
次に、パス情報を記録したペン軌道情報テーブルについて図７を参照して説明する。図７は、ペン軌道情報テーブル１３の一例を示す図である。ペン軌道情報テーブル１３は、会議毎に作成され、描画や操作の履歴が時刻情報と共に記録されている。ペン軌道情報テーブル１３は、例えば制御部２０２が、記憶部２０４に記憶する。図７に示すペン軌道情報テーブル１３の項目には、「パスＩＤ」、「パス情報」が含まれている。ここで、パス情報としては、オブジェクト形状情報テーブル１２に記録されている画像情報に埋め込むことができるベクタ情報と同様に自由曲線（ｐａｔｈ）の情報が格納される。
【００２４】
ここで、図５に示す描画操作情報テーブル１１及び図６に示すオブジェクト形状情報テーブル１２には、会議データ準備時又はオブジェクトが生成される度に、制御部２０２が、各オブジェクトに対して自動的に「オブジェクトＩＤ」を割り振って、格納する。また、制御部２０２は、各オブジェクトの形状に関する画像情報等を図６に示すオブジェクト形状情報テーブル１２に格納する。なお、制御部２０２は、オブジェクト形状情報テーブル１２に色情報、線種情報及び塗りつぶし色情報等を記録してもよい。
【００２５】
また、図５に示す描画操作情報テーブル１１及び図７に示すペン軌道情報テーブル１３には、会議時にユーザがペン操作を行う度に、制御部２０２が、各操作に対して自動的に「パスＩＤ」を割り振って、格納する。また、制御部２０２は、ペンの軌道に関するパス情報を図７に示すペン軌道情報テーブル１３に格納する。なお、制御部２０２は、ペン軌道情報テーブル１３にペンのスピード、操作中の各通過点における通過時間、操作時に押下しているボタンの状態等を記録してもよい。
【００２６】
次に、図８に示すフローチャートを参照して本実施形態に係る会議データの再生処理動作の一例について説明する。図８に示すフローチャートは、例えば記憶部２０４に記憶された会議再生プログラムを制御部２０２が、実行することにより実現される。
まず、ステップＳ７０１において、制御部２０２は、会議データを再生するために必要な描画操作情報テーブル１１、オブジェクト形状情報テーブル１２、ペン軌道情報テーブル１３を記憶部２０４から読み出す。また、制御部２０２は、再生する会議の再生時刻制御に用いる進行タイマ等の初期化を行う。
【００２７】
ステップＳ７０２において、制御部２０２は、会議データを開始するときに表示すべきデータがあるか否かを判定する。表示すべきデータがあればステップＳ７０３に処理を進め、制御部２０２は、描画操作情報テーブル１１、オブジェクト形状情報テーブル１２、ペン軌道情報テーブル１３から表示すべきデータを取得する。その後、ステップＳ７０４において、強調表示が必要か否かの判定でＮＯに進んだ後、ステップＳ７０７において、制御部２０２は、再生キューに再生情報を追加して画面への表示リクエストを発行する。次に、ステップＳ７０２において、表示すべきデータがあるか否かの判定でＮＯに進んだ後、ステップＳ７０８において、制御部２０２は、再生を終了するか否かの判定でＮＯに進み、ステップＳ７０９に処理を進める。ステップ７０９において、制御部２０２は、再生時刻タイマを進める。この状態で画面３０１には、会議データが開始される前に表示されていたデータが表示される。
【００２８】
次に、ステップＳ７０２に戻り、制御部２０２は、描画操作情報テーブル１１の操作開始時刻順に格納されたデータを読み出し、再生データがあるか否かを判定する。再生データがある場合、ステップＳ７０３に処理を進め、制御部２０２は、強調表示が必要か否かを判定し、強調表示をする必要があればステップＳ７０５に処理を進める。ステップＳ７０５において、制御部２０２は、強調表示情報を生成した後、ステップＳ７０６において、再生データと生成した強調表示情報とを合成する。次に、ステップＳ７０７において、制御部２０２は、再生キューに再生情報を追加して表示リクエストを発行する。
なお、ステップＳ７０２において、次の再生データがない場合、ステップ７０８に処理を進め、ステップＳ７０８において、制御部２０２は、再生を終了するか否かの判定でＮＯに進んだ後、ステップＳ７０９に処理を進める。ステップＳ７０９において、制御部２０２は、再生時刻タイマを進めた後、再度ステップＳ７０２に戻る。
【００２９】
ステップＳ７０２において、再生データがなくなると、ステップＳ７０８に処理を進め、ステップＳ７０８において、制御部２０２は、再生時刻タイマが会議終了時刻に達していた場合、再生を終了するか否かの判定において、終了に処理を進め再生を終了する。
なお、制御部２０２は、画面への表示リクエストに基づいて、表示リクエストをタイムライン上に並べ、再生時間と同期させて先頭から画面へ出力する処理を平行して行う。
この処理により、複数の再生データが平行して再生される場合であっても、意図した通りに画面上に再生結果を表示することができる。また、ステップＳ７０５で生成された強調表示情報により本来の再生データの表示順序が入れ替わる場合や強調表示情報が本来の再生データよりも先行して表示される場合等であっても意図した通りに画面上に再生結果を表示することができる。
上述したステップＳ７０５における強調表示情報の生成については、様々な形態がある。したがって、強調表示情報の生成の形態について、図１３〜図２７を参照して、後述する。
【００３０】
次に、強調表示情報の生成及び強調表示情報の表示の効果を明らかにするために、制御部２０２が、描画操作情報テーブル１１、オブジェクト形状情報テーブル１２及びペン軌道情報テーブル１３を生成したときの、ユーザが行ったペン操作について説明する。
まず、会議が開始される直前に表示される画面の一例を図９に示す。開始前に予め会議資料を登録しておくことで、制御部２０２は、図９に示すように画面に画像３１４を表示する。制御部２０２は、画像３１４が予め登録された情報を図５に示す描画操作情報テーブル１１及び図６に示すオブジェクト形状情報テーブル１２の各ＮＯ．１に記録する。
【００３１】
次に、会議が開始された直後、ユーザがストロークを描画する操作手順の一例を図１０に示す。まず、ユーザはペン１０７を図１０（ａ）に示す位置から図１０（ｂ）に示す画面の中央位置まで移動させる。次に、ユーザは画面の中央でペン１０７を画面に接触させ、図１０（ｃ）に示すように接触させた状態のままストロークすることで、図１０（ｄ）に示すようにストローク３１１が描画される。
ここで、制御部２０２は、ストロークが行われた操作情報を図５に示す描画操作情報テーブル１１のＮＯ．２に記録する。また、制御部２０２は、ストロークにより生成されたオブジェクトの画像情報と初期配置情報とを図６に示すオブジェクト形状情報テーブル１２のＮＯ．２に記録する。また、制御部２０２は、ユーザが実際にペンをストロークした軌道のパス情報を図７に示すペン軌道情報テーブル１３のＮＯ．１に記録する。また、制御部２０２は、ストロークに関する情報をオブジェクトＩＤ及びパスＩＤにより関連付けて記録する。なお、ここではペンの軌道情報と生成されたオブジェクトのパス情報とは完全に一致する。したがって、図６に示すオブジェクト形状情報テーブル１２のＮＯ．２の「画像情報」と、図７に示すペン軌道情報テーブル１３のＮＯ．１の「パス情報」とには、全く同じパス情報が記憶される。
【００３２】
次に、図１０に示す手書きストロークを描画した後に、ユーザがオブジェクト３１４を移動する操作手順の一例を図１１に示す。まず、ユーザはペン１０７を図１１（ａ）に示す位置から図１１（ｂ）に示すようにオブジェクト３１４の位置まで移動させる。次に、ユーザはペン１０７で画面上のオブジェクト３１４に接触させて（ドラッグ＆ドロップ開始）、図１１（ｃ）に示すように、その状態を維持させたまま画面の右上まで移動させる（ドラッグ）。次に、ユーザが図１１（ｄ）に示すようにペン１０７を画面から離す（ドロップ）ことでオブジェクト３１４の移動が行なわれる。
ここで、制御部２０２は、移動の操作が行われた記録を図５に示す描画操作情報テーブル１１のＮＯ．３に記録する。ここで、操作対象のオブジェクトは、図５に示す描画操作情報テーブル１１のＮＯ．１のオブジェクトと同一なので、制御部２０２は、「オブジェクトＩＤ」を「０００１」として記録する。また、制御部２０２は、移動の操作の際にペンを動かした軌道のパス情報を図７に示すペン軌道情報テーブル１３のＮＯ．２に記録する。また、制御部２０２は、パス情報をペンＩＤにより関連付けて記憶している。なお、オブジェクトを移動する操作ではオブジェクトを新規に生成していないため、制御部２０２は、図６に示すオブジェクト形状情報テーブル１２に画像情報等を記録しない。
【００３３】
次に、図１１に示すオブジェクトを移動した後に、ユーザが矩形３１３及びストローク３１２を順に入力する操作手順の一例を図１２に示す。図１２（ａ）は、矩形３１３及びストローク３１２を入力する直前の画面の状態である。ユーザは図１２（ｂ）に示すように、ペン１０７を始点から終点までストロークさせることで矩形３１３の生成領域を入力する。
制御部２０２は、矩形３１３を入力した記録を図５に示す描画操作情報テーブル１１のＮＯ．４に記録し、矩形の形状及び位置を図６に示すオブジェクト形状情報テーブル１２のＮＯ．３に記録する。また、制御部２０２は、矩形に関する情報を「オブジェクトＩＤ」により関連付けて記憶している。なお、矩形の入力の場合、ペン操作の始点と終点とからペンの軌道が推測できるため、制御部２０２は、図７に示すペン軌道情報テーブル１３にはパス情報を記録しない。
【００３４】
次に、ユーザが図１２（ｃ）から図１２（ｄ）に示すように、ストローク３１２を入力する。制御部２０２は、図５に示す描画操作情報テーブル１１のＮＯ．５、図６に示すオブジェクト形状情報テーブル１２のＮＯ．４及び図７に示すペン軌道情報テーブル１３のＮＯ．３にストローク３１２に関する情報を記録する。また、制御部２０２は、ストロークに関する情報を「オブジェクトＩＤ」と「ペンＩＤ」とに基づいて関連付けて記録する。
以上が、制御部２０２が、会議時に操作情報を記録する手順である。
【００３５】
ここで、会議が行われている場所にいる会議の参加者は、図１０〜図１２に示したペン１０７を含め、発表者の動きを見ることができる。したがって、参加者は、発表者が現在どの位置を指しているのか、どこに図形を入力しようとし、どのように図形を操作したのかを容易に認識できる。
一方、会議の記録をそのまま再生して会議内容を把握しようとする者は、ペン１０７を含め発表者の動きを見ることができないため、会議の参加者よりも会議の内容を把握し難くなる。そこで、本実施形態ではこの問題を解決する各種操作情報再生処理について以下に説明する。
【００３６】
図１３は、本実施形態に係る会議システムの第一の操作情報再生処理の一例を示すフローチャートである。なお、この処理動作は上述した図８に示すステップＳ７０５における強調表示情報生成の処理を示すものである。
図１３に示す処理動作について説明すると、ステップＳ１２０１〜Ｓ１２０３では、制御部２０２が、再生データの始点位置を示すアイコン図形とそのアニメーションを設定する。ステップＳ１２０４〜Ｓ１２０５では、制御部２０２が、アイコン図形の表示タイミングを再生データの表示タイミングの直前に設定する。
【００３７】
より具体的に説明すると、ステップＳ１２０１では、制御部２０２は、対象の再生データからパスＩＤを取得すると共に、図７に示すペン軌道情報テーブル１３からペンの軌道を記録したパス情報を取得する。制御部２０２は、取得したパス情報の先頭座標よりペンが最初に画面に接触した操作開始位置を特定する。
ステップＳ１２０２において、制御部２０２は、操作開始位置を指し示すポインタとしてのアイコン図形を生成する（ポインタ生成）。制御部２０２は、アイコン図形の図形データをその場で生成してもよく、会議システムで用いられているポインタ用アイコン等を参照してもよく、図形データをファイルに保存しておき、読み出してもよい。制御部２０２は、アイコン図形の指し示す位置が操作開始位置になるようにアイコン図形の表示位置を設定する。
ステップＳ１２０３において、制御部２０２は、アイコン図形を強調して表示するため、ここではアイコン図形を所定時間、例えば１秒間、点滅表示させた後、消滅させるアニメーションを設定する。
ステップＳ１２０４において、制御部２０２は、図５に示す描画操作情報テーブル１１を参照して、再生データの操作開始時刻を取得する。
ステップＳ１２０５において、制御部２０２は、アイコン図形のアニメーションの開始時刻を、再生データの操作開始時刻よりも所定時間前、例えば１秒前に設定する。
ステップＳ１２０６において、制御部２０２は、ステップＳ１２０１〜Ｓ１２０５において各種パラメータを設定したアイコン図形を強調表示情報として出力する。
その後、図８に示すフローチャートの再生処理動作に戻り、制御部２０２は、アイコン図形のアニメーションを表示した直後に再生データを表示する。
【００３８】
次に、ストローク３１１を例にして、上述した第一の操作情報再生処理において、具体的に取得される情報等について説明する。
ここで、ストローク３１１の操作情報は、図５に示す描画操作情報テーブル１１のＮＯ．２に記録されて、「パスＩＤ」には「０００１」が設定されている。「パスＩＤ」に基づいて図７に示すペン軌道情報テーブル１３を検索すると、ＮＯ．１の「パス情報」には、ユーザによるペンの軌道が「ｐａｔｈ１（具体的な座標は省略する）」として記録されている。したがって、Ｓ１２０１では、制御部２０２は、「ｐａｔｈ１」の先頭座標を取得する。次に、Ｓ１２０２では、制御部２０２は、会議システムが用意しているペンのポインタをアイコン図形として取得する。Ｓ１２０３では、制御部２０２は、アイコン図形を「ｐａｔｈ１」から取得した先頭座標に設定し、１秒間の点滅表示させた後、消滅させるアニメーションを設定する。ステップＳ１２０４では、制御部２０２が、図５に示す描画操作情報テーブル１１から、ストローク３１１の描画開始時刻「１１：５９：５８」を取得する。ステップＳ１２０５では、制御部２０２は、ステップＳ１２０２におけるアイコン図形の再生開始時刻を１秒前である「１１：５９：５７」に設定する。最後に、ステップＳ１２０６において、制御部２０２は、アイコン図形を強調表示情報として出力する。上述した処理動作により図８に示す強調表示情報生成のステップＳ７０５が終了する。
【００３９】
次に、再生対象である再生データと生成した強調表示情報との両方を表示するように表示リクエストを発行することにより、画面に表示される結果について図１４を参照して説明する。図１４（ａ）の画面では、ストローク３１１が再生される前であって、制御部２０２が、オブジェクト３１４のみを表示している状態の画面である。図１４（ｂ）の画面は、制御部２０２が、アイコン図形１３０１を１秒間点滅表示している状態の画面である。図１４（ｃ）の画面は、制御部２０２が、アイコン図形１３０１が指し示していた位置からストローク３１１を表示している状態の画面である。なお、制御部２０２は、ストローク３１１の再生を操作開始時刻から操作終了時刻の間で等間隔に進むよう、再生スピードを調整する。図１４（ｄ）の画面は、制御部２０２が、ストローク３１１を再生した後の状態の図である。
【００４０】
以上の処理を行うことで、会議データの視聴者は、ストローク３１１の描画再生が開始される前にアイコン図形１３０１を確認することができる。したがって、視聴者は、会議の参加者と同様に、実際の会議で発表者がペンを使って描画し始めるタイミングと描画し始める位置等を取得することができるので、会議データの内容をより把握することができる。なお、強調表示情報は、再生直前ではなく再生直後に表示させるようにして、描画し終わったタイミングと描画し終わった位置等とを視聴者に把握させるようにしてもよい。
【００４１】
図１５は、本実施形態に係る会議システムの第二の操作情報再生処理の一例を示すフローチャートである。なお、この処理動作は上述した図８に示すステップＳ７０５における強調表示情報生成の処理を示すものである。
図１５に示す処理動作について説明すると、ステップＳ１４０１〜Ｓ１４０８では、制御部２０２は、再生データを表示する軌道又は領域を指し示すアイコン図形とアニメーションとを設定する。また、ステップＳ１４０９〜Ｓ１４１０では、制御部２０２は、再生データの表示とアイコン図形のアニメーションとの同期を行う。
【００４２】
より具体的に説明すると、ステップＳ１４０１において、制御部２０２は、強調表示に必要なアイコン図形を生成する。ステップＳ１４０１における処理は上述したステップＳ１２０２と同様である。ステップＳ１４０２において、制御部２０２は、再生データにペンのパス情報が記憶されているか否かを判定する。ペンのパス情報が記録されている場合、制御部２０２は、ステップＳ１４０３に処理を進めて、パス情報を取得する。
一方、ステップＳ１４０２において、パス情報が記録されていない場合、制御部２０２は、ステップＳ１４０４に処理を進める。ステップＳ１４０４において、制御部２０２は、再生データが始点及び終点が記憶された自由曲線であるか否かを判定する。自由曲線の場合、ステップＳ１４０５に処理を進め、制御部２０２は、自由曲線のパス情報を取得して、ステップＳ１４０８に処理を進める。
また、ステップＳ１４０４において、自由曲線でない場合、制御部２０２は、ステップＳ１４０６に処理を進め、再生データが始点及び終点が記録されたオブジェクトであるか否かを判定する。始点及び終点が記録されたオブジェクトの場合、ステップＳ１４０７に処理を進め、制御部２０２は、画像情報に基づいて始点及び終点を結ぶ直線をパス情報として生成し、ステップＳ１４０８に処理を進める。なお、ステップＳ１４０６において、始点及び終点が記録されたオブジェクトではない場合、ステップＳ１４１２に処理を進め、制御部２０２は、他の強調表示情報を生成する方法を選択する。次に、ステップＳ１４１３において、制御部２０２は、選択した方法により強調表示情報を生成する。
【００４３】
ステップＳ１４０８において、制御部２０２は、アイコン図形を取得又は生成したパス情報の軌道に沿うようにアニメーションを設定する（軌道生成）。次に、ステップＳ１４０９において、制御部２０２は、図５に示す描画操作情報テーブル１１を参照して、再生データの操作開始時刻及び終了時刻を取得する。ステップＳ１４１０において、制御部２０２は、アイコン図形のアニメーションの開始時刻及び終了時刻を、ステップＳ１４０９において取得した操作開始時刻及び操作終了時刻に設定する。ステップＳ１４１１において、制御部２０２は、ステップＳ１４０１〜Ｓ１４１０において各種パラメータを設定したアイコン図形を強調表示情報として出力する。
その後、図８に示すフローチャートの再生処理動作に戻り、制御部２０２は、擬似表示としてアイコン図形のアニメーションを再生データの表示と同期させて表示する。したがって、表示画面では、アイコン図形が再生データを実際に描画したり操作したりするような視覚効果を得ることができる。
【００４４】
次に、ストローク３１１を例にして、上述した第二の操作情報再生処理において、具体的に取得される情報等について説明する。
まず、ステップＳ１４０１では、制御部２０２は、ストローク３１１の再生データを強調表示するため、会議システムが用意している強調表示用のポインタのアイコン図形を取得する。次に、ステップＳ１４０２において、ストローク３１１の再生データにはパス情報が記録されていることから、制御部２０２は、ステップＳ１４０３に処理を進める。ステップＳ１４０３では、制御部２０２は、ストローク３１１を描画するときのペンのパス情報を図７に示すペン軌道情報テーブル１３のＮＯ．１の「ｐａｔｈ１」から取得する。
【００４５】
ステップＳ１４０８では、制御部２０２は、取得したパス情報をアイコン図形のアニメーションの軌道に設定する。ステップＳ１４０９では、制御部２０２は、図５に示す描画操作情報テーブル１１から、ストローク３１１の操作開始時刻「１１：５９：５８．０００」及び操作終了時刻「１１：５９：５８．５００」を取得する。ステップＳ１４１０では、制御部２０２は、アイコン図形の表示開始時刻を「１１：５９：５８．０００」に設定し、表示終了時刻を「１１：５９：５８．５００」に設定する。最後に、ステップＳ１４１１において、制御部２０２は、アイコン図形を強調表示情報として出力する。上述した処理動作により図８に示す強調表示情報生成のステップＳ７０５が終了する。
【００４６】
次に、再生対象である再生データと生成した強調表示情報との両方を表示するように表示リクエストを発行することにより、画面に表示される結果について図１６を参照して説明する。図１６（ａ）の画面は、ストローク３１１が再生される前であって、制御部２０２が、オブジェクト３１４とアイコン図形１３０１とのみを表示している状態の画面である。図１６（ｂ）の画面は、制御部２０２が、アイコン図形１３０１を再生開始位置に表示している状態の画面である。図１６（ｃ）の画面は、制御部２０２が、ストローク３１１の再生の進度に合わせてアイコン図形１３０１を移動するように表示している画面である。図１４（ｄ）の画面は、制御部２０２が、ストローク３１１を再生した後の状態の画面である。
【００４７】
次に、矩形３１３を例にして、上述した第二の操作情報再生処理において、具体的に取得される情報等について説明する。ストローク３１１と異なる点は、ペンのパス情報がないことと描画するものが矩形であることである。
制御部２０２は、ステップＳ１４０２、ステップＳ１４０４及びステップＳ１４０６を経てステップＳ１４０７に処理を進める。ステップＳ１４０７において、制御部２０２は、始点と終点とを結ぶ直線をパス情報とする。すなわち、図６に示すオブジェクト形状情報テーブル１２のＮＯ．３には、矩形３１３の開始座標（ｘ３、ｙ３）と、幅及び高さ（ｈ３、ｗ３）とが記録されている。したがって、制御部２０２は、この情報から、アイコン図形のアニメーションの始点（ｘ３、ｙ３）と終点（ｘ３＋ｗ３、ｙ３＋ｈ３）と結んだ直線をパス情報として生成する。
【００４８】
次に、このように生成した強調表示情報と再生データとの表示リクエストを発行することにより、画面に表示される結果について図１７を参照して説明する。図１７（ａ）の画面は、矩形３１３の表示が再生される前であって、制御部２０２が、ストローク３１１とオブジェクト３１４とアイコン図形１３０１とのみを表示している状態の画面である。図１７（ｂ）の画面は、制御部２０２が、矩形３１３を再生するタイミングで、アイコン図形１３０１をアニメーションの始点（ｘ３，ｙ３）に移動した状態の画面である。図１７（ｃ）の画面は、制御部２０２が、矩形のサイズが広がるのに合わせてアイコン図形１３０１をアニメーションの終点（ｘ３＋ｗ３、ｙ３＋ｈ３）に移動するように表示している画面である。図１７（ｄ）の画面は、制御部２０２が、矩形３１３を再生した後の状態の画面である。制御部２０２は、アイコン図形１３０１を矩形３１３の右下の点で停止するように表示する。
【００４９】
以上の処理を行うことで、会議データの視聴者は、ストローク３１１及び矩形３１３がアイコン図形１３０１により描画されているかのように認識することができる。したがって、視聴者は、会議の参加者と同様に、実際の会議で発表者がペンを使って描画している軌道等を取得することができるので、会議データの内容をより把握することができる。
【００５０】
図１８は、本実施形態に係る会議システムの第三の操作情報再生処理の一例を示すフローチャートである。なお、この処理動作は上述した図８に示すステップＳ７０５における強調表示情報生成の処理を示すものである。
図１８に示す処理動作について説明すると、ステップＳ１７０１〜Ｓ１７０３では、制御部２０２は、再生データの領域位置を明示する矩形領域の点滅アニメーションを設定する。また、ステップＳ１７０４〜Ｓ１７０５では、制御部２０２は、矩形の点滅タイミングを再生データの表示タイミングの直前に設定する。
【００５１】
より具体的に説明すると、ステップＳ１７０１において、制御部２０２は、対象の再生データより、再生データが表示される領域の表示情報を取得する。制御部２０２は、図５に示す描画操作情報テーブル１１の「操作種別１」を参照して「描画」であれば、図６に示すオブジェクト形状情報テーブル１２の初期配置情報を、そのまま再生データの表示領域として取得する。一方、図５に示す描画操作情報テーブル１１の「操作種別１」が「操作」であれば、制御部２０２は、操作対象オブジェクトの画像情報と操作内容とから表示される領域を計算する。
ステップＳ１７０２において、制御部２０２は、取得した表示領域を覆う矩形領域を生成する（領域生成）。表示領域は座標により示されるため、制御部２０２は、表示領域を覆う矩形領域の形状を特定することができる。なお、制御部２０２は、矩形領域に対して色、透明度、輪郭線の太さ、表示領域からのはみ出し量等、設定された様々なパラメータに基づいて生成することができるが、詳細な説明は省略する。
ステップＳ１７０３において、制御部２０２は、矩形領域を強調して表示するため、ここでは矩形領域を所定時間、例えば１秒間の点滅表示させた後、消滅させるアニメーションを設定する。
以下、ステップＳ１７０４〜ステップＳ１７０６は、上述した図１３に示す第一の操作情報再生処理を示すフローチャートのステップＳ１２０４〜Ｓ１２０６と同様であり説明を省略する。
【００５２】
次に、ストローク３１１を例にして、第三の操作情報再生処理において、具体的に取得される情報等について説明する。
ここで、ストローク３１１の画像情報は、図５に示す描画操作情報テーブル１１のＮＯ．２に記録され、「オブジェクトＩＤ」には、「０００２」が設定されている。制御部２０２は、「オブジェクトＩＤ」から図６に示すオブジェクト形状情報テーブル１２を参照することで、初期配置情報を取得することができる。したがって、ステップＳ１７０１では、制御部２０２は、ストローク３１１の表示領域（ｘ２、ｙ２、ｈ２、ｗ２）を取得する。次に、ステップＳ１７０２では、制御部２０２は、取得した表示領域に基づいて、同じ表示位置及び同じサイズの矩形領域を生成する。ステップＳ１７０３では、制御部２０２は、生成した矩形領域を１秒間、点滅表示させた後、消滅させるアニメーションを設定する。次に、ステップＳ１７０４及びステップＳ１７０５では、制御部２０２は、上述したステップＳ１２０４及びステップＳ１２０５と同様の処理を行い、最後にステップＳ１７０６において、制御部２０２は、矩形領域を強調表示情報として出力する。
【００５３】
次に、再生対象である再生データと生成した強調表示情報との両方を表示するように表示リクエストを発行することにより、画面に表示される結果について図１９を参照して説明する。図１９（ａ）の画面は、ストローク３１１が再生される前であって、制御部２０２が、オブジェクト３１４のみを表示している状態の画面である。図１９（ｂ）の画面は、制御部２０２が、矩形領域１８０１を１秒間点滅表示している状態の画面である。図１９（ｃ）の画面は、制御部２０２が、矩形領域１８０１内にストローク３１１を表示している状態の画面である。図１９（ｄ）の画面は、制御部２０２が、ストローク３１１を再生した後の状態の図である。
【００５４】
以上の処理を行うことで、会議データの視聴者は、ストローク３１１の描画再生が開始される前に矩形領域１８０１を確認することができる。したがって、視聴者は、発表者がこれから書き込もうとする位置及び最終的に書き込まれる範囲を認識することができるので、会議データの内容をより把握することができる。なお、強調表示情報は、再生直前ではなく再生直後に表示させるようにして、描画し終わったタイミングと描画し終わった位置等とを視聴者に把握させるようにしてもよい。
【００５５】
図２０は、本実施形態に係る会議システムの第四の操作情報再生処理の一例を示すフローチャートである。なお、この処理動作は上述した図８に示すステップＳ７０５における強調表示情報生成の処理を示すものである。
図２０に示す処理動作について説明すると、ステップＳ１９０１〜Ｓ１９０３では、制御部２０２は、再生データの表示位置及び表示内容を明示する自由曲線の点滅アニメーションを生成する。また、ステップＳ１９０４〜Ｓ１９０５では、制御部２０２は、自由曲線の点滅タイミングを再生データの表示タイミングの直前に設定する。
【００５６】
より具体的に説明すると、ステップＳ１９０１において、制御部２０２は、再生対象であるストロークのペンのパス情報を取得する。又は、制御部２０２は、再生対象のストロークの画像情報及び初期配置情報から、再生するストロークの形状及び表示位置の情報を取得する。
ステップＳ１９０２において、制御部２０２は、取得したペンのパス情報、又は取得したストロークの形状及び表示位置の情報からストロークに重なる自由曲線（軌道）を生成する（ストローク軌道生成）。
ステップＳ１９０３〜Ｓ１９０６は、上述した図１８に示す第三の操作情報再生処理を示すフローチャートのステップＳ１７０３〜Ｓ１７０６と同様であり、説明は省略する。
【００５７】
次に、ストローク３１１を例にして、上述した第四の操作情報再生処理において、具体的に取得される情報等について説明する。
ステップＳ１９０１では、制御部２０２は、図７に示すペン軌道情報テーブル１３の「パスＩＤ」の「０００１」に関連付けられている「パス情報」の「ｐａｔｈ１」を取得する。ステップＳ１９０２では、制御部２０２は、「ｐａｔｈ１」に基づいて自由曲線を生成する。なお、ここでは、制御部２０２は、自由曲線の線種を点線にする。次に、ステップＳ１９０３〜Ｓ１９０５では、制御部２０２は、上述したステップＳ１７０３〜Ｓ１７０５と同様の処理を行う。そして最後にステップＳ１９０６において、制御部２０２は、自由曲線を強調表示情報として出力する。
【００５８】
次に、再生データと強調表示情報との両方を表示するように表示リクエストを発行することにより、画面に表示される結果について図２１を参照して説明する。図２１（ａ）の画面は、ストローク３１１が再生される前であって、制御部２０２が、オブジェクト３１４のみを表示している状態の画面である。図１９（ｂ）の画面は、制御部２０２が、自由曲線２００１を１秒間点滅表示している状態の画面である。図１９（ｃ）の画面は、制御部２０２が、自由曲線２００１を表示されていた線上にストローク３１１を表示している状態の画面である。図１９（ｄ）の画面は、制御部２０２が、ストローク３１１を再生した後の状態の図である。
【００５９】
以上の処理を行うことで、会議データの視聴者は、ストローク３１１の描画再生が開始される前に自由曲線２００１を確認することができる。したがって、視聴者は、発表者がこれから書き込もうとする位置及び最終的に書き込まれる形状及び内容を認識することができるので、会議データの内容をより把握することができる。なお、制御部２０２は、強調表示情報を、再生直前ではなく再生直後に表示させるようにして、描画し終わったタイミングと描画し終わった位置等とを視聴者に把握させるようにしてもよい。
【００６０】
図２２は、本実施形態に係る会議システムの第五の操作情報再生処理の一例を示すフローチャートである。なお、この処理動作は上述した図８に示すステップＳ７０５における強調表示情報生成の処理を示すものである。
図２２に示す処理動作について説明すると、ステップＳ２１０１〜Ｓ２１０３では、制御部２０２は、再生データの表示対象を明示する対象画像の点滅アニメーションを設定する。また、ステップＳ２１０４〜Ｓ２１０５では、制御部２０２は、対象画像の点滅タイミングを再生の実行タイミングの直前に設定する。
【００６１】
より具体的に説明すると、ステップＳ２１０１において、制御部２０２は、再生する操作対象のオブジェクトの画像情報を「オブジェクトＩＤ」で関連付けられた図６に示すオブジェクト形状情報テーブル１２から取得する。
ステップＳ２１０２において、制御部２０２は、操作対象のオブジェクト上に表示する全く同じオブジェクトの画像情報を生成する（オブジェクト生成）。
ステップＳ２１０３において、制御部２０２は、新たに生成したオブジェクトを強調して表示するため、所定時間、例えば１秒間、点滅表示させた後、消滅させるアニメーションを設定する。
以下、ステップＳ２１０４〜ステップＳ２１０６は、上述した図２０に示す第四の描画操作情報の再生処理を示すフローチャートのステップＳ１９０４〜Ｓ１９０６と同様であり、説明は省略する。
【００６２】
次に、再生データと強調表示情報との両方を表示するように表示リクエストを発行することにより、画面に表示される結果について図２３を参照して説明する。図２３（ａ）の画面は、オブジェクト３１４の移動処理が再生される前であって、制御部２０２が、ストローク３１１とオブジェクト３１４とを表示している状態の画面である。図２３（ｂ）の画面は、制御部２０２が、オブジェクト３１４の移動を再生する直前にオブジェクト３１４上でオブジェクト３１４と同じ形状の画像を点滅表示している状態の画面である。図２３（ｃ）の画面は、制御部２０２が、オブジェクト３１４を移動して表示している状態の画面である。図２３（ｄ）の画面は、制御部２０２が、オブジェクト３１４を移動した後の状態の図である。
【００６３】
以上の処理を行うことで、会議データの視聴者は、オブジェクト３１４の再生が開始される前にオブジェクト３１４の点滅を確認することができる。したがって、視聴者は、発表者が操作しようとしているオブジェクトを認識することができるので、会議データの内容をより把握することができる。なお、制御部２０２は、強調表示情報を、再生直前ではなく再生直後に表示させるようにして、操作し終わったタイミングと操作し終わった位置等とを視聴者に把握させるようにしてもよい。
【００６４】
図２４は、本実施形態に係る会議システムの第六の操作情報再生処理の一例を示すフローチャートである。なお、この処理動作は上述した図８に示すステップＳ７０５における強調表示情報生成の処理を示すものである。
図２４に示す処理動作について説明すると、ステップＳ２３０１〜Ｓ２３０６で、制御部２０２は、再生データを表示したときに強調表示する追加アニメーションを生成する。なお、制御部２０２は、生成した追加アニメーションを上述した図８に示すステップＳ７０６にて、再生データと合成する。
【００６５】
より具体的に説明すると、ステップＳ２３０１において、制御部２０２は、再生データに合成するアニメーション効果（強調表示情報）を生成する。制御部２０２は、この時点ではアニメーション効果の内容を設定しない。
ステップＳ２３０２において、制御部２０２は、再生データを表示するときに、例えば表示時に線幅を太く表示させる効果（変化情報）をアニメーション効果に設定する。
ステップＳ２３０３において、制御部２０２は、再生データを表示した後に、例えば一定時間後に線幅を次第に細くして、オリジナルの線幅に戻す効果（変化情報）をアニメーション効果に設定する。
ステップＳ２３０６において、制御部２０２は、ステップＳ２３０２とステップＳ２３０３において、設定されたアニメーション効果を強調表示情報として出力する。
【００６６】
次に、強調表示情報を合成した再生データに対し表示リクエストを発行することにより、画面に表示される結果について図２５を参照して説明する。なお、図２５の画面には、理解を容易にするためにペンのアイコン図形を表示しているが、実際は表示されない。
図２５（ａ）の画面は、制御部２０２が、ストローク３１１を表示している状態の画面である。再生直後、制御部２０２は、ストローク３１１を記憶されている線幅の情報よりも太い線幅で表示する。その後、制御部２０２は、ストローク３１１の線幅を徐々に記憶された線幅の情報に変化させる。次に、図２５（ｂ）の画面は、制御部２０２が、オブジェクト３１４を移動した状態及び矩形３１３を描画している状態の画面である。制御部２０２は、オブジェクト３１４を移動している間、オブジェクト３１４の線幅を太くして表示する。また、制御部２０２は、矩形３１３を描画した直後、線幅を太くして表示する。その後、制御部２０２は、オブジェクト３１４及び矩形３１３の線幅を、徐々に記憶された線幅の情報に変化させる。次に、図２５（ｃ）の画面は、制御部２０２が、ストローク３１２を再生している状態の画面である。制御部２０２は、再生直後、ストローク３１２を記憶されている線幅の情報よりも太い線幅で表示する。次に、図２５（ｄ）の画面は、制御部２０２が、ストローク３１２を表示している状態の画面である。図２５（ｄ）では、ストローク３１２の再生時間が長いため、制御部２０２は、再生が終わる前に再生タイミングが早かった部分から、順にストローク３１２の線幅を細くなるアニメーションを表示する。図２５（ｄ）では、制御部２０２は、ストローク３１２を太い線幅部分と細くなりつつある線幅部分とオリジナルの線幅部分とからなる自由曲線として表示している。なお、一定時間後、制御部２０２は、自由曲線をすべて記録された線幅の情報に戻す。
【００６７】
以上の処理を行うことで、会議データの視聴者は、その時々で行われている再生データをすぐ認識することができると共に、一定時間前までに行われていた操作を認識することができる。したがって、視聴者は、会議の参加者と同様に、実際の会議で発表者が操作している位置等を取得することができるので、会議データの内容をより把握することができる。
【００６８】
図２６は、本実施形態に係る会議システムの第七の操作情報再生処理の一例を示すフローチャートである。なお、この処理動作は上述した図８に示すステップＳ７０５における強調表示情報生成の処理を示すものである。
図２６に示す処理動作について説明すると、ステップＳ２５０１〜Ｓ２５０６で、制御部２０２は、再生データを再生から一定時間後に薄い色にする追加アニメーションを生成する。すなわち、制御部２０２は、時間の経過により色の変化情報を含ませるようにアニメーションを生成する。なお、制御部２０２は、生成した追加アニメーションを上述した図８に示すステップＳ７０６にて、再生データと合成する。
【００６９】
より具体的に説明すると、ステップＳ２５０１において、制御部２０２は、再生データに合成するアニメーション効果（強調表示情報）を生成する。制御部２０２は、この時点ではアニメーション効果の内容を設定しない。
ステップＳ２５０３において、制御部２０２は、再生データを表示するときに、例えば、一定時間後に一定時間で線色を次第に薄く変化させる効果（変化情報）をアニメーション効果に設定する。
ステップＳ２５０６において、制御部２０２は、ステップＳ２５０３で設定されたアニメーション効果を強調表示情報として出力する。
【００７０】
次に、強調表示情報を合成した再生データに対し表示リクエストを発行することにより表示される結果について図２７を参照して説明する。なお、図２７の画面では、理解を容易にするためにペンのアイコン図形を表示しているが、実際は表示されない。また、図２７の画面では、線色を薄くする変化を点線にして示している。
図２７（ａ）の画面は、再生開始直後、制御部２０２が、オブジェクト３１４を薄い色に変化させている画面である。また、制御部２０２は、最初ストローク３１１を記憶されている線色の情報で再生している。次に、図２７（ｂ）の画面は、制御部２０２が、ストローク３１１を薄い色に変化させている画面である。また、制御部２０２は、最初、移動させて表示したオブジェクト３１４及び矩形３１３を記憶されている線色の情報で再生している。次に、図２７（ｃ）の画面は、制御部２０２が、オブジェクト３１４及び矩形３１３を薄い色に変化させている画面である。また、制御部２０２は、最初ストローク３１２を記憶されている線色の情報で再生している。次に、図２７（ｄ）では、ストローク３１２の再生時間が長いため、制御部２０２は、再生が終わる前に再生タイミングが早かった部分から、順にストローク３１２の線色を薄い色にするアニメーションを表示している。図２７（ｄ）では、制御部２０２は、ストローク３１２をオリジナルの線色と薄い色の線色とからなる自由曲線として表示している。なお、一定時間後、制御部２０２は、自由曲線をすべて薄い色の線色にする。
【００７１】
以上の処理を行うことで、会議データの視聴者は、その時々で行われている再生データの位置を認識することができると共に、一定時間前までの行われていた操作を認識することができる。したがって、視聴者は、会議の参加者と同様に、実際の会議で発表者が操作している位置等を取得することができるので、会議データの内容をより把握することができる。
このように、第１の実施形態によれば、操作情報を用いた会議等の再生において、発表者がその場にいないことによる情報の不足を補うことで、発表内容を把握することができる。
【００７２】
（第２の実施形態）
本実施形態に係る会議システムは、第１の実施形態に係る会議システムと同様な構成であるが、手書文字認識を行うことができるように構成されている。
図２８は、本実施形態に係る会議中に表示された画面の一例を示す図である。
図２８に示すように、制御部２０２は、ユーザによりペンで入力された複数のストロークから構成されるストローク群２７０１を表示している。ストローク群２７０１は、グループ化されたオブジェクトであり、ユーザが入力した「きやの」と「えだ」とのストローク群からなる。また、制御部２０２は、ストローク群２７０１を「きやの」と「えだ」とによって構成される文字であることを認識している。また、制御部２０２は、後述するストローク群２７０２を表示している。ストローク群２７０２は、ユーザがストローク群２７０１のうち「えだ」をコピーしたオブジェクトである。制御部２０２は、会議の発表者がストローク群２７０１を入力する操作を会議データとして記録する。この記録する処理は、第１の実施形態と同様である。
【００７３】
本実施形態に係る会議システムでは検索操作を行うことができる。例えば、ユーザがストローク群２７０１のうち「きやの」の部分を選択し検索を行う。すると、制御部２０２は、選択されたストロークの文字認識を実行すると共に認識した文字を検索キーワードにした検索を行う。
図２９は、検索が行われた結果の画面の一例を示す図である。図２９に示すように、制御部２０２は、領域２８０１に検索により検出したファイルのファイル名をリストアップする。ここで、例えば、ユーザがリストアップされたファイル名を選択することで、制御部２０２は、各ファイルの内容を表示する。また、このとき制御部２０２は、領域２８０１を閉じる処理を行う。制御部２０２は、ユーザが検索する操作や検索結果等を会議データとして記録する。
【００７４】
その後、ユーザがストローク群２７０１のうち、「えだ」の部分を選択しコピーの操作を行うことで、制御部２０２は、ストローク群２７０２を生成する。ユーザがストローク群２７０２を縮小して回転させる操作を行うことで、制御部２０２は、図２８に示すストローク群２７０２を表示する。制御部２０２は、ユーザが行うコピー操作等を同様に会議データとして記録する。
【００７５】
ここで、上述の記録した会議データを再生する場合、視聴者は検索操作やコピー操作の状況を把握することが困難である。すなわち、会議データの視聴者は、検索操作の再生において、領域２８０１に検索した文字列を表示する領域がないため、どのようなキーワードを入力して検索を行ったのかあるいは、ストロークを利用して検索を行ったのかを把握することができない。また、会議データの視聴者は、コピー操作の再生において、画面には、どの部分からコピーされたものであるかが表示されないため、コピー元とコピー先との関連を把握することが困難である。この問題に鑑みて、以下に本実施形態に係る各種操作情報再生処理を示す。
【００７６】
図３０は本実施形態に係る会議システムの第八の操作情報再生処理の一例を示すフローチャートである。
まず、ステップＳ２９００において、制御部２０２は、再生する対象が、検索キーワードのストローク群であるか否かを判定する（検索元判定）。検索キーワードにしたストローク群である場合、制御部２０２は、ステップＳ２９０１に処理を進める。検索キーワードにしたストロークでない場合、制御部２０２は、強調表示情報生成の処理を終了する。
ステップＳ２９０１において、制御部２０２は、検索のキーワードとしたストローク群を囲う領域を取得する。
ステップＳ２９０２において、制御部２０２は、取得した領域を識別する識別表示をするために、その領域を覆うオブジェクトを生成する。
ステップＳ２９０３において、制御部２０２は、検索結果を表示した領域の位置を取得する。
ステップＳ２９０４において、制御部２０２は、ステップＳ２９０２で生成したオブジェクトとステップＳ２９０３で取得した検索結果の領域とをつなぐ矢印を生成する。このとき、制御部２０２は、検索を実行した旨を明示する情報も生成する。
ステップＳ２９０５において、制御部２０２は、ステップＳ２９０２及びステップＳ２９０４で生成したオブジェクトと矢印とを合成して一つの合成オブジェクトにする。
ステップＳ２９０６において、制御部２０２は、合成オブジェクトの表示の深さをキーワードのストローク群の表示より下に設定する。したがって、制御部２０２が、再生データを再生したとき、合成オブジェクトによりストローク群が隠れないように表示する。
ステップＳ２９０７において、制御部２０２は、検索実行操作時刻の所定時間前から検索結果が表示された所定時間後まで、合成オブジェクトを表示するアニメーションを設定する。ここでは、例えば検索実行操作の１秒前から検索結果が表示された１秒後まで、合成オブジェクトを表示するアニメーションを設定するものとする。
ステップＳ２９０８において、制御部２０２は、生成した合成オブジェクトを強調表示情報として出力する。
【００７７】
次に、図３１を参照して、上述した第八の操作情報再生処理を行った場合について説明する。
まず、ステップＳ２９０１では、制御部２０２は、図３１に示すようにストローク群２７０１のうち、検索キーワードとして利用した「きやの」に相当するストローク群のみを対象とし、そのストローク群を囲う領域を計算する。ステップＳ２９０２では、制御部２０２は、計算した領域を覆うオブジェクトとして図３１に示す長円形３００１を生成し、塗りつぶす。ステップＳ２９０３では、制御部２０２は、検索結果を示す領域２８０１を表示した位置を検出する。ステップＳ２９０４では、制御部２０２は、領域２８０１と長円形３００１とをつなぐ図３１に示す矢印３００２を生成する。ここで、制御部２０２は、長円形３００１と領域２８０１とに重ならない位置に矢印３００２を生成する。したがって、生成された矢印３００２は、ストローク群２７０１のうち「きやの」のストローク群とも重ならない。また、制御部２０２は、矢印３００２の中に検索を実行した旨の明示として、図３１に示すように、例えば文字列として「検索実行」を生成する。ステップＳ２９０５では、制御部２０２は、長円形３００１と矢印３００２とを合成オブジェクトにして、表示を一度で実行できるようにする。ステップＳ２９０６では、制御部２０２は、合成オブジェクトの表示の深さを、「きやの」のストローク群よりも下に設定する。ステップＳ２９０７では、制御部２０２は、合成オブジェクトの表示時間を検索実行１秒前から検索結果表示１秒後までの間に設定して表示効果の設定を完了する。ステップＳ２９０８では、制御部２０２は、合成オブジェクトを強調表示情報として出力し、他の再生データと共に再生を行う。
【００７８】
次に、再生処理が行われた場合、制御部２０２は、最初にストローク群２７０１を画面に再生した後、検索を実行する１秒前の時刻に長円形３００１と矢印３００２とを同時に表示する。その後、制御部２０２は、検索結果の領域２８０１を再生する。ここで、図３１に示す画面は、制御部２０２が、検索結果の領域２８０１を表示した直後の画面である。その後、制御部２０２は、領域２８０１を表示した１秒後に長円形３００１と矢印３００２とを画面から消去することで、図２９に示すように、記録されていた再生データを順に再生した場合と同じ結果を表示する。
【００７９】
以上の処理を行うことで、会議データの視聴者は、検索に用いたキーワードや検索を行ったタイミング等を認識することができる。したがって、視聴者は、会議の参加者と同様に、会議データの内容をより把握することができる。
【００８０】
図３２は本実施形態に係る会議システムの第九の操作情報再生処理の一例を示すフローチャートである。
まず、ステップＳ３０００において、制御部２０２は、再生する対象が、コピーの操作により生成されたストローク群であるか否かを判定する（複製判定）。コピーにより生成されたストローク群であると判定した場合、制御部２０２は、ステップＳ３１０１に処理を進める。また、コピーにより生成されたオストローク群ではないと判定した場合、制御部２０２は、強調表示情報生成の処理を終了する。
ステップＳ３１０１において、制御部２０２は、コピー元（引用元）及びコピー先のストローク群に関する参照情報を取得する。ここで、参照情報にはストローク群が表示されている領域の情報が含まれる。
ステップＳ３１０２において、制御部２０２は、コピー元のストローク群に対する表示効果を生成する。
ステップＳ３１０３において、制御部２０２は、生成した表示効果に対して点滅のアニメーションを設定する。ここでは、例えばストローク群を点滅させるタイミングをコピー実行の１秒前からコピー実行の１秒後までとする。
ステップＳ３１０４において、制御部２０２は、コピー元及びコピー先のストローク群の領域をつなぐ矢印を生成する。このとき、制御部２０２は、コピーを実行した旨を明示する情報も生成する。
ステップＳ３１０５において、制御部２０２は、生成した矢印に対する表示効果を生成する。ここでは、制御部２０２は、コピー実行の０．５秒前からコピー実行の１秒後まで表示させる表示効果を設定する。
ステップＳ３１０８において、制御部２０２は、ステップＳ３１０２で生成した表示効果とステップＳ３１０４で生成した矢印を強調表示情報として出力する。
【００８１】
次に、図３３を参照して、上述した第九の操作情報再生処理を行った場合について説明する。
まず、ステップＳ３１０１では、制御部２０２は、ストローク群２７０１のうち「えだ」を構成するストローク群と、コピー先のストローク群２７０２の参照情報を取得する。ステップＳ３１０２では、制御部２０２は、「えだ」を構成するストローク群に対して表示効果を生成する。ステップＳ３１０３では、制御部２０２は、生成した表示効果に、コピー実行の１秒前からコピー実行の１秒後まで点滅表示を行うアニメーションを設定する。ステップＳ３１０４では、制御部２０２は、コピー元及びコピー先を表示した領域の情報に基づいて、両者の領域をつなぐ図３３に示すような矢印３２０１を生成する。また、制御部２０２は、矢印３２０１にコピーを行ったことを明示する文字列である「コピー実行」を生成する。ステップＳ３１０５では、制御部２０２は、矢印３２０１に対しコピー実行の０．５秒前からコピー実行の１秒後まで表示させる表示効果を設定する。ステップＳ３１０８では、制御部２０２は、ステップＳ３１０２で生成した表示効果と矢印３２０１とを強調表示情報として出力する。ここで出力された表示効果は上述した図８に示すフローチャートのステップＳ７０６において、制御部２０２が、ストローク群２７０１のうち「えだ」を構成するストローク群と合成して、再生方法を変化させた上で、他の再生データと共に再生を行う。
【００８２】
次に、再生処理が行われた場合、制御部２０２は、検索結果の領域２８０１を消去した状態から、ストローク群２７０１のうち「えだ」を構成するストローク群を点滅させる。また、制御部２０２は、コピー実行の０．５秒後に矢印３２０１を表示して、さらに０．５秒後にコピー先のストローク群２７０２を再生する。なお、ユーザはストローク群２７０２に対し縮小と回転との操作を行っているので、制御部２０２は、順に縮小と回転とを再生し、図３３に示すようにストローク群２７０２を画面に表示する。その後、制御部２０２は、「えだ」を構成するストローク群の点滅と矢印３２０１の表示を消去するので、図２８に示すように本来記録されていた再生データを順に再生した場合と同じ結果を表示する。なお、上述した第九の操作情報再生処理ではストローク群を例にして説明したが、その他のオブジェクトであっても同様に処理が行われる。
【００８３】
以上の処理を行うことで、会議データの視聴者は、コピーを実行したときのコピー元のオブジェクトやコピーを行ったタイミング等を認識することができる。したがって、視聴者は、会議の参加者と同様に、会議データの内容をより把握することができる。
【００８４】
（第３の実施形態）
図３４は、本実施形態に係る会議システムの構成の一例を示す図である。
本実施形態に係る会議システムは、入力装置としてのペン３３０１、３３０２が複数、設けられている。ペン３３０１、３３０２には、それぞれ一意に識別されるペンＩＤが割り当てられている。ペン３３０１、３３０２が発信する情報には、全てペンＩＤが付加されている。例えば、制御部２０２が、検出装置１０２、１０３を介して、ペン３３０１、３３０２から発信されるペンＩＤを取得することにより、現在操作しているペンを識別することができる。また、制御部２０２は、ペンＩＤを取得することにより同時に複数のペンが操作されたときにどちらのペンによってどのような操作が行われたかを識別することができる。ここで、ペンＩＤは、ユーザを識別した結果として、図５に示す描画操作情報テーブル１１のペンの操作者である「ユーザＩＤ」と関連付けられて記録される。
【００８５】
次に、本実施形態に係る複数のペンを用いたユーザの操作手順と図５に示す描画操作情報テーブル１１に記録される情報とについて説明する。図３５は、本実施形態に係る操作手順の一例を示す図である。ここでは、一人目のユーザ１（ユーザＩＤ：ｕｓｅｒ１）がペン３３０１（ペンＩＤ：Ｐｅｎ１）を操作し、次に、二人目のユーザ２（ユーザＩＤ：ｕｓｅｒ２）がペン３３０２（ペンＩＤ：Ｐｅｎ２）を操作するものとする。
ここで、例えば、ユーザ１が、図３５（ａ）及び図３５（ｂ）に示すようにペン３３０１を用いてストロークを行う。制御部２０２は、「ペンＩＤ」として「Ｐｅｎ１」を認識すると共に、「ユーザＩＤ」として「ｕｓｅｒ１」を対応付けているため、「ｕｓｅｒ１」の操作として会議データに記録する。
また、ユーザ２が、図３５（ｃ）及び図３５（ｄ）に示すようにペン３３０２を用いてストロークを行う。制御部２０２は、「ペンＩＤ」として「Ｐｅｎ２」を認識すると共に、「ｕｓｅｒ２」の操作として会議データに記録する。
【００８６】
図３６は、本実施形態に係る操作手順の一例を示す図である。図３６は、複数のペンを用いて同じタイミングで操作したものである。ここでは、二人のユーザが同時にストロークを描画する操作を行い、同時に終了したものとする。この場合、制御部２０２は、会議データとしてそれぞれの操作が同じ時刻にそれぞれ異なるユーザ（ｕｓｅｒ１、ｕｓｅｒ２）によって実行されたものとして記録する。
ここで、このように記録された再生データを第１又は第２の実施形態における操作情報再生処理を用いて再生すると、視聴者は、上述したように強調表示情報により会議の内容をより把握することができる。しかしながら、視聴者は、複数のユーザのうち、誰が操作したのかを確認することができない。
【００８７】
ここでは、図３５及び図３６に示す操作手順が記録された会議データを上述した第１の実施形態における第二の操作情報再生処理を用いて再生する場合について、それぞれ図３７及び図３８を参照して説明する。なお、第二の操作情報再生処理は、ペンの軌道に沿ってアイコン図形を表示させるものである。
まず、図３７（ａ）の画面は、制御部２０２が、アイコン図形１３０１を、ユーザ１が描画したストロークの再生開始位置まで表示している状態の画面である。次に、図３７（ｂ）の画面は、制御部２０２が、ストロークの再生の進度に合わせてアイコン図形１３０１を移動するように表示している状態の画面である。次に、図３７（ｃ）の画面は、制御部２０２が、アイコン図形１３０１をユーザ２が描画したストロークの再生開始位置まで表示している状態の画面である。図３７（ｄ）の画面は、制御部２０２が、ユーザ１及びユーザ２が描画したストロークを再生した後の状態の画面である。図３７では、２つのストロークがあったとしても、一つのアイコン図形１３０１で表示される。したがって、会議データの視聴者は、誰が描画したストロークであるか、又はそれぞれのストロークを描画したのが同一人物であるか異なる人物であるかを把握することができない。
【００８８】
一方、図３８（ａ）の画面は、制御部２０２が、２つのアイコン図形１３０１をそれぞれユーザ１が描画したストロークの再生開始位置及びユーザ２が描画したストロークの再生開始位置まで表示している状態の画面である。次に、図３８（ｂ）の画面は、制御部２０２が、それぞれのストロークの再生の進度に合わせて２つのアイコン図形１３０１を移動するように表示している状態の画面である。したがって、図３８では、同時に２つのアイコン図形１３０１が表示させるため複数人による描画であることを把握することができるが、誰がどちらの操作をしているかを把握することができない。この問題に鑑みて、以下に本実施形態に係る操作情報再生処理を示す。
【００８９】
図３９に示すフローチャートを参照して本実施形態に係る会議データの再生処理動作の一例について説明する。ここで、上述した第１の実施形態で説明した図８に示すフローチャートと同一の処理動作については同一ステップ符号を付している。ここで、図８に示すフローチャートと異なる点は、ステップＳ７０５の強調表示情報生成の前に、制御部２０２が、ユーザ毎に強調表示生成の方法に切り替えるステップＳ３８０１を付加している点である。ここで、切り替える内容としては、上述した第一から第九の各種操作情報再生処理を切り替える以外に、各操作情報再生処理におけるユーザ毎の識別表示を変更する。ここでは、例えば、ユーザに応じて各種パラメータ（色情報、点滅速度及びポインタ等）を変更する。
【００９０】
次に、複数のユーザが順に操作した会議データを再生するときに表示される画面の一例について図４０を参照して説明する。ここでは、操作情報再生処理として第二の操作情報再生処理を用いると共に、ユーザ毎に常に表示されるアイコン図形を用いて、ユーザが操作していない時刻は、対応するアイコン図形の色を薄くするというユーザを区別するための処理を付加する。
【００９１】
再生を開始すると、図４０（ａ）に示すように、制御部２０２は、２つのアイコン図形３９０１、３９０２を表示する。ここでアイコン図形３９０１はユーザ１に対応し、アイコン図形３９０２はユーザ２に対応している。まず、制御部２０２は、ユーザ１の描画を再生するために、アイコン図形３９０１を濃い色で表示し、アイコン図形３９０２を薄い色で表示する。次に、図４０（ｂ）に示すように、制御部２０２は、ユーザ１によるストロークの再生の進度に合わせて濃い色のアイコン図形３９０１を移動するように表示する。次に、ユーザ１のストロークの再生を終了すると、制御部２０２は、図４０（ｃ）に示すように、ユーザ２の描画を再生するために、アイコン図形３９０２を濃い色で表示し、アイコン図形３９０１を薄い色で表示する。次に、制御部２０２は、図４０（ｄ）に示すように、制御部２０２は、ユーザ２によるストロークの再生の進度に合わせて濃い色のアイコン図形３９０２を移動するように表示する。
【００９２】
以上の処理を行うことで、会議データの視聴者は、各アイコン図形を確認することでどちらのユーザが操作しているのかを把握することができる。したがって、視聴者は、会議の参加者と同様に、会議データの内容をより把握することができる。
【００９３】
次に、複数のユーザが同時に操作した会議データを再生するときに表示される画面の一例について図４１を参照して説明する。ここでは、操作情報再生処理として第二の操作情報再生処理を用いると共に、ユーザ毎にアイコン図形の色を変えるというユーザを区別するための処理を付加する。
【００９４】
再生を開始すると、図４１（ａ）に示すように、制御部２０２は、青色のアイコン図形４００１と緑色のアイコン図形４００２とを表示する。ここでアイコン図形４００１はユーザ１に対応し、アイコン図形４００２はユーザ２に対応している。次に、制御部２０２は、図４１（ｂ）に示すように、２つのストロークの再生の進度に合わせてそれぞれアイコン図形４００１、４００２を移動するように表示する。
【００９５】
以上の処理を行うことで、会議データの視聴者は、各アイコン図形の色を確認することでどちらのユーザが操作しているのかを把握することができる。したがって、視聴者は、会議の参加者と同様に、会議データの内容をより把握することができる。
【００９６】
次に、複数のユーザが同時に操作した会議データを再生するときに表示される画面の一例について図４２を参照して説明する。ここでは、操作情報再生処理として第二の操作情報再生処理を用いると共に、ユーザ毎に線色を一時的に変えるというユーザを区別するための処理を付加する。
【００９７】
再生を開始すると、図４２（ａ）に示すように、制御部２０２は、青色のアイコン図形４１０１と緑色のアイコン図形４１０２とを表示する。ここでアイコン図形４１０１はユーザ１に対応し、アイコン図形４１０２はユーザ２に対応している。次に、制御部２０２は、図４２（ｂ）に示すように、２つのストロークの再生の進度に合わせてそれぞれアイコン図形４１０１、４１０２を移動するように表示する。このとき、制御部２０２は、青色のアイコン図形４１０１の対応するストローク４１０３を青色で表示し、緑色のアイコン図形４１０２の対応するストローク４１０４を緑色で表示する。次に、制御部２０２は、一定時間が経つと、それぞれのストローク４１０３、４１０４を操作情報に保存されていたオリジナルの線色に変化させる。
【００９８】
以上の処理を行うことで、会議データの視聴者は、各ストロークの色を確認することでどちらのユーザが操作又は描画しているのかを把握することができる。したがって、視聴者は、会議の参加者と同様に、会議データの内容をより把握することができる。
【００９９】
（第４の実施形態）
本実施形態に係る会議システムでは、複数の会議システムが接続されて構成されている。上述した第１乃至第３の実施形態と同一の構成については同一符号を付してその説明を省略する。
図４３は、本実施形態に係る第一の会議システムの構成の一例を示す図である。
図４３に示す会議システムは、第１の実施形態に係る会議システム１０がネットワークケーブル１０９、ネットワーク４２０１を介して互いに接続されて構成されている。このように構成された会議システムでは、操作情報等を一方側の情報処理装置１０８からネットワーク４２０１を介して他方側の情報処理装置１０８に送信することができる。したがって、例えば、発表者がいる一方側の会議システムの情報処理装置１０８が、会議データを他方側の会議システムの情報処理装置１０８に送信する。他方側の会議システムの情報処理装置１０８は、受信した会議データに対して、第１〜第３の実施形態の各種操作情報再生処理を行うことで、他方側の会議システムであっても、会議データの内容をより把握することができる。
【０１００】
図４４は、本実施形態に係る第二の会議システムの構成の一例を示す図である。
図４４に示す会議システムは、上述した図４３に示す第一の会議システムの構成と同一である。図４４は、一方側及び他方側の会議システム１０の何れにも発表者がいる場合を想定している。このような場合でも、互いの情報処理装置１０８は、操作情報等を、ネットワーク４２０１を介して送受信することができる。したがって、それぞれの会議システムの情報処理装置１０８は、互いに受信した会議データに対して、第１〜第３の実施形態の各種操作情報再生処理を行うことで、何れの会議システムであっても、異なる会議システムの会議データの内容をより把握することができる。
【０１０１】
図４５は、本実施形態に係る第三の会議システムの構成の一例を示す図である。
図４５に示す会議システムは、第１の実施形態に係る会議システム１０（１０ａ〜１０ｃ）がネットワーク４２０１を介して３つ接続されて構成されている。図４５は、２つの会議システム１０ｂ、１０ｃに発表者がいる場合を想定している。このような場合でも、発表者がいる２つの会議システム１０ｂ、１０ｃの情報処理装置１０８は、操作情報を、ネットワーク４２０１を介して互いに送受信する。また、会議システム１０ｂ、１０ｃの情報処理装置１０８は、発表者がいない会議システム１０ａに送信することができる。３つの会議システム１０（１０ａ〜１０ｃ）の情報処理装置１０８は、受信した会議データに対して、第１〜第３の実施形態の各種操作情報再生処理を行うことで、何れの会議システムでも、異なる会議システムの会議データの内容をより把握することができる。
【０１０２】
なお、上述した第１〜第３の実施形態では、再生処理システムとして会議システムを例に挙げて説明したが、この場合に限るものではない。例えば、授業データや講義データを再生する場合等の他のデータを再生する場合に用いてもよい。
【０１０３】
上述した本発明の実施形態における再生処理装置を構成する各手段又は再生処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【０１０４】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数からなるシステムに適用してもよい。
【０１０５】
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１０６】
従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１０７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０８】
更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０９】
【図１】第１の実施形態に係る会議システムの構成の一例を示す図である。
【図２】会議システムの各構成要素の内部構成の一例を示す図である。
【図３】情報処理装置の機能構成の一例を示す図である。
【図４】会議中に表示装置に表示される画面の一例を示す図である。
【図５】描画操作情報テーブルの一例を示す図である。
【図６】オブジェクト形状情報テーブルの一例を示す図である。
【図７】ペン軌道情報テーブルの一例を示す図である。
【図８】会議データの再生処理動作の一例を示すフローチャートである。
【図９】会議が開始される直前に表示される画面の一例を示す図である。
【図１０】第１の実施形態に係るストロークを入力する手順の一例を示す図である。
【図１１】第１の実施形態に係るオブジェクトを移動する手順の一例を示す図である。
【図１２】第１の実施形態に係る矩形及びストロークを順に入力する手順の一例を示す図である。
【図１３】第一の操作情報再生処理の一例を示すフローチャートである。
【図１４】第一の操作情報再生処理を行った画面の一例を示す図である。
【図１５】第二の操作情報再生処理の一例を示すフローチャートである。
【図１６】第二の操作情報再生処理を行った画面の一例を示す図である。
【図１７】第二の操作情報再生処理を行った画面の一例を示す図である。
【図１８】第三の操作情報再生処理の一例を示すフローチャートである。
【図１９】第三の操作情報再生処理を行った画面の一例を示す図である。
【図２０】第四の操作情報再生処理の一例を示すフローチャートである。
【図２１】第四の操作情報再生処理を行った画面の一例を示す図である。
【図２２】第五の操作情報再生処理の一例を示すフローチャートである。
【図２３】第五の操作情報再生処理を行った画面の一例を示す図である。
【図２４】第六の操作情報再生処理の一例を示すフローチャートである。
【図２５】第六の操作情報再生処理を行った画面の一例を示す図である。
【図２６】第七の操作情報再生処理の一例を示すフローチャートである。
【図２７】第七の操作情報再生処理を行った画面の一例を示す図である。
【図２８】ユーザがストロークをコピーする手順の一例を示す図である。
【図２９】ユーザがストロークの文字列を検索する手順の一例を示す図である。
【図３０】第八の操作情報再生処理の一例を示すフローチャートである。
【図３１】第八の操作情報再生処理を行った画面の一例を示す図である。
【図３２】第九の操作情報再生処理の一例を示すフローチャートである。
【図３３】第九の操作情報再生処理を行った画面の一例を示す図である。
【図３４】第３の実施形態に係る会議システムの構成の一例を示す図である。
【図３５】第３の実施形態に係る操作手順の一例を示す図である。
【図３６】第３の実施形態に係る操作手順の一例を示す図である。
【図３７】複数のユーザによる操作手順を第二の操作情報再生処理で再生した画面の一例を示す図である。
【図３８】複数のユーザによる操作手順を第二の操作情報再生処理で再生した画面の一例を示す図である。
【図３９】第３の実施形態に係る再生処理動作の一例を示すフローチャートである。
【図４０】第３の実施形態に係る第二の操作情報再生処理を行った画面の一例を示す図である。
【図４１】第３の実施形態に係る第二の操作情報再生処理を行った画面の一例を示す図である。
【図４２】第３の実施形態に係る第二の操作情報再生処理を行った画面の一例を示す図である。
【図４３】第４の実施形態に係る第一の会議システムの構成の一例を示す図である。
【図４４】第４の実施形態に係る第二の会議システムの構成の一例を示す図である。
【図４５】第４の実施形態に係る第三の会議システムの構成の一例を示す図である。
【符号の説明】
【０１１０】
１０    会議システム
１０１  表示装置
１０２  検出装置
１０３  検出装置
１０７  入力装置
１０８  情報処理装置
２０１  入力部
２０２  制御部
２０４  記憶部
２０５  映像出力部
２０８  ネットワークインタフェース部
２３１  表示部
２３２  入力部
２３３  出力部
２５１  描画操作制御部
２５２  強調表示情報生成部
２５３  再生処理部
【図１】
2009302952.tif 000003
【図２】
2009302952.tif 000004
【図３】
2009302952.tif 000005
【図４】
2009302952.tif 000006
【図５】
2009302952.tif 000007
【図６】
2009302952.tif 000008
【図７】
2009302952.tif 000009
【図８】
2009302952.tif 000010
【図９】
2009302952.tif 000011
【図１０】
2009302952.tif 000012
【図１１】
2009302952.tif 000013
【図１２】
2009302952.tif 000014
【図１３】
2009302952.tif 000015
【図１４】
2009302952.tif 000016
【図１５】
2009302952.tif 000017
【図１６】
2009302952.tif 000018
【図１７】
2009302952.tif 000019
【図１８】
2009302952.tif 000020
【図１９】
2009302952.tif 000021
【図２０】
2009302952.tif 000022
【図２１】
2009302952.tif 000023
【図２２】
2009302952.tif 000024
【図２３】
2009302952.tif 000025
【図２４】
2009302952.tif 000026
【図２５】
2009302952.tif 000027
【図２６】
2009302952.tif 000028
【図２７】
2009302952.tif 000029
【図２８】
2009302952.tif 000030
【図２９】
2009302952.tif 000031
【図３０】
2009302952.tif 000032
【図３１】
2009302952.tif 000033
【図３２】
2009302952.tif 000034
【図３３】
2009302952.tif 000035
【図３４】
2009302952.tif 000036
【図３５】
2009302952.tif 000037
【図３６】
2009302952.tif 000038
【図３７】
2009302952.tif 000039
【図３８】
2009302952.tif 000040
【図３９】
2009302952.tif 000041
【図４０】
2009302952.tif 000042
【図４１】
2009302952.tif 000043
【図４２】
2009302952.tif 000044
【図４３】
2009302952.tif 000045
【図４４】
2009302952.tif 000046
【図４５】
2009302952.tif 000047