(57)【要約】【課題】  会議等の同期コミュニケーションにおいてユーザ入力による文字列（チャット）と、音声やビデオ等の他のメディアを、再利用が容易な形式で記録ファイリングする。【解決手段】  監視手段２４、２５が他のメディアデータの入力を監視し、関連付け処理手段２１が入力された他のメディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該他のメディアデータを特定する文字列表記Ｍ１、Ｍ２・・を挿入して関連付け、関連付けファイリング手段２２がユーザ入力の文字列データと他のメディアデータとの関連情報を記録する。また、記録ファイルを利用し、会議再生制御手段１６の制御によって、表示手段１４が関連情報にしたがってユーザ入力の文字列と他のメディアデータの文字列表記とを出力し、文字列表記の画面表示を条件に、当該文字列表示に対応する他のメディアデータを再生出力する。【選択図】  図１
2005222431.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ入力された複数の文字列データと、当該文字列データ入力を行った同じ作業環境に入力された文字列と異なる種類の他のメディアデータとを関連付けて記録するファイリング装置であって、
前記他のメディアデータの入力を監視する監視手段と、入力された前記他のメディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該他のメディアデータを特定する文字列表記を挿入して関連付ける関連付け手段と、ユーザ入力の文字列データと他のメディアデータとの関連情報を記録するファイリング手段と、を備えたことを特徴とするファイリング装置。
【請求項２】
請求項１に記載のファイリング装置において、
前記ユーザ入力された複数の文字列データは文字列データが時間的に間欠的な複数のデータ集合であり、
前記他のメディアデータは時間的に連続した連続データであることを特徴とするファイリング装置。
【請求項３】
間欠的にユーザ入力された複数の文字列データと、当該文字列データ入力を行った同じ作業環境に入力された連続的なメディアデータとを、連続メディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該連続メディアデータを特定する文字列表記を挿入することによって関連付けた関連情報を記憶するファイリング手段と、
ファイリング手段に記憶された関連情報にしたがってユーザ入力の文字列と他のメディアデータを特定する文字列表記とを表示出力する表示手段と、
文字列表記が画面表示されることに応じて、当該文字列表示に対応する他のメディアデータを再生出力する再生手段と、を備えたことを特徴とする再生装置。
【請求項４】
間欠的にユーザ入力された複数の文字列データと、当該文字列データ入力を行った同じ作業環境に入力された連続的なメディアデータとを、連続メディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該連続メディアデータを特定する文字列表記を挿入することによって関連付けた関連情報を記憶するファイリング手段と、
ファイリング手段に記憶された関連情報にしたがってユーザ入力の文字列と他のメディアデータを特定する文字列表記とを表示出力する表示手段と、
画面表示された文字列表示をユーザが選択したことに応じて、当該文字列表示に対応する他のメディアデータを再生出力する再生手段と、を備えたことを特徴とする再生装置。
【請求項５】
共同作業環境を構成するために複数のユーザ端末をネットワークで接続し、ユーザ端末から入力された文字列をユーザ端末間で共有して時系列に画面表示し、当該共同作業において発生した文字列データとは異なる種類の他のメディアデータをユーザ端末間で共有して出力する共同作業システムであって、
前記他のメディアデータの入力を監視する監視手段と、入力された前記他のメディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該他のメディアデータを特定する文字列表記を挿入することによって関連付ける関連付け手段と、ユーザ入力の文字列データと他のメディアデータとの関連情報を記録するファイリング手段と、を備えたことを特徴とする共同作業システム。
【請求項６】
請求項５に記載の共同作業システムにおいて、
前記ファイリング手段に記憶された関連情報にしたがってユーザ入力の文字列と他のメディアデータを特定する文字列表記とを表示出力する表示手段と、
文字列表記が画面表示されること又は画面表示された文字列表示をユーザが選択したことの少なくともいずれかの一方の条件に応じて、当該文字列表示に対応する他のメディアデータを再生出力する再生手段と、を備えたことを特徴とする共同作業システム。
【請求項７】
時系列でユーザ入力された文字列からなるテキストデータと当該文字列入力の際に入力されたテキストデータとは異なる種類の他のメディアデータとを含む作業フィールドを複数のユーザ端末をネットワーク接続して構成し、
ネットワーク上に接続された管理サーバが、ユーザ端末に画面表示される文字列中の入力時間で対応する位置に入力された他のメディアデータを特定する文字列表記を挿入するとともに、ユーザ入力文字列データと他のメディアデータとの関連情報を記録することを特徴とするファイリング方法。
【請求項８】
ユーザ入力された複数の文字列データと、当該文字列データ入力を行った同じ作業環境に入力された文字列と異なる種類の他のメディアデータとを関連付けて記録するファイリング方法であって、
コンピュータにより監視手段と、関連付け手段と、ファイリング手段とを構成し、
監視手段が、前記他のメディアデータの入力を監視し、
関連付け手段が、入力された前記他のメディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該他のメディアデータを特定する文字列表記を挿入して関連付け、
ファイリング手段が、ユーザ入力の文字列データと他のメディアデータとの関連情報を記録することを特徴とするファイリング方法。
【請求項９】
コンピュータによりファイリング手段と、表示手段と、再生手段とを構成し、
ファイリング手段が、間欠的にユーザ入力された複数の文字列データと、当該文字列データ入力を行った同じ作業環境に入力された連続的なメディアデータとを、連続メディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該連続メディアデータを特定する文字列表記を挿入することによって関連付けた関連情報を記憶し、
表示手段が、ファイリング手段に記憶された関連情報にしたがってユーザ入力の文字列と他のメディアデータを特定する文字列表記とを表示出力し、
再生手段が、文字列表記の画面表示を条件に、当該文字列表示に対応する他のメディアデータを再生出力することを特徴とする再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不連続な複数の文字列からなるデータに対して、当該文字列データを入力した同じ作業環境において入力された他のメディアデータを関連付けて記録する技術に関し、例えば、ネットワーク技術を利用した会議システムのように、複数のユーザが各々端末を用いて共同して作業するシステムに適用して好適な技術に関する。
【背景技術】
【０００２】
コンピュータ技術及びネットワーク通信技術の発展により、ユーザ端末をネットワーク接続したシステムを用いて複数のユーザ間でリアルタイムにコミュニケーションを図ることが行われている。
このようなコミュニケーションには、ユーザ端末に接続したマイクロフォンとスピーカを用いた音声通信の他、ユーザ端末からキーボード操作で入力した文字列を各ユーザ端末の画面に時系列に表示するチャットも利用されている。
【０００３】
このようなチャットにおいては、コミュニケーションに参加している各ユーザのキャラクタを各ユーザ端末の画面に表示して、或るユーザは「ははは」と言った特定の文字列を入力した場合に、当該ユーザのキャラクタを笑い動作させると言ったイベントを発生させる技術が知られている（特許文献１参照。）。
また、ユーザ端末の三次元ブラウザを用いてチャットを行い、文字列内に特定のコマンドが存在するときには、当該文字列を三次元化する技術が知られている（特許文献２参照。）。
【０００４】
また、同様な遠隔同期コミュニケーションを実現するネットワークシステムにより文字列によるチャットの他、音声、画像（動画、静止画）、図形等の様々なメディアを用いて、複数のユーザ間での会議、講演、講義等を実現するシステムも知られており、例えば、ウェブ会議システムとして実現されている。
【特許文献１】特開２００２―３２５９６５号公報
【特許文献２】特開２００２―２８８１０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記のように同期コミュニケーションにおいては、ユーザ入力による文字列（チャット）に加えて、音声、動画（ビデオ）、共同作業環境で共有されるホワイトボード上に描かれた図形等の様々なメディアが用いられるが、この共同作業をそのまま記録してファイリングした場合には、この記録ファイルを後に利用することが煩雑であるという課題があった。
【０００６】
具体的には、コンピュータにより記録ファイルを読み出して再生した場合、ユーザ入力の文字列による発言記録は、各文字列が時間的に間欠的なものであり、また、各文字列の内容が簡潔であるので、これら記録された複数の文字列を画面上でスクロール表示等すれば、ユーザは目的とする文字列を容易に見付け出すことができる。これに対して、会議で表示された或るビデオを再生したい場合、或いは、会議で表示された或る文献の或るページの画像を再生したい場合、或いは、会議中で音声により発言された或る事項を再生したい場合、会議中でホワイトボードに描かれた或る図形を再生したい場合等では、場合によっては記録ファイルを全て再生しなければ目的とする部分を見付け出して再生することができず、会議の収録時と同じ位の時間が要する煩雑な作業となってしまう。
【０００７】
本発明は、上記従来の事情に鑑みなされたもので、ユーザ入力された文字列データと音声やビデオ等の他のメディアデータとを使用した作業環境に対して、文字列データの性質を利用してこれらデータ間の関連付けを行うことで、再利用し易い記録ファイルを作成することを目的としている。
また、本発明は、ユーザ入力された文字列データ（複数が間欠的に連続するデータ）と音声やビデオ等の他のメディアデータ（例えば時間的に切れ目なく連続するデータや複数ページの文書を各ページ毎にめくって表示したような複数が間欠的に連続するデータ等のユーザ入力された文字列データとは異なる種類のデータ）とを使用した作業環境に対して、間欠的データの性質を利用して連続データを関連付けることで、再利用し易い記録ファイルを作成することを目的としている。
また、本発明は、このような記録ファイルを作成することにより、共同作業記録の再利用を容易にすることを目的としている。
なお、本発明の更なる目的は、以下に説明するところにより明らかである。
【課題を解決するための手段】
【０００８】
本発明に係るファイリング装置は、ユーザ入力された複数の文字列データ（例えば、メッセージ、コメント、メモ等のテキストデータ）と、当該文字列データ入力を行った同じ作業環境に入力された文字列と異なる種類の他のメディアデータ（例えば、音声、画像、アプリケーションデータ等の連続データ）とを関連付けて記録する装置であって、監視手段が他のメディアデータの入力を監視し、関連付け手段が入力された他のメディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該他のメディアデータを特定する文字列表記を挿入して関連付け、ファイリング手段がユーザ入力の文字列データと他のメディアデータとの関連情報を記録する。
したがって、チャット形式でユーザ入力される毎の間欠的な時系列で蓄積される複数の文字列中の他のメディアデータの入力があった位置に当該他のメディアデータがチャットと同様な文字列表示を挿入して形式で関連付られる。
【０００９】
また、本発明に係る再生装置は、上記のようにして作成された記録ファイルを利用し、表示手段がファイリング手段に記憶された関連情報にしたがってユーザ入力の文字列と他のメディアデータの文字列表記とを表示出力し、再生手段が、文字列表記の画面表示を条件に、当該文字列表示に対応する他のメディアデータを再生出力する。
したがって、例えば、文字列表記が画面表示されることに応じて自動的に、或いは、画面表示された文字列表示をユーザが選択したことに応じて、チャット中の対応位置に同じような文字列表記が再生表示され、当該文字列表記によって当該位置でどのようなメディアデータが使用されていたかをユーザが一目で判別し得るようになるとともに、当該メディアデータを再生出力することができる。
【００１０】
本発明は、会議、講演、講義等のように複数のユーザが参加して何らかのコミュニケーションを図る環境を提供する共同作業システムとして実現することができ、他のメディアデータの入力を監視する監視手段、入力された前記他のメディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該他のメディアデータを特定する文字列表記を挿入することによって関連付ける関連付け手段、ユーザ入力の文字列データと他のメディアデータとの関連情報を記録するファイリング手段と言った機能は、各ユーザ端末とネットワークで接続される管理装置（管理サーバ）において実現してもよく、また、管理装置とユーザ端末とで分担して実現してもよく、また、このような管理装置を設けずに、ユーザ端末において実現してもよい。
【００１１】
したがって、本発明は、時系列でユーザ入力された文字列からなるテキストデータと当該文字列入力の際に入力されたテキストデータとは異なる種類の他のメディアデータとを含む作業フィールドを複数のユーザ端末をネットワーク接続して構成したファイリング方法でもあり、  ネットワーク上に接続された管理サーバが、ユーザ端末に画面表示される文字列中の入力時間で対応する位置に入力された他のメディアデータを特定する文字列表記を挿入するとともに、ユーザ入力文字列データと他のメディアデータとの関連情報を記録するファイリング方法である。
【００１２】
また、本発明は、ユーザ入力された複数の文字列データと、当該文字列データ入力を行った同じ作業環境に入力された文字列と異なる種類の他のメディアデータとを関連付けて記録するファイリング方法であって、コンピュータにより監視手段と、関連付け手段と、ファイリング手段とを構成し、監視手段が他のメディアデータの入力を監視し、関連付け手段が入力された前記他のメディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該他のメディアデータを特定する文字列表記を挿入して関連付け、ファイリング手段がユーザ入力の文字列データと他のメディアデータとの関連情報を記録するファイリング方法である。
【００１３】
また、本発明は、コンピュータによりファイリング手段と、表示手段と、再生手段とを構成し、ファイリング手段が間欠的にユーザ入力された複数の文字列データと当該文字列データ入力を行った同じ作業環境に入力された連続的なメディアデータとを連続メディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該連続メディアデータを特定する文字列表記を挿入することによって関連付けた関連情報を記憶し、表示手段がファイリング手段に記憶された関連情報にしたがってユーザ入力の文字列と他のメディアデータを特定する文字列表記とを表示出力し、再生手段が文字列表記の画面表示を条件に、当該文字列表示に対応する他のメディアデータを再生出力する再生方法である。
【発明の効果】
【００１４】
本発明によると、共同作業において発生したユーザ入力による文字列と音声や動画等の他のメディアデータ（典型的には連続データ）とを、他のメディアデータを特定する文字列表示をユーザ入力文字列中の対応位置に挿入することで関連付けるようにしたため、当該共同作業の記録ファイルを再利用する際に、目的とする他のメディアデータを目視で容易に見付け出して、再生出力することができる。
【発明を実施するための最良の形態】
【００１５】
本発明を実施例に基づいて具体的に説明する。
図１には本発明の一実施例に係る共同作業システムとしての会議システムの全体構成を示してある。
本例の会議システムは、複数のユーザ端末１と、管理サーバ２とをネットワークＮにより接続したシステム構成であり、これらユーザ端末１と管理サーバ２とは共にネットワーク通信機能を有したコンピュータに本発明に係る諸機能を実施するためのプログラムを保持実行させることにより構成されている。
【００１６】
このような構成により、会議システムでは、複数のユーザがそれぞれユーザ端末１を使用してコミュニケーションを図る共同作業環境が形成される。すなわち、ユーザ端末１からユーザがテキスト形式の文字列を入力して発言すると、当該入力された文字列は自己のユーザ端末１に画面表示されるとともに他のユーザ端末１にも同期して画面表示されるチャットが実現され、また、音声やビデオ等の他の種類のメディアデータも各ユーザ端末１間で共有して入力又は出力することができる。
【００１７】
ユーザ端末１は、発言文字列や動作指示をユーザが入力するためのキーボード等を備えた入力操作手段１０、ユーザ端末１を使用して参加しているユーザのビデオ画像を撮影するカメラ１１、ユーザ端末１を使用して参加しているユーザの発言音声を収音するマイクロフォン１２、会議（共同作業環境）で発言された他のユーザの音声を出力するスピーカ１３、ユーザ入力された発言文字列や当該会議環境で入力された音声や画像等の他のメディアデータを表示出力するディスプレイを有した表示手段１４を備えている。
【００１８】
更に、ユーザ端末１は、管理サーバ２による制御管理の下で他のユーザ端末１と協調して共同作業環境を実現するために、ユーザ端末１から入力された文字列や他のメディアデータを管理サーバ２に送信し、また、他のユーザ端末１から入力された文字列や他のメディアデータを管理サーバ２から受信して、他のユーザ端末１と同期したコミュニケーション入出力を実現する会議制御手段１５を備えており、共同作業環境としての会議フィールへのユーザインタフェースを構成する。
また、ユーザ端末１は、管理サーバ２に保持された会議の記録ファイルを再生出力させる装置としても機能し、管理サーバ２から記録ファイルのデータを受信して、スピーカ１３による音声出力や表示手段１４による画面表示出力により会議の再生出力を実現する会議再生制御手段１６を備えており、管理サーバ２に保持された会議の記録ファイルを再生するためのユーザインタフェースを構成する。
【００１９】
管理サーバ２は、各ユーザ端末１とのデータ通信を行って各端末間で同期した出力を制御することにより参加している複数のユーザ端末１が共有する会議フィールドを実現する会議制御手段２０、会議フィールドに入力されたユーザ入力のテキスト文字列データと他のメディアデータとを関連付け処理する関連付け処理手段２１、関連付けられたテキスト文字列データと他のメディアデータとの関連付け情報を少なくとも含む記録ファイルを保持する関連付けファイル手段２２、ユーザ端末１からの再生要求に応答して関連付けファイル手段に保持されているデータを当該ユーザ端末１へ提供する再生出力手段２３を備えており、会議フィールドの統括制御及び会議の記録ファイルを作成保持する管理装置を構成する。
【００２０】
ここで特に、関連付け処理手段２１は、ユーザ端末１からのユーザ入力による会議フィールドへのテキスト文字列入力を監視するテキスト入力監視手段２４と、会議フィールドへの音声やビデオ画像等のテキストとは異なる種類の他のメディアデータ入力を監視する他メディア監視手段２５とを有しており、図４〜図６に示すように、入力された他のメディアデータを入力時間タイミングで対応するユーザ入力の文字列データ中の位置に当該他のメディアデータを特定する文字列表記を挿入して関連付ける処理を行う。
すなわち、関連付け処理手段２１は、各メディアデータに付加されている属性情報に基づいて当該メディアデータの種別を判別して特定し、これに基づいた文字列表記を生成してテキスト文字列中の対応する位置に挿入する。
【００２１】
他のメディアデータを特定する文字列表記としては、例えば、ビデオ画像の場合には種別を表す文字列「Ｖｉｄｅｏ」と当該ビデオの時間長さを表す文字列「１０ｍｉｍ」をユーザ入力の他のテキスト文字列と区別するための区別記号＜＞で囲んだ文字列表記＜Ｖｉｄｅｏ、１０ｍｉｍ＞とし、音声の場合には種別を表す文字列「Ｓｏｕｎｄ」と当該音声の時間長さを表す文字列「５ｍｉｍ」を区別記号＜＞で囲んだ文字列表記＜Ｓｏｕｎｄ、５ｍｉｍ＞とし、ホワイトボードに描かれた図形の場合には種別を表す文字列「ＷｈｉｔｅＢｏａｒｄ」と当該図形を描画するストロークデータを表す文字列「ｓｏｕｒｃｅ＝ＡＡ」を区別記号＜＞で囲んだ文字列表記＜ＷｈｉｔｅＢｏａｒｄ、ｓｏｕｒｃｅ＝ＡＡ＞とし、ＰＤＦ形式などの文書資料ファイル画像の場合には種別を表す文字列「Ｉｍａｇｅ」と当該文書資料やその頁を表す文字列「ｆｉｌｅ＝ＸＸ、ＹＹｐａｇｅ」を区別記号＜＞で囲んだ文字列表記＜Ｉｍａｇｅ、ｆｉｌｅ＝ＸＸ、ＹＹｐａｇｅ＞とする。
【００２２】
この文字列表記は、チャットの文字列と同じテキストデータであるので、チャット中に挿入することによりチャットの文字列とともに画面表示される。また、当該文字列表記は対応するメディアデータ（実データ）へのリンク表記でもあり、再生に際しては、当該文字列表記が画面表示することにより又は画面表示された文字列表記をユーザが選択指示することにより、必要なメディアデータ用アプリケーションが起動されて関連付けられているメディアデータがユーザ端末１で再生出力される。
なお、これらの文字列表記はその都度生成してもよいが、関連付け処理手段２１が、予め用意された変換テーブルを参照して、当該テーブルから抽出してテキスト文字列のチャット中に挿入するようにしてもよい。
【００２３】
関連付け処理されて関連付ファイル手段２２に保持される関連付ファイルは、例えば図３に示すように、テキストデータ（チャットのメッセージ文字列）に対して他のメディアデータ（音声データ、画像データ、図形データ等）を各会議毎の記録ファイルとしたものであり、これらの関連付けは追って詳述するような構造となっている。
なお、各会議毎の記録ファイルにはテキストデータや他のメディアデータの実データを関連付け保持するようにしても又はこれらの実データを特定する識別子だけを関連付け保持するようにしてもよく、後者の場合には、再生に際しては識別子に基づいて実データを取得して出力するようにすればよい。
【００２４】
図２には、各ユーザ端末１のユーザインタフェースを構成する表示手段１４の画面表示例を示してある。当該画面１４には、メッセージ入力表示部１４ａと、メッセージ表示部１４ｂと、参加者画像部１４ｃと、共用資料部１４ｄとが同一画面上に表示領域として設けられている。
入力操作手段のキーボード１０からユーザが発言として文字列（メッセージ）を入力すると、当該入力操作に応じた文字列がメッセージ入力表示部１４ａに表示され、メッセージ入力表示部１４ａに表示され文字列に対してユーザが決定のキー操作を行うと、メッセージ入力表示部１４ａに表示されている文字列がユーザ名を付加してメッセージ表示部１４ｂに表示される。
【００２５】
すなわち、入力作業領域であるメッセージ入力表示部１４ａに例えば“今日の議題は、”という文字列メッセージを入力して決定すると、当該入力文字列は会議制御手段１５によって管理サーバ２の会議制御手段２０に送信され、会議制御手段２０によってユーザ名Ａを付加した“Ａ）今日の議題は、”という形式のメッセージとされて各ユーザ端末１に配信されて、会議に参加している全てのユーザ端末１のメッセージ表示部１４ｂに表示される。したがって、各ユーザ端末１から入力される文字列メッセージはそれぞれのユーザ名を付した形式で全てのユーザ端末１のメッセージ表示部１４ｂに順次表示され、全てのユーザ端末１のメッセージ表示部１４ｂには参加者ユーザ間での文字列メッセージによるチャットが表示される。なお、これら文字列メッセージはユーザ入力された順に並ぶ時系列データであるが、その時間的な並びは連続したものではなく間欠的なものといえる。
【００２６】
また、カメラ１１から撮影されたユーザの画像は会議制御手段１５によって管理サーバ２の会議制御手段２０に送信され、会議制御手段２０によって他のユーザ端末１に配信されて、会議に参加している他の全てのユーザ端末１の参加者画像部１４ｃに表示される。例えば、会議に３人のユーザＡ、Ｂ、Ｃが参加している場合、ユーザＡの端末の参加者画像部１４ｃには他のユーザＢ、Ｃの画像が表示される。
共用資料部１４ｄは会議フィールドに入力されたビデオ画像、描画図形、文献資料画像等の会議で共用される文字列メッセージとは異なる種類のメディアデータを画像表示する領域であり、ユーザ端末１から入力された共用資料データ又はネットワーク上のファイルサーバ（図示せず）からユーザ端末１により取得された共用資料データが会議制御手段１５によって管理サーバ２の会議制御手段２０に送信され、会議制御手段２０によって他のユーザ端末１に配信されて、全てのユーザ端末１の共用資料部１４ｄに共用資料が画像表示される。なお、ビデオ画像、描画図形、音声等の文字メッセージとは異なるメディアデータは、時間的に連続した連続データと言える。
【００２７】
なお、ユーザ端末１のマイクロフォン１２から入力された音声は会議制御手段１５によって管理サーバ２の会議制御手段２０に送信され、会議制御手段２０によって他のユーザ端末１に配信されて、会議に参加している他の全てのユーザ端末１のスピーカ１３から出力される。
したがって、管理サーバ２による制御下で、会議フィールドに入力された文字列、画像、音声が会議に参加している全てのユーザ端末１で同期して出力される。
【００２８】
図４には前記関連付け処理手段２１による共用資料や音声と文字列メッセージとの関連付け態様の一例を示し、図５には関連付け態様の他の一例を示してある。
図４に示すように、メッセージ表示部１４ｂに表示される複数の文字列メッセージａ〜ｌ・・がそれぞれユーザ入力された順で間欠的な時系列に記録されるが、例えば、文字列メッセージａと文字列メッセージｂとの間の時間タイミングでマイクロフォン１２から会議フィールドに音声が入力されると、当該音声データを特定する文字列表記Ｍ１が文字列メッセージａと文字列メッセージｂとの間に挿入され、当該文字列表記Ｍ１に対して音声データがリンク付けされる。また、例えば、文字列メッセージｇと文字列メッセージｈとの間の時間タイミングで共用資料部１４ｄにビデオ画像が入力されると、当該ビデオ動画像データを特定する文字列表記Ｍ２が文字列メッセージｇと文字列メッセージｈとの間に挿入され、当該文字列表記Ｍ２に対してビデオ動画像データがリンク付けされる。
【００２９】
図４に示す例では、ビデオや音声のように時間的な途切れのない連続データを、それらが入力された時間タイミングで対応する文字列メッセージ中の位置（すなわち、文字表記の挿入位置）を起点にそのままリンク付けしたが、図５に示すように、このような連続データを幾つかに区切って文字列メッセージに関連付けするようにしてもよい。
例えば、或る長さのビデオ動画像データが入力された場合、関連付け処理部２１が、当該ビデオ動画像データを一定時間間隔に区切って複数のビデオデータ部分ａ−１、ａ―２とし、各ビデオデータ部分ａ−１、ａ―２の先頭に対応する文字列メッセージ中の位置の位置にそれぞれ文字列表記Ｍ３、Ｍ４を挿入して、各各ビデオデータ部分ａ−１、ａ―２を各々の文字列表記Ｍ３、Ｍ４にリンク付けする。
このように連続データを区切って部分毎に関連付けを行うようにすると、連続データが長時間に及ぶ場合でも、文字列メッセージ中に挿入された文字列表記に基づいて、連続データ中の必要部分を容易に見付け出すことができる。
【００３０】
図６には上記のように関連付けが施された文字列メッセージ（チャット）の画面表示例を示してあり、このような態様のチャット表示は、記録ファイルの再生において、ユーザ端末１が会議再生制御手段１６により管理サーバ２の関連付けファイル手段２２から記録ファイルを取得して表示手段１４に表示出力することでなされる。
図示の例では、３人のユーザＡ、Ｂ、Ｃによる会議において、各人が文字列メッセージで発言した記録中に、上記のように会議フィールドに入力された他のメディアデータを特定する文字列表記が特殊文字＜＞で囲われて表示される。これら文字列表記は対応するメディアデータの種類、長さ、頁等といった当該メディアデータをユーザが想像するための記述を含んでいる。したがって、ユーザは、このような文字列メッセージと文字列表記とに基づいて、メディアデータが会議中のどのような場面で入力されたか（使用されたか）、メディアデータがどのようなものであったかと言った情報を容易に得ることができ、再生操作において、必要なメディアデータ（更には、その必要部分）を迅速に探し出して再生出力することができる。
【００３１】
図７には、主に管理サーバ２の関連付け処理部２１が行う文字列メッセージと他のメディアデータとの関連付け記録処理の概要を示してある。
ユーザ端末１から会議フィールドにデータが入力されると、入力データが文字列メッセージであるか否かを判定し（ステップＳ１）、文字列メッセージである場合には当該文字列メッセージをチャットとして全てのユーザ端末１に送信してメッセージ表示部１４ｂに表示させる（ステップＳ２）。一方、入力データが文字列メッセージでない場合には、上記のような他のメディアデータであるか否かを判定し（ステップＳ３）、入力された他のメディアデータを特定するテキスト文字列表記を生成し（ステップＳ４）、当該文字列表記をチャット中の入力タイミングに対応する位置に挿入してリンク付けする関連付け処理を行う（ステップＳ５）。
会議フィールドがアクティブな状態では入力データの監視が常時行われ、関連付けされたデータ（少なくとも関連関係を特定する関連情報）は当該会議の記録ファイルとして関連付けファイル手段２２に記憶される。
【００３２】
図８には、主にユーザ端末の会議再生制御手段１６が行う会議の記録ファイルに基づいた再生処理の概要を示してある。
ユーザによる入力操作部１０からの指示に基づいて会議再生制御手段１６が管理サーバ２の関連付けファイル手段２２から目的の会議の記録ファイルを取得し、表示手段１４のディスプレイ画面に図６に示すような文字列メッセージのチャットを表示する（ステップＳ１１）。一般に、会議等のチャット記録は長時間に及ぶものが殆どであり、チャット全体を一度に画面表示することができないので、ユーザは入力操作部１０から指示して画面表示をスクロールさせてチャットを閲覧することとなる。このようなスクロール操作により画面表示された部分に文字列表記が存在するときには（ステップＳ１２）、会議再生制御手段１６が当該文字列表記によって特定されるメディアデータを再生処理するに必要なアプリケーションを起動して（ステップＳ１３）、当該メディアデータを再生して出力する（ステップＳ１４）。例えば、音声データである場合にはスピーカ１３から再生出力し、動画や静止画の画像データや描画図形データである場合には画面１４上に表示ウインドウを形成して画像を再生表示する。
【００３３】
ここで、上記の再生処理では文字列表記が画面表示されると自動的に対応する他のメディアデータが再生出力されるが、本発明では、画面表示された文字列表記に対してユーザが選択指示を行った場合に対応する他のメディアデータが再生出力されるようにしてもよい。
すなわち、画面表示されたチャット中の文字列表記に対して、ユーザによる入力操作部１０からの選択指示が入力されると、会議再生制御手段１６が当該文字列表記によって特定されるメディアデータを再生処理するに必要なアプリケーションを起動して、当該メディアデータを再生して出力する。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施例に係る会議システムの構成を示す図である。
【図２】本発明の一実施例に係るユーザ端末の画面表示例を示す図である。
【図３】本発明の一実施例に係る関連付けファイルを説明する図である。
【図４】本発明の一実施例に係る関連付け構造を説明する図である。
【図５】本発明の一実施例に係る関連付け構造を説明する図である。
【図６】本発明の一実施例に係る文字列表記を含む文字列メッセージの画面表示例を示す図である。
【図７】本発明の一実施例に係る関連付け記録処理を説明する図である。
【図８】本発明の一実施例に係る再生処理を説明する図である。
【符号の説明】
【００３５】
１：ユーザ端末、  ２：管理サーバ、
１０：入力操作手段、  １１：カメラ、
１２：マイクロフォン、  １４：表示手段、
１４ａ：メッセージ入力表示部、  １４ｂ：メッセージ表示部、
１４ｃ：参加者画像部、  １４ｄ：共用資料部、
１５：会議制御手段、  １６：会議再生制御手段、
２０：会議制御手段、  ２１：関連付け処理手段、
２２：関連付けファイル手段、  ２４：テキスト入力監視手段、
２５：他メディア入力監視手段、  Ｍ１、Ｍ２、Ｍ３、Ｍ４：文字列表記、
【図１】
2005222431.tif 000003
【図２】
2005222431.tif 000004
【図３】
2005222431.tif 000005
【図４】
2005222431.tif 000006
【図５】
2005222431.tif 000007
【図６】
2005222431.tif 000008
【図７】
2005222431.tif 000009
【図８】
2005222431.tif 000010