(57)【特許請求の範囲】
【請求項１】
サーバ側において、任意のクライアントから依頼されたマルチメディアデータに関し、該マルチメディアデータを時間的に分割した各シーンに対し木構造でコメント及びその属性情報の表示／コメント入力可能とするマルチメディア電子付箋の雛形を作成し、
前記依頼元のクライアントを含む複数のクライアント間で、前記マルチメディア電子付箋を元に各シーンに対するコメントを交換する、マルチメディア電子付箋を介した協調作業を行なわせ、
前記各クライアントは、前記サーバまたは他のクライアントから取得したマルチメディア電子付箋に基づいて、コメント表示／入力画面を表示させる電子付箋編集手段を備え、前記コメント表示／入力画面上において前記コメントの公開先を選択指定でき、前記マルチメディア電子付箋は該公開先の記述が追加されて更新され、該更新後のマルチメディア電子付箋は前記サーバに格納され、
前記サーバは、前記マルチメディア電子付箋の送信を要求したクライアントが、前記公開先ではない場合、該公開先が指定されている前記コメントを削除したマルチメディア電子付箋を、該要求元のクライアントに送信する電子付箋通信手段を備えることを特徴とするマルチメディア協調作業システム。
【請求項２】
前記各クライアントは、前記マルチメディア電子付箋を、前記マルチメディアと該マルチメディアの各シーンに対するコメント群とが同期再生される形式へと変換する形式変換手段を更に備えることを特徴とする請求項１記載のマルチメディア協調作業システム。
【請求項３】
前記属性情報は、コメント作成者、コメント作成日時、コメント付加先の情報の少なくとも１つ以上であることを特徴とする請求項１記載のマルチメディア協調作業システム。
【請求項４】
前記マルチメディア電子付箋は、ＸＭＬで記述されることを特徴とする請求項１記載のマルチメディア協調作業システム。
【請求項５】
サーバを介して任意のマルチメディアに関して複数のクライアント間でコメント交換できるマルチメディア協調作業システムであって、
前記サーバは、
任意のクライアントから依頼されたマルチメディアデータに識別子を割り当て、該識別子を該依頼元のクライアントに返送するマルチメディア通信手段と、
該マルチメディアデータを格納するマルチメディア蓄積手段と、
前記登録依頼元のクライアントが、他のクライアントに前記マルチメディアデータの識別子を通知する電子メールをメールサーバより取得し、該電子メールの宛先よりメンバ情報を取得し、該メンバ情報を前記マルチメディアデータの識別子に対応付けて格納／管理する管理手段と、
前記マルチメディアデータと該管理手段に格納／ 管理される情報に基づいて、該マルチメディアデータを時間的に分割した各シーン毎に木構造でコメント入力可能にするマルチメディア電子付箋の雛形を作成し、該マルチメディア電子付箋に識別子を割り当て、前記管理手段において前記マルチメディアデータの識別子と対応付けて格納／管理させる電子付箋雛形作成手段と、
該電子付箋雛形を格納し、また該電子付箋雛形に基づいて任意のコメントが追加されてなるマルチメディア電子付箋を格納する電子付箋格納手段と、
を備え、
前記登録依頼元を含む各メンバのクライアントは、
前記マルチメディアデータの識別子を用いて前記サーバからマルチメディア電子付箋を取得する電子付箋通信手段と、
該マルチメディア電子付箋に基づいて、マルチメディアの任意のシーンに対するコメントまたはコメントに対するコメントを入力可能なコメント編集画面を作成し表示させる電子付箋編集手段と、
前記マルチメディア電子付箋を、マルチメディア同期再生形式に変換する形式変換手段と、
該形式変換手段により変換結果を用いて、前記マルチメディアとコメントとを同期再生する同期再生手段と、
を有することを特徴とするマルチメディア協調作業システム。
【請求項６】
ネットワークを介して各クライアントとデータ送受信する通信手段と、
任意のクライアントから依頼されたマルチメディアデータに関し、該マルチメディアデータを時間的に分割した各シーンに対し木構造でコメント及びそのコメントの公開先または有効期限を含む属性情報の表示／コメント入力可能とするマルチメディア電子付箋の雛形を作成するマルチメディア電子付箋雛形作成手段と、
前記有効期限が過ぎたコメントをマルチメディア電子付箋から削除し、または任意のメンバのクライアントからマルチメディア電子付箋の要求を受信すると、該クライアントが前記公開先となっていないコメントを削除したマルチメディア電子付箋を該クライアントに送信するマルチメディア電子付箋変更／通信手段と、
を有することを特徴とするサーバ。
【請求項７】
前記依頼元のクライアントが他のクライアントに対し通知する電子メールより、前記マルチメディアデータに係わる協調作業をするユーザの情報であるメンバ情報を取得し、該メンバ情報を前記マルチメディアデータ及びマルチメディア電子付箋に対応付けて管理するメンバ管理手段を更に有し、
前記マルチメディア電子付箋雛形作成手段は、該管理手段で管理する情報を用いて前記マルチメディア電子付箋の雛形を作成することを特徴とする請求項６記載のサーバ。
【請求項８】
ネットワークを介してサーバまたは各クライアントとデータ送受信し、コメント及びそのコメントの公開先または有効期限を含む属性情報が記述されたマルチメディア電子付箋であって、該有効期限が過ぎたコメントがサーバによって削除され、または任意のメンバのクライアントからの該マルチメディア電子付箋の要求に基づき該クライアントが該公開先となっていないコメントがサーバによって削除された、マルチメディア電子付箋を受信する通信手段と、
サーバまたは他のクライアントから受信したマルチメディア電子付箋に基づいて、該マルチメディア電子付箋が対応するマルチメディアの各シーン毎に付けられた、前記属性情報を持つコメントを表示すると共に、任意のシーンまたはコメントに対するコメントを入力可能とし、該入力に応じてマルチメディア電子付箋の内容を更新するマルチメディア電子付箋編集手段と、
を有することを特徴とするクライアント。
【請求項９】
前記マルチメディア電子付箋を、前記マルチメディアと前記コメントとを同期再生する形式に変換する形式変換手段と、
該形式変換手段による変換結果を用いて、マルチメディアと該マルチメディアの各シーンに対応したコメントを同期させて表示させるマルチメディア同期再生手段と、
を更に備えることを特徴とする請求項８記載のクライアント。
【請求項１０】
サーバ側において、任意のクライアントから依頼されたマルチメディアデータに関し、該マルチメディアデータを時間的に分割した各シーンに対し木構造でコメント及びその属性情報の表示／コメント入力可能とするマルチメディア電子付箋の雛形を作成し、
前記依頼元のクライアントを含む複数のクライアント間で、前記マルチメディア電子付箋を元に各シーンに対するコメントを交換する、マルチメディア電子付箋を介した協調作業を行なわせ、
前記各クライアントは、前記サーバまたは他のクライアントから取得したマルチメディア電子付箋に基づいて、コメント表示／入力画面を表示させ、該コメント表示／入力画面上において前記コメントの公開先を選択指定でき、前記マルチメディア電子付箋は該公開先の記述が追加されて更新され、該更新後のマルチメディア電子付箋は前記サーバに格納され、
前記サーバは、前記マルチメディア電子付箋の送信を要求したクライアントが、前記公開先ではない場合、該公開先が指定されている前記コメントを削除したマルチメディア電子付箋を、該要求元のクライアントに送信することを特徴とするマルチメディア協調作業方法。
【請求項１１】
コンピュータに、
コメント及びそのコメントの公開先または有効期限を含む属性情報が記述されたマルチメディア電子付箋であって、該有効期限が過ぎたコメントがサーバによって削除され、または任意のメンバのクライアントからの該マルチメディア電子付箋の要求に基づき該クライアントが該公開先となっていないコメントがサーバによって削除された、マルチメディア電子付箋を受信し、
サーバまたは他のクライアントから受信したマルチメディア電子付箋に基づいて、該マルチメディア電子付箋が対応するマルチメディアの各シーン毎に付けられ、前記公開先または前記有効期限を含むその作成ユーザの各種属性を持つコメントを表示すると共に、任意のシーンまたはコメントに対するコメントを入力可能とし、該入力に応じてマルチメディア電子付箋の内容を更新する機能を実行させる為のプログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項１２】
コンピュータに、
サーバまたは他のクライアントから受信したマルチメディア電子付箋または更新後のマルチメディア電子付箋を、該マルチメディア電子付箋に対応するマルチメディアと、該マルチメディア電子付箋に記述された該マルチメディアの各シーンに対するコメントとを同期再生する形式に変換する機能を更に実行させる為のプログラムを記録した請求項１１記載のコンピュータ読取り可能な記録媒体。
【請求項１３】
コンピュータにおいて用いられたとき、任意のクライアントから依頼されたマルチメディアデータに関し、該マルチメディアデータを時間的に分割した各シーンに対し木構造でコメント及びそのコメントの公開先を含む属性情報の表示／コメント入力可能とするマルチメディア電子付箋であって、
前記各クライアントは、サーバまたは他のクライアントから取得したマルチメディア電子付箋に基づいて、コメント表示／入力画面を表示させ、該コメント表示／入力画面上において前記コメントの公開先を選択指定でき、前記マルチメディア電子付箋は該公開先の記述が追加されて更新され、該更新後のマルチメディア電子付箋は前記サーバに格納され、
前記サーバは、前記マルチメディア電子付箋の送信を要求したクライアントが、前記公開先ではない場合、該公開先が指定されている前記コメントを削除したマルチメディア電子付箋を、該要求元のクライアントに送信する、
マルチメディア電子付箋としてのプログラム。
【請求項１４】
コンピュータに、
コメント及びそのコメントの公開先または有効期限を含む属性情報が記述されたマルチメディア電子付箋であって、該有効期限が過ぎたコメントがサーバによって削除され、または任意のメンバのクライアントからの該マルチメディア電子付箋の要求に基づき、該クライアントが該公開先となっていないコメントがサーバによって削除された、マルチメディア電子付箋を受信し、
サーバまたは他のクライアントから受信したマルチメディア電子付箋に基づいて、該マルチメディア電子付箋が対応するマルチメディアの各シーン毎に付けられ、前記公開先または前記有効期限を含むその作成ユーザの各種属性を持つ該コメントを表示すると共に、任意のシーンまたはコメントに対するコメントを入力可能とし、該入力に応じてマルチメディア電子付箋の内容を更新する機能を実現させるためのプログラム。
【請求項１５】
コンピュータに、
サーバまたは他のクライアントから受信したマルチメディア電子付箋または更新後のマルチメディア電子付箋を、該マルチメディア電子付箋に対応するマルチメディアと、該マルチメディア電子付箋に記述された該マルチメディアの各シーンに対するコメントとを同期再生する形式に変換する機能
を更に実現させるための請求項１４記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にはコンピュータシステム及びマルチメディア通信の分野に関し、特にネットワーク上の複数クライアントが、任意のマルチメディア情報に関する意見交換を行うことができ、マルチメディア情報の共同編集作業／鑑賞等の作業／その効率化を実現する、マルチメディア協調作業システム、及びその方法に関する。
【背景技術】
【０００２】
コンピュータ技術の発達により、文字情報、動画像、音声といったマルチメディア情報が全てコンピュータ上でデジタル処理されることが可能になった。これにより、従来のアナログ形式では実現できなかった、人間がマルチメディア情報を効率的に処理・操作する機能が実現可能になってきている。
【０００３】
その一つの例が、電子文書に対する電子的な付箋である。紙に印刷された文書に対して、誤植の指摘（共同編集作業の一環）や、重要な項目に対する後で参照するときの目印（ユーザの理解・認識の補助）、といった目的で、マーカを引いたり、コメント文字を書きこんだりすることは、現在でも日常的に行っていることである。しかし、対象とする文書が他人の所有物の場合、直接文字を書きこんだりすることは出来ない。また他人がそのコメントのみを取り出して利用することはできない。
【０００４】
電子メモは、この問題点を、元の電子文書と、電子付箋と、両者の間の対応関係情報（例：このコメントは、Nページ目のM行に付く）を個々の電子情報として管理することにより解決している。ユーザに提示するときには、各種デジタル情報処理技術を用いて、あたかも電子文書に該当する電子付箋が埋めこまれているかのように表示することができる。このような従来技術の公知例として、特許公開番号2000-163414 号等が挙げられる。
【０００５】
また特に近年では、動画像・音声処理技術（蓄積、伝送、符号化・変換等）が高度化し、一般ユーザが気軽に動画像・音声を利用できる環境が整いつつある。例えば、以下に挙げるような使い方が可能になってきている。
（１）ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）に蓄積された数時間の圧縮化された動画像・音声データを家庭のTVモニタで再生・鑑賞する。
（２）インターネット上でリアルタイム放送されるライブ映像をインターネット接続されたコンピュータで手軽に見る。
（３）家庭用デジタルビデオカメラで撮影したＡＶ（Audio Visual；動画像データとこれに同期再生される音声データ）データを、電子メールを使って友人に送り共有することにより楽しむ。
【０００６】
このような動画像を含むマルチメディアデータをネットワークを介してやりとりできる環境において、上記コメント等を付加する従来技術のひとつに、文書編集装置（特願平2-305770）が挙げられる（以下、第１の従来技術という）。これは、文字・画像・図形・動画像等の各種マルチメディア情報から構成される電子文書に対するグループ内共同作業を実現するために、コメントの管理、編集、対応付け機能を持った編集装置を実現している。また、コメントに対してコメントを付けることも可能になっている。
【０００７】
他の従来技術例として、ビデオメッセージ伝達システム及び方法（特願平11-368078 ）がある（以下、第２の従来技術という）。これは、一方のユーザがキャプチャした動画像を他ユーザに伝送する時、動画像の時間構造情報及びコメント情報を付加して伝送することにより、受信ユーザに対して動画像のセグメント単位でのアクセス・処理を可能にするものである。
【先行技術文献】
【特許文献】
【特許文献１】
特願平２−３０５７７０
【特許文献２】
特願平１１‐３６８０７８
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ここで、本出願の発明者においては、例えば以下に述べるようなサービスを実現することが想到された。
例えば一つの例として、ネットワーク鑑賞サービスが挙げられる。例えば、地域毎のローカルコミュニティ（近所の友人の集まり等）のメンバの一人が撮影した、学校での運動会やキャンプ・ドライブといったイベントでのＡＶデータを、ネットワークを介して流通・共有する場合に、各メンバのコメント（「このシーンに写っている人は○○さんの息子だ」、「このシーンはとても思い出深いです」等）をメンバ間で交換する。これにより、時間や場所にとらわれずに、あたかも一人の家に集まって上映会を行っているかのように、イベントに参加したメンバと共にAVデータをより深く・楽しく鑑賞することができる。
【０００９】
他の例として、ネットワークを介したＡＶデータの協調編集作業補助サービスが挙げられる。この場合のコメントは例えば、「このシーンは別のシーンの後に並び替えるべきだ」、「このシーンは重要なので時間を長くすべきだ」等である。さらに、具体的な編集コマンドをコメントの一種として入れることにより、最終的なユーザコメントを、AV自動編集スクリプトとして使用できる（このユーザコメントは、電子文書における電子付箋に相当するものであり、本明細書では、特にマルチメディア電子付箋と呼ぶ）。
【００１０】
しかしながら、上述した従来技術では、このようなサービスを実現することは想到されていなかったし、このようなサービスを実現する技術はなかった。例えば、第１の従来技術では、そもそも、動画像等の時間構造を持つ情報に対して、その時間構造上の点（シーン）を特定しコメントを付加できるものではなかった。また、第２の技術では、付加情報を更に他のユーザが利用することを意図するものではなかった。
【００１１】
以上述べたことより、本発明の課題は、ネットワーク上の複数クライアントが、任意のマルチメディア情報に関する意見交換を行うことができ、マルチメディア情報の共同編集作業／鑑賞等の作業の効率化を実現する、マルチメディア協調作業システムそのクライアント／サーバ、方法、記録媒体、及びプログラムを提供することである。
【課題を解決するための手段】
【００１２】
本発明のマルチメディア協調作業システムは、サーバ側において、任意のクライアントから依頼されたマルチメディアデータに関し、該マルチメディアデータを時間的に分割した各シーンに対し階層的な木構造でコメント及びその属性情報の表示／コメント入力可能とするマルチメディア電子付箋の雛形を作成し、前記依頼元のクライアントを含む複数のクライアント間で、前記マルチメディア電子付箋を元に各シーンに対するコメントを交換する、マルチメディア電子付箋を介した協調作業を行なわせるように構成される。
【発明の効果】
【００１３】
上記マルチメディア協調作業システムによれば、任意のクライアントが任意のマルチメディアデータ（動画像データ等を含むデータ）をサーバ側に送って依頼すれば、上記マルチメディア電子付箋の雛形が作成される。上記依頼元のクライアントを含む各クライアント側のユーザ（例えばマルチメディア情報の共同編集作業／鑑賞等を行うユーザ）は、マルチメディア電子付箋を元に、任意のシーンに対して好きなようにコメントを入力し、更に他のユーザのコメントに対するコメントを入力する等の作業を繰り返していくことで（何時、誰が、誰のコメントに対してコメントしたのかは、上記属性情報により分かる）、あたかも一緒にＡＶを見ながら自由に意見交換しているが如く、ネットワークを介した上映会のようなものを行なったり、共同編集作業等を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の原理ブロック図である。
【図２】マルチメディア協調作業システム全体の機能ブロック図である。
【図３】マルチメディア協調作業システム全体の動作を示すフローチャート図である。
【図４】管理情報ＤＢの内部データ形式を示したものである。
【図５】マルチメディア電子付箋の記述内容の具体例を示す図（その１）である。
【図６】マルチメディア電子付箋の記述内容の具体例を示す図（その２）である。
【図７】各クライアントで表示される、マルチメディア電子付箋のコメント一覧表示／コメント入力画面の一例を示す図である。
【図８】マルチメディア同期再生用フォーマットへの変換処理全体を示す全体フローチャート図である。
【図９】図８のステップＳ１２の<video>タグ作成処理を 詳細に説明する為のフローチャート図である。
【図１０】図８のステップＳ１３の<text>タグ作成処理を詳細に説明する為のフローチャート図である。
【図１１】図１０の処理を、図５に示す例のマルチメディア電子付箋に対して行なった場合の、スタックおよび保存された<MediaTime> タグの内容の遷移の様子を示す図である。
【図１２】図５に示すマルチメディア電子付箋が、図８〜図１１で説明した処理により、マルチメディア同期再生用フォーマット（本例ではＳＭＩＬ形式）に変換された結果を示す図（その１）である。
【図１３】図５に示すマルチメディア電子付箋が、図８〜図１１で説明した処理により、マルチメディア同期再生用フォーマット（本例ではＳＭＩＬ形式）に変換された結果を示す図（その２）である。
【図１４】図１２、図１３のSMIL文書を、マルチメディア同期再生部２７で再生した動画／コメント表示例である。
【図１５】コンピュータのハードウェアの基本構成の一例を示すブロック図である。
【図１６】コンピュータへのプログラムのローディングについて説明する為の図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の原理ブロック図である。
図１において、サーバ１は、ネットワーク８（例えばインターネット等）を介して、各クライアント４と通信可能である。
【００１６】
サーバ１は、マルチメディア電子付箋雛形作成部２、マルチメディア電子付箋変更／通信部３等を有する。
マルチメディア電子付箋雛形作成部２は、任意のクライアントから依頼されたマルチメディアデータに関し、マルチメディアデータを時間的に分割した各シーンに対し階層的な木構造でコメント及びその属性情報の表示／コメント入力可能とするマルチメディア電子付箋の雛形を作成する。
【００１７】
属性情報としては、例えば、コメント作成者名、コメント作成日時、コメント付加先（誰のコメントに対するコメントか）等がある。
また、上記マルチメディア電子付箋にはコメントの属性情報の一種としてコメントの公開先または有効期限が記述されている。
【００１８】
マルチメディア電子付箋変更／通信部３は、有効期限が過ぎたコメントをマルチメディア電子付箋から削除し、または任意のメンバのクライアントからマルチメディア電子付箋の要求を受信すると、このクライアントが公開先となっていないコメントを削除したマルチメディア電子付箋を要求元のクライアントに送信する。
【００１９】
各クライアント４は、マルチメディア電子付箋編集部５、形式変換部６、マルチメディア同期再生部７等を有する。
マルチメディア電子付箋編集部５は、サーバまたは他のクライアントから得たマルチメディア電子付箋に基づいて、該マルチメディア電子付箋が対応するマルチメディアの各シーン毎に付けられた、属性情報を持つコメントを表示すると共に、任意のシーンまたはコメントに対するコメントを入力可能とし、該入力に応じてマルチメディア電子付箋の内容を更新する。
【００２０】
形式変換部６は、マルチメディア電子付箋を、マルチメディアとコメントとを同期再生する形式に変換する。
マルチメディア同期再生部７は、形式変換部６による変換結果を用いて、マルチメディアとマルチメディアの各シーンに対応したコメントとを同期させて表示させる。
【００２１】
図２は、本実施の形態によるマルチメディア協調作業システム全体の機能ブロック図である。
同図において、マルチメディアサーバ１０は、マルチメディア電子付箋サービスを提供するサーバである。
【００２２】
このマルチメディアサーバ１０は、マルチメディア電子付箋を蓄積する電子付箋蓄積装置１２、マルチメディア情報を蓄積するマルチメディア蓄積装置１３、メンバ情報等を蓄積する管理情報ＤＢ１４、クライアントとマルチメディア電子付箋を交換する電子付箋通信部１５、クライアントとマルチメディア情報を交換するマルチメディア通信部１６、クライアント間で交換する電子メールを配送するメールサーバ１７、上記電子付箋通信部１５、マルチメディア通信部１６、及びメールサーバ１７と、ネットワークとのインタフェースであるネットワークＩ／Ｆ１８、メンバ情報およびマルチメディア情報から初期マルチメディア電子付箋を作成する初期電子付箋作成部１１とから構成される。
【００２３】
クライアント２０は、各ユーザがマルチメディア電子付箋サービスを受ける為に使用する端末である。クライアント２０は、ネットワーク上に同じ構成のものが複数存在するが、図１では図示を省略している。
【００２４】
クライアント２０は、サーバとマルチメディア情報を交換するマルチメディア通信部２２、ユーザがマルチメディア情報を作成するために使用するカメラ２３、サーバまたは／及びクライアントとマルチメディア電子付箋を交換する電子付箋通信部２４、電子メールに係わる諸処理（ユーザに提示する電子メール作成・表示画面の作成、クライアント間の電子メール交換）を行う電子メール処理部２５、マルチメディア電子付箋を保存する電子付箋バッファ２８、マルチメディア電子付箋をマルチメディアとの同期再生用の形式に変換する形式変換装置２６、マルチメディア情報と、形式変換装置２６で形式変換されたマルチメディア電子付箋とを、時間的・空間的に同期させるマルチメディア同期再生部２７、マルチメディア電子付箋に係わる諸処理（ユーザに提示するマルチメディア電子付箋表示、コメント入力画面作成、マルチメディア電子付箋更新）を行う電子付箋編集部３１、上記マルチメディア同期再生部２７、電子付箋編集部３１、及び電子メール処理部２５で作成された画面を表示する表示部２９、及びキーボードやマウス等の入力デバイスから構成されるユーザ入力部３０から構成される。
ネットワーク４０は、マルチメディアとクライアントとＴＣＰ／ＩＰプロトコルを用いて相互接続するための、ネットワークである。
【００２５】
図３は、図２のマルチメディア協調作業システム全体の動作を示すフローチャート図である。
図３において、まず、ステップＳ１のマルチメディア作成処理について説明する。
まず、任意のクライアント２０側において、そのユーザ等が、図２のカメラ２３を用いて撮影した画像データに基づいて、マルチメディアデータ（本明細書では、特に上記ＡＶデータ等のように動画像データ等のように時間的な要素を含むデータのことを指す）を作成する。撮影時にカメラ２３をクライアントシステムと一緒に使用しなければならない、というわけではない。カメラ２３のみを用いて撮影し、マルチメディア登録時にクライアント２０にカメラ２３を接続すれば良い。あるいは、カメラ２３に着脱自在の記録媒体に動画像データを格納し、この記録媒体をクライアント２０に接続するようにしてもよい。具体的な接続方式として、例えばＤＶ（Digital Video ）等があるが、この方式に限定するものでは無い。
【００２６】
次に、ステップＳ２のマルチメディア登録処理について説明する。
クライアント２０は、例えばユーザによる登録依頼操作に応じて、マルチメディア通信部２２により、ネットワーク４０を介して、サーバ１０側に、上記ステップＳ１で作成したマルチメディアデータを伝送する。
【００２７】
サーバ１０側では、マルチメディア通信部１６を経由して、伝送されてきたマルチメディアデータを、マルチメディア蓄積装置１３に蓄積する。具体的な伝送方式として、例えばHTTPプロトコル等が挙げられるが、特にこの方式に限定されるものでは無い。
【００２８】
サーバ１０側では、マルチメディアデータの受信／蓄積が終わると、このマルチメディアデータに識別子を割り当てる。マルチメディア通信部１６は、クライアント２０のマルチメディア通信部２２に、蓄積したマルチメディアの識別子を、例えばHTTPプロトコルを用いて返答する。このマルチメディア識別子は、例えば、通信プロトコル、サーバ名、ファイル名とから構成され、本例では例えば"http://www.mediaserv.com/data_1.mpg"という識別子が割り当てられたものとして以下説明していく。
また、サーバ１０のマルチメディア通信部１６は、管理情報ＤＢ１４に新たなエントリを作る。
【００２９】
ここで、図４は、図２の管理情報ＤＢ１４の内部データ形式を示したものである。
同図において５０は、データを保存するテーブル全体である。
このテーブル５０は、図示のマルチメディアファイル名５１、登録者識別子５２、電子付箋ファイル名５３、メンバ情報５４の各エントリより構成される。
【００３０】
マルチメディアファイル名５１のエントリには、図２のマルチメディア蓄積装置１３に蓄積されたマルチメディアデータのファイル名（上記マルチメディア識別子）が格納される。ここでは、上記一例のファイル名“/data_1.mpg”その他が示されている。
【００３１】
登録者識別子５２のエントリには、当該マルチメディアデータを登録したクライアントの識別子が格納される。これは、本例では電子メールアドレスとするが、これに限るものではない。
【００３２】
電子付箋ファイル名５３のエントリには、図２の電子付箋蓄積装置１４に蓄積された、上記マルチメディアデータに対応する（そのメタ情報である）マルチメディア電子付箋のファイル名が格納される。
【００３３】
メンバ情報５４のエントリには、上記マルチメディアデータ及びマルチメディア電子付箋データを共有するユーザのクライアントの識別子が格納される（本例では各クライアントの電子メールアドレスとするが、これに限るわけではない）。
【００３４】
上記ステップＳ２の処理では、この図４の「マルチメディアファイル名」エントリ５１には、蓄積したマルチメディアに対して割り当てられた上記識別子を入れる。また「登録者識別子」エントリ１２には、このマルチメディアを登録依頼したユーザ（ステップＳ１のユーザ）のクライアントの上記識別子（Emailアドレス等）を入れる。尚、マルチメディア電子付箋ファイル名５３、メンバ情報５４の格納については、以下のステップＳ３、Ｓ４の処理の説明において説明する。
【００３５】
次に、ステップＳ３のメンバ通知処理について説明する。
上記ステップＳ１、Ｓ２で、マルチメディア登録をサーバ１０に行なわせ、その識別子を受け取ったクライアント２０側のユーザは、マルチメディアデータをサーバに登録した事を、電子メールの形式で各メンバ（他のクライアント２０のユーザ）に通知する。このメンバは、上記登録依頼したユーザが当該マルチメディアに関してコメント交換をしたいと思う他のユーザのことである。尚、コメント交換とは、後述するようなマルチメディアの任意のシーンに対してコメントを付加し、更に他人のコメントに対するコメントを随時付加するといったように、ネットワークを介して任意のマルチメディアに関して自由に意見交換することである。
【００３６】
この時、ステップＳ２においてマルチメディア通信部２２が受け取ったマルチメディア識別子を、電子メールの中に埋めこんだものを通知する。
電子メールは、サーバ１０のメールサーバ１７を経由して、各メンバのクライアント２０に送信される。
【００３７】
この時、サーバ１０側では、メールサーバ１７に格納される電子メールの送信先フィールド情報に記述されるメンバの電子メールアドレス名を抽出し、またメール本体から上記埋め込まれたマルチメディア識別子を抽出し、これらを管理情報ＤＢ１４に登録する。すなわち、抽出されたマルチメディア識別子をキーにして（あるいは電子メールの送信元フィールド情報をキーにして）管理情報ＤＢ１４を検索して、該当する「マルチメディアファイル名」エントリ５１に対応する「メンバ情報」５４エントリに、各メンバ（及び送信元）の電子メールアドレスを入れる（同図には示していないが、更に実名を入れてもよい）。
【００３８】
続いて、ステップＳ４の初期電子付箋作成処理について説明する。
マルチメディアサーバ１０では、電子メールの転送後、上記ステップＳ３で得た情報と、ステップＳ２で蓄積したマルチメディアデータを元に、初期電子付箋作成部１１において、マルチメディア電子付箋の雛型を作成し、これを電子付箋蓄積装置１２に蓄積する。この雛型は、後述する図５及び図６に示すマルチメディア電子付箋の中で、コメントが全く付加されていないものである。
【００３９】
初期電子付箋作成部１１は、特に自動化されたものではなく、人間が既存の編集装置等を用いて作成するものである。この時、管理情報ＤＢ１４からはマルチメディア識別子５１及びメンバ情報５４が読み出され、またマルチメディア蓄積装置１３からは、上記管理情報ＤＢ１４から読み出されたマルチメディア識別子５１に相当するマルチメディアの実体（ＡＶデータ）が読み出され、それぞれ初期電子付箋作成部１１に入力され、マルチメディア電子付箋の雛型の作成に利用される。
【００４０】
マルチメディア電子付箋の雛型については、後述する図５及び図６に示すマルチメディア電子付箋の具体的一例を参照しながら説明するが、その中で、セグメント情報作成（マルチメディアの実体（マルチメディアデータ）を、時間的に複数のシーンに分割して、木（ツリー）構造で管理するもの）に必要なシーンカット手法は、公知のものとする。すなわち、これには、例えば現在ＩＳＯ／ＩＥＣで標準化作業を進めているＭＰＥＧ−７（ＩＳＯ／ＩＥＣ  １５９３８）を利用する。ＭＰＥＧ−７は、正式な名称は、「マルチメディアコンテントの記述インタフェース；Multimedia Content Description Interface）であり、マルチメディア情報（マルチメディアデータ）の内部構造（時間構造）を記述（これを時間的に分割した各シーンの情報（各シーンが先頭から何時何分何秒に始まって何時何分何秒に終るのか）を記述）することを可能にするものである。
【００４１】
そして、新たに作成されたマルチメディア電子付箋のサーバ内識別子を割り当て、マルチメディアデータの識別子とリンクさせて管理情報ＤＢ１４に保存する。すなわち、作成されたマルチメディア電子付箋の雛型（初期電子付箋）のデータは、電子付箋蓄積装置１２で蓄積／管理される。また、この初期電子付箋には識別子が割り当てられ、この電子付箋識別子は管理情報ＤＢ１４に送られ、該当する「電子付箋ファイル名」エントリ５３に入れられる。
【００４２】
以上、ステップＳ１〜Ｓ４の処理が完了した後は、各ユーザ（登録者も含む）は、各コメントを参照したり、好きなときに任意のシーンに対して所望のコメントを付加したり、コメントに対してコメントを付加したりでき、またシーンによって変化するコメント付きの動画像を見ることができるようになる。以下、このようなユーザ・サービスを実現する処理（ステップＳ５〜Ｓ８）について説明する。
【００４３】
まず、ステップＳ５の電子付箋取得処理について説明する。
他のクライアント２０の各ユーザは、上記ステップＳ３の処理により、マルチメディア識別子の情報が含まれる電子メールを受信することによって、該当する電子付箋が利用可能であることを知る。
【００４４】
他のクライアント２０において、例えばそのユーザが電子付箋の利用を要求する操作を行うと、電子付箋通信部２４は、電子メール処理部２５がステップＳ３で受信した電子メールの中に記述されたマルチメディアデータの識別子を使って、これをキーとして、マルチメディアサーバ１０の電子付箋通信部１５に、マルチメディア電子付箋を（例えばHTTPプロトコルを用いて）要求する。
【００４５】
マルチメディアサーバ１０の電子付箋通信部１５は、受け取ったマルチメディアデータの識別子を元に、管理情報ＤＢ１４に対して該当するマルチメディア電子付箋の識別子を問い合わせ、得た識別子を元にマルチメディア電子付箋データを電子付箋蓄積装置１２から読み出し、例えばHTTPプロトコルを用いてクライアントに伝送する。尚、その際、要求元のクライアントが管理情報ＤＢ１４に登録されていなければ、要求を拒否するようにしてもよい。
【００４６】
上記要求を行なった他のクライアント２０では、取得したマルチメディア電子付箋データを、電子付箋バッファ２８に蓄積する。
尚、マルチメディア電子付箋データは、他のクライアントから、例えばこの他のクライアントがコメントを追加した内容のものが、例えばHTTPプロトコルを用いて直接送信される形態であってもよい。
【００４７】
続いて、ステップＳ６のコメント入力処理について説明する。
上記他のクライアント２０のユーザは、必要に応じて、取得したマルチメディア電子付箋に、自分のコメントを追加することができる。これには、電子付箋編集部３１、表示部２９、ユーザ入力部３０を用いる。編集結果は、電子付箋バッファ２８に格納される。
【００４８】
この処理については、後に、図５、図６、図７を参照して詳細に説明する。
続いて、ステップＳ７のマルチメディア同期再生処理について説明する。
各クライアント２０側では、必要に応じて、マルチメディア電子付箋に記述されたコメントを、マルチメディアに同期させて表示することができる。これには、形式変換装置２７とマルチメディア同期再生部２７を用いる。
【００４９】
形式変換装置２７は、電子付箋バッファに蓄積されたマルチメディア電子付箋を、例えばW3C標準のSMIL （Synchronized Multimedia Integration Language ）に変換する（変換方法は後述する）。形式変換装置２７は、例えば、W3Cで規定するXSLT （Extensible Style Language Translator）処理系である。
【００５０】
マルチメディア同期再生部２７は、例えばSMILプレーヤであり、ユーザからの同期再生要求に応じ、形式変換装置２７でSMIL形式に変換したマルチメディア電子付箋に記述される時間制御データを用いて、マルチメディアデータとコメントとを同期再生する。再生結果は、表示部２９に表示される。
【００５１】
マルチメディアデータは、マルチメディア通信部２２が、サーバ１０のマルチメディア通信部１６と通信することによって取得する。
すなわち、詳細に述べるならば、クライアント２０のマルチメディア通信部２２は、マルチメディア同期再生部に入力されるSMILデータの<video>タグのsrc属性（後述する）を、マルチメディア識別子として、サーバ１０のマルチメディア通信部１６に通知する。
【００５２】
サーバ１０のマルチメディア通信部１６は、上記マルチメディア識別子を用いて該当するマルチメディアデータをマルチメディア蓄積装置１３から取り出して、これをマルチメディア通信部２２に、例えばHTTPプロトコルを用いて伝送する。
【００５３】
形式変換装置２７でSMIL形式に変換したマルチメディア電子付箋の具体例、及びこれを用いたマルチメディアとコメントの同期再生の具体例については、後に説明する。
最後に、ステップＳ８の電子付箋伝送処理について説明する。
【００５４】
ステップＳ６のコメント入力処理によって、ユーザによりコメント追加される等してその内容が更新されたマルチメディア電子付箋は、電子付箋通信部２４が、対応するマルチメディアの識別子（電子付箋の中に記述されている）と共に、サーバ１０の電子付箋通信部１５に伝送する。尚、各ユーザは、一度マルチメディア電子付箋を受け取った後には、マルチメディア電子付箋の識別子が分かるので、この電子付箋の識別子を直接指定するようにしてもよい。
【００５５】
電子付箋の識別子は、ステップＳ５の電子付箋取得処理と同様の方法で求められ、上記マルチメディア電子付箋データが電子付箋蓄積装置１２に蓄積される。
尚、必要に応じて、サーバ１０を介するのではなく、ユーザが変更したマルチメディア電子付箋を他のメンバに直接配布するようにしてもよい。
【００５６】
次に、上記ステップＳ１〜Ｓ４の処理により作成されたマルチメディア電子付箋の雛形に基づいて、複数のユーザによりステップＳ６のコメント入力／追加が行なわれたものとし、このときのマルチメディア電子付箋の具体例を図５及び図６に示し、これを参照しながら、上述した処理についてより具体的／詳細に説明していくものとする。
【００５７】
マルチメディア電子付箋は、例えば図５及び図６に示すように、拡張可能なマークアップ言語であるＸＭＬ（Extensible Markup Language）で記述される。尚、これは一例であり、ＸＭＬ言語で記述する例に限定されるわけではない。
【００５８】
尚、図５、図６は、１つのマルチメディア電子付箋の記述を、都合により、２つに分けて示しているだけである。
また、尚、以下に説明する各タグの名称は、基本的に、マルチメディアサーバ１０側の管理者等が任意に設定してよい。また、以下に説明する各タグの意味付け（構造）も、マルチメディアサーバ１０側の管理者等が決定して、特に図示しないＤＴＤ（文書型定義；Document Type Definition）の部分において定義しているものとする。
【００５９】
マルチメディア電子付箋は、大きく分けて以下の（ａ）、（ｂ）、（ｃ）、（ｄ）の記述から構成される。
（ａ）マルチメディア実体のURL
（ｂ）メンバ情報
当該マルチメディアに関するイベント（観賞、編集、意見交換等）に参加を許されたユーザに関する各種情報（氏名、電子メールアドレス等）。
（ｃ）マルチメディアの時間構造の記述
マルチメディアを時間的な固まり（シーン）単位に分割し、各シーンの情報を記述する。この記述内容は、各シーンの時間情報（先頭からのオフセット、シーン時間等）から構成される。また時間的に連続する複数のシーンを集めてこれを上位シーンとして取り扱うべく、シーン情報記述には、下位のシーン記述もしくは記述への参照情報を含むことも可能とする。
（ｄ）ユーザコメントの記述
各ユーザコメントは、シーン情報記述にその実体もしくは参照情報を付加する構成とする。ユーザコメントは、コメント実体（テキスト、アイコン、静止画像等から構成される）、コメントの作成者情報（名前、メールアドレス等）もしくは作成者情報への参照情報、参照するコメントの参照情報（そのコメントが誰のコメントに対するコメントであるかを示す情報）、コメントの時間情報（作成日時、有効期限等）、コメントの公開範囲情報（特定のメンバのみ公開可能とする）から構成される。これらのうち、コメント実体以外の情報を、「（コメントの）属性情報」と呼ぶものとする。
【００６０】
各クライアントは、基本的には、上記マルチメディア電子付箋の閲覧機能、コメント入力操作機能を持つ。特に、入力操作機能は、コメントの付加先シーン、付加先コメント、公開範囲、時間情報（有効期限等）を、ユーザが入力できる構成とした。また閲覧機能は、各コメントの時間情報と現在の時間とを比較し、有効な（有効期限を過ぎていない）コメントのみを表示することが可能な構成とした。尚、これについては、サーバ１０側に、有効期限が過ぎたコメントをマルチメディア電子付箋から削除する機能を設けるようにしてもよい。
【００６１】
また、マルチメディアサーバ１０は、上記マルチメディア電子付箋をクライアントに伝送する場合に、各コメントについて、クライアントのユーザ識別子と、コメントの公開範囲情報とを比較し、公開が許可されたコメントのみ伝送する機能も備える構成とした。
【００６２】
以下、図５、図６に示すマルチメディア電子付箋の記述について、詳細に説明していく。
図５において、まず、‘Ａ’で示す部分は、このＸＭＬ文書がマルチメディア電子付箋であることを宣言するルートタグ<AVTag> である。このルートタグは、最終変更日時（最も最近このＸＭＬ文書が更新された日時）を示すupdated_date属性と、その変更者のシステム内での識別子（この例では電子メールアドレス）を示すmodifier属性を持つ。図示の例では、ユーザ；“suzuki＠aaa.bbb.jp”により2000年12日1日11時に当該ＸＭＬ文書の内容が更新されている。
【００６３】
次に、‘Ｂ’で示す部分は、メンバ情報を示すタグ群である。先頭の<UserList>タグはメンバ情報記述のためのwrapper である。
<User>タグは、個々のメンバの情報を記述するためのタグであり、当該ＸＭＬ文書の他の個所でメンバ情報を参照するために使用するid属性を持つ。個々のid属性値はＸＭＬ文書の中で一意であるとする。図示の例では、このメンバ情報id属性として、「田中  一郎」に対してはid＝“u1”、「鈴木  太郎」に対してはid＝“u2”、「佐藤  四郎」に対してはid＝“u3”が割り当てられている。
【００６４】
<Name>タグはユーザの名前を記述するために用いる。<FirstName>タグ、<FamilyName> タグにはそれぞれ、名前及び苗字を記述する。尚、必ずしも苗字／名前を分けて記述しなければならないわけではないが、本例では、後述する表示例（苗字のみを表示）に対応させて、このようにしている。よって、<Name>タグのみを用いて、ユーザの苗字のみ、または名前のみ、あるいは苗字及び名前を記述するようにしてもよい。
【００６５】
<Email>タグは、システム内でのユーザの識別子（この例では電子メールアドレス）を記述する為に用いる。
上記<User>タグ、<Email> タグの内容は、上述した図３のステップＳ４の処理（マルチメディア電子付箋の雛形の作成）において、管理情報ＤＢ１４内のメンバ情報５４を参照して記述される。図示の例は、上記マルチメディア識別子＝ "http://www.mediaserv.com/data_1.mpg" に対するマルチメディア電子付箋であり、これより図４において対応するメンバ情報５４が用いられた結果、「田中  一郎」、「鈴木  太郎」、「佐藤  四郎」という各メンバの実名と、それらの電子メールアドレスとが記述されている。
【００６６】
次に、‘Ｃ’で示す部分は、当該マルチメディア電子付箋に対応するマルチメディアの識別子を記述する為のタグ<MediaURI>である。この例では、対応するマルチメディアがwww.mediaserv.comというサーバにある、data_1.mpg（MPEG-1動画像）というファイル名であり、HTTPプロトコルで取得可能、ということを意味する。これも、ステップＳ４の処理において、管理情報ＤＢ１４内のマルチメディアファイル名５１の情報を用いて、雛形作成の段階で記述されている。
【００６７】
次に、‘Ｄ’で示す部分は、マルチメディアの時間的構造の最上位のセグメントを記述する<Segment> タグ（当該セグメントのid＝“root_seg”）、及び最上位セグメントに付加されたユーザコメントである。雛形作成の段階では、ユーザコメントは記述されていない。
【００６８】
<Image>タグは、付加されたセグメントの代表画像のURLを記述するものである。クライアント２０側でマルチメディア電子付箋をコメント入力向けに表示する時には、サーバ１０から例えばHTTPプロトコルを用いて代表画像データを取得し、表示する。
【００６９】
<UserLabel>タグは、このセグメントに付加されたコメントのwrapperである。各コメントは<Label>タグを用いて記述される。
<Label>タグは、コメントの識別子を示すid属性、コメントの作成者の参照（参照先は<UserList>タグ内にある）を示すuserref属性、及びコメントの有効期限を示すexpiration_date属性を持つ。
【００７０】
コメントの識別子において、例えば「コメントその２」に関するid属性が、id＝“com1_1”となっているのは、id属性がid＝“com1”のコメント（すなわち「コメントその１」に対するコメントであることを表わしている。勿論、これは一例であり、id属性の記述は、この例に限るわけではない。
【００７１】
<Comment> タグは、具体的なコメント内容（テキスト形式）を記述するために使われる。同図においては「コメントその１」、「コメントその２」等と記述されているが、実際には、各ユーザが入力した何等かのコメント文が記述される。
【００７２】
尚、本例ではコメント内容は、テキスト形式になっているが、これに限るものではなく、例えばアイコン情報（実体もしくは参照子）等であってもよい。
ここで、上記ステップＳ４のマルチメディア電子付箋の雛形の作成時には、上記<Label>タグ及び<Comment>タグの部分は、記述されていない。これらの部分は、各クライアント２０においてユーザがコメントを追加する毎に追加／更新されていく。
【００７３】
一方、雛形作成時には、<Segment>タグ、<Image>タグの内容が記述され、またコメントのwrapperである<UserLabel>タグが設定される。
<Segment>タグに関しては、例えば図示の例では代表画像のURL＝“http://www.mediaserv.com/root_seg.jpg ”が記述されるが、この代表画像（マルチメディアから抽出された静止画像）は、例えば上記ステップＳ１、Ｓ２において、マルチメディアの登録依頼元のクライアントのユーザが、任意に決定し、マルチメディアをサーバ１０側に送信する際にこの代表画像も一緒に送信し、サーバ１０側でこの代表画像ファイルに対して識別子（ＵＲＬ等）を割り当てるようにする。  これは、後述する下位セグメントに関する代表画像に関しても同じであるが、その場合、上記ユーザは、マルチメディアをどのように分割するかを指定すると共に、分割した各シーン毎に代表画像を決定し、サーバ１０側には各代表画像がどのシーンに対するものであるかを示す情報も一緒に送信する。
【００７４】
あるいは上記ステップＳ４の処理時に例えばサーバ１０側のオペレータ等が、マルチメディア蓄積装置１３から読み出されたマルチメディアデータ（動画像）を参照し、任意に代表画像とすべき画面（静止画像）を決定し、この静止画像のファイル名（ＵＲＬ）も任意に決定するようにしてもよい。
【００７５】
この場合、上記<Segment> タグとその下位セグメント（後述する“Ｆ”、“Ｇ”の部分の記述）のように、マルチメディアデータの時間的構造（木構造）を規定するのも、上記オペレータ等が任意に行う。
【００７６】
<TargetUser>タグはオプション的なタグである。<TargetUser>タグが無いデフォルト状態（具体的には‘Ｄ’の部分におけるcom1, com2のid属性が付いたコメント）では、このコメントは全てのメンバに公開することを意味する。
【００７７】
一方、‘Ｄ’の部分におけるcom1_1のid属性が付いたコメントのように<TargetUser>タグによって公開するユーザが指定されると、そのユーザにのみこのコメント情報が伝えられることを意味する。この例では、com1_1というid属性を持つコメント（コメントその２）は、メンバ情報id属性がid＝“u1”のメンバ、すなわち「田中一郎」にのみ向けられたものであることを意味している。
【００７８】
マルチメディアサーバ１０の電子付箋通信部１５は、例えばこのような<TargetUser>タグを含むマルチメディア電子付箋が電子付箋蓄積装置１２に蓄積されており、ユーザからの要求に応じてこのマルチメディア電子付箋をクライアントに伝送する際には、伝送先がユーザ「田中」（公開先ユーザ）および「鈴木」（コメント作成者）には、全てを伝送するが、ユーザ「佐藤」に対しては、「コメントその２」を削除した内容のマルチメディア電子付箋を伝送する。
【００７９】
一方、クライアント側から、編集したマルチメディア電子付箋を直接他のクライアントに伝送する場合には（この例では、ユーザ「鈴木」のクライアントから、ユーザ「田中」、及びユーザ「佐藤」のクライアントに、図５のマルチメディア電子付箋を伝送する）、ユーザ「鈴木」のクライアントの電子付箋通信部２４は、マルチメディアサーバ１０及び、ユーザ「田中」のクライアントに伝送するときには、「コメントその２」を削除することなく図５のマルチメディア電子付箋を伝送する。一方、ユーザ「佐藤」のクライアントに伝送するときには、この「コメントその２」を削除した内容のマルチメディア電子付箋を伝送する。
【００８０】
次に、‘Ｅ’で示す部分は、セグメント“root_seg”の時間情報を記述する為のタグ群である。先頭の<MediaTime>はwrapperである。<Offset>タグは、セグメントの開始時間（データ先頭からのオフセット）を示すタグである。この例では、セグメントの開始時間は、データ先頭から（オフセットが‘０’）であることを示している。<Duration>タグは、セグメントの時間的長さを示すタグである。この例では、時間的長さが10分20秒であることを示している。
【００８１】
図５の‘Ｅ’で示す部分の記述の次には、図６に示す‘Ｆ’、‘Ｇ’等の記述がある。
図６において、‘Ｆ’及び‘Ｇ’に示す部分は、上記最上位のセグメント“root_seg”が含む、２つの下位セグメントを各々記述する<Segment> タグである（各々のセグメントのid属性は、id＝“seg_0”、id＝“seg_1”）、及びこれら各セグメントに各々付加されたユーザコメントである。つまり、マルチメディアデータを時間的に分割した各シーンに関する記述と、各シーンに対して付されたユーザコメントに関する記述である。図示の例では、マルチメディアデータは２つのレイヤを持ち、２番目のレイヤ数は２個であることを意味する。
【００８２】
このような階層構造は、各<Segment> タグで規定される範囲の関係（所謂“入れ子”の関係）により表わされる。すなわち、最上位のセグメント“root_seg”の開始タグは‘Ｄ’で示す部分の最初に記述され、終了タグ（/Segment）は‘Ｇ’の部分より下（最後に記述されている</AVTag>の１つ上）に記述されている。そして、この開始タグ／終了タグの間に記述されている他の<Segment> は、全て、その下位セグメントということになり、図示の例でもそのようになっている。
【００８３】
よって、例えば、第１の下位セグメントの下に更に下位セグメントを作りたい場合には（３層構造にしたい場合には）、その開始タグ（<Segment id=“seg_0”>）と終了タグ（‘Ｆ’の最後に記述されている</Segment>）の間に、新たな<Segment> を記述すればよい。
【００８４】
また、上記コメント間の関係も、図５、図６に示す通り、所謂“親子関係”、“兄弟関係”を示す記述の仕方により表わされる。
これら‘Ｆ’及び‘Ｇ’に示す<Segment> タグ内の記述形式は、基本的に、上記‘Ｄ’に示す最上位のセグメント“root_seg”と同じであるので、ここでは簡単に説明するものとする。
【００８５】
まず、‘Ｆ’に示すセグメントid＝“seg_0” のセグメント（以下、第１の下位セグメントと呼ぶ）は、その最後の方に記述されている時間情報を記述する為のタグ群（<MediaTime> タグ、<Offset>タグ、<Duration>タグ）で記述されているように、当該第１の下位セグメントは、開始時間がデータ先頭から（オフセットが‘0h0m0s’）であり、その時間的長さが５分２０秒であることを示している。
【００８６】
同様に‘Ｇ’に示すセグメントid＝“seg_1” のセグメント（以下、第２の下位セグメントと呼ぶ）は、時間情報を記述する為のタグ群より、当該第２の下位セグメントは、開始時間が、データ先頭から５分２０秒（オフセットが‘0h5m20’）の時点であり、その時間的長さが５分であることを示している（つまり、５分２０秒から１０分２０秒までの範囲をカバーしている）。
【００８７】
このように、図示の例では、２つの下位セグメントは時間的に重なりがなく、また両者がカバーする時間範囲は親セグメント（この例では最上位セグメント）の時間範囲と同じ、としているが、これは一例であり、この設定に限定されるわけではない。時間範囲をどのようにするか、下位セグメントの数を幾つにするか、あるいは階層を２階層にするか３階層、４階層等にするかは、上述してある通り、サーバ１０側のオペレータ等が、任意に（または依頼元のユーザの希望に応じて）決定／設定してよい。
【００８８】
また、代表画像に関しては、上述してある通りであり、図示の例では、第１の下位セグメントに関する代表画像のＵＲＬは、“http://www.mediaserv.com/seg_1.jpg”、第２の下位セグメントに関する代表画像のＵＲＬは、“http://www.mediaserv.com/seg_2.jpg”となっている。
【００８９】
そして、第１の下位セグメントに対しては「コメントその４」が、第２の下位セグメントに対しては「コメントその５」が各々付加されており、上述してきた記述により、「コメントその４」はマルチメディアを先頭から５分２０秒まで再生している間表示され、「コメントその５」はマルチメディアを５分２０秒から１０分２０秒まで再生している間表示されることになる。尚、「コメントその１」〜「コメントその３」は、最上位セグメントに対して付加されているので、マルチメディアを再生中は常に表示される。
【００９０】
このようにして、本発明では、マルチメディア全体またはマルチメディアを時間的に分割した各シーン毎に任意のシーン（または他者のコメント）に対してコメントを付加できるようになる。また、コメントの作成者、作成日時、コメントの付加先（どのシーンに対してまたは誰のコメントに対して、コメントを付加したのか）等が分かるように表示できるようになる。
【００９１】
以下、さらに、具体的なコメント表示／入力画面の一例を示して説明する。
図７は、各クライアント２０において表示される、マルチメディア電子付箋のコメント一覧表示／コメント入力画面の一例を示したものであり、ここでは図５及び図６に示す内容のマルチメディア電子付箋をサーバ１０から受信して、これを表示させた例を示す。尚、各クライアント２０には、ＸＭＬに対応して表示可能なブラウザ機能（既存のツールが存在する）が搭載されているものとする。また、特に図示／説明しないが、既存技術にある通り、表示のフォームを規定するＨＴＭＬ文書、ＸＳＬ（ＸＳＬＴ）等を用いて、図７に示すようなボタンやコメント入力枠を含む画面が表示されるものとする。本例では、サーバ１０から受信したマルチメディア電子付箋は、図２の電子付箋編集部３１において、所定の表示形式に変換され、図７に示すような画面が表示部２９に表示されるものとする。
【００９２】
図７において、６０は、コメント表示／入力画面全体である。
上位セグメント表示領域６１は、最上位セグメントに付加されたコメント及びその代表画像を表示する領域である。最上位セグメントの情報は、図５の‘Ｄ’における<Segment>タグで開始される部分に相当する。
【００９３】
ボタン６２は、新たにコメントを付加する対象のコメントを指定する為のボタンである。勿論、この表示例に限るものではなく、上記ＨＴＭＬ文書、ＸＳＬ（ＸＳＬＴ）等の内容により表示形態は変わる。
【００９４】
ユーザが、例えばマウス等を用いて、所望のボタン６２をクリックすると、そのコメントが指定されたことを示す表示（図の例では、レ点）がされ、後述するコメント入力領域６８で入力した新たなコメントは、ボタン６２で指定されたコメントに対するコメントと解釈され、これに応じた記述がマルチメディア電子付箋に追加される。このように、マルチメディア電子付箋の内容は、新たなコメントが追加される毎に更新されていく。図の例では、ユーザ「田中」の付けたコメント「コメントその１」に対して新たなコメントを付ける、ということを意味している。
【００９５】
６３は、コメント付加者の名前である。これは、図５の‘Ｄ’における<Label>タグのuserref属性及び‘Ｂ’の<Name>タグの情報を用いて作成される（この例では<FamilyName>タグの情報を用い、<FirstName> タグの情報は用いないことで、苗字のみを表示させているが、これに限るものではない）。
【００９６】
また、この例では、コメントに関する属性情報の一例として、コメント付加者の名前を示しているのであり、属性情報はこれに限るわけではなく、例えばコメント作成日時等を表示させてもよい。
【００９７】
６４は、コメントの内容である。これは、図５の‘Ｄ’における各<Comment>タグの情報を用いて作成される。
６２、６３、６４は、コメント単位に作成され、その表示順序は、付加順に画面上から下の方向である。またコメントに対するコメントは、図５、図６に示す記述に従って、右側にずらして表示される。図示の例では、ユーザ「鈴木」のコメント「コメントその２」は、ユーザ「田中」のコメント「コメントその１」に付加されていることを表している。
【００９８】
画像６５は、セグメントに付加された代表画像である。表示画像は、図５の‘Ｄ’の<Image>タグで記述されたURLで参照されたデータである。
表示領域６６、表示領域６７は、それぞれ、図６の‘Ｆ’、‘Ｇ’において各々<Segment> タグで記述された、root_segセグメントの下位セグメント（第１の下位セグメント、第２の下位セグメント）に対するコメント内容を表示する領域である。構成は上位セグメント表示領域６１と同様であり、各下位セグメントに関する代表画像が表示されると共に、コメントが表示される。尚、コメントに対するコメントが表示される点も、上位セグメント表示領域６１と同様である。
【００９９】
表示領域６６、表示領域６７の表示場所は、図示の例では、上位セグメント表示領域６１の下であり、また複数の下位セグメントが有る場合は、その時間順序により左から右への順番で表示するものとする。
【０１００】
尚、上位セグメント表示領域６１、表示領域６６、表示領域６７において、コメントに対してコメントを付けるのではなく、各セグメントに対してコメントしたい場合には、例えばその代表画像が表示されている領域をマウス等でクリックすればよい。
【０１０１】
コメント入力領域６８は、当該コメント表示／入力画面６０を見たユーザが、上記上位セグメント表示領域６１または表示領域６６または表示領域６７において所望のセグメントまたはコメントを指定後に、これら指定したセグメントまたはコメントに対し新たに付加するコメントの内容を入力する領域である。
【０１０２】
公開先指定領域６９は、新たに付加するコメントの公開先の選択入力を行う領域である。６９ａは選択ボタン、６９ｂは各メンバの名前を表示したものである。ユーザが、例えばマウス等を用いて、所望の選択ボタン６９ａをクリックすると、選択されたことを示す表示（図の例では、レ点）がされ、また選択結果が反映される（すなわち、特定のユーザを公開先とした場合には、当該新たに追加するコメントに関して図５の<TargetUser>タグが付加される）。図示の例では、メンバ全員に公開する、という選択をしたことを示しており、この場合には<TargetUser>タグは付加されない。
【０１０３】
「送付」ボタン７０は、編集したマルチメディア電子付箋をマルチメディアサーバまたはクライアントに伝送する動作を起動させる為のボタンである。
「再生」ボタン７１は、編集したマルチメディア電子付箋を、対応するマルチメディアデータと同期再生する動作を起動させる為のボタンである。
【０１０４】
この「再生」ボタン７１を指定すると、形式変換装置２６により、マルチメディア電子付箋が、マルチメディア同期再生用フォーマットへと変換される。
以下、この形式変換装置２６の処理動作について、図８〜図１３を参照して説明する。
【０１０５】
本例では、このマルチメディア同期再生用フォーマットへの変換は、ＳＭＩＬ形式変換を行うものとする。
図８は、ＳＭＩＬ変換処理全体を概略的に表す全体フローチャート図である。
【０１０６】
まず、マルチメディア電子付箋（図５の例を用いる）より、図５の‘Ａ’、‘Ｂ’の部分を出力する（ステップＳ１１）。その内容は固定である。
次に、後述する図１２の‘Ｊ’の部分（<video> タグ）を作成・出力する（ステップＳ１２）。この処理の詳細は、後に図９を参照して説明する。
【０１０７】
次に、後述する図１２の‘Ｋ’の部分（<text>タグ）を作成・出力する（ステップＳ１３）。この処理の詳細は、後に図１０を参照して説明する。
最後に、残りの部分を出力する（ステップＳ１４）。その内容は固定である。
【０１０８】
図９は、図８のステップＳ１２の処理を詳細に説明する為のフローチャート図である。
同図において、まず、変換元ファイル内（マルチメディア電子付箋）から<mediaURI>タグを検索し、その情報（マルチメディア情報のＵＲＩ）を得て、<video>タグのsrc属性を作成する（ステップＳ２１）。
【０１０９】
図５の例では‘Ｃ’の部分に示す通り、マルチメディア情報のＵＲＩは“http://www.mediaserv.com/data_1.mpg ”となっているので、<video>タグのsrc属性は図１２の‘Ｊ’の部分に示す通りとなる。
【０１１０】
次に、最上位のセグメントに関する<MediaTime>タグ（ 図５の‘Ｅ’の部分の<MediaTime>タグ）を検索し、この中の<Offset>タグ及び<Duration>タグの情報を用いて、<video>タグのbegin 属性の値（Offsetの情報そのもの）及びend属性の値（Offset の値にDurationの値を足したもの）を作成する（ステップＳ２２）。
【０１１１】
最後に、上記の属性値にregion属性の値（固定）を追加して（図１２の例では、region=“video_0”）、<video>タグを完成する（ステップＳ２３）。
図１０は、図８のステップＳ１３の処理を詳細に説明する為のフローチャート図である。
【０１１２】
まず、コメント情報を一時格納するスタック（不図示）をクリアする（初期化する）（ステップＳ３１）。
次に、電子付箋先頭から<Segment>タグを検索する（ステップＳ３２）。もし<Segment>タグが見つかれば、ステップＳ３３に進む。もし見つからない場合は、電子付箋データは正当なものではないので、処理を中断する。
【０１１３】
ステップＳ３３の処理では、まず、見つかった<Segment>タグの直後に現れる<UserLabel>の情報を元に、コメント情報を作成する。<UserLabel>内部の各<Label>タグについて、内部の<Comment>タグからコメント文字列を、userref属性及び<UserList>タグの<Name><FamilyName>タグからユーザの苗字を得て、両者を結合して最終的なコメント文字列とする。なお、<Label>タグが他の<Label>タグの内部に有る場合には、その深さ（ネストの段階）に応じてコメント文字列の先頭に複数の空白を入れる。このようにして得たコメント文字列（<Label>タグの数の分の存在）を、スタックにコメント情報として「プッシュ」する。
【０１１４】
さらにスタックには、他のレイヤのコメントと分離する為に（後述するステップＳ３４またはＳ３６の処理で下位セグメントが発見され、この下位セグメントについてステップＳ３３の処理を行った結果得たコメントと区別する為に）、最後に、例えば"---------"のような区別用文字列を追加プッシュする。
【０１１５】
最後に、</UserLabel>の直後に現れる<MediaTime>タグの内容（<Offset>タグ、及び<Duration>タグ）を保存する。
次に、現在の位置から<Segment> タグもしくは</Segment>タグをファイル末尾方向に検索する（ステップＳ３４）。もし<Segment>タグが見つかった場合（下位のセグメントが存在する場合）にはステップＳ３３に戻る。もし</Segment>が見つかった場合には、ステップＳ３５に進む。
【０１１６】
ステップＳ３５の処理では、まず、現在のスタックの内容をファイルに格納する。このファイル名は一意であるとする。次にこのファイル名、保存した<MediaTime>タグの内容を元に、<text> タグを作成する。さらに、スタックから、上記下位セグメントについて「プッシュ」されたコメント情報がある場合にはこれを「ポップ」して捨てる。下位セグメントについて「プッシュ」されたコメント情報と、その上位セグメントについて「プッシュ」されたコメント情報との境界は、上記"---------"のような区別用文字列によって識別できる。
【０１１７】
詳しくは、後に、図１１の具体例を参照して説明する。
そして、ステップＳ３６の処理により、現在の位置から<Segment>タグをファイル末尾方向に検索する。もし見つかった場合はステップＳ３３に移行する。もし見つからない場合は、処理を終了する。
【０１１８】
上述した図１０の処理を、図５に示す例のマルチメディア電子付箋に対して行なった場合の、スタックおよび保存された<MediaTime> タグの内容の遷移の様子を図１１に示す。
まず、処理開始後に、最初にステップＳ３３の処理の対象となるのは、図５の‘Ｄ’に示す最上位セグメントということになる。
【０１１９】
図５の‘Ｄ’に示す通り、この最上位セグメントには、「コメントその１」、「コメントその２」、「コメントその３」が付加されており、これらを順次スタックにプッシュしていき、最後に例えば"---------"のような区別用文字列を追加プッシュした結果、スタックの内容は図１１の７１の行に示す通りとなる。
【０１２０】
また、当該最初のステップＳ３３の処理の最後で保存する<MediaTime> タグの内容は、図５の‘Ｅ’の部分の記述内容であるので、図１１の７１の行に示す通りとなる。
上記最初のステップＳ３３の処理が完了し、続いてステップＳ３４の処理を実行すると、図６の‘Ｆ’の部分の<Segment>タグ（<Segment id =“seg_0”>が発見されるので、ステップＳ３３の処理に戻る（図１１の７２）。
【０１２１】
そして、この２回目のステップＳ３３の処理において、「コメントその４」がスタックにプッシュされて、スタックの内容は図１１の７３に示すようになる。また、<MediaTime> タグの保存内容は、上記最初のステップＳ３３の処理で保存された内容が更新されて、当該‘Ｆ’の部分の<MediaTime> タグの内容が保存される結果、図１１の７３に示すようになる。
【０１２２】
続いて、ステップＳ３４の処理を実行すると、今度は、‘Ｆ’の部分の最後に記述されている</Segment>タグが発見されるので、ステップＳ３５の処理に進む。
ステップＳ３５の処理では、上記の通り、まず、現在のスタックの内容（図１１の７３の行に示すスタックの内容；すなわち、コメントその１〜コメントその４）をファイルに格納する。ファイル名は、例えば図１２の‘Ｋ’に示す例に対応させて、“comment_1.txt”とする。次にこのファイル名、保存した<MediaTime>タグの内容を元に、<text> タグを作成する。本例では、図１２の‘Ｋ’の部分における上半分に示す内容の<text>タグが作成される。すなわち、src 属性が上記ファイル名“comment_1.txt”、begin属性／end属性が、上記保存した<MediaTime>タグの内容のOffset値（0h0m0s）／このOffset値＋Duration値（0h5m20s）となる<text>タグが作成される（region属性は固定）。
【０１２３】
最後に、区別用文字列"--------"までのスタックの格納内容（本例では、コメントその４のみ）がスタックから「ポップ」して捨てられた結果、当該ステップＳ３５の処理が完了した時点でのスタックの格納内容は、図１１の７４に示すものとなる。
【０１２４】
続くステップＳ３６の処理では、図６の‘Ｇ’の部分の<Segment>タグ（<Segment id =“seg_1”>が発見されるので、ステップＳ３３の処理に戻る（図１１の７５）。
そして、この３回目のステップＳ３３の処理において、「コメントその５」がスタックにプッシュされて、スタックの内容は図１１の７６に示すようになる。また、<MediaTime> タグの保存内容は、更新されて、当該‘Ｇ’の部分の<MediaTime> タグの内容が保存される結果、図１１の７６に示すようになる。
【０１２５】
続いて、ステップＳ３４の処理を実行すると、‘Ｇ’の部分の最後に記述されている</Segment>タグが発見されるので、ステップＳ３５の処理に進む。
ステップＳ３５の処理では、上記の通り、まず、現在のスタックの内容（図１１の７６の行に示すスタックの内容；すなわち、コメントその１〜コメントその３、及びコメントその５）をファイルに格納する。ファイル名は、例えば図１１の‘Ｋ’に示す例に対応させて、“comment_2.txt”とする。次にこのファイル名、保存した<MediaTime>タグの内容を元に、<text> タグを作成する。本例では、図１１の‘Ｋ’の部分における下半分に示す内容の<text>タグが作成される。すなわち、src属性が上記ファイル名“comment_2.txt”、begin属性／end属性が、上記保存した<MediaTime>タグの内容のOffset値（0h5m20s）／このOffset値＋Duration値（0h10m20s）となる<text>タグが作成される（region属性は固定）。
【０１２６】
最後に、区別用文字列"--------"までのスタックの格納内容（本例では、コメントその５のみ）がスタックから「ポップ」して捨てられた結果、当該ステップＳ３５の処理が完了した時点でのスタックの格納内容は、図１１の７７に示すものとなる。
【０１２７】
次にステップＳ３６の処理を行うと、今度は、図６の‘Ｇ’の部分の直後（</AVTag>の直前）に記述されている</Segment>タグ（最上位セグメントに対応する終了タグ）が発見されるので、これを以て図１０に示す処理を終了する。
【０１２８】
図１２は、図５及び図６に示すマルチメディア電子付箋が、上記図８〜図１１で説明した処理により、マルチメディア同期再生用フォーマット（本例ではＳＭＩＬ形式）に変換された結果を示す図である。
【０１２９】
同図において、枠８１で囲まれた記述は、SMIL本体である。
同図において、‘Ｈ’の部分には、<smil>タグによるSMIL文書宣言及び、<layout>タグにより画面レイアウト指定が記述される。図の例では、テキスト表示用領域"text_0 "及び、動画像表示用領域"video_0"を宣言しており、その内容は例えば予め設定されているものとする。
【０１３０】
‘Ｉ’の部分は、<body>タグで記述される、動画像、テキストの各同期再生制御情報の先頭である。
‘Ｊ’の部分において、まず、<par> タグは、オブジェクトを並列再生する（表示領域が異なる複数のオブジェクトを同時に再生する関係）ことを意味する。また<video>タグは、動画像オブジェクトを宣言している。src属性は動画像（音声含む）のURL、region属性は描画位置、begin属性は再生開始時間、end属性は再生終了時間を記述する。
【０１３１】
‘Ｋ’の部分において、<seq> タグは、オブジェクトを縦列再生（表示領域が同じである複数のオブジェクトを、時間的に順番に再生する関係）することを意味する。<text>タグは、テキストオブジェクト（コメント）を宣言する。属性の意味は、<video>タグと同じである。なお、comment_1.txt及びcomment_2.txt は、上述してある通り、マルチメディア電子付箋変換処理の過程で作成されるファイルであり、これらのファイルの中身は、それぞれ、図１３（ａ）、（ｂ）に示す枠８２、枠８３で囲まれた部分に示す。これは、図１１で説明した通りである。
【０１３２】
このSMILファイルを再生すると、先頭から5分20秒 までは、動画像・音声の該当部分と、comment_1.txtの内容が表示され、5分20秒から10分20秒までは、動画像・音声の該当部分と、comment_2.txtの内容が表示される。
この再生画面表示の様子を図１４に示す。９１が動画像表示部分、９２がコメント表示部分である。
【０１３３】
最後に、上記クライアント１０、マルチメディアサーバ２０のハードウェア構成について説明する。
上記クライアント１０は、当然、一般的なコンピュータによって実現することができる。
【０１３４】
図１５は、このようなコンピュータのハードウェアの基本構成の一例を示すブロック図である。
同図に示す情報処理装置１００は、ＣＰＵ１０１、メモリ１０２、入力部１０３、出力部１０４、記憶部１０５、媒体駆動部１０６、及びネットワーク接続部１０７を有し、これらがバス１０８に接続された構成となっている。同図に示す構成は一例であり、これに限るものではない。
【０１３５】
ＣＰＵ１０１は、当該情報処理装置１００全体を制御する中央処理装置である。
メモリ１０２は、プログラム実行、データ更新等の際に、記憶部１０５（あるいは可搬記憶媒体１０９）に記憶されているプログラムあるいはデータを一時的に格納するＲＡＭ等のメモリである。ＣＰＵ１０１は、メモリ１０２に読み出したプログラム／データを用いて、上述してある各種処理を実行する。
【０１３６】
入力部１０３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、上述したユーザからの指示や情報入力に用いられるユーザ・インタフェースである。
出力部１０４は、例えば、ディスプレイ等であり、上述してあるコメント入力画面、画像／コメントの表示等を行なうユーザ・インタフェースである。
【０１３７】
記憶部１０５は、例えばＨＤＤ（ハードディスクドライブ）、あるいは各種磁気ディスク装置、光ディスク装置、光磁気ディスク装置等であり、上述してきた様々な処理・機能を当該情報処理装置１００に実現させるプログラム／データが格納されている。
【０１３８】
あるいは、これらプログラム／データは、可搬記憶媒体１０９に記憶されているものであってもよい。この場合、可搬記憶媒体１０９に記憶されているプログラム／データは、媒体駆動部１０６によって読み出される。可搬記憶媒体１０９は、例えばＦＤ（フロッピーディスク（登録商標））１０９ａ、ＣＤ−ＲＯＭ１０９ｂ等であるが、これら以外にもＤＶＤ、光磁気ディスク等、何でもよい。
【０１３９】
あるいは、また、上記プログラム／データは、ネットワーク接続部１０７により接続しているネットワーク４０を介して、外部の他の装置内に記憶されているものをダウンロードするものであってもよい。本発明は、上記プログラム／データを格納した記憶媒体（可搬記憶媒体１０９等）自体として構成することもできるし、上記プログラム／データを伝送させるネットワーク（伝送媒体）自体として構成することもできるし、ダウンロードする際にこの伝送媒体を介して伝送される伝送信号自体として構成することもできる。
【０１４０】
尚、ネットワーク接続部１０７は、図２のネットワークＩ／Ｆ（インタフェース）２１に相当する構成である。
また、マルチメディアサーバ２０についても、基本的な構成は、図１５に示すものと略同様である。
【０１４１】
図１６は、上記コンピュータへのプログラムのローディングについて説明する為の図である。
同図において、情報処理装置（コンピュータ）１００は、例えば記憶部１０５に記憶されているプログラムをメモリ１０２に読み出し、これを実行することにより、上述してきた例えば各フローチャート図で示すような動作を実現する。あるいは、市販され、流通されている、上記プログラムが格納された可搬記憶媒体１０９から、このプログラムを情報処理装置１００にロードすることによっても、上記動作は実現可能となる。
【０１４２】
あるいは、上記プログラムが、外部のプログラム提供者側の情報処理装置（記憶装置）１１０から、ネットワーク１２０を介して、情報処理装置１００にロードされることによっても、上記動作は実現できる。この場合には、上記プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラム提供者側の情報処理装置１１０から、伝送媒体であるネットワーク１２０を通じて伝送し、情報処理装置１００では受信した伝送信号を復調してプログラムを再生することで、当該ソフトウェアプログラムの実行が可能となる。
【産業上の利用可能性】
【０１４３】
以上、本発明のマルチメディア電子付箋を用いることにより、動画像等の時間構造を持つマルチメディアに対して、作成ユーザ等の各種属性を持つコメントを、ネットワークを介してメンバ間で共有／交換することが可能になる。これにより、任意のマルチメディアに対するメンバ間の円滑な協調作業を実現できる。例えば、上記ネットワーク鑑賞サービス、ネットワークを介したＡＶデータの協調編集作業補助サービス等を提供できる。
【図１】
0004643888.tif 000002
【図２】
0004643888.tif 000003
【図３】
0004643888.tif 000004
【図４】
0004643888.tif 000005
【図５】
0004643888.tif 000006
【図６】
0004643888.tif 000007
【図７】
0004643888.tif 000008
【図８】
0004643888.tif 000009
【図９】
0004643888.tif 000010
【図１０】
0004643888.tif 000011
【図１１】
0004643888.tif 000012
【図１２】
0004643888.tif 000013
【図１３】
0004643888.tif 000014
【図１４】
0004643888.tif 000015
【図１５】
0004643888.tif 000016
【図１６】
0004643888.tif 000017