(57)【特許請求の範囲】
【請求項１】
サーバと、前記サーバにネットワークを介して接続された複数のクライアントとを有するマルチメディア情報処理装置において、
前記各クライアントは、
時間軸を持ったストリームメディアを含む複数のメディア情報を時間的空間的に組み合わせて再生してプレゼンテーションを実行するマルチメディア情報視聴手段と、
再生されている前記メディア情報に対して、前記メディア情報に関連するマーク情報を対応付けるプレゼンテーションにおける時間巾を指定するマーク付け手段と、
前記再生されているメディア情報と、前記マーク情報と、前記時間巾とを対応付けるマーク付け情報を管理する第１マーク付け情報管理手段と、
前記マーク付け情報をサーバへ送信する第１マーク付け情報伝達手段とを備え、
前記サーバは、
前記マーク付け情報を前記クライアントから受信する第２マーク付け情報伝達手段と、
受信した前記マーク付け情報を記憶する第２マーク付け情報管理手段と、
前記第２マーク付け情報管理手段に記憶された複数の前記マーク付け情報に基づいて共有マーク付け情報を生成するマーク付け情報演算手段とを備えることを特徴とするマルチメディア情報処理装置。
【請求項２】
請求項１記載のマルチメディア情報処理装置において、
前記マーク付け情報演算手段は、前記マーク付け情報の中の所定のマーク情報に関する前記マーク付け情報に基づいて前記共有マーク付け情報を生成することを特徴とするマルチメディア情報処理装置。
【請求項３】
請求項１または２に記載のマルチメディア情報処理装置において、
前記第１マーク付け情報管理手段に記憶される前記マーク付け情報には、前記サーバに対する公開可否の属性情報が設定されており、
前記第１マーク情報伝達手段は前記属性情報に応じて前記マーク付け情報の送信を制御することを特徴とするマルチメディア情報処理装置。
【請求項４】
請求項１乃至３のいずれかに記載のマルチメディア情報処理装置において、
前記マルチメディア情報視聴手段は、前記プレゼンテーションの実行中に前記共有マーク付け情報に基づいて前記マーク情報を表示することを特徴とするマルチメディア情報処理装置。
【請求項５】
サーバと、前記サーバにネットワークを介して接続された複数のクライアントとを有するマルチメディア情報処理方法において、
前記各クライアントは、
時間軸を持ったストリームメディアを含む複数のメディア情報を時間的空間的に組み合わせて再生してプレゼンテーションを実行するマルチメディア情報視聴ステップと、
再生されている前記メディア情報に対して、前記メディア情報に関連するマーク情報を対応付けるプレゼンテーションにおける時間巾を指定するマーク付けステップと、
前記再生されているメディア情報と、前記マーク情報と、前記時間巾とを対応付けるマーク付け情報を管理する第１マーク付け情報管理ステップと、
前記マーク付け情報をサーバへ送信する第１マーク付け情報伝達ステップとを備え、
前記サーバは、
前記マーク付け情報を前記クライアントから受信する第２マーク付け情報伝達ステップと、
受信した前記マーク付け情報を記憶する第２マーク付け情報管理ステップと、
前記第２マーク付け情報管理ステップで記憶された複数の前記マーク付け情報に基づいて共有マーク付け情報を生成するマーク付け情報演算ステップとを備えることを特徴とするマルチメディア情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画、テキスト等のドキュメントメディアや、音声、動画、アニメーション、グラフィックス等のストリーミングメディアを含むメディア情報が複合されて構成されるプレゼンテーションを視聴するためのクライアントを複数有するマルチメディア情報処理装置に関する。
【０００２】
【従来の技術】
従来、印刷物ドキュメントに対してメモを書き込んだり、マーカーを付けたりするのと同様に、デジタルドキュメントに対してマーク付けを行ったり、個人的なメモを書き込んだり、あるいは注釈（アノテーション）を付けて著者に対してフィードバックを行ったりするシステムが提案されている。今後、ネットワーク化がさらに進みマルチメディアドキュメントが普及するにしたがってこのようなデジタルドキュメントに対する編集行為の支援技術はネットワーク上での共同作業を行う場面においては非常に重要になってくる。
【０００３】
例えば、いわゆるＯＨＰを用いたプレゼンテーションのようなページ単位で構成されたドキュメントに対して注釈を付けることのできるシステムが、特開平５−１８９４３１号公報に記載されている。この公報に記載されたシステムは、テキスト、図形、イメージといったストリーミングメディアを含まないドキュメントメディアに対して、元の文書の保全性を損なわずに注釈を付けることができるようになっている。このシステムでは、注釈をドキュメントとは別のレイヤーに書き込むことにより、元のドキュメントに対して編集行為を行なわないようになっている。これはデジタルドキュメントでこそ可能な技術である。
【０００４】
また、複数のコンピュータ上で共有しているドキュメントに対して添え書きを加える技術が特開平７−１８２２８２号公報に開示されている。この技術は、ネットワークに接続された複数のコンピュータ上で共通の画像を表示している際に、ユーザがその画像上に添え書きを行うことができ、その添え書きデータを画像データとは異なる場所に格納するというものである。そして、添え書きはネットワーク上の他のコンピュータにも表示されるようになっている。この技術によると、他のメンバーのインタラクション（メモ、注釈、質問など）が画像のどの部分に対して付加されたのかを会議に参加している複数のメンバーが一目でわかるという電子会議システムを提供することができる。
【０００５】
【発明が解決しようとする課題】
ここで、サーバ上にプレゼンテーションが保存されており、特定のグループ内のメンバーがそのプレゼンテーションを見るようになっている場合を想定する。このような場合において、各メンバーが、他のメンバーがどこを見ているのかということや、どこに興味をもっているかということや、どこに興味を持っていないかということや、どこに質問や意見があるのかということを知ることは、グループ内で情報を共有するという点で非常に有益である。また、プレゼンテーションの発信者にとっても、上記のような受け手の反応を知ることはより良いプレゼンテーションを行うために重要である。また、プレゼンテーションに基づいてネットワーク上で会議する場合などにおいては、会議のメンバーがプレゼンテーションを見たか否かということや、プレゼンテーションを正しく理解しているか否かということ等を会議の議長が把握することは、会議における議論を活発化するためには重要である。したがって、プレゼンテーションにアノテーション等のインタラクション情報（マーク情報）を付加して、メンバー間でそれを共有できるようにすることが要請される。
【０００６】
しかしながら、プレゼンテーション中のある場所（空間的、時間的な）を特定してマーク情報を付加する従来の技術は、主としてページ単位で構成されるドキュメントメディアに関するものであり、時間軸を持ったストリーミングメディアに関しては、検索を目的として時間軸上のある特定の「ポイント」を指し示すといった技術が存在するのみで、ストリーミングメディアの所定の範囲についてマーク情報を適切に付加することができないという問題がある。つまり、従来技術では、ストリーミングメディアに対して１本の時間軸上の１点を指すことしかできず、メディアミックスプレゼンテーションに対してマーク情報（既読であるかあるいは未読であるか等の情報）を対応付けても、「（時間軸上の）どこからどこ」「プレゼンテーションのどの部分、あるいはどのメディアコンテンツ」といった内容が抜け落ちてしまい、マーク情報を対応付けた部分などが正確に伝えられないという問題がある。
【０００７】
本発明の目的は、プレゼンテーションを構成するストリーミングメディアにマーク情報を適切に対応付けて管理でき、このマーク情報の対応付けを複数の端末間で容易且つ適切に共有することのできるマルチメディア情報処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的は、サーバと、サーバにネットワークを介して接続された複数のクライアントとを有するマルチメディア情報処理装置において、各クライアントは、時間軸を持ったストリームメディアを含む複数のメディア情報を時間的空間的に組み合わせて再生してプレゼンテーションを実行するマルチメディア情報視聴手段と、再生されているメディア情報に対して、メディア情報に関連するマーク情報を対応付けるプレゼンテーションにおける時間巾を指定するマーク付け手段と、再生されているメディア情報と、マーク情報と、時間巾とを対応付けるマーク付け情報を管理する第１マーク付け情報管理手段と、マーク付け情報をサーバへ送信する第１マーク付け情報伝達手段とを備え、サーバは、マーク付け情報をクライアントから受信する第２マーク付け情報伝達手段と、受信したマーク付け情報を記憶する第２マーク付け情報管理手段と、第２マーク付け情報管理手段に記憶された複数のマーク付け情報に基づいて共有マーク付け情報を生成するマーク付け情報演算手段とを備えることを特徴とするマルチメディア情報処理装置によって達成される。
【０００９】
【発明の実施の形態】
本発明の一実施の形態によるマルチメディア情報処理装置を図１乃至図２１を用いて説明する。まず、本実施の形態によるマルチメディア情報処理装置の全体構成を図１を用いて説明する。
本マルチメディア情報処理装置は、複数（図１中では３つ）のクライアントＡ、Ｂ、Ｃと、サーバＳとを有し、各クライアントＡ、Ｂ、Ｃと、サーバＳとは、ネットワークＮを介して接続されている。
各クライアントＡ、Ｂ、Ｃは、ＭＭ（マルチメディア）情報視聴部ＭＭと、マーク付け部７と、マーク定義部８と、マーク付け情報管理部９と、既読情報管理部１０と、マーク付け情報伝達部１１とを有している。なお、図１では、クライアントＢおよびＣの各機能部の表示を省略している。
【００１０】
ＭＭ情報視聴部ＭＭは、主に、複数のメディア情報を時間的空間的に組み合わせて再生することでマルチメディア情報のプレゼンテーションを行う機能部であり、図２に示すようにメディア情報管理部１と、再生シナリオ管理部２と、視覚情報再生部３と、音声情報再生部４と、シナリオ解釈部５と、再生シナリオ演算部６とを有している。
図１に戻り、サーバＳは、マーク付け情報伝達部２３と、マーク付け情報管理部２１と、マーク付け情報演算部２２とを有している。なお、上記各機能部の詳細については後述する。
【００１１】
次に、各クライアントＡ、Ｂ、Ｃについて、スタンドアローン（単体）での動作およびこの動作に関わる機能部について説明する。
メディア情報管理部１は、音声１００、テキスト１０１、静止画１０２、動画１０３、アニメーション１０４等の各メディアコンテンツをそれぞれ独立したメディアとして記憶する。
再生シナリオ管理部２は、プレゼンテーションにおける各メディアを再生する際の時間的な順序、空間的レイアウトなどを記述した再生シナリオファイル２００を記憶する。再生シナリオファイル２００の一例を図３を用いて説明する。再生シナリオファイル２００は、大別するとヘッダ部２００ａとボディー部２００ｂとを有している。
【００１２】
ヘッダ部２００ａには、当該再生シナリオファイル２００に基づいて実行されるプレゼンテーションで用いるウィンドウのレイアウトがウィンドウの個数分（図３では３つ）記述されている。
ボディー部２００ｂには、どのコンテンツ（メディア）をどのタイミングでどの再生するかが記述されている。具体的には、ボディー部２００ｂは実行開始時刻２００ｃ、ウィンドウ番号２００ｄ、メディア２００ｅ、および再生時間長さ２００ｆを有している。
【００１３】
実行開始時刻２００ｃには、メディアの再生を開始する時刻が設定される。ウインドウ番号２００ｄには、再生するメディアが映像メディアである場合に当該メディアを再生させるウインドウの番号が設定され、また、再生するメディアが音声メディアである場合に、”ａｕｄｉｏ”が設定される。メディア２００ｅには、再生するメディアの識別名が設定される。再生時間長さ２００ｆにおいては、時間軸を持たない静止画などのメディアの場合には、当該メディアを表示させる時間の長さが記述される。また、再生時間長さ２００ｆには、動画／アニメーション等の時間軸を持つストリーミングメディアを通常の速度で再生する際には何も記述する必要はないが、倍速再生／スロー再生など再生するメディアを通常の速度と異なる再生を行なう際には、再生トータル時間を記述する必要がある。再生シナリオファイル２００では、同一の実行開始時刻に対してメディア２００ｅに２つ以上のメディアを記述することにより、同時に２以上のメディアの再生を始めるようにすることができる。
【００１４】
ここで、図３に示す再生シナリオファイルに基づくマルチメディアプレゼンテーションの再生スケジュール（スコア）の概念を図４および図５を用いて説明する。図４では、横軸に時間を取り、縦軸に再生する空間（ウインドウ番号あるいはａｕｄｉｏ）を取っており、各矩形が各メディアを示している。図５は、時刻ｔ＝ｔｐにおけるマルチメディアプレゼンテーションの様子を示している。
図４および図５によると、時刻ｔ＝ｔｐにおいて、ウィンドウＷ１でメディアａが再生され、ウィンドウＷ２でメディアｂが再生され、ウィンドウＷ３でメディアｃが再生され、オーディオでメディアｄが再生されることがわかる。
【００１５】
次に、本マルチメディア情報視聴装置の基本的なマルチメディアの再生動作について図６を用いて説明する。この動作は図５に示す表示画面上においてプレゼンテーションの再生ボタンＰＬＡＹがユーザに押下されることにより開始される。
まず、シナリオ解釈部５が再生シナリオ管理部２から該当するプレゼンテーションの再生シナリオ２００を読み出す（ステップＳ１）。次いで、シナリオ解釈部５は、再生シナリオ２００のヘッダ部２００ａを読み込んでウィンドウのレイアウト情報を取得する（ステップＳ２）。
【００１６】
その後、シナリオ解釈部５のボディー部２００ｂを頭から順に読み込んで、所定の実行開始時刻に再生するメディアをメディア情報管理部１から読み出し（ステップＳ３）、取り出したメディアが音声メディアか否かを検出する（ステップＳ４）。この検出により、当該メディアが音声メディアでなく視覚メディア、すなわち、テキスト１０１、静止画１０２、動画１０３、またはアニメ１０４である場合には、当該メディアを再生するウィンドウのレイアウト情報とともに、当該メディアを視覚情報再生部４に出力する。視覚情報再生部４は、入力されたウインドウのレイアウト情報に基づいて、ウインドウを作成し、入力されたメディアを当該ウインドウに再生する（ステップＳ５）。
一方、メディア情報管理部１から読み出したメディアが音声メディア１００の場合には当該メディアを音声情報再生部４に出力する。音声情報再生部４は、入力されたメディアに基づいてスピーカから音声を再生する（ステップＳ６）。
そして、上記処理（ステップＳ３〜Ｓ６）をボディー部２００ｂの記述に対して実行する（ステップＳ７）。
【００１７】
次に、プレゼンテーションに含まれるメディアに対応付けるマーク情報について図７を用いて説明する。図７は、ｄｅｆａｕｌｔ（デフォルト）で用意されているマーク情報と、ユーザが定義したマーク情報とを１つのファイル（ユーザ定義ファイル２０１）で管理している例を示している。
ユーザ定義ファイル２０１はマーク定義部８に記憶されている。ユーザ定義ファイル２０１に含まれている各マーク情報は、マーク情報を知覚可能に表わすシンボル（音情報も含む）、マーク情報の内容を示すコメント、関連する情報のリンク情報（例えば、ＵＲＬ）、マーク情報に対応する処理方法（処理スクリプト）、マーク情報を定義した人等を有している。
【００１８】
図７に示すユーザ定義ファイルにおいては、例えば、デフォルトで設定され、視聴済みであることを表わし、シンボルが既であり、ｓｋｉｐ処理させるというマーク情報が定義されている。また、デフォルトで設定され、重要個所であることを表わし、シンボルが◎であるマーク情報や、ユーザ自身（ｍｅ）が設定し、後にゆっくりと再生すべき部分であることを表わし、シンボルが★であり、ｓｌｏｗ  ｐｌａｙ処理させるというマーク情報も定義されている。また、ユーザ自身が設定し、常識である部分であることを表わし、シンボルが△であり、ｆａｓｔ  ｐｌａｙ処理させるというマーク情報や、ユーザ自身が設定し、熟考すべき部分であることを表わし、シンボルが※であり、ｐａｕｓｅさせるというマーク情報等が定義されている。マーク情報は、ユーザがマーク定義部８を用いて定義することができるようになっている。これによって、ユーザはプレゼンテーションに対して必要に応じてカスタマイズ、パーソナライズして自分だけのプレゼンテーションを作成して視聴することができる。
【００１９】
マーク情報として予め汎用的なものを定義しておくことは有益である。例えば、重要を表わすマーク情報（シンボル◎）を定義しておき、プレゼンテーションの著者が必ず見て欲しいと思う重要なメディアに対してマーク情報（シンボル◎）を付けておくようにすると、プレゼンテーションのメディアを再生する際にマーク情報に対応付けられているメディアについて、後述するようにシンボル◎を表示させることができ、受け手側は注意を払うことができる。また、マーク情報が対応付けられたメディアの部分のみ拾って再生することで時間の節約をすることができる。
【００２０】
次に、プレゼンテーションに含まれるメディアにマーク情報を対応付ける動作を説明する。
プレゼンテーションの実行中にユーザが特定のメディアに対してマーク情報を対応付けたいと思った場合には、マーク付け部７を用いて視覚情報再生部４により再生されているプレゼンテーションの所望のメディアを指示することによりマーク付け情報管理部９により後述するよにマーク情報を対応付けることができる。音声メディアに対しては、プレゼンテーションウィンドウ中のオーディオメディアのアイコン（図５中のアイコンＩ）に対して指示することによりマーク情報を対応付けることができる。対応付けるマーク情報は、マーク定義部８に登録されている複数のマークからマーク付け部７により選択することができ、同じメディアに異なる複数のマーク情報を同時に対応付けることもできるようになっている。
【００２１】
例えば、シンボル★のマーク情報を対応付ける場合には、画面上においてマーク付け部７を用いてマーク情報のシンボル★を選択し、当該シンボルを所望のメディア上に移動させた状態でマーク付け部７のマウスをクリックすればよく、これにより、当該メディアの当該時間についてマーク情報（シンボル★）を対応付けられるようになっている。所望のメディアの所望の時間巾に対してマーク情報を対応付ける場合には、マーク付け部７のマウスを所望の時間クリックダウンするなどにより実現できる。
【００２２】
また、同じメディアに対して同時に複数の意味内容を対応付ける場合には、複数のマーク情報を対応付けたり、既に対応付けられているマーク情報に別の意味内容の定義を加えたりすることにより可能である。複数のマーク情報を対応付ける場合には、プレゼンテーションを一旦巻き戻して再生し、再度他のマーク情報を対応付けるようにすればよく、既に対応付けられているマーク情報に別の意味内容の定義を加える場合には、マーク定義部８により、当該マーク情報に複数の意味内容を定義するようにすればよい。また、一旦対応付けたマーク情報に対する定義をユーザがマーク定義部８により再定義することで、一括してマーク情報の意味を変更することができる。例えば、定義した処理がもはや必要でなくなった場合などに処理の定義を削除すれば、当該処理のマーク情報が対応付けられた部分での処理が行われなくなる。これによると、マーク情報の対応付けを１ヶ所ずつ変更する手間がかからない。
【００２３】
次に、マーク情報をメディアの所定の時間に対応付けて管理するマーク付け情報ファイルの一例を図８を用いて説明する。本実施の形態では、プレゼンテーションの再生シナリオとの関連がわかりやすいように２次元マップのマーク付け情報ファイルを用いている。
マーク付け情報ファイルはマーク情報の数だけのレイヤーを有し、各レイヤーは、各マーク情報に関する対応付けを記憶するようになっている。各レイヤーは横軸を時間に取り、縦軸をメディアに取った２次元マップとなっている。横軸の時間のサンプリング間隔は、任意の間隔（例えば１秒単位）でよい。図８において、各レイヤーは、メディア毎に１秒単位で１ビットの情報を持つようになっている。初期状態では、各レイヤーのすべてのビットは”０”の状態となっている。
【００２４】
また、マーク付け情報ファイルの各レイヤーには、図９に示すように、当該レイヤーを公開してもよいというＰｕｂｌｉｃ属性、または当該レイヤーを公開してはいけないというＰｒｉｖａｔｅ属性の何れかが設定されている。なお、ユーザはマーク定義部８を用いて、各レイヤーに対してＰｕｂｌｉｃまたはＰｒｉｖａｔｅの属性を定義することができるようになっている。
【００２５】
次に、マーク情報を対応付ける動作を説明する。
マーク付け情報管理部９は、マーク付け部７による指示に基づいて、対応するメディアおよび時間のビットを”１”にする。例えば、ユーザがマーク付け部７によりメディアＢの時刻２秒から１０秒まで★マークを指定したとすると、図８に示すように★マークに対応するマーク情報のレイヤーのメディアＢの行の２〜１０までのビットのすべてを”１”にする。
このようにマーク情報を管理することで、後述するようにマーク情報に定義された処理を施す際に演算を簡単に行なうことができる。
【００２６】
次に、既に再生したメディアに対して既読であることを示すマーク情報（未読既読マーク情報）を対応付ける動作について説明する。
未読既読マーク情報をメディアに対して対応付ける動作は、ユーザが未読既読マークを付けるオプションをオンにしてプレゼンテーションの再生を開始することにより実行される。
この動作においては、上述の図６に示す基本的なマルチメディア再生動作が行われ、再生シナリオ２００にしたがってシナリオ解釈部５は対応するメディアを順次読み出し、視覚情報再生部４および音声情報再生部４はメディアを再生する。このような動作と共に、既読情報管理部１０は図１０に示すように各メディアのどの部分を再生したかを検知し、マーク付け情報ファイルの未読既読マーク情報のレイヤーの検知したメディアおよび時間に対応するビットを”１”にする。
【００２７】
次に、ユーザが図１０の時刻ｔｃにおいてプレゼンテーションの再生を中断させ、その後、続きのプレゼンテーションを再生させる指示を行った場合のプレゼンテーションの再生動作を説明する。
ユーザが再生シナリオ演算部６に対して未読部分のみのシナリオ生成を指示すると、再生シナリオ演算部６はマーク付け情報ファイルをマーク付け情報管理部９より読み出し、その中から未読既読マーク情報のレイヤーを解釈して未読部分のみが含まれている再生シナリオを作成する。
【００２８】
具体的には、再生シナリオ演算部６は、該当するプレゼンテーションのシナリオファイルをスコアに展開し、当該スコアに基づいて各メディアと、当該メディアの再生時間との２次元マップを求める。次に、マーク付け情報ファイルから未読既読マーク情報のレイヤーを呼び出す。そして、前者と後者とのＡＮＤをとり既読の部分のみを取り出す。次いで、再生シナリオ演算部６は、マーク定義部８のユーザ定義ファイル２０１から未読既読マーク情報に含まれている処理（メディアの再生を行わないスキップ（Ｓｋｉｐ）処理）を取り出し、既読部分に対してスキップ処理を行うようなスコアを求め、当該スコアをシナリオへ逆変換する。
上記の動作によると、既読の部分はスキップされ、その他の部分はなにもされないシナリオ、すなわち、未読部分のみ再生するシナリオファイルが生成される。
この作成された再生シナリオファイルを用いて上述の図６に示すようにプレゼンテーション再生を行うと、時刻ｔｃからのプレゼンテーションが再生される。
【００２９】
次に、複数のマーク情報の対応付けに基づいてプレゼンテーションを再生する場合の動作を図１１を用いて説明する。
ここで、マーク付け情報管理部９のマーク付け情報ファイルには、著者が付けた重要マーク情報（シンボル◎）、ユーザが付けたスロー再生を行わせるスロー再生マーク情報（シンボル★）のレイヤーがあり、各マーク情報は通常の再生におけるスコアに重ねて示すと図１２に示すように対応付けられているものとする。さらに、ユーザ定義ファイル２０１において、重要マーク情報には処理が定義されておらず、スロー再生マーク情報に対してはスロー再生処理が定義されているものとする。
【００３０】
ユーザによりプレゼンテーションの再生の指示がされ、さらにマーク付け情報管理部９でレイヤーが管理されている各マーク情報をプレゼンテーションの再生に有効にするか否か（Ｏｎ、Ｏｆｆ）が入力されると（ステップＳ１１）、各マーク情報に対する（Ｏｎ、Ｏｆｆ）が再生シナリオ演算部６に送られる（ステップＳ１２）。本例では、スロー再生マーク情報および重要マーク情報はＯｎに設定されているものとする。
【００３１】
次いで、再生シナリオ演算部６は、書き出す２次元マップの初期化を行い（ステップＳ１３）、Ｏｎが設定されたマーク情報をマーク定義部８のユーザ定義ファイル２０１から読み出し（ステップＳ１４）、マーク情報に処理が定義されているか否かを検出する（ステップＳ１５）。この結果、処理が定義されていない場合には、再生シナリオ演算部６は、レイヤーの”１”が設定されたビットに対応する２次元マップ上の位置にシンボルを表示させる処理を書き加える（ステップＳ１６）。これにより、重要マーク情報のレイヤーの”１”が設定されたビットに対応する２次元マップ上の位置にシンボルを表示させる処理が書き加えられる。一方、処理が定義されている場合には、再生シナリオ演算部６は、定義されている処理を２次元マップに反映させる（ステップＳ１７）。これにより、スロー再生マーク情報のレイヤーの”１”が設定されたビットに対応する部分について時間軸が伸ばされて再生されるように２次元マップ上に反映される。
【００３２】
上記処理（ステップＳ１４〜Ｓ１７）をＯｎが設定されたすべてのマーク情報に対して行う（ステップＳ１８）。これにより、図１３に示すような複数のマーク情報の対応付けが加味された２次元マップが作成される。図１３中の◎はシンボルを表示する処理を行うことを表わし、★はスロー再生を行うことを表わしている。この後、再生シナリオ演算部６が２次元マップに基づいてスコアを作成する。すなわち、２次元マップの◎に対応する部分においてシンボルを表示する処理を行い、★に対応する部分においてスロー再生を行うスコアを作成する。これにより、図１２に示すスコアに対してスロー再生マーク情報が対応付けられている時間軸が伸ばされた図１４に示すようなスコアが作成される。次いで、再生シナリオ演算部６が作成したスコアに基づいて再生シナリオファイルを生成する（ステップＳ１９）。ここで、重要マーク情報が対応付けられている部分の再生において、その部分の再生中にウィンドウにシンボル◎が表示されるように再生シナリオファイルが記述される。
【００３３】
上記のように生成された再生シナリオファイルに基づいて、シナリオ解釈部５がプレゼンテーションを実行すると、スロー再生マーク情報が対応付けられている部分（時間）においてスロー再生を行い、重要マーク情報が対応付けられている部分においてはプレゼンテーション中の該当するメディアの表示ウインドウ中にシンボル◎を表示する。
このとき、重要マーク情報に対応するシンボル◎を表示する時間を重要マーク情報が対応付けられている時間より長く表示することが好ましく、特に、対応付けれれている時間より前から表示するようにすることが望ましい。これは、プレゼンテーションの再生中にユーザがマーク付け部７により重要マーク情報を対応付けるようになっており、再生中に重要な部分を見つけてから実際に対応付けるまでの間に時間が空いてしまうことがあるからである。
【００３４】
なお、上記処理において、スコア上の同じ部分に異なるマーク情報が付けられていて、マーク情報の処理を両立できないような場合が有り得るが、これに対しては、何れのマーク情報を優先するかの優先順位に基づいて処理を行えばよく、例えば、演算する順序を変えることでマーク情報の処理に優先順位をつけることは容易である。
【００３５】
次に、シナリオファイルの既読した範囲において、新たにメディアが追加された場合に未読のメディアを検出する処理について説明する。
まず、再生シナリオ演算部６は、再生シナリオファイルをスコアに変換すると共に、マーク付け情報管理部９から未読既読マーク情報のレイヤーを取り出して当該レイヤーに基づいてスコアに相当する２次元マップを生成する。次いで、再生シナリオ演算部６は、前記未読既読マーク情報による２次元マップをマスクにして前記再生シナリオのスコアに重ねあわせ、マスクのかかっていない部分を検出する。図１５には、前記未読既読マーク情報による２次元マップをマスクにして前記再生シナリオのスコアを重ねあわせた状態を示している。図１５に示すようにマスクのかかっていない部分は、新たに加わったコンテンツ若しくは未読のコンテンツである。このように、新たに追加されたメディアを容易に検出することができ、追加されたメディアを支障なく再生することができるようになる。
【００３６】
このように、ユーザは複数のメディアから構成される複雑なプレゼンテーションに対して特定の部分にアノテーション、メモ書き、メディア処理などのマーク情報を自由に対応付けることができる。また、既読未読を詳細に管理できたり、プレゼンテーションの重要部分を容易に把握できたりして、プレゼンテーションを効率的に視聴することができる。
【００３７】
次に、クライアントＡ、Ｂ、ＣとサーバＳとの間でのマーク付け情報の伝達動作について図１６を用いて説明する。
マーク付け情報伝達部１１は、例えば、ユーザがプレゼンテーションを視聴し終わったとき、あるいはユーザがアノテーションを付与したとき等の特定のイベントが発生した際に、マーク付け情報管理部９からマーク付け情報を読み出す（ステップＳ２１）。次いで、マーク付け情報伝達部１１は、当該マーク付け情報中の各レイヤーに設定されている属性を解釈し（ステップＳ２２）、属性がＰｕｂｌｉｃであれば、当該レイヤーを送信用のファイル（ｔｍｐ）に書き込む一方、属性がＰｒｉｖａｔｅであれば何もしない（ステップＳ２３、Ｓ２４）。そして、上記の処理ステップＳ２２〜Ｓ２４をマーク付け情報ファイル中のすべてのレイヤーに対して行う（ステップＳ２５）。
【００３８】
次いで、マーク付け情報伝達部１１は、クライアントの識別子やクライアントを操作しているユーザＩＤ等のクライアントＩＤを送信用のファイルに書き込み（ステップＳ２６）、さらに、マーク定義部８に記憶されているマーク情報を送信用のファイルに書き込む（ステップＳ２７）。図１７は、この時の送信用のファイルを示している。この後、マーク付け情報伝達部１１は、サーバＳのマーク付け情報伝達部２３との間でコネクションを張って通信規約上でデータの送受信ができるようにし、送信用のファイルをマーク付け情報伝達部２３に送信する（ステップＳ２８）。マーク付け情報伝達部２３は、ネットワークＮを介して接続されている複数のクライアントＡ、Ｂ、Ｃのマーク付け情報伝達部１１からの送信用のファイルを受信し、サーバＳのマーク情報管理部２１に記憶する。
【００３９】
なお、本実施の形態では、ユーザが知らない間にシステムが自動的にマーク付け情報等を送るようにしたが、例えば、マーク付け情報送信ボタンなどを設け、当該ボタンに対してユーザが明示的に指示したときのみ送信するようにすると、ユーザのプライバシーの保護を考えた場合に有効である。また、本実施の形態では、サーバＳにクライアントＩＤを送信するようにしたが、クライアントＩＤは必ずしも送信する必要はない。例えば、ユーザのプライバシーを尊重する場合にはマーク付け情報とともにクライアントＩＤを送信しないようにしてもよい。ユーザの意図に関係なくマーク付け情報がサーバＳに送信されるような場合にはクライアントＩＤを送信しないようにしたほうがよい。
【００４０】
次に、サーバＳでの複数のクライアントＡ、Ｂ、Ｃからのマーク付け情報から共有マーク付け情報を作成する演算動作について図１８を用いて説明する。共有マーク付け情報とは、複数のクライアントで共有プレゼンテーションを視聴した複数のユーザがプレゼンテーションに対してどのようなインタラクションをしたかという統合情報であり、だれが、プレゼンテーションのどの部分を視聴したか、どの部分にアノテーションを付けたか、どこに重要マークをつけたか等の情報を複数のクライアント（ユーザ）について統合した情報である。
ここでは、各クライアントにおいて、既／未読マーク情報、重要マーク情報、メモ書きマーク情報についての対応付けが管理されている場合について説明する。
本実施の形態では、サーバＳのマーク付け情報管理部２１がクライアントすべて（クライアントの数をＮ個とする）からマーク付け情報を受信したときに本動作が開始されるものとする。なお、サーバＳの管理者が明示的に動作を開始させるようにしてもよい。
【００４１】
クライアントからＮ個目のマーク付け情報が到着すると、マーク付け情報管理部２１は、マーク付け情報演算部２２にＮ個目のマーク付け情報が到着したことを知らせる。マーク付け情報演算部２２は、マーク付け情報管理部２１からＮ個のマーク付け情報等のセットを読み出す（ステップＳ３１）。次に、マーク付け情報演算部２２は、マーク付け情報にレイヤーが含まれているマーク情報毎に同一のマーク情報のレイヤーをまとめるためのマップを準備し（ステップＳ３２）、同一のクライアントＩＤに対応付けられているマーク付け情報の各レイヤーを該当するマップに書き込み（ステップＳ３３、Ｓ３４）、他のクライアントＩＤに対応付けられているマーク付け情報についても上記同様な処理（ステップＳ３３、Ｓ３４）を行う（ステップＳ３５）。
これによって、図１９に示すように、同一のマーク情報に関連するＮ枚のレイヤーをまとめたマップが既／未読マーク情報（図中の既／未読マーク）、重要マーク情報（図中の◎マーク）、メモ書きマーク情報（図中の★マーク）の各マーク情報ごとに作成される。
【００４２】
次に、マーク付け情報演算部２２は、Ｍ個のマップそれぞれについて、マーク定義情報に基づいて解析して、マップ内のＮ枚のレイヤーの情報を統合する。時間軸の頭から順にマップのすべてのレイヤーに対して解析し、図３のような再生シナリオを作成する。
具体的には、マーク付け情報演算部２２は、各クライアントＩＤに対応したマーク情報をマーク付け情報管理部２１から読み込んでおく（ステップＳ３６）。次いで、マップのレイヤーのビットを時刻ｔ＝０から順に読み込み（ステップＳ３７）、マーク情報が対応付けられ（ビットが”１”であり）、さらに当該レイヤーに対応付けられているクライアントＩＤのマーク情報に処理が設定されていれば、当該処理を再生シナリオ形式で書き出し（ステップＳ３８）、このような処理を当該マップのＮ個の各レイヤーに対して行い（ステップＳ３９）、マップの時間軸が終了するまで行う（ステップＳ４０）。
次いで、マーク付け情報演算部２２は、Ｍ個のマップそれぞれから作成された再生シナリオをバインド（統合）して、共有再生シナリオ（共有マーク付け情報）を求め（ステップＳ４１）、共有マーク付け情報管理部２１へ記憶する。
【００４３】
上記の処理によると、例えば、重要マーク情報（◎マーク情報）に関するマップ情報が、
【００４４】
【表１】
0003601314.tif 000002
【００４５】
であり、メモ書きマーク情報（★マーク）に関するマップ情報が、
【００４６】
【表２】
0003601314.tif 000003
【００４７】
であるとすると、図２０に示す共有マーク付け情報が求められる。
上記実施の形態では、複数のマーク情報に関するマーク付け情報を統合した共有マーク付け情報を求めるようにしたが、いずれか一つのマーク情報に関するマーク付け情報を統合した共有マーク付け情報を求めるようにしてもよい。
【００４８】
次に、クライアントＡ、Ｂ、Ｃにおいて共有マーク情報に基づいてプレゼンテーションを再生する際の動作を説明する。
サーバＳで作成されて共有マーク情報管理部２１に記憶されている共有マーク情報は、サーバＳのマーク情報伝達部２３により、所定のタイミングで各クライアントへ送信される。これにより、各クライアントＡ、Ｂ、Ｃでは、プレゼンテーションを行う元の再生シナリオファイルに加えて、サーバＳから送信されたの共有マーク情報のシナリオファイルを持つことになる。
【００４９】
各クライアントでは、再生シナリオ演算部６が両シナリオファイルをバインドし、シナリオ解釈部５が、バインドした新たな再生シナリオと、コンテンツ群と、マーク情報とに基づいて、上述の複数のマーク情報の対応付けに基づいて行うプレゼンテーションの再生動作と同様な動作によりプレゼンテーションを実行する。
これによると、図２１に示すように、複数のユーザによって対応付けられたマーク情報Ｍが適切なタイミングで適切な場所に表示されるプレゼンテーションが実行される。
したがって、ユーザはプレゼンテーションを実行している最中に、複数のユーザによって対応付けられたマーク情報を把握することができる。
【００５０】
【発明の効果】
以上のように本発明によると、ユーザは複数のメディアから構成される複雑なプレゼンテーションに対して任意の部分にアノテーション、メモ書き、メディア処理などのマーク情報を適切に対応付けることができ、さらにマーク情報の対応付けをネットワーク上において共有することができる。これにより、プレゼンテーションに対するマーク情報の対応付けをユーザの作業負担を増加させることなく容易に共有することができ、複数のユーザは迅速かつ的確にこれらマーク情報の対応付けを利用することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態によるマルチメディア情報処理装置の全体構成を示す図である。
【図２】本発明の一実施の形態によるマルチメディア情報処理装置のＭＭ情報視聴部の構成を示す図である。
【図３】本発明の一実施の形態による再生シナリオファイルの一例を示す図である。
【図４】本発明の一実施の形態によるプレゼンテーションのスコアを示す図である。
【図５】本発明の一実施の形態によるマルチメディアプレゼンテーションの表示例を示す図である。
【図６】本発明の一実施の形態による基本的なマルチメディアの再生動作のフローチャートである。
【図７】本発明の一実施の形態によるユーザ定義ファイルを示す図である。
【図８】本発明の一実施の形態によるマーク付け情報ファイルを示す図である。
【図９】本発明の一実施の形態による属性が設定されたレイヤーを説明する図である。
【図１０】本発明の一実施の形態による未読既読マーク情報の対応付けに基づくスコアを示す図である。
【図１１】本発明の一実施の形態による再生シナリオの演算動作のフローチャートである。
【図１２】本発明の一実施の形態による再生シナリオファイルのスコアに重要マーク情報およびスロー再生マーク情報の対応付けを重ねた図である。
【図１３】本発明の一実施の形態による重要マーク情報およびスロー再生マーク情報の対応付けに基づいて演算された２次元マップを示す図である。
【図１４】本発明の一実施の形態による重要マーク情報およびスロー再生マーク情報の対応付けに基づく演算によりもとめられたスコアを示す図である。
【図１５】本発明の一実施の形態による更新されたシナリオに基づくスコアと、未読既読マーク情報の対応付けに基づくスコアとを重ねあわせた状態の図である。
【図１６】本発明の一実施の形態によるマーク付け情報の伝達動作のフローチャートである。
【図１７】本発明の一実施の形態によるマーク付け情報送信用のファイルを示すである。
【図１８】本発明の一実施の形態による複数のマーク付け情報から共有マーク付け情報を作成する演算動作のフローチャートである。
【図１９】本発明の一実施の形態による同一のマーク情報に関連するＮ枚のレイヤーをまとめたマップを示す図である。
【図２０】本発明の一実施の形態による共有マーク付け情報の一例を示す図である。
【図２１】本発明の一実施の形態による共有マーク付け情報を用いたプレゼンテーションの表示例を示す図である。
【符号の説明】
Ａ、Ｂ、Ｃ  クライアント
Ｎ  ネットワーク
Ｓ  サーバ
ＭＭ  ＭＭ情報視聴部
１  メディア情報管理部
２  再生シナリオ管理部
３  視覚情報再生部
４  音声情報再生部
５  シナリオ解釈部
６  再生シナリオ演算部
７  マーク付け部
８  マーク定義部
９  マーク付け情報管理部
１０  既読情報管理部
１１  マーク情報伝達部
２１  マーク情報伝達部
２２  マーク付け情報管理部
２３  マーク付け情報演算部
１００  音声メディア
１０１  テキストメディア
１０２  静止画
１０３  動画
１０４  アニメーション
２００  再生シナリオファイル
２０１  ユーザ定義ファイル
【図１】
0003601314.tif 000004
【図２】
0003601314.tif 000005
【図３】
0003601314.tif 000006
【図４】
0003601314.tif 000007
【図５】
0003601314.tif 000008
【図６】
0003601314.tif 000009
【図７】
0003601314.tif 000010
【図８】
0003601314.tif 000011
【図９】
0003601314.tif 000012
【図１０】
0003601314.tif 000013
【図１１】
0003601314.tif 000014
【図１２】
0003601314.tif 000015
【図１３】
0003601314.tif 000016
【図１４】
0003601314.tif 000017
【図１５】
0003601314.tif 000018
【図１６】
0003601314.tif 000019
【図１７】
0003601314.tif 000020
【図１８】
0003601314.tif 000021
【図１９】
0003601314.tif 000022
【図２０】
0003601314.tif 000023
【図２１】
0003601314.tif 000024