(57)【要約】電子文書の注釈に関する情報である注釈データを管理する注釈管理システムであって、電子文書の表示と電子文書に付加された電子文書付加プログラムの実行とユーザの入力の受付とを行うブラウザ４１を備えたクライアント４と、電子文書を格納する文書サーバ２と、注釈データを電子文書毎に管理するデータベース５と、クライアント４から要求された電子文書である選択電子文書を文書サーバ２から取得し、注釈データの入力と表示を行うための電子文書付加プログラムを選択電子文書に付加した変換電子文書を生成し、変換電子文書をクライアント４へ配信する文書変換サーバ３とを備えた。
2005029353.tif 000002
【特許請求の範囲】
【請求項１】
電子文書の注釈に関する情報である注釈データを管理する注釈管理システムであって、
電子文書の表示と電子文書に付加された電子文書付加プログラムの実行とユーザの入力の受付とを行うブラウザを備えたクライアントと、
電子文書を格納する文書サーバと、
注釈データを電子文書毎に管理するデータベースと、
前記クライアントから要求された電子文書である選択電子文書を文書サーバから取得し、注釈データの入力と表示を行うための電子文書付加プログラムを前記選択電子文書に付加した変換電子文書を生成し、該変換電子文書を前記クライアントへ配信する文書変換サーバと、
を備えてなる注釈管理システム。
【請求項２】
請求の範囲第１項に記載の注釈管理システムにおいて、
前記注釈データは、注釈となるメディアファイルのＵＲＬまたは注釈となるテキストからなる注釈内容と、前記注釈データに基づく付箋を表示する位置とを含むことを特徴とする注釈管理システム。
【請求項３】
請求の範囲第２項に記載の注釈管理システムにおいて、
前記電子文書付加プログラムは、
前記選択電子文書を文書ブロックに分割し、ユーザが指定した位置に対応する文書ブロックを選択文書ブロックとする文書ブロック特定部と、
前記注釈データに関する入力データを入力する注釈データ入力部と、
前記入力データに基づいて前記選択文書ブロックに対応する前記注釈データを生成する注釈データ生成部と、
前記注釈データ生成部が生成した注釈データを前記データベースへ登録する注釈データ登録部と、
前記選択電子文書の注釈データを前記データベースから取得する注釈データ取得部と、
前記注釈データ取得部が取得した注釈データに基づく付箋を前記選択電子文書に重ねて表示する付箋表示部と、
前記付箋のうちユーザが指定した付箋に対応する注釈データを表示する注釈データ表示部と、
を備えたことを特徴とする注釈管理システム。
【請求項４】
請求の範囲第３項に記載の注釈管理システムにおいて、
前記注釈内容は、該注釈内容の種類がビデオまたはオーディオのメディアファイルの場合、さらに前記メディアファイルが再生される範囲を記述したメタファイルのＵＲＬ、またはメタファイルそのものを含むことを特徴とする注釈管理システム。
【請求項５】
請求の範囲第４項に記載の注釈管理システムにおいて、
さらに、前記メディアファイルを管理するメディアサーバを備え、
前記電子文書付加プログラムはさらに、
前記メディアファイルが公開されていない場合、前記メディアファイルを前記メディアサーバへアップロードするアップロード部を備えたことを特徴とする注釈管理システム。
【請求項６】
請求の範囲第５項に記載の注釈管理システムにおいて、
さらに、
前記選択電子文書を文書ブロックに分割する文書ブロック分割部と、
前記文書ブロックに含まれるキーワードを抽出するキーワード抽出部と、
前記文書ブロック中の前記キーワードの出現頻度を検出する文書キーワード出現頻度検出部と、
前記メディアファイルをメディアブロックに分割するメディアブロック分割部と、
前記メディアブロック中の音声データを用いて前記キーワードの音声認識を行う音声認識部と、
前記メディアブロック中の前記キーワードの出現頻度を検出するメディアキーワード出現頻度検出部と、
前記文書ブロック中の前記キーワードの出現頻度と、前記メディアブロック中の前記キーワードの出現頻度とに基づいて、前記文書ブロックと前記メディアブロックの対応付けを行う対応付け部と、
前記選択文書ブロックに対応して再生する前記メディアファイルの範囲を記述するメタファイルを生成するメタファイル生成部と、
該メタファイルをメディアサーバへアップロードするアップロード部と、
を備えてなるメディア解析サーバを、
備えたことを特徴とする注釈管理システム。
【請求項７】
請求の範囲第５項に記載の注釈管理システムにおいて、
さらに、
前記選択電子文書を文書ブロックに分割する文書ブロック分割部と、
前記文書ブロックに含まれるキーワードを抽出するキーワード抽出部と、
前記文書ブロック中の前記キーワードの出現頻度を検出する文書キーワード出現頻度検出部と、
前記メディアファイルをメディアブロックに分割するメディアブロック分割部と、
前記メディアブロック中の動画像データを用いて前記キーワードの文字認識を行う文字認識部と、
前記メディアブロック中の前記キーワードの出現頻度を検出するメディアキーワード出現頻度検出部と、
前記文書ブロック中の前記キーワードの出現頻度と、前記メディアブロック中の前記キーワードの出現頻度とに基づいて、前記文書ブロックと前記メディアブロックの対応付けを行う対応付け部と、
前記選択文書ブロックに対応して再生する前記メディアファイルの範囲を記述するメタファイルを生成するメタファイル生成部と、
該メタファイルをメディアサーバへアップロードするアップロード部と、
を備えてなるメディア解析サーバを、
備えたことを特徴とする注釈管理システム。
【請求項８】
請求の範囲第５項に記載の注釈管理システムにおいて、
前記電子文書付加プログラムはさらに、前記ユーザの入力に従って前記メディアファイルが再生される範囲を決定し、前記範囲を再生するためのメタファイルを生成するメタファイル生成部を備えたことを特徴とする注釈管理システム。
【請求項９】
請求の範囲第３項に記載の注釈管理システムにおいて、
前記電子文書付加プログラムはさらに、前記選択文書ブロックに含まれるキーワードを抽出するキーワード抽出部を備え、
前記注釈データはさらに、前記キーワードを含むことを特徴とする注釈管理システム。
【請求項１０】
請求の範囲第９項に記載の注釈管理システムにおいて、
前記文書変換部はさらに、予め定められた規則に従って文書ブロックの区切りを表すタグを前記変換電子文書へ付加することを特徴とする注釈管理システム。
【請求項１１】
請求の範囲第３項に記載の注釈管理システムにおいて、
前記注釈データはさらに、注釈者名と注釈ＩＤを含み、
前記注釈データ取得部は注釈者名または注釈ＩＤが指定された場合に、指定された注釈者名または注釈ＩＤが一致する注釈データのみを取得することを特徴とする注釈管理システム。
【請求項１２】
ネットワーク上のサーバに格納された電子文書を取得し、変換してネットワーク上のクライアントへ配信する文書変換サーバであって、
前記クライアントから要求された電子文書である選択電子文書を文書サーバから取得する選択電子文書取得部と、
注釈データの入力と表示を行うための電子文書付加プログラムを前記選択電子文書に付加した変換電子文書を生成する変換電子文書生成部と、
該変換電子文書を前記クライアントへ配信する変換電子文書配信部と、
を備えてなる文書変換サーバ。
【請求項１３】
請求の範囲第１２項に記載の文書変換サーバにおいて、
前記電子文書付加プログラムは、
前記選択電子文書を文書ブロックに分割し、ユーザが指定した位置に対応する文書ブロックを選択文書ブロックとする文書ブロック特定部と、
前記注釈データに関する入力データを入力する注釈データ入力部と、
前記入力データに基づいて前記選択文書ブロックに対応する前記注釈データを生成する注釈データ生成部と、
前記注釈データ生成部が生成した注釈データを前記データベースへ登録する注釈データ登録部と、
前記選択電子文書の注釈データを前記データベースから取得する注釈データ取得部と、
前記注釈データ取得部が取得した注釈データに基づく付箋を前記選択電子文書に重ねて表示する付箋表示部と、
前記付箋のうちユーザが指定した付箋に対応する注釈データを表示する注釈データ表示部と、
を備えたことを特徴とする注釈管理システム。
【請求項１４】
電子文書の注釈に関する情報である注釈データを管理する注釈管理方法であって、
電子文書を格納するステップと、
注釈データを電子文書毎に管理するステップと、
ブラウザから要求された電子文書である選択電子文書を文書サーバから取得するステップと、
注釈データの入力と表示を行うための電子文書付加プログラムを前記選択電子文書に付加した変換電子文書を生成するステップと、
前記変換電子文書の表示と前記変換電子文書に付加された電子文書付加プログラムの実行とユーザの入力の受付とを行うステップと、
ユーザの入力に従って注釈データを生成するステップと、
前記注釈データを登録するステップと、
を備えてなる注釈管理方法。
【請求項１５】
ユーザが選択した電子文書である選択電子文書に付加し、注釈データの入力と閲覧を行うための電子文書付加方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された電子文書付加プログラムであって、
前記選択電子文書を文書ブロックに分割し、ユーザが指定した位置に対応する文書ブロックを選択文書ブロックとするステップと、
前記注釈データに関する入力データを入力するステップと、
前記入力データに基づいて前記選択文書ブロックに対応する前記注釈データを生成するステップと、
生成した前記注釈データを前記データベースへ登録するステップと、
前記選択電子文書の注釈データをデータベースから取得するステップと、
前記注釈データに基づく付箋を前記選択電子文書に重ねて表示するステップと、
前記付箋のうちユーザが指定した付箋に対応する前記注釈データを表示するステップと、
をコンピュータに実行させる電子文書付加プログラム。
【請求項１６】
ネットワーク上のサーバに格納された電子文書を取得し、変換してネットワーク上のクライアントへ配信する文書変換方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された文書変換プログラムであって、
前記クライアントから要求された電子文書である選択電子文書を文書サーバから取得するステップと、
請求の範囲第１５項に記載の電子文書付加プログラムを前記選択電子文書に付加した変換電子文書を生成するステップと、
該変換電子文書を前記クライアントへ配信するステップと、
をコンピュータに実行させる文書変換プログラム。
【発明の詳細な説明】
【技術分野】  本発明は、ネットワーク上で共有される電子文書、特にインターネットやイントラネット上のＨＴＭＬ文書に対して複数のユーザが入力、閲覧できる注釈を、元のＨＴＭＬ文書を改変することなく管理する注釈管理システム、注釈管理方法、それに用いる文書変換サーバ、文書変換プログラム、電子文書付加プログラムに関するものである。
【背景技術】  従来、Ｗｅｂ上のＨＴＭＬ文書に付箋を貼る技術として、Ｗｅｂブラウザの補助ソフトがある。この補助ソフトを用いることにより、Ｗｅｂ上のＨＴＭＬ文書に対して付箋を追加することができ、ユーザ同士の付箋を閲覧することができる。しかし、この場合、付箋の閲覧には専用ソフトが必要となってしまう。また、テキストのみの付箋しか用いることができなかった。
一方、マルチメディアデータを注釈としてＨＴＭＬ文書に張り付ける技術がある。ＨＴＭＬ文書において、注釈を付ける部位、例えば段落に対して、＜Ａ＞タグで注釈となるマルチメディアデータのＵＲＬを記述してリンクを設定することにより、マルチメディアデータを注釈としてＨＴＭＬ文書に張り付けることができる。しかし、元のＨＴＭＬ文書の改変が伴うため、変更は容易ではないうえ、複数のユーザがＨＴＭＬ文書に注釈を付けることは困難となる。
また、従来、ある文書の文脈を解釈して電子文書への注釈を管理する技術がある。（例えば、特許文献１参照）。
【特許文献１】  特開平１１−２１９２４５号公報（第５−７頁、図１）
この技術によれば、電子文書上に手書きの注釈を付加して表示したり、電子文書のうち注釈を含む部分を強調して表示することができる。しかしながら、電子文書上に表示された情報以外の情報を表示する、複数のユーザで共有する、汎用のブラウザを利用する、等の仕組みは提供されない。
本発明は、このような問題を解決するためになされたものであり、元の電子文書の改変を行うことなく、複数のユーザがネットワーク上の一般的なブラウザを用いて付箋による注釈を追加し、必要な注釈を閲覧することができる注釈管理システム、注釈管理方法、それに用いる文書変換サーバ、文書変換プログラム、電子文書付加プログラムを提供することを目的とする。
【発明の開示】
本発明は、電子文書の注釈に関する情報である注釈データを管理する注釈管理システムであって、電子文書の表示と電子文書に付加された電子文書付加プログラムの実行とユーザの入力の受付とを行うブラウザを備えたクライアントと、電子文書を格納する文書サーバと、注釈データを電子文書毎に管理するデータベースと、前記クライアントから要求された電子文書である選択電子文書を文書サーバから取得し、注釈データの入力と表示を行うための電子文書付加プログラムを前記選択電子文書に付加した変換電子文書を生成し、該変換電子文書を前記クライアントへ配信する文書変換サーバとを備えてなるものである。
このような構成によれば、元の電子文書を改変することなく、複数のユーザが電子文書における注釈の追加、閲覧を行うことができる。
また、本発明に係る注釈管理システムにおいて、前記注釈データは、注釈となるメディアファイルのＵＲＬまたは注釈となるテキストからなる注釈内容と、前記注釈データに基づく付箋を表示する位置とを含むことを特徴とするものである。
このような構成によれば、メディアファイルやテキストを注釈として用いることができる。
また、本発明に係る注釈管理システムにおいて、前記電子文書付加プログラムは、前記選択電子文書を文書ブロックに分割し、ユーザが指定した位置に対応する文書ブロックを選択文書ブロックとする文書ブロック特定部と、前記注釈データに関する入力データを入力する注釈データ入力部と、前記入力データに基づいて前記選択文書ブロックに対応する前記注釈データを生成する注釈データ生成部と、前記注釈データ生成部が生成した注釈データを前記データベースへ登録する注釈データ登録部と、前記選択電子文書の注釈データを前記データベースから取得する注釈データ取得部と、前記注釈データ取得部が取得した注釈データに基づく付箋を前記選択電子文書に重ねて表示する付箋表示部と、前記付箋のうちユーザが指定した付箋に対応する注釈データを表示する注釈データ表示部とを備えたことを特徴とするものである。
このような電子文書付加プログラムを電子文書に付加することにより、ユーザは一般的なブラウザを用いて、注釈の入力、閲覧を行うことができる。なお、本実施の形態における付加プログラムは、電子文書付加プログラムのことである。
また、本発明に係る注釈管理システムにおいて、前記注釈内容は、該注釈内容の種類がビデオまたはオーディオのメディアファイルの場合、さらに前記メディアファイルが再生される範囲を記述したメタファイルのＵＲＬ、またはメタファイル相当の情報を含むことを特徴とするものである。
このような構成によれば、ビデオまたはオーディオのメディアファイルのうち、必要な部分だけを再生することにより、注釈として用いることができる。
また、本発明に係る注釈管理システムにおいて、さらに、前記メディアファイルを管理するメディアサーバを備え、前記電子文書付加プログラムはさらに、前記メディアファイルが公開されていない場合、前記メディアファイルを前記メディアサーバへアップロードするアップロード部を備えたことを特徴とするものである。
このような構成によれば、電子文書付加プログラムがメディアファイルのアップロードを行うことにより、ローカルのメディアファイルも容易に注釈として用いることができる。
また、本発明に係る注釈管理システムにおいて、さらに、前記選択電子文書を文書ブロックに分割する文書ブロック分割部と、前記文書ブロックに含まれるキーワードを抽出するキーワード抽出部と、前記文書ブロック中の前記キーワードの出現頻度を検出する文書キーワード出現頻度検出部と、前記メディアファイルをメディアブロックに分割するメディアブロック分割部と、前記メディアブロック中の音声データを用いて前記キーワードの音声認識を行う音声認識部と、前記メディアブロック中の前記キーワードの出現頻度を検出するメディアキーワード出現頻度検出部と、前記文書ブロック中の前記キーワードの出現頻度と、前記メディアブロック中の前記キーワードの出現頻度とに基づいて、前記文書ブロックと前記メディアブロックの対応付けを行う対応付け部と、前記選択文書ブロックに対応して再生する前記メディアファイルの範囲を記述するメタファイルを生成するメタファイル生成部と、該メタファイルをメディアサーバへアップロードするアップロード部とを備えてなるメディア解析サーバを備えたことを特徴とするものである。
また、本発明に係る注釈管理システムにおいて、さらに、前記選択電子文書を文書ブロックに分割する文書ブロック分割部と、前記文書ブロックに含まれるキーワードを抽出するキーワード抽出部と、前記文書ブロック中の前記キーワードの出現頻度を検出する文書キーワード出現頻度検出部と、前記メディアファイルをメディアブロックに分割するメディアブロック分割部と、前記メディアブロック中の動画像データを用いて前記キーワードの文字認識を行う文字認識部と、前記メディアブロック中の前記キーワードの出現頻度を検出するメディアキーワード出現頻度検出部と、前記文書ブロック中の前記キーワードの出現頻度と、前記メディアブロック中の前記キーワードの出現頻度とに基づいて、前記文書ブロックと前記メディアブロックの対応付けを行う対応付け部と、前記選択文書ブロックに対応して再生する前記メディアファイルの範囲を記述するメタファイルを生成するメタファイル生成部と、該メタファイルをメディアサーバへアップロードするアップロード部とを備えてなるメディア解析サーバを備えたことを特徴とするものである。
このような構成によれば、ビデオやオーディオのメディアファイルの再生開始時間と再生終了時間をユーザが指定することなく、適切な範囲だけを注釈として用いることができる。
また、本発明に係る注釈管理システムにおいて、前記電子文書付加プログラムはさらに、前記ユーザの入力に従って前記メディアファイルが再生される範囲を決定し、前記範囲を再生するためのメタファイルを生成するメタファイル生成部を備えたことを特徴とするものである。
このような構成によれば、ユーザが注釈に必要なメディアファイルの範囲を自由に指定することができる。
また、本発明に係る注釈管理システムにおいて、前記電子文書付加プログラムはさらに、前記選択文書ブロックに含まれるキーワードを抽出するキーワード抽出部を備え、前記注釈データはさらに、前記キーワードを含むことを特徴とするものである。
このような構成によれば、注釈データの閲覧時に、キーワードを用いて検索やフィルタリングを行うことができる。
また、本発明に係る注釈管理システムにおいて、前記文書変換部はさらに、予め定められた規則に従って文書ブロックの区切りを表すタグを前記変換電子文書へ付加することを特徴とするものである。
このような構成によれば、文書ブロックのサイズを調整することができると共に、文書ブロック中のキーワードの数を調整することができる。
また、本発明に係る注釈管理システムにおいて、前記注釈データはさらに、注釈者名と注釈ＩＤを含み、前記注釈データ取得部は注釈者名または注釈ＩＤが指定された場合に、指定された注釈者名または注釈ＩＤが一致する注釈データのみを取得することを特徴とするものである。
このような構成によれば、ＨＴＭＬ文書における注釈を、注釈者単位、注釈単位で指定することがＵＲＬによる表現で可能となり、さらにこのＵＲＬを、他のユーザへメールで通知することが可能となる。
また、本発明は、ネットワーク上のサーバに格納された電子文書を取得し、変換してネットワーク上のクライアントへ配信する文書変換サーバであって、前記クライアントから要求された電子文書である選択電子文書を文書サーバから取得する選択電子文書取得部と、注釈データの入力と表示を行うための電子文書付加プログラムを前記選択電子文書に付加した変換電子文書を生成する変換電子文書生成部と、該変換電子文書を前記クライアントへ配信する変換電子文書配信部とを備えてなるものである。
このような構成によれば、元の電子文書を改変することなく、複数のクライアントが容易に電子文書上に注釈データの入力や表示を行うことができる。なお、本実施の形態における文書取得部３１は選択電子文書取得部のことであり、文書変換部３２は変換電子文書生成部と変換電子文書配信部のことである。
また、本発明に係る文書変換サーバにおいて、前記電子文書付加プログラムは、前記選択電子文書を文書ブロックに分割し、ユーザが指定した位置に対応する文書ブロックを選択文書ブロックとする文書ブロック特定部と、前記注釈データに関する入力データを入力する注釈データ入力部と、前記入力データに基づいて前記選択文書ブロックに対応する前記注釈データを生成する注釈データ生成部と、前記注釈データ生成部が生成した注釈データを前記データベースへ登録する注釈データ登録部と、前記選択電子文書の注釈データを前記データベースから取得する注釈データ取得部と、前記注釈データ取得部が取得した注釈データに基づく付箋を前記選択電子文書に重ねて表示する付箋表示部と、前記付箋のうちユーザが指定した付箋に対応する注釈データを表示する注釈データ表示部とを備えたことを特徴とするものである。
このような電子文書付加プログラムを電子文書に付加することにより、ユーザは一般的なブラウザを用いて、注釈の入力、閲覧を行うことができる。
また、本発明は、電子文書の注釈に関する情報である注釈データを管理する注釈管理方法であって、電子文書を格納するステップと、注釈データを電子文書毎に管理するステップと、ブラウザから要求された電子文書である選択電子文書を文書サーバから取得するステップと、注釈データの入力と表示を行うための電子文書付加プログラムを前記選択電子文書に付加した変換電子文書を生成するステップと、前記変換電子文書の表示と前記変換電子文書に付加された電子文書付加プログラムの実行とユーザの入力の受付とを行うステップと、ユーザの入力に従って注釈データを生成するステップと、前記注釈データを登録するステップとを備えてなるものである。
また、本発明は、ユーザが選択した電子文書である選択電子文書に付加し、注釈データの入力と閲覧を行うための電子文書付加方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された電子文書付加プログラムであって、前記選択電子文書を文書ブロックに分割し、ユーザが指定した位置に対応する文書ブロックを選択文書ブロックとするステップと、前記注釈データに関する入力データを入力するステップと、前記入力データに基づいて前記選択文書ブロックに対応する前記注釈データを生成するステップと、生成した前記注釈データを前記データベースへ登録するステップと、前記選択電子文書の注釈データをデータベースから取得するステップと、前記注釈データに基づく付箋を前記選択電子文書に重ねて表示するステップと、前記付箋のうちユーザが指定した付箋に対応する前記注釈データを表示するステップとをコンピュータに実行させるものである。
また、本発明は、ネットワーク上のサーバに格納された電子文書を取得し、変換してネットワーク上のクライアントへ配信する文書変換方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された文書変換プログラムであって、前記クライアントから要求された電子文書である選択電子文書を文書サーバから取得するステップと、上述の電子文書付加プログラムを前記選択電子文書に付加した変換電子文書を生成するステップと、該変換電子文書を前記クライアントへ配信するステップとをコンピュータに実行させるものである。
なお、以上の電子文書付加プログラムと文書変換プログラムにおいて、コンピュータにより読取り可能な媒体は、ＲＯＭやＲＡＭなどの半導体メモリの他、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【図面の簡単な説明】  第１図は、本実施の形態における注釈管理システムの構成の一例を示すブロック図である。
第２図は、注釈管理システムにおけるブラウザの動作の一例を示すフローチャートである。
第３図は、ユーザログイン画面の一例を示す図である。
第４図は、ブラウザにおける変換ＨＴＭＬ文書の表示例を示す図である。
第５図は、付箋の表示例を示す図である。
第６図は、注釈種別がテキストである場合の注釈入力ダイアログの表示例を示す図である。
第７図は、注釈種別がテキストである場合の付箋表示ダイアログの表示例を示す図である。
第８図は、選択ＨＴＭＬ文書の一例を示すソースである。
第９図は、変換ＨＴＭＬ文書の一例を示すソースである。
第１０図は、付箋を表示するＨＴＭＬ要素の一例を示すソースである。
第１１図は、＜ＳＰＡＮ＞タグ挿入前の選択ＨＴＭＬ文書の一例を示すソースである。
第１２図は、＜ＳＰＡＮ＞タグ挿入後の選択ＨＴＭＬ文書の一例を示すソースである。
第１３図は、注釈種別がテキストである場合の注釈データの一例を示すソースである。
第１４図は、ＨＴＭＬ文書毎の管理データの一例を示すソースである。
第１５図は、注釈種別が静止メディアである場合の注釈データの一例を示すソースである。
第１６図は、ＡＳＸを用いる場合のメタファイルの一例を示すソースである。
第１７図は、注釈種別が連続メディアである場合の注釈データの一例を示すソースである。
第１８図は、メディア解析サーバにおけるメディア解析処理の動作の一例を示すフローチャートである。
第１９図は、文書ブロックとメディアブロックの関係を示す図である。
第２０図は、注釈者名と注釈ＩＤの指定が付加された変換ＨＴＭＬ文書の一例を示すソースである。
【発明を実施するための最良の形態】  以下、本発明の実施の形態について図面を参照して詳細に説明する。
まず、本実施の形態における注釈管理システムの構成について第１図を用いて説明する。第１図に示すように、注釈管理システムは、ユーザ管理サーバ１、文書サーバ２、文書変換サーバ３、クライアント４、データベース５、メディアサーバ６、メディア解析サーバ７から構成される。
文書変換サーバ３は、文書取得部３１と文書変換部３２を備える。クライアント４は、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）であり、ブラウザ４１を備える。本実施の形態では、電子文書としてＨＴＭＬ文書を例に挙げて説明する。ブラウザ４１は、ＨＴＭＬ文書が閲覧でき、Ｊａｖａ  Ｓｃｒｉｐｔを実行できる一般的なＷｅｂブラウザである。
次に、本実施の形態における注釈管理システムの動作の概要について、ブラウザの動作に従って説明する。第２図は、注釈管理システムにおけるブラウザの動作の一例を示すフローチャートである。まず、ユーザがブラウザ４１を用いてユーザ管理サーバ１にアクセスすると、ブラウザ４１は第３図に示すユーザログイン画面を表示する（Ｓ１）。ユーザがユーザＩＤとパスワードを入力すると、ブラウザ４１はユーザ管理サーバ１へユーザＩＤとパスワードを送信する。ユーザ管理サーバ１は、ユーザＩＤとパスワードでユーザを管理すると共に、ユーザがアクセス可能な文書サーバ２のドメインもしくはＨＴＭＬ文書を管理することにより、アクセス権のない文書へのアクセスを拒否することができる。ユーザ管理サーバ１がユーザを認証することにより、ブラウザ４１は注釈管理システムへのアクセス権を確保する。
次に、ユーザ管理サーバ１がアクセス可能な文書一覧をクライアント４へ送信すると、ブラウザ４１は文書一覧を表示する（Ｓ２）。ここで、文書一覧は、ユーザがＨＴＭＬ文書へアクセスするためのリンクが含まれている。各ＨＴＭＬ文書へのリンクは、ＨＴＭＬ文書が保存されている文書サーバ２に直接リンクするのではなく、文書変換サーバ３へアクセスし、文書サーバ２におけるＨＴＭＬ文書のＵＲＬを文書変換サーバ３へ渡す形で表されている。次にユーザがブラウザ４１上で、文書一覧から閲覧したいＨＴＭＬ文書を選択すると、ブラウザ４１は選択されたＨＴＭＬ文書のＵＲＬを文書変換サーバ３へ渡す。以後、選択されたＨＴＭＬ文書を選択ＨＴＭＬ文書と呼ぶ。ここで、文書一覧は他のサーバにあってもよく、ユーザがＨＴＭＬ文書へアクセスするためのリンクはＨＴＭＬ文書以外に、メール等で提供されても良い。
次に文書取得部３１は、選択ＨＴＭＬを文書サーバ２から取得する。次に文書変換部３２は、取得した選択ＨＴＭＬに文書変換処理を施して変換ＨＴＭＬ文書を生成し、変換文書をクライアント４へ送信する。文書変換処理とは、選択ＨＴＭＬに注釈の表示と入力を行うための付加プログラムと付箋表示のためのタグを付加する処理であり、この文書変換処理の詳細については後述する。ここで、文書変換サーバ３からクライアント４へ配信される文書のみに対して変換が行われており、文書サーバ２に格納されている元の文書は改変されない。
次に、ブラウザ４１は変換ＨＴＭＬ文書を表示する（Ｓ３）。ここで、選択ＨＴＭＬ文書がブラウザに表示される場合と、変換ＨＴＭＬ文書がブラウザに表示される場合で、ブラウザ上の本文の見た目は変わらない。この時、ブラウザ４１は変換ＨＴＭＬ文書内の付加プログラムに従って、データベース５を検索して選択ＨＴＭＬ文書に関する注釈データを取得し、変換ＨＴＭＬ文書中の対応する文書ブロックに付箋としてオーバレイ表示する。第４図は、変換ＨＴＭＬ文書を表示した画面の概要を示す図である。ここでは、変換ＨＴＭＬ文書上にすでに付箋５１，５２が貼り付けられている例を示す。
第５図は、付箋の表示例を示す図である。第５図に示すように、付箋には、注釈のタイトル６１と、注釈者名６２と、注釈種別を示すアイコン６３が表示される。注釈種別には、テキスト、イメージ、ビデオ、オーディオ等があり、イメージを静止メディア、ビデオとオーディオを連続メディアとする。第５図の例は、注釈種別がテキストである場合を示している。
ユーザは、表示されている変換ＨＴＭＬ文書上において、注釈入力を希望する場合に付箋を貼り付けたい位置をクリックし、注釈表示を希望する場合に閲覧したい付箋をクリックする。本実施の形態においては、注釈入力のためのクリックと、変換ＨＴＭＬ文書上におけるリンク先へのジャンプやＪａｖａ  Ｓｃｒｉｐｔ等によるイベント処理のためのクリックとを区別するために、注釈入力のためのクリックはＡＬＴキーを押下しながら行うものとする。
次にブラウザ４１は、ユーザが変換ＨＴＭＬ文書上をクリックしたか否かの判断を行う（Ｓ４）。クリックしない場合（Ｓ４，Ｎｏ）、処理Ｓ１２へ移行する。クリックした場合（Ｓ４，Ｙｅｓ）、ブラウザ４１はクリック位置が付箋であるか否かの判断を行う（Ｓ５）。
ユーザによるクリック位置が付箋ではない場合（Ｓ５，Ｎｏ）、ブラウザ４１はクリックと共にＡＬＴキーが押下されているか否かの判断を行う（Ｓ６）。クリックのみの場合（Ｓ６，Ｎｏ）、クリック位置がリンクであれば（Ｓ１４，Ｙｅｓ）、リンク先へジャンプし（Ｓ１５）、処理Ｓ３へ移行する。また、クリック位置がリンクでなければ（Ｓ１４，Ｎｏ）、クリック位置に応じたイベント処理を行い（Ｓ１６）、処理Ｓ１２へ移行する。
一方、クリックと共にＡＬＴキーが押下されている場合（Ｓ６，Ｙｅｓ）、ブラウザ４１は付加プログラムに従って、注釈入力ダイアログを表示する（Ｓ７）。第６図は、注釈入力ダイアログの一例を示す図である。第６図に示すように、注釈入力ダイアログには、テキストタブ７１ａ、イメージタブ７１ｂ、ビデオタブ７１ｃ、オーディオタブ７１ｄがある。ユーザが１つのタブを選択すると、注釈タイトル入力欄７２、注釈者入力欄７３、注釈種別を表すアイコン７４、注釈内容入力欄７５、注釈の登録を行うためのＯＫボタン７６、注釈の登録を中断するためのキャンセルボタン７７が表示される。ここで、注釈入力ダイアログにおいて、付箋の色と付箋中の文字の色を指定できるようにしても良い。
第６図は、ユーザがテキストタブを選択した場合の注釈入力ダイアログの一例を示している。ユーザがテキストタブ７１ａを選択した場合、注釈内容入力欄７５においてユーザが入力する注釈内容はテキストである。
第６図において、ユーザがイメージタブ７１ｂを選択した場合、注釈内容入力欄７５においてユーザが入力する注釈内容は、静止メディアが保存されているＵＲＬである。さらに、注釈内容入力欄７５は、注釈内容に対応する静止メディアを表示する。
第６図において、ユーザがビデオタブ７１ｃまたはオーディオタブ７１ｄを選択した場合、注釈内容入力欄７５においてユーザが入力する注釈内容は、連続メディアが保存されているＵＲＬと、連続メディア中の注釈に用いる範囲を表すセグメントからなる。セグメントは、例えば連続メディア中の再生開始時間と再生終了時間からなる。さらに、注釈内容入力欄７５は、注釈内容に対応する連続メディアを再生する。
ユーザが注釈の種類をタブで選択し、注釈タイトルと注釈者名と注釈内容の入力を行い、ＯＫボタン７６をクリックすると、ブラウザ４１は付加プログラムに従って、注釈者名、注釈日時、注釈タイトル、注釈内容、クリック位置等からなる情報を、入力データとして取得する（Ｓ８）。次に、あらかじめ定められた分割方法で選択文書を文書ブロックに分割し、文書中のクリック位置に対応する文書ブロックを選択文書ブロックとし、この選択文書ブロックから抽出される情報を、選択文書ブロックデータとして取得する選択文書ブロックデータ取得処理を行う（Ｓ９）。次に、入力データと選択文書ブロックデータから注釈データを生成し、データベース５に登録する注釈データ登録処理を行う（Ｓ１０）。選択文書ブロックデータ取得処理と注釈データ登録処理の詳細については後述する。次に、ブラウザ４１は付加プログラムに従って、変換ＨＴＭＬ文書の再表示を行うことにより、新たに登録された注釈データを読み込み、付箋として変換ＨＴＭＬ文書上に表示し（Ｓ１１）、処理Ｓ１２へ移行する。
また、クリック位置が付箋である場合（Ｓ５，Ｙｅｓ）、ブラウザ４１は付加プログラムに従って、クリックされた付箋の注釈データを表示し（Ｓ１３）、処理Ｓ１２へ移行する。ここで注釈種別がテキストであれば注釈内容のテキストを表示し、注釈種別がイメージであれば注釈内容のイメージを表示し、注釈種別がビデオであれば注釈内容のビデオを再生すると共に再生に必要なコントロールを表示し、注釈種別がオーディオであれば注釈内容のオーディオを再生すると共に再生に必要なコントロールを表示する。第７図は、注釈種別がテキストである場合の付箋表示ダイアログの一例を示す図である。第７図に示すように、付箋表示ダイアログには、タイトル８１、注釈者８２、注釈種別を表すアイコン８３、注釈内容８４、付箋表示ダイアログを閉じるためのＣＬＯＳＥボタン８５を表示する。第７図に示す例では、注釈内容８４としてテキストを表示する。
ここで、注釈種別が静止メディアであれば、注釈内容８４に静止メディアを表示する。また、注釈種別がビデオであれば、注釈内容８４にビデオと再生ボタン等を表示し、ユーザのコントロールを受け付ける。また、注釈種別がオーディオであれば、注釈内容８４に再生ボタン等を表示し、ユーザのコントロールを受け付ける。
注釈の入力、注釈の表示、またはイベント処理の後、ユーザがログアウトを希望しなければ（Ｓ１２，Ｎｏ）、処理Ｓ４へ戻る。ユーザがログアウトを希望すれば（Ｓ１２，Ｙｅｓ）、このフローを終了する。以上の注釈管理システムの動作によれば、ユーザは一般的なブラウザ４１を用いて、ＨＴＭＬ文書に関する注釈の入力や閲覧を行うことができる。
次に、文書変換処理について詳細に説明する。ここで、文書サーバ２において選択ＨＴＭＬ文書が保存されたＵＲＬをＵＲＬ−Ａ（例えば、ｈｔｔｐ：／／ｗｗｗ．ｈｔｍｌ−ｓｅｒｖｅｒ−２．ｃｏｍ／ｈｔｍｌ−ｄｏｃ−Ｄ１．ｈｔｍｌ）、実際に選択ＨＴＭＬ文書にアクセスするために文書一覧に記されたＵＲＬをＵＲＬ−Ｂ（例えば、ｈｔｔｐ：／／ｗｗｗ．ｔｒａｎｓ−ｓｅｒｖｅｒ−３．ｃｏｍ／ｔｒａｎｓ．ｃｇｉ？ｕｒｌ＝ｈｔｔｐ：／／ｗｗｗ．ｈｔｍｌ−ｓｅｒｖｅｒ−２．ｃｏｍ／ｈｔｍｌ−ｄｏｃ−Ｄ１．ｈｔｍｌ）とする。ここで、”ｗｗｗ．ｈｔｍｌ−ｓｅｒｖｅｒ−２．ｃｏｍ”は文書サーバ２のＵＲＬ、”ｗｗｗ．ｔｒａｎｓ−ｓｅｒｖｅｒ−３．ｃｏｍ”は文書変換サーバ３のＵＲＬ、ｔｒａｎｓ．ｃｇｉは文書変換サーバ３で動作しているＣＧＩ（Ｃｏｍｍｏｎ  Ｇａｔｅｗａｙ  Ｉｎｔｅｒｆａｃｅ）プログラムであり、ＵＲＬ−Ｂは、ＣＧＩプログラムにＵＲＬ−Ａを引数として渡すことを示している。
文書変換サーバ３のＣＧＩプログラムは、文書取得部３１と文書変換部３２から構成されている。まず、アクセスされた文書取得部３１は、ＵＲＬ−ＢからＵＲＬ−Ａを分離し、文書サーバ２からＵＲＬ−Ａに該当する選択ＨＴＭＬ文書を取得する。次に、文書変換部３２は、選択ＨＴＭＬ文書に付加プログラムを付加すると共に、ＨＴＭＬ文書上に付箋を張り付けるための＜ＤＩＶ＞タグを追加することにより、変換ＨＴＭＬ文書を生成する。本実施の形態では、付加プログラムをＪａｖａ  Ｓｃｒｉｐｔで実装する場合について説明する。
第８図は選択ＨＴＭＬ文書のソース、第９図は変換ＨＴＭＬ文書のソースを示す。第９図の例において、付加された付加プログラムは別のファイルとして存在しており、変換ＨＴＭＬ文書で”ａｎｎｏｔａｔｅ．ｊｓ”として指定されている。＜ＢＯＤＹ＞タグのイベントハンドラとして定義されている”ａｎｎｏｔａｔｅ”で始まる関数は、”ａｎｎｏｔａｔｅ．ｊｓ”の内部に実装される。また、＜ＤＩＶ  ＩＤ＝”ＯＶＥＲＬＡＹ”＞は付箋表示のために追加された＜ＤＩＶ＞タグであり、ＳＴＹＬＥ属性により変換ＨＴＭＬ文書の表示原点を原点としてレイアウトされている。この＜ＤＩＶ＞の子として、付箋表示に関するＨＴＭＬ要素を追加することにより付箋表示を実現する。
次に、ブラウザ４１は、文書変換サーバ３から変換ＨＴＭＬ文書を読み込むと、ＨＴＭＬ  ＤＯＭ（Ｄｏｃｕｍｅｎｔ  Ｏｂｊｅｃｔ  Ｍｏｄｅｌ）に展開して内部管理すると共に、Ｗｅｂブラウザ中のＪａｖａ  Ｓｃｒｉｐｔ処理系が付加プログラムを実行する。付加プログラムは、起動するとデータベース５にＵＲＬ−Ａを渡すことにより選択ＨＴＭＬ文書に関する注釈データを取得し、これをＨＴＭＬ要素に変換して＜ＤＩＶ  ＩＤ＝“ＯＶＥＲＬＡＹ”＞タグの子ノードとしてＤＯＭに追加する。例えば、注釈データのうち注釈タイトル「社外発表の注意点」だけを付箋として表示するには、第１０図に示すＨＴＭＬ要素を追加する。
付箋の表示位置は、ＳＴＹＬＥ属性内のｌｅｆｔ，ｔｏｐにより指定する。この位置は、注釈と対応する文書ブロックの位置をもとに計算で求めたものである。付箋のサイズはｗｉｄｔｈ，ｈｅｉｇｈｔにより指定されるが、これは表示する注釈タイトルに応じて計算で求める。以上が、文書変換処理の詳細である。
次に、選択文書ブロックデータ取得処理について詳細に説明する。ユーザが、変換ＨＴＭＬ文書上の付箋のない位置をクリックした場合、ブラウザ４１はクリックイベントを感知し、付加プログラム中のイベントハンドラ（第９図中のａｎｎｏｔａｔｅ＿ｍｏｕｓｅｕｐ（）関数）から注釈登録処理を起動する。次に付加プログラムは、予め定められた分割方法で選択文書を文書ブロックに分割し、クリックされた位置に対応する文書ブロックである選択文書ブロックを特定し、その選択文書ブロックからパス、キーワード、付箋位置オフセット等の情報を抽出する。文書ブロックの単位としては、ＨＴＭＬの＜Ｐ＞タグで示された段落、＜ＢＲ＞で区切られた文書などを用いる。
ここで、パスは、ＤＯＭツリー上で＜ＨＴＭＬ＞タグをルートとして選択文書ブロックへ至るまでの経路を示す。また、パスはチャイルドシーケンス番号で表現しても良い。例えば、“２／３／４”というパスは＜ＨＴＭＬ＞タグを起点に２番目の子ノードを探し、次にその子ノードの３番目子要素を探し出し、その４番目子要素を指示するパス表現である。キーワードは、選択文書ブロックに含まれる特徴的な代名詞であり、形態素解析等により求められる。閲覧時には、検索やフィルタリングのために用いられる。付箋位置オフセットは、選択文書ブロックの表示原点を起点として付箋を表示する位置を表す、二次元座標のオフセット値である。以上が、選択文書ブロックデータ取得処理の詳細である。
また、選択ＨＴＭＬ文書に適当な長さで＜Ｐ＞タグや＜ＢＲ＞タグが挿入されていない場合が多々存在する。この場合、注釈データのキーワードに含まれる単語が多数となり、検索で注釈データを絞りきれなくなることがある。この問題を解決するため、文書変換サーバ３が変換ＨＴＭＬ文書を生成する際に、任意の区切りの文書ブロック毎に＜ＳＰＡＮ＞タグを挿入する機能を有してもよい。＜ＳＰＡＮ＞タグはＩＤとして固有の接頭語、例えば”ＨＩＮＴ＿＊”が付けられる。例えば、選択ＨＴＭＬ文書中の「。」を文書ブロックの区切りとして検出する。第１１図は、＜ＳＰＡＮ＞タグ挿入前の選択ＨＴＭＬ文書の一例を示すソースである。第１２図は、＜ＳＰＡＮ＞タグ挿入後の選択ＨＴＭＬ文書の一例を示すソースである。
付加プログラムは、選択文書ブロックのＨＴＭＬ  ＤＯＭ要素のＩＤがこの接頭語だった場合、キーワードの抽出にはこの＜ＳＰＡＮ＞タグ内のテキストのみを対象とする。しかしパスと付箋位置オフセットに関しては＜ＳＰＡＮ＞によって階層が１段深くなるため、＜ＳＰＡＮ＞の親要素を基準とした値を用いる。これによりよりユーザの意図を反映したキーワードを抽出することが可能となる。
次に、注釈データ登録処理について詳細に説明する。まず付加プログラムは、入力データと選択文書ブロックデータを用いて注釈データを生成する。第１３図は、注釈種別がテキストである場合の注釈データの一例を示す。注釈データは、第１３図に示すように、注釈者名を＜ａｎｎｏｔａｔｏｒ＞タグで、注釈日時を＜ｄａｔｅ＞タグで、注釈タイトルを＜ｔｉｔｌｅ＞タグで、キーワードを＜ｋｅｙｗｏｒｄ＞タグで、パスを＜ｐａｔｈ＞タグで、付箋位置オフセットを＜ｏｆｆｓｅｔ＞タグで記す。また、注釈種別がテキストである場合、注釈内容としてユーザにより入力されたテキストを＜ｔｅｘｔ＞タグで記す。
次に付加プログラムは、生成した注釈データをデータベース５へ登録する。データベース５は、例えばＸＭＬを扱えるＲＤＢ（Ｒｅｌａｔｉｏｎａｌ  Ｄａｔａ  Ｂａｓｅ）もしくはＯＤＢ（Ｏｂｊｅｃｔ  Ｄａｔａ  Ｂａｓｅ）であり、ＨＴＭＬ文書毎に注釈データを集め、これを管理データとして管理する。第１４図は、ＨＴＭＬ文書毎の管理データの一例を示す。なお、＜ａｎｎｏｔａｔｅ＞タグにＩＤ属性が追加されているが、これはデータベース５が注釈データを管理するためにユニークに付与する注釈ＩＤである。
次に、注釈種別が静止メディアである場合の注釈データ登録処理について詳細に説明する。ユーザにより指定された静止メディアのメディアファイルがクライアント４上のローカルファイルである場合、付加プログラムは該当するメディアファイルをメディアサーバ６にアップロードし、メディアサーバ６上における該当するメディアファイルのＵＲＬを取得する。一方、ユーザにより指定された静止メディアのメディアファイルが既にネットワーク上のサーバに格納されている場合、該当するメディアファイルが保存されているＵＲＬを取得する。注釈内容は、取得したメディアファイルのＵＲＬとなる。
第１５図は、注釈種別が静止メディアである場合の注釈データの一例を示す。
第１５図に示した注釈データは、注釈種別がテキストである注釈データとほとんど同じ構成であるが、テキストを＜ｔｅｘｔ＞タグで記す代わりに、メディアファイルのＵＲＬを＜ｌｉｎｋ＞タグで記す点が異なる。以上が、注釈種別が静止メディアである場合の注釈データ登録処理の詳細である。
次に、注釈種別が連続メディアである場合の注釈登録処理について詳細に説明する。まず、静止メディアと同様、ユーザにより指定された連続メディアのメディアファイルがクライアント４上のローカルファイルである場合、付加プログラムは該当するメディアファイルをメディアサーバ６にアップロードし、メディアサーバ６上における該当するメディアファイルのＵＲＬを取得する。一方、ユーザにより指定された連続メディアのメディアファイルが既にネットワーク上のサーバに格納されている場合、該当するメディアファイルが保存されているＵＲＬを取得する。また、連続メディア中の注釈に用いる範囲を指定するセグメント指定には、ユーザの入力による手動セグメント指定と、メディア解析サーバ７による自動セグメント指定がある。
ここで、手動セグメント指定について説明する。ユーザが手動セグメント指定を選択すると、ユーザは注釈入力ダイアログ上でセグメントの再生開始時間と再生終了時間を数値入力するか、注釈入力ダイアログ上で連続メディアを再生しながら再生開始位置と再生終了位置をＧＵＩ入力する。付加プログラムは、セグメントが指定されると、セグメント再生のメタファイルを作成し、メディアサーバ６にアップロードする。メタファイルとしてはＡＳＸ（Ａｄｖａｎｃｅｄ  Ｓｔｒｅａｍ  Ｒｅｄｉｒｅｃｔｏｒ）やＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｅｄ  Ｌａｎｇｕａｇｅ）を用いることができる。
第１６図は、ＡＳＸを用いる場合のメタファイルの一例を示す。第１６図に示したメタファイル”ｍｅｔａ００３．ａｓｘ”において、＜Ｒｅｆ＞タグのＨＲＥＦ属性は、メディアサーバ６上の連続メディア”ｖｏｉｃｅ００２．ｗｍａ”にストリーミングでアクセスするためのＵＲＬを示す。＜ＳｔａｒｔＴｉｍｅ＞と＜Ｄｕｒａｔｉｏｎ＞のＶＡＬＵＥ属性は、セグメントの再生開始時間と再生時間（再生終了時間−再生開始時間）を示す。
次に付加プログラムは、メディアサーバ６にアップロードされたメタファイルのＵＲＬを取得し、注釈データを生成する。第１７図は、注釈種別が連続メディアである場合の注釈データの一例を示す。第１７図に示した注釈データは、注釈種別が静止メディアである注釈データとほとんど同じ構成であるが、＜ｌｉｎｋ＞タグで記すＵＲＬは、静止メディアでなくメタファイルとなる点が異なる。第１７図では、第１６図に示したメタファイル”ｍｅｔａ００３．ａｓｘ”のＵＲＬを用いている。
以上が、手動セグメント指定の場合の注釈データ登録処理である。なお、上述した例においては注釈データの外にメタファイルを用意したが、メタファイルに格納されている情報を注釈データ内に持ち、注釈を表示する際にメタファイル相当の閲覧情報を自動生成しても良いことは自明である。
次に、自動セグメント指定について説明する。ユーザが自動セグメント指定を選択すると、付加プログラムは、選択ＨＴＭＬ文書のＵＲＬと選択文書ブロックと注釈に用いるメディアファイルのＵＲＬをメディア解析サーバ７へ通知する。次にメディア解析サーバ７は、選択ＨＴＭＬ文書と連続メディアファイルを取得し、メディア解析処理によって選択文書ブロックに対応するセグメントを決定する。
ここで、メディア解析サーバ７におけるメディア解析処理について説明する。第１８図は、メディア解析サーバにおけるメディア解析処理の動作の一例を示すフローチャートである。まず、メディア解析サーバ７は、選択ＨＴＭＬ文書を読み込む（Ｓ２１）。次に、選択ＨＴＭＬ文書を予め定められた分割方法で複数の文書ブロックｂｎ（ｎ＝１，２，…Ｎ）に分割する（Ｓ２２）。次に、形態素解析によって文書ブロックｂｎ毎のキーワード集合Θｎを抽出する（Ｓ２３）。次に、文書ブロックｂｎ毎のキーワード集合Θｎの出現頻度を求めることにより、あるキーワードθ（θ∈Θｎ）を含む文が文書ブロックｂｎに属する場合の確からしさをあらわす指標を求め、キーワードの重み付けＷｎ，θとする（Ｓ２４）。次に、連続メディアに対して音声解析を行うか否かの判断を行う（Ｓ２５）。
音声解析を行う場合（Ｓ２５，Ｙｅｓ）、メディア解析サーバ７は、連続メディア中の音声データを読み込む（Ｓ２６）。次に、音声データ中の無音区間を検出し、無音区間により区切られるＫ個の連続音声区間に分割し、メディアブロックνｋとする（Ｓ２７）。次に、各メディアブロックについてキーワードの発話の有無をワードスポッティングなどの音声認識処理により検出する。メディアブロックνｋにおいて文書ブロックｂｎ中のキーワードθ（θ∈Θｎ）が出現した頻度を求め、キーワード出現頻度βｋ，ｎ，θとし（Ｓ２８）、処理Ｓ２９へ移行する。
一方、音声解析を行わない場合（Ｓ２５，Ｎｏ）、メディア解析サーバ７は、連続メディアに対して文字解析を行うか否かの判断を行う（Ｓ３１）。文字解析を行う場合（Ｓ３１，Ｙｅｓ）、メディア解析サーバ７は、連続メディア中の動画像データを読み込み（Ｓ３２）、動画像データをＫ個のシーンに分割し、メディアブロックνｋとする（Ｓ３３）。ここで、シーンへの分割は動画像データを先頭から一定の時間毎、例えば５秒毎に分割したものでもよいし、既存のシーンチェンジ検出技術を用いてシーンの変わり目を検出して求めてもよい。シーンチェンジ検出の簡単な実装としては、隣り合うフレーム画像を比較し、画素ごとの輝度値の差の絶対値和を求め、これが閾値を越えたところでシーンを分割する手法などがある。
次に、各メディアブロックに登場するテロップや字幕を用いて文字認識を行いキーワードの文字の有無を検出する。メディアブロックνｋにおいて文書ブロックｂｎ中のキーワードθ（θ∈Θｎ）が出現した頻度を、キーワード出現頻度βｋ，ｎ，θとし（Ｓ３４）、処理Ｓ２９へ移行する。一方、文字解析を行わない場合（Ｓ３１，Ｎｏ）、フローを終了する。
次にメディア解析サーバ７は、文書ブロックｂｎとメディアブロックνｋの対応付けを行う（Ｓ２９）。Ｋ個のメディアブロックνｋをＮ個の文書ブロックｂｎに先頭からＸｎ個づつ配分することで対応情報を生成する。この関係を第１９図に示す。また、配分の確からしさを以下の（１）式で表す。
2005029353.tif 000003
このとき最適の配分はＥ（ｘ１，ｘ２，…，ｘＮ）の値を最大化する｛ｘ１，ｘ２，…，ｘＮ｝の組み合わせとなる。ここでｇｎ（ｋｎ−１，ｘＮ）は、ｋｎ−１に続くｘｎ個のメディアブロックを文書ブロックｂｎに配分したときに得られる文書ブロック毎の利益（文書ブロック毎の配分の確からしさ）を表す関数であり、重み係数Ｗｎ，θ，キーワード出現頻度βｋ，ｎ，θから決定される。また（１）式を最大化する｛ｘ１，ｘ２，…，ｘＮ｝は動的計画法（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｍｅｔｈｏｄ）により求めることができる。
以上の対応付けを行うことにより、文書ブロックｂｎに対応するセグメントの再生開始時間ｓｎは、文書ブロックｂｎに配分された最初のメディアブロックの再生開始時間で表される。なお、文書ブロックｂｎのキーワードが発話された連続音声区間全てを包含する区間をセグメントに割り当ててもよい。その場合、部位間で重複する音声区間がセグメントとして割り当てられる可能性がある。
メディア解析サーバ７は、決定したセグメントを第１６図に示したようなメタファイルで記述する（Ｓ３０）。次に、生成したメタファイルをメディアサーバ６にアップロードする。次に、メディアサーバ６上のメタファイルのＵＲＬを取得し、このＵＲＬを用いて第１７図に示したような注釈データを生成し、データベース５に登録する。ここで、注釈データ中のキーワードは、文書ブロックｂｎ中のキーワードθ（θ∈Θｎ）をそのまま用いてもよい。以上が、自動セグメント指定の場合の注釈データ登録処理である。
なお、本実施の形態では、上述したように選択ＨＴＭＬ文書にアクセスするために文書一覧に記されたＵＲＬ−Ｂは、文書サーバ２におけるＨＴＭＬ文書のＵＲＬを文書変換サーバ３へ渡す形、ＵＲＬ−Ｂ（例えば、ｈｔｔｐ：／／ｗｗｗ．ｔｒａｎｓ−ｓｅｒｖｅｒ−３．ｃｏｍ／ｔｒａｎｓ．ｃｇｉ？ｕｒｌ＝ｈｔｔｐ：／／ｗｗｗ．ｈｔｍｌ−ｓｅｒｖｅｒ−２．ｃｏｍ／ｈｔｍｌ−ｄｏｃ−Ｄ１．ｈｔｍｌ）で表されるとした。この場合、選択ＨＴＭＬ文書に関する全ての注釈データを、データベース５から検索して付箋として表示する。ここで、選択ＨＴＭＬ文書を閲覧する際、注釈者名や注釈ＩＤを指定することにより、該当する注釈者名や注釈ＩＤを持つ注釈データだけを表示するようにしても良い。
ここで、注釈者名と注釈ＩＤを指定したＵＲＬ−Ｃ（例えば、ｈｔｔｐ：／／ｗｗｗ．ｔｒａｎｓ−ｓｅｒｖｅｒ−３．ｃｏｍ／ｔｒａｎｓ．ｃｇｉ？ｕｒｌ＝ｈｔｔｐ：／／ｗｗｗ．ｈｔｍｌ−ｓｅｒｖｅｒ−２．ｃｏｍ／ｈｔｍｌ−ｄｏｃ−Ｄ１．ｈｔｍｌ＆ａｎｎｏｔａｔｏｒ＝清水＆ｉｄ＝００００１）を、選択ＨＴＭＬ文書を閲覧する際のリンク先とする。このＵＲＬは、文書変換サーバ３で動作するＣＧＩ、ｔｒａｎｓ．ｃｇｉの引数として、注釈者名と注釈ＩＤを含んでいる。このＵＲＬでアクセスされた文書変換サーバ３は、付加プログラムの”ａｎｎｏｔａｔｅ＿ｉｎｉｔ”関数の引数として注釈者名と注釈ＩＤを含めた、変換ＨＴＭＬ文書を生成する。第２０図は、この場合の変換ＨＴＭＬ文書の一例を示す。
次に、ブラウザ４１は付加プログラムに従って、変換ＨＴＭＬ文書に記された注釈者名や注釈ＩＤを持つ注釈データをデータベース５から読み込み、付箋として選択ＨＴＭＬ文書にオーバレイ表示する。ＨＴＭＬ文書における注釈を、注釈者単位、注釈単位で指定することがＵＲＬによる表現で可能となり、さらにこのＵＲＬを、他のユーザへメールで通知することが可能となる。
【産業上の利用の可能性】
以上説明したように本発明によれば、特定文書に対してコメントや関連ＡＶデータを貼り付けてコミュニケーションを行うグループウエアや、教材ページに対して質問を書き込んでいく教師と生徒との遠隔教育システムとして利用できる。また会議議事録に対して会議で録音した音声データを対応付けることにより、会議に参加しなかったメンバーにも会議の場の雰囲気を伝える情報共有システムに利用できる。
【図１】
2005029353.tif 000004
【図２】
2005029353.tif 000005
【図３】
2005029353.tif 000006
【図４】
2005029353.tif 000007
【図５】
2005029353.tif 000008
【図６】
2005029353.tif 000009
【図７】
2005029353.tif 000010
【図８】
2005029353.tif 000011
【図９】
2005029353.tif 000012
【図１０】
2005029353.tif 000013
【図１１】
2005029353.tif 000014
【図１２】
2005029353.tif 000015
【図１３】
2005029353.tif 000016
【図１４】
2005029353.tif 000017
【図１５】
2005029353.tif 000018
【図１６】
2005029353.tif 000019
【図１７】
2005029353.tif 000020
【図１８】
2005029353.tif 000021
【図１９】
2005029353.tif 000022
【図２０】
2005029353.tif 000023
【国際調査報告】
2005029353.tif 000024
2005029353.tif 000025
2005029353.tif 000026
2005029353.tif 000027