(57)【特許請求の範囲】
【請求項１】
記述内容を含むドキュメントデータと当該記述内容に係る注釈を含む透過性の注釈レイヤとを重ねて画面表示するドキュメント処理装置において、
ユーザからの音声入力を受け付ける音声入力手段と、
受け付けた音声データを含む注釈レイヤを作成時刻情報を付加して作成し、当該注釈レイヤが参照するとして既存の注釈レイヤがユーザ指定された場合に当該既存の注釈レイヤを示す参照レイヤ情報を更に付加する注釈作成手段と、
作成された注釈レイヤをユーザ指定されたドキュメントデータに関連付けて保存する文書情報保持手段と、
ユーザにより選択された注釈レイヤを基点として参照関係にある各注釈レイヤを参照レイヤ情報に基づいて展開し、当該展開した各注釈レイヤを表示させるスケジュールを各注釈レイヤの作成時刻順に管理する再生制御手段と、
前記再生制御手段による管理下に、前記文書情報保持手段に保持された前記展開された各注釈レイヤをその作成時刻順に表示させる表示用データを作成する表示データ作成手段と、
作成された表示用データに基づいて各注釈レイヤをその注釈レイヤが関連付けられたドキュメントデータに作成時刻順に重ねて画面表示する文書情報表示手段と、
画面表示された注釈レイヤ中の音声データに基づいて音声を再生出力する音声データ再生手段と、
を備えたことを特徴とするドキュメント処理装置。
【請求項２】
請求項１に記載のドキュメント処理装置において、
ユーザからの音声入力に同期した描画入力を受け付ける描画入力手段を有し、
前記注釈作成手段は受け付けた描画データと音声データとを関係付けて含む注釈レイヤを作成し、
前記音声データ再生手段は注釈レイヤ中の描画データに基づく画像が画面表示されるに同期して対応する音声データに基づいて音声を再生出力することを特徴とするドキュメント処理装置。
【請求項３】
請求項１又は請求項２に記載のドキュメント処理装置において、
ユーザからの音声入力に同期したテキスト入力を受け付けるコメント入力手段を有し、
前記注釈作成手段は受け付けたテキストデータと音声データとを関係付けて含む注釈レイヤを作成し、
前記音声データ再生手段は注釈レイヤ中のテキストデータに基づくコメントが画面表示されるに同期して対応する音声データに基づいて音声を再生出力することを特徴とするドキュメント処理装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載のドキュメント処理装置において、
画面表示するか否かの注釈レイヤ毎の設定入力をユーザから受け付ける表示設定入力手段と、
受け付けた設定入力に応じて非表示設定された注釈レイヤを除いた表示用データを前記表示データ作成手段に作成させる表示状態設定手段と、
を有したことを特徴とするドキュメント処理装置。
【請求項５】
記述内容を含むドキュメントデータと当該記述内容に係る注釈を含む透過性の注釈レイヤとを重ねて画面表示するドキュメント処理装置において、
作成時刻情報および注釈レイヤが他の注釈レイヤを参照している場合の当該他の注釈レイヤを示す参照レイヤ情報が付加された複数の注釈レイヤをドキュメントデータに関連付けて保持する文書情報保持手段と、
ユーザにより選択された注釈レイヤを基点として参照関係にある各注釈レイヤを参照レイヤ情報に基づいて展開し、当該展開した各注釈レイヤを表示させるスケジュールを各注釈レイヤの作成時刻順に管理する再生制御手段と、
前記再生制御手段による管理下に、前記文書情報保持手段に保持された前記展開された各注釈レイヤをその作成時刻順に表示させる表示用データを作成する表示データ作成手段と、
作成された表示用データに基づいて各注釈レイヤをその注釈レイヤが関連付けられたドキュメントデータに作成時刻順に重ねて画面表示する文書情報表示手段と、
を備えたことを特徴とするドキュメント処理装置。
【請求項６】
請求項５に記載のドキュメント処置装置において、
注釈の表示期間指示をユーザから受け付ける表示開始時期入力手段を有し、
前記再生制御手段は受け付けた表示期間に合致する注釈レイヤをその作成時刻順に表示させる表示用データを前記表示データ作成手段に作成させることを特徴とするドキュメント処理装置。
【請求項７】
音声入力手段、注釈作成手段、文書情報保持手段、再生制御手段、表示データ作成手段、文書情報表示手段、音声データ再生手段を備え、記述内容を含むドキュメントデータと当該記述内容に係る注釈を含む透過性の注釈レイヤとを重ねて画面表示するドキュメント処理装置におけるドキュメント処理方法において、
前記音声入力手段が、ユーザからの音声入力を受け付け、
前記注釈作成手段が、前記音声入力手段が受け付けた音声データを含む注釈レイヤをその作成時刻情報を付加して作成し、当該注釈レイヤが参照するとして既存の注釈レイヤがユーザ指定された場合に当該既存の注釈レイヤを示す参照レイヤ情報を更に付加し、
前記文書情報保持手段が、作成された注釈レイヤをユーザ指定されたドキュメントデータに関連付けて保存し、
前記再生制御手段が、ユーザにより選択された注釈レイヤを基点として参照関係にある各注釈レイヤを参照レイヤ情報に基づいて展開し、当該展開した各注釈レイヤを表示させるスケジュールを各注釈レイヤの作成時刻順に管理し、
前記表示データ作成手段が、前記再生制御手段による管理下に、前記文書情報保持手段に保持された前記展開された各注釈レイヤをその作成時刻順に表示させる表示用データを作成し、
前記文書情報表示手段が、前記表示データ作成手段が作成した表示用データに基づいて各注釈レイヤをその注釈レイヤが関連付けられたドキュメントデータに作成時刻順に重ねて画面表示し、
前記音声データ再生手段が、画面表示された注釈レイヤ中の音声データに基づいて音声を再生出力することを特徴とするドキュメント処理方法。
【請求項８】
文書情報保持手段、再生制御手段、表示データ作成手段、文書情報表示手段を備え、記述内容を含むドキュメントデータと当該記述内容に係る注釈を含む透過性の注釈レイヤとを重ねて画面表示するドキュメント処理装置におけるドキュメント処理方法において、
前記文書情報保持手段が、作成時刻情報および注釈レイヤが他の注釈レイヤを参照している場合の当該他の注釈レイヤを示す参照レイヤ情報が付加された複数の注釈レイヤをドキュメントデータに関連付けて保存し、
前記再生制御手段が、ユーザにより選択された注釈レイヤを基点として参照関係にある各注釈レイヤを参照レイヤ情報に基づいて展開し、当該展開した各注釈レイヤを表示させるスケジュールを各注釈レイヤの作成時刻順に管理し、
前記表示データ作成手段が、前記再生制御手段による管理下に、前記文書情報保持手段に保持された前記展開された各注釈レイヤをその作成時刻順に表示させる表示用データを作成し、
前記文書情報表示手段が、前記表示データ作成手段が作成した表示用データに基づいて各注釈レイヤをその注釈レイヤが関連付けられたドキュメントデータに作成時刻順に重ねて画面表示することを特徴とするドキュメント処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の電子的なレイヤデータから構成されたドキュメントを処理するドキュメント処理装置及び処理方法に関し、特に、注釈として音声データを含んだドキュメントの再生や、注釈を或る条件の下で再生するドキュメント処理装置及び処理方法に関する。
【０００２】
【従来の技術】
電子データとして構成されるドキュメントには、記述内容を含む透過的レイヤを複数重ねて画面に表示することにより一体のドキュメントとして構成されたものがあり、このようなドキュメントでは、ベースとなる記述を含んだレイヤにコメントなどの注釈を含んだレイヤを追加することによりドキュメントに記述内容を追加して行くことができる。
【０００３】
より具体的には、ドキュメントは透明な複数のレイヤから成っており、ユーザは各レイヤ上に任意の書き込みを行うことができる。これら複数のレイヤを重ねて画面表示することで各レイヤの記述内容を重ねて表示し、１つのドキュメントとして画面表示することができる。
また、ユーザがコメント等の新たな記述内容をドキュメントに追加するときには、新規レイヤ（作業用レイヤ）を一時的に作成してこれにコメントを書き込み、当該新規レイヤを確定操作によりドキュメントに追加することで、ドキュメントに新たな記述内容が追加される。
【０００４】
ここで、会議の形態を考えると、従来の会議では、関係者が会議室に集まり、資料ドキュメントを出席者に配布したり、ＯＨＰで資料ドキュメントを投影しながら会議が行われる。また、最近では、プロジェクターに接続されたＰＣを用いて電子文書ドキュメントを表示しながら会議が行われることも多い。
会議中には、資料ドキュメントをもとにして発表者がプレゼンテーションを行い、引き続き質疑応答やディスカッションなどが行われる。
【０００５】
一方、インターネットやイントラネットが急速に浸透してきた今日のネットワーク社会では、従来と異なったワークスタイルで仕事が行われるようになってきており、特にネットワークを介したコミュニケーションを通じて、遠隔地に勤務するもの同士が共同で仕事を行うようになってきている。
このようなワークスタイルでの会議を考えた場合、従来のように会議室等に一堂に会して同期的かつ対面形式で行う会議より、むしろネットワークを通じて非同期的かつ非対面で行う会議の機会が増加していく傾向にある。
【０００６】
このような非同期的かつ非対面で行う会議に適用できるものとして、マイクロソフト社のパワーポイント（PowerPoint：登録商標）が知られている。
このパワーポイントでは、従来プレゼンテーション時に説明者が行っていた説明を、作成するプレゼンテーション用電子文書ドキュメントに予め情報として含めておく必要があり、そのためには複雑なオーサリング作業が必要となるが、音声注釈付きのプレゼンテーション用電子文書ドキュメントを作成でき、また、音声に同期したアニメーション効果を設定することも可能で、視聴者は、その電子文書ドキュメントを音声注釈付きで表示／再生することができる。
【０００７】
しかしながら、このパワーポイントでは、プレゼンテーション時の自然行為（すなわち、音声と同期した注釈の書込みや再生）ができず、話し手が聞き手に情報を伝える一方向のコミュニケーションであり、プレゼンテーションを視聴した後に、引き続きディスカッションを行いたい場合は、例えば電子メールなどの別の手段を用いなければならないものであった。
このため、ディスカッションはテキストデータ中心の表現力の乏しいものとなり、また、プレゼンテーションの内容とディスカッションの内容や論点を密接に関連付けることが難しいものであった。
【０００８】
これに対して、特開平９−２３７２６４号公報に記載される発明では、ドキュメントに注釈としてコメントを書き込むことができ、また、音声を入力しながらコメントを書き込むことができる。そして、このドキュメントを表示再生するとドキュメントとともに音声による注釈が再生され、音声に同期して書きこんだコメントが表示される。
しかしながら、この発明にあっても、話し手が聞き手に情報を伝える一方向のコミュニケーションであり、プレゼンテーションを視聴した後に、引き続きディスカッションを行いたい場合は、例えば電子メールなどの別の手段を用いなければならないものであった。
【０００９】
【発明が解決しようとする課題】
本発明は上記従来の事情に鑑みなされたもので、音声注釈付きの電子ドキュメントを簡便に作成でき、これを再生することができるドキュメント処理装置及び処理方法を提供することを目的とする。
また、本発明は、音声入力と同期したコメントや画像の書き込み及び再生ができるドキュメント処理装置及び処理方法を提供することを目的とする。
また、本発明は、プレゼンテーションやディスカッションなどの種々な条件にしたがった注釈の表示再生をすることができるドキュメント処理装置及び処理方法を提供することを目的とする。
なお、本発明の更なる目的は、以下の説明において明らかなところである。
【００１０】
【課題を解決するための手段】
本発明は、記述内容を含む透過的レイヤを複数重ねて画面に表示することにより、当該複数のレイヤに記述された内容からなるドキュメントを構成して画面表示するドキュメント処理装置であり、音声入力手段によりユーザからの音声入力を受け付けると、注釈作成手段がこの音声データを含む注釈レイヤを作成し、文書情報保持手段が当該注釈レイヤを現時点で画面表示されている等のユーザ指定されたドキュメントに関連付けて保存する。そして、再生処理においては、表示データ作成手段が文書情報保持手段に保持されたレイヤデータから表示用ドキュメントデータを作成し、文書情報表示手段が作成された表示用データに基づいて複数の透過性レイヤを重ねて成るドキュメントを画面表示するととともに、音声データ再生手段が画面表示されたドキュメント中の音声データに基づいて音声を再生出力する。
【００１１】
また、本発明は、ユーザからの音声入力に同期した記述に付したアンダーラインや記述を囲む自由曲線などの描画入力を受け付け付ける描画入力手段を有し、注釈作成手段はこの描画データと音声データとを関係付けて含む注釈レイヤを作成する。そして、音声データ再生手段はドキュメント中の描画データに基づく画像が画面表示されるに同期して対応する音声データに基づいて音声を再生出力する。
また、本発明は、ユーザからの音声入力に同期したテキスト入力を受け付け付けるコメント入力手段を有し、注釈作成手段はこのテキストデータと音声データとを関係付けて含む注釈レイヤを作成する。そして、音声データ再生手段はドキュメント中のテキストデータに基づくコメントが画面表示されるに同期して対応する音声データに基づいて音声を再生出力する。
【００１２】
また、本発明は、画面表示するか否かのレイヤ毎の設定入力をユーザから受け付ける表示設定入力手段と、受け付けた設定入力に応じて非表示設定されたレイヤを除いた表示用ドキュメントデータを表示用ドキュメントデータ作成手段に作成させる表示状態設定手段とを有し、表示することが設定されている注釈だけを再生出力する。
【００１３】
また、本発明は、文書情報保持手段には作成時刻情報が付加された注釈レイヤがドキュメントに関連付けて保存されており、再生制御手段が注釈レイヤをその作成時刻順に管理して、この管理下で、表示データ作成手段が文書情報保持手段に保持されたレイヤデータから注釈レイヤをその作成時刻順に表示させる表示用ドキュメントデータを作成して、文書情報表示手段が作成された表示用データに基づいて注釈レイヤを順次画面表示させて複数の透過性レイヤを重ねて成るドキュメントを画面表示する。
また、本発明は、注釈の表示期間指示をユーザから受け付ける表示開始時期入力手段を有し、再生制御手段は受け付けた表示期間に合致する注釈レイヤをその作成時刻順に表示させる表示用ドキュメントデータを表示データ作成手段に作成させ、一連の注釈を或る時間の範囲に制限して再生する。
【００１４】
また、本発明は、文書情報保持手段には目的種別情報が付加された注釈レイヤをドキュメントに関連付けて保存しており、再生制御手段が注釈レイヤをその目的種別情報に基づいて管理する。そして、目的入力手段により用途やプレゼンテーションの対象者などの表示する注釈の目的指示をユーザから受け付けると、再生制御手段による管理下に、表示データ作成手段が文書情報保持手段に保持されたレイヤデータから受け付けた目的指示に合致する注釈レイヤを表示させる表示用ドキュメントデータを作成し、文書情報表示手段が作成された表示用データに基づいて注釈レイヤを画面表示させて複数の透過性レイヤを重ねて成るドキュメントを画面表示する。
【００１５】
また、本発明は、文書情報保持手段には作成者情報が付加された注釈レイヤをドキュメントに関連付けて保存しており、再生制御手段が注釈レイヤをその作成者情報に基づいて管理する。そして、作成者入力手段により表示する注釈の作成者指示をユーザから受け付けると、再生制御手段による管理下に、表示データ作成手段が文書情報保持手段に保持されたレイヤデータから受け付けた作成者指示に合致する注釈レイヤを表示させる表示用ドキュメントデータを作成し、文書情報表示手段が作成された表示用データに基づいて注釈レイヤを画面表示させて複数の透過性レイヤを重ねて成るドキュメントを画面表示する。
【００１６】
【発明の実施の形態】
本発明を、図に示す一実施例を用いて具体的に説明する。
図１には本実施例に係るドキュメント処理装置の構成を示してある。なお、本例では、下記に説明する各機能手段はコンピュータハードウエア資源を用いて本発明に係るプログラムを実行することにより構成されている。
【００１７】
ユーザイベント入力手段１は、キーボードやマウスなどのユーザ入力インタフェース機器を有しており、後述するように、注釈コメントなどのテキストデータ、注釈のためのアンダーラインや矢印などの描画データ、レイヤに対する表示或いは非表示の設定入力、表示開始の期間入力、表示目的の設定入力、表示するレイヤ作成者の設定入力、その他の各種指示入力をユーザからのイベント入力として受け付ける。
ユーザイベント解釈手段２は、ユーザイベント入力手段１から受け付けたユーザイベントを解釈して、対応する機能手段へ当該イベント指示を入力する。
【００１８】
音声入力手段３は、マイクロホンを有しており、ユーザが発した音声コメントデータを受け付ける。
注釈作成手段４は、上記のようにして受け付けたテキストデータ、描画データ、音声データを含む注釈レイヤデータを作成する。
文書情報保持手段５は、読み書き自在なメモリを有しており、作成された注釈レイヤを当該注釈の対象となるドキュメントデータに関連付けて保持する。
【００１９】
なお、文書情報保持手段５は、注釈を関連付けるベースとなるドキュメントデータも保持するようにしてもよいが、本例では、べースドキュメントデータは外部のローカルファイルシステム１６や文書管理サーバ１７に格納されており、当該ベースドキュメントデータと注釈レイヤデータとが関連付けられる。
ここで、本例では以下に説明するようにドキュメントが画面表示されている時に注釈データが入力されると、当該ドキュメントデータに対してその注釈レイヤを関連付けて保持するようにしているが、任意の格納ドキュメントを指定して注釈レイヤを関連付けるようにしてもよい。
【００２０】
文書表示状態設定手段６は、ユーザから受け付けた注釈レイヤに対する表示或いは非表示の設定入力に応じて、表示用データにいずれの注釈レイヤを含ませるかを制御する。
なお、文書表示状態設定手段６は、画面表示されている表示用データに現在どのような注釈レイヤが含まれているか管理するカレント状態保持手段６ａを有しており、このカレント状態は後述する再生制御において利用される。
【００２１】
表示データ作成手段７は、文書情報保持手段５から供給されるベースドキュメントデータ及び当該ベースドキュメントデータに関連付けられた注釈レイヤデータに基づいて、画面表示のための表示用データ及び音声再生用の音声データを作成する。
なお、表示データ作成手段７は、この表示用データの作成に際して、文書表示状態設定手段６による制御を受けて、非表示に設定された注釈レイヤを除いた表示用データを作成する。また、文書情報保持手段５からの注釈レイヤデータの供給は後述する再生制御手段１０による受けて、表示データ作成手段７は供給される注釈レイヤデータが更新される毎に表示用データを更新して、これを画面表示させる。
【００２２】
文書情報表示手段８はディスプレイ画面を有しており、表示データ作成手段７から供給された表示用データに基づいて透過性レイヤを複数重ねて成るドキュメントを画面表示する。なお、画面表示構成については図４を参照して後述する。
音声データ再生手段９はスピーカを有しており、表示データ作成手段７から供給される画面表示された注釈レイヤに含まれる音声データを再生制御手段１０による制御の下に再生出力する。
【００２３】
再生制御手段１０は、ユーザから入力された各種の設定や指示に応じて、文書情報保持手段５からの注釈レイヤデータの供給を制御して表示データ作成部７が作成する表示用データを更新させて、文書情報表示手段８で画面表示される注釈内容を制御する。
すなわち、再生制御手段１０は、１つの注釈レイヤに含まれている複数の注釈データの再生タイミングをスケジュールするコメントスケジュール生成手段１０ａと、作成されたコメントスケジュールに基づいてこれら注釈データ毎の再生タイミング（すなわち、文書情報保持部５から供給して表示用データに含ませるタイミング）を制御するコメントスケジュール制御手段１０ｂと、ベースドキュメントを共に再生する複数の注釈レイヤの再生タイミングをスケジュールするレイヤスケジュール生成手段１０ｃと、作成されたレイヤスケジュールに基づいてこれら注釈レイヤ毎の再生タイミング（すなわち、文書情報保持部５から供給して表示用データに含ませるタイミング）を制御するレイヤスケジュール制御手段１０ｄとを有しており、注釈レイヤに関する画面表示制御を行う。
【００２４】
本例で扱うドキュメントは、図２に示すような構成となっている。
ベースとなるドキュメント（文書）は複数のページ（Ｐａｇｅ１、Ｐａｇｅ２、・・）から構成されており、各ページには透過性の複数の注釈レイヤ（レイヤ１.１、１.２、・・、２.１、２.２、・・）が重ねて表示される。そして、各注釈レイヤは複数の注釈データを含むことが可能であり、例えば、描画データと音声データとが同期して再生されるように関連付けられて含まれる。
【００２５】
このようなドキュメントは、図３に示すようなデータ構造となっている。
複数（ｎ）ページのベースドキュメントから成る文書のデータには、文書名や文書ＩＤなどと共にページリストが含まれており、このページリストによって各ページを構成するベースドキュメントデータに関連付けられている。
各ページ（ベースドキュメント）のデータには、ページＩＤなどと共にレイヤリストが含まれており、このレイヤリストによって当該ページに注釈レイヤ（レイヤ）データが関連付けられている。
【００２６】
各レイヤデータには、レイヤＩＤやレイヤ名と共に、当該注釈レイヤを作成した作成者名（すなわち、注釈を行ったユーザ名）と、当該注釈レイヤの作成時刻（すなわち、注釈を行った時刻）、当該注釈レイヤがどのような目的を持っているかを示すキーワード（すなわち、「重要」「営業用」など注釈の使用目的を示すキーワード）、当該注釈レイヤがどのようなプレゼンテーションにおいて作成されたか（すなわち、どのプレゼンテーションにおいてなされた注釈か）を示すプレゼンテーション名、当該注釈レイヤに参照のために関連付けられた他のレイヤのＩＤやその参照再生を行うタイミング、当該注釈レイヤに含まれる注釈データ（コメント）のリストが含まれており、このコメントリストによって当該注釈レイヤに含まれる各注釈データ（コメント）に関連付けられている。
【００２７】
各コメントデータには、コメントＩＤ、当該コメントを作成した時刻（すなわち、当該注釈を行った時刻）、当該コメントがテキストによるのもか音声によるのもか描画によるものか等を示すコメントタイプ、コメントタイプが音声であるときのその音声データの再生時間長、当該コメントの注釈レイヤ上における再生表示位置を示す座標、テキストデータや音声データや描画データなどから成る注釈内容の実データ（コメントデータ）が含まれている。
【００２８】
上記した文書情報表示手段８の画面には、図４に示すような表示がなされ、ユーザに対するドキュメントの表示出力やユーザイベント入力手段１からの入力を受け付ける。
メニューバーには、ユーザコマンドを選択するための各種ボタンが設けられており、ツールバーには、ユーザコマンドのショートカットアイコンが設けられている。
文書構造表示部には、図５に詳示するように、ベースドキュメントの各ページ（Ｎｏ.１、Ｎｏ.２、・・）のアイコンと、各ページに関連付けられている注釈レイヤのアイコン及びタイトル（個人レイヤ、共有レイヤ、・・）が一覧表示される。
【００２９】
また、各ページアイコンにはチェックボックスが付設されており、このチェックボックスをユーザ操作でチェックすると当該ページが画面表示される。
また、各注釈レイヤアイコンにはチェックボックスが付設されており、このチェックボックスをユーザ操作でチェックすると当該注釈レイヤはベースドキュメントともに画面表示され、チェックを消去すると画面表示されない非表示に設定される。
【００３０】
図４に示すように、画面中の文書表示部には、チェックボックスによって表示選択されたページと、当該ページに関連付けられている内でチェックボックスによって表示選択された注釈レイヤとが重ねて表示され、これによって、ベースドキュメントページの記述内容と注釈レイヤの記述内容とがマージして表示される。
【００３１】
次に、上記構成のドキュメント処理装置による各種処理を説明する。
まず、注釈レイヤを追加する場合には、ユーザがイベント入力手段１から指示入力を行って、注釈を付したいベースドキュメントのページを文書情報表示手段８の画面に表示して、メニューバーから「意見追加」コマンドを選択すると、注釈作成手段４が新規のレイヤを作成して当該表示ページに関連付けて文書情報保持部５に格納する。
なお、この新規レイヤには、レイヤＩＤ、レイヤ名、作成者名、作成時刻、などが注釈作成手段４によって自動的に与えられる。
【００３２】
また、ユーザがイベント入力手段１から指示入力を行って、既存の注釈レイヤを選択した状態で、メニューバーから「関連意見追加」コマンドを選択すると、注釈作成手段４が新規のレイヤを作成して表示ページに関連付けて文書情報保持部５に格納する。
なお、これによって作成されたレイヤは参照レイヤとなり、選択された既存レイヤとの参照関係が注釈作成手段４によって自動的に与えられる。
ここで、ユーザがイベント入力手段１から指示入力を行って、メニューバーから「レイヤプロパティ」を選択すると、画面上にレイヤのプロパティ設定ダイアログが開き、「プレゼンテーション名」や「キーワード」を任意のテキストで入力することができる。
【００３３】
また、ユーザがイベント入力手段１から指示入力を行って、新規に追加されたレイヤを選択し、メニューバーから「コメント収録」コマンドを選択すると、当該選択レイヤに対して注釈データを書き込むことができる。
すなわち、ユーザがイベント入力手段１から入力したテキストデータや描画データのコメントや、ユーザが音声入力手段３から入力した音声データのコメントが、注釈作成手段４がによって当該注釈レイヤに書き込まれて文書情報保持部５に格納される。なお、音声コメントを入力する場合には、図６に示すように画面上に音声収録ダイアログが開いて、音声入力手段３を操作することができる。
ここで、これらコメントデータには注釈作成手段４がによってそれぞれの作成時刻が付加され、同一の注釈レイヤに複数のコメントデータが書きこまれた場合でもこれらコメントの入力順序が管理される。
【００３４】
次いで、文書情報保持手段５に格納されている注釈レイヤの再生処理について説明する。
まず、ユーザがイベント入力手段１から指示入力を行うと、文書情報表示部８の画面には図４に示したような表示がなされ、文書構造表示部にはベースとなるページドキュメントとその注釈レイヤの一覧が表示される。
そして、ユーザがイベント入力手段１から指示入力を行って、チェックボックスにより表示させたいページ及び注釈レイヤを選択すると、これら表示選択されたペースページ上に注釈レイヤを重ねたドキュメントページが画面の文書表示部に表示される。
【００３５】
次いで、ユーザが１つの注釈レイヤのみを選択した場合の再生処理について説明する。
まず、このような選択指示をユーザがイベント入力手段１から入力すると、コメントスケジュール作成手段１０ａがカレント状態保持手段６ａから現在画面表示されているベースページの情報及びユーザによって表示選択された注釈レイヤのＩＤを取得して、文書情報保持部５から当該注釈レイヤのデータを取得する。
【００３６】
そして、コメントスケジュール作成手段１０ａは、取得したレイヤデータから、当該注釈レイヤに含まれる各注釈（コメント）の作成時刻に基づいて、これらコメントを再生するコメントスケジュールを作成する。このコメントスケジュールは同一の注釈レイヤに含まれている複数のコメントを再生するためのタイムテーブルであり、例えば音声コメントと音声に同期して入力された描画コメントとが含まれている場合には、音声コメントと描画コメントとが入力状況を再現できるようにタイミングスケジュールされる。
【００３７】
そして、コメントスケジュール制御手段１０ｂが、生成されたコメントスケジュールにしたがって、文書表示状態設定手段６及び文書情報保持部５を制御して、表示データ作成手段７にコメントスケジュールにしたがって表示用データの更新を行わせて、文書情報表示手段８および音声データ再生手段９にコメントスケジュールにしたがって各コメントを再生させる。
【００３８】
次いで、ユーザが複数の注釈レイヤの連続再生を選択した場合の再生処理について説明する。
まず、このような連続再生指示をユーザがイベント入力手段１から入力すると、図７〜図１０を参照して後述するような指示された要求条件に応じた種々な態様の再生がなされるが、基本的には下記のような処理が行われる。
すなわち、レイヤスケジュール作成手段１０ｃが、カレント状態保持手段６ａから現在画面表示されているベースページの情報及び当該ページに関連付けられている複数の注釈レイヤＩＤを取得して、文書情報保持部５から当該注釈レイヤのデータを取得する。
【００３９】
そして、レイヤスケジュール作成手段１０ｃは、取得したレイヤデータから、ユーザの要求条件に応じて、これら複数の注釈レイヤを再生するレイヤスケジュールを作成する。このレイヤスケジュールは表示されたページに対して複数の注釈レイヤ再生するためのタイムテーブルである。
なお、この各注釈レイヤの再生において上記のように複数のコメントが含まれているときには、上記のコメントスケジュール制御も併用される。
【００４０】
そして、レイヤスケジュール制御手段１０ｄが、生成されたレイヤスケジュールにしたがって、文書表示状態設定手段６及び文書情報保持部５を制御して、表示データ作成手段７にレイヤスケジュールにしたがって表示用データの更新を行わせて、文書情報表示手段８および音声データ再生手段９にレイヤスケジュールにしたがって各注釈レイヤを再生させる。
【００４１】
このような連続再生の第１の態様例として、ユーザがイベント入力手段１から「プレゼンテーション再生」を指示した場合を、ベースドキュメントページ及び注釈レイヤのデータ構造を示す図７を参照して説明する。
画面表示されているドキュメントに設定されているプレゼンテーションのリストをユーザに対して提示して、ユーザから所望のプレゼンテーションが選択されると、再生制御手段１０が選択されたプレゼンテーションに対応するレイヤスケジュールを作成して、当該スケジュールにしたがった再生処理を行う。
【００４２】
ここで、プレゼンテーションリストは、レイヤデータに含まれているプレゼンテーション名情報に基づいて作成され、また、ユーザに選択されたプレゼンテーションに対応するスケジュールは対応するプレゼンテーション名が含まれる注釈レイヤデータを用いて作成される。
また、このレイヤスケジュールの作成に際して、注釈レイヤが複数ある場合にはその作成時刻順に再生されるスケジュールを作成し、また、ドキュメントが複数のページからなる場合には、第１ページから順次各ページことのレイヤスケジュールが作成される。
したがって、このような作成されたレイヤスケジュールにしたがって注釈の再生が行われることにより、ベースドキュメントを用いてコメントを付記したり音声コメントを付けたりしながら行ったプレゼンテーションが文書情報表示手段８及び音声データ再生手段９によりそのときの状況のままに再現される。
【００４３】
次に、連続再生の第２の態様例として、ユーザがイベント入力手段１から「ディスカッション経緯再生」を指示した場合を、ベースドキュメントページ及び注釈レイヤのデータ構造を示す図８を参照して説明する。
画面表示されているドキュメントに関連付けられている所望の注釈レイヤを、ユーザが画面の文書構造表示部のリストから選択すると、再生制御手段１０が選択された注釈レイヤに至るまでに時系列でなされた種々の注釈（すなわち、これら注釈を複数のユーザが付け合うことによりなされたディスカッション）をスケジュールして再生させる。すなわち、関連付けられている複数の注釈レイヤデータの作成時刻に基づいて、選択された注釈レイヤの作成時刻に至るまでの時間を遡ったディスカッションを、文書情報表示手段８及び音声データ再生手段９からスケジュールにしたがって作成時刻順に注釈レイヤを再生させることにより再現する。
【００４４】
次に、連続再生の第３の態様例として、ユーザがイベント入力手段１から「ディスカッション展開再生」を指示した場合を、図８を参照して説明する。
画面表示されているドキュメントに関連付けられている所望の注釈レイヤを、ユーザが画面の文書構造表示部のリストから選択すると、再生制御手段１０が選択された注釈レイヤを基点として展開された参照関係にある他の注釈レイヤからなるスケジュールを作成して、これら注釈レイヤをスケジュールにしたがって再生させる。
すなわち、注釈レイヤデータの参照レイヤ情報に基づいて、選択された注釈レイヤに参照関係があるレイヤＩＤを取得し、参照レイヤが複数ある場合には作成時刻の古い順に整理してスケジュールを作成し、文書情報表示手段８及び音声データ再生手段９からスケジュールにしたがってこれら注釈レイヤを再生させることにより、或る注釈コメントを基点として展開されたディスカッションを再現する。
【００４５】
次に、連続再生の第４の態様例として、ユーザがイベント入力手段１から「ディスカッション時系列再生」を指示した場合を、図８を参照して説明する。
画面表示されているドキュメントページを、ユーザが画面の文書構造表示部のリストから選択すると、再生制御手段１０が選択されたドキュメントページに関連付けられている全ての注釈レイヤをその作成時刻の古い順に再生させるスケジュールを作成して、これら注釈レイヤをスケジュールにしたがって再生させる。
【００４６】
次に、連続再生の第５の態様例として、ユーザがイベント入力手段１から「キーワード再生」を指示した場合を、ベースドキュメントページ及び注釈レイヤのデータ構造を示す図９を参照して説明する。
このような指示がなされると画面上にキーワード入力用のダイアログが開き、ユーザからキーワードが入力されると、再生制御手段１０が当該キーワードに対応する注釈レイヤの再生スケジュールを作成し、これら注釈レイヤをスケジュールにしたがって再生させる。
すなわち、注釈レイヤデータのキーワード（ＫｅｙＷｏｒｄ）情報に基づいて、ユーザが指定したキーワードが設定されている注釈レイヤＩＤを取得し、これら注釈レイヤを作成時刻の古い順に整理してスケジュールを作成し、文書情報表示手段８及び音声データ再生手段９からスケジュールにしたがってこれら注釈レイヤを再生させることにより、例えば、営業のためのプレゼンテーションをこれら注釈コメントの再生により実現する。
【００４７】
次に、連続再生の第６の態様例として、ユーザがイベント入力手段１から「発言者別再生」を指示した場合を、図９を参照して説明する。
このような指示と共にユーザから発言者（すなわち、注釈の作成者）を指定する入力がなされると、再生制御手段１０が当該発言者が作成した注釈レイヤの再生スケジュールを作成し、これら注釈レイヤをスケジュールにしたがって再生させる。
すなわち、注釈レイヤデータの作成者情報に基づいて、ユーザが指定した発言者（作成者）が設定されている注釈レイヤＩＤを取得し、これら注釈レイヤを作成時刻の古い順に整理してスケジュールを作成し、文書情報表示手段８及び音声データ再生手段９からスケジュールにしたがってこれら注釈レイヤを再生させることにより、表示されたドキュメントに対して或るユーザがどのような注釈コメントをどのような経緯で行ったかを再生することができる。
【００４８】
次に、連続再生の第７の態様例として、ユーザがイベント入力手段１から「自分中心再生」を指示した場合を、図８を参照して説明する。
この態様は、上記の第６の態様の一形態でもあり、このような指示がユーザから入力がなされると、再生制御手段１０が当該ユーザが作成した注釈レイヤの再生スケジュールを作成し、これら注釈レイヤをスケジュールにしたがって再生させる。
すなわち、注釈レイヤデータの作成者情報に基づいて、当該ユーザが作成者に設定されている注釈レイヤＩＤを取得し、これら注釈レイヤを作成時刻の古い順に整理してスケジュールを作成し、文書情報表示手段８及び音声データ再生手段９からスケジュールにしたがってこれら注釈レイヤを再生させる。
【００４９】
次に、連続再生の第８の態様例として、ユーザがイベント入力手段１から「目的別プレゼンテーション」を指示した場合を、図７を参照して説明する。
このような指示がなされると画面上にキーワード及びプレゼンテーション名の入力用のダイアログが開き、ユーザからキーワード及びプレゼンテーション名が入力されると、再生制御手段１０が当該キーワード及びプレゼンテーション名に対応する注釈レイヤの再生スケジュールを作成し、これら注釈レイヤをスケジュールにしたがって再生させる。
すなわち、注釈レイヤデータのキーワード（ＫｅｙＷｏｒｄ）情報及びプレゼンテーション名情報に基づいて、ユーザが指定したキーワードとプレゼンテーション名とが共に設定されている注釈レイヤＩＤを取得し、これら注釈レイヤを作成時刻の古い順に整理してスケジュールを作成し、文書情報表示手段８及び音声データ再生手段９からスケジュールにしたがってこれら注釈レイヤを再生させることにより、例えば、営業のためで且つ「説明１」のためのプレゼンテーションをこれら注釈コメントの再生により実現する。
【００５０】
次に、連続再生の第９の態様例として、ユーザがイベント入力手段１から「ディスカッション途中参照再生」を指示した場合を、ベースドキュメントページ及び注釈レイヤのデータ構造を示す図１０を参照して説明する。
ここで、図３にも示したように、注釈レイヤデータには参照レイヤの属性としてポーズ中の参照レイヤＩＤとポーズした時点の経過時間（参照タイム）が設定されており、例えば、或る注釈レイヤを再生中にポーズ状態として、「関連意見の追加」コマンドを実行すると、注釈作成手段４によって参照レイヤの属性としてポーズ中のレイヤのＩＤ及びポーズした時点の再生経過時間が記録されたレイヤが作成される。
【００５１】
このような指示がなされると、再生制御手段１０が、注釈レイヤデータの参照レイヤ属性に基づいて注釈レイヤＩＤを取得し、これら注釈レイヤのスケジュールを作成し、文書情報表示手段８及び音声データ再生手段９からスケジュールにしたがってこれら注釈レイヤを再生させる。
例えば、注釈レイヤＡの再生時間が全部で３分５０秒だとし、注釈レイヤＢの参照がレイヤＡの２分１０秒時点で成されていたとすると、これらを「ディスカッション途中参照再生」により連続再生すると、まず、注釈レイヤＡを２分１０秒のところまで再生し、次いで、注釈レイヤＢを再生し、この注釈レイヤＢの再生が終了したところで、注釈レイヤＡの２分１０秒以降の部分が再生される。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、音声注釈付きの電子ドキュメントを簡便に作成でき、また、これを注釈が付された状況を再現して再生することができる。また、本発明によれば、音声入力と同期したコメントや画像の書き込み及び再生が行え、また、プレゼンテーションやディスカッションなどの種々な条件にしたがった注釈の表示再生を行うことができる。
これにより、本発明によれば、遠隔非同期でのプレゼンテーションやディスカッションを、簡便かつ円滑に行うことができる。
【図面の簡単な説明】
【図１】  本発明の一実施形態に係るドキュメント処理装置の構成図である。
【図２】  ベースドキュメント及び注釈レイヤにより構成されるドキュメントを説明する概念図である。
【図３】  ベースドキュメント及び注釈レイヤのデータ構造を説明する概念図である。
【図４】  画面表示の一例を説明する概念図である。
【図５】  文書構造の画面表示の一例を説明する概念図である。
【図６】  音声収録ダイアログの一例を説明する概念図である。
【図７】  注釈レイヤの連続再生の具体的な態様例を説明する概念図である。
【図８】  注釈レイヤの連続再生の具体的な態様例を説明する概念図である。
【図９】  注釈レイヤの連続再生の具体的な態様例を説明する概念図である。
【図１０】  注釈レイヤの連続再生の具体的な態様例を説明する概念図である。
【符号の説明】
１：ユーザイベント入力手段、  ２：ユーザイベント解釈手段、
３：音声入力手段、  ４：注釈作成手段、
５：文書情報保持手段、  ６：文書表示状態設定手段、
７：表示データ作成手段、  ８：文書情報表示手段、
９：音声データ再生手段、  １０：再生制御手段、
【図１】
0003945081.tif 000002
【図２】
0003945081.tif 000003
【図３】
0003945081.tif 000004
【図４】
0003945081.tif 000005
【図５】
0003945081.tif 000006
【図６】
0003945081.tif 000007
【図７】
0003945081.tif 000008
【図８】
0003945081.tif 000009
【図９】
0003945081.tif 000010
【図１０】
0003945081.tif 000011