(57)【要約】【課題】 本発明は、本人あるいは第３者が作成した文章に対し、特定の文章の位置に対応したコメントを音声で記録し、さらに再生することを目的とする。【解決手段】  文章を表す文字のコード列を記憶した文章記憶手段（１）と、前記文章記憶手段（１）に記憶された特定の文章を指定する指定手段（６）と、マイク（８）から入力される音声を符号化して指定された文章と対応付けて記憶するコメント記憶手段（７）と、前記文章記憶手段（１）に記憶された文章と対応づけて、前記コメント記憶手段（７）から読み出した音声符号化データを再生するコメント再生手段とを備えた文章処理装置。【選択図】  図１０
2010140506.tif 000002
【特許請求の範囲】
【請求項１】
文書に注釈をつける装置であって、
プロセッサと、
前記プロセッサに結合されたメモリであって、前記メモリが、複数のユーザによって校閲される少なくとも１つのテキスト文書を含む、メモリと、
前記メモリから前記少なくとも１つのテキスト文書を得、前記少なくとも１つのテキスト文書の少なくとも一部を少なくとも１つの音声ファイルに変換するように構成された文書処理エンジンと、
第１ユーザに向けて前記少なくとも１つの音声ファイルを再生するように構成された音声出力デバイスと、
前記少なくとも１つの音声ファイルに関する前記第１ユーザからの少なくとも１つの言葉によるコメントを得るように構成された音声入力デバイスと、
前記第１ユーザの識別子を識別する識別手段と、
前記第１ユーザが前記少なくとも１つのコメントを提供した時に再生中の前記音声ファイルに対応する前記テキスト文書内の位置に関連づけて、前記第１ユーザの識別子と該第１ユーザの提供した前記コメントとを含む第１の音声コメント・ファイルを記憶するように構成された、コメント記憶手段と、
再生ファイル内の前記第１の音声コメント・ファイルと少なくとも一つの音声ファイルとを関係づける再生ファイル準備手段と
を備え、
前記プロセッサ、前記メモリ、前記文書処理エンジン、前記コメント記憶手段及び前記再生ファイル準備手段はサーバ装置に設けられ、
前記音声出力デバイス、前記音声入力デバイスは、ネットワークを介して前記サーバ装置に接続するクライアント装置に設けられており、
前記コメント記憶手段は複数の音声コメント・ファイル内の複数のユーザに関する、各ユーザ識別子と、各ユーザによる音声コメントとが記憶されるよう構成されているとともに、
前記再生ファイル準備手段は、前記再生ファイルに、前記複数のユーザの内の特定のユーザのユーザ識別子を選択することにより、当該特定ユーザからの音声コメントファイルのみを含ませることを特徴とする装置。
【請求項２】
請求項１記載の装置において、
前記再生ファイル準備手段は、前記再生ファイル内の複数の音声コメントファイルに優先順位が付されており、特定のユーザのコメントを他のユーザのコメントより前に再生することを特徴とする装置。
【請求項３】
請求項１記載の装置において、
前記第１の音声コメントファイルに記録されるコメントは、前記ネットワークを介して接続されるウェブ・アドレスを有する参照先を含むことを特徴とする装置。
【請求項４】
請求項１に記載の装置において、
前記第１の音声コメントファイルに記録されるコメントが他のコメントに対して付されて、前記第１の音声コメントファイルと複数の音声コメントファイルが階層ツリーを形成することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ技術の分野に関する。具体的には、本発明は、文書注釈つけを実行する方法および装置に関する。
【０００２】
この特許文書の開示の一部に、著作権保護の対象になる材料が含まれる。著作権所有者は、特許商標局のファイルまたは記録に現れる特許文書または特許開示の何人による複製にも異議を持たないが、それ以外では全権を留保する。
【背景技術】
【０００３】
脚本、書籍、またはすべての他の文書の記述は、通常はその文書を作る責任を負う人のかなりの時間的投資を必要とするプロセスである。最終的に生成される文書の質および価値は、通常は、複数の人がその文書を校閲し、コメントする機会を持った時に高まる。その結果、文書を校閲するプロセスは、現代のビジネスの多数の態様に緊密に組み込まれている。
【０００４】
文書の最初の草稿には、誤りまたは他の訂正されなければならない問題が含まれることが多い。これらの問題は、通常は、校閲プロセス中に解決される。文書に関して価値のある助言を与えることができる人であれば誰でも、校閲プロセスに貢献することができる。このプロセス中に、校閲者は、たとえば、文書のテキストに対するコメントを与える、フィードバックを与える、かつ／または変更を加えることによって、文書の内容に関する助言を与えることを望む可能性がある。いくつかの場合に、文書のある部分全体が、削除されるか書き直される。他の場合には、文書の諸部分が、単に批評される。校閲プロセスが完了した時に最終的に作られる文書は、最初の草稿の形で存在した文書とは非常に異なる場合がある。したがって、校閲プロセスは、文書を仕上げるプロセスの貴重なステップである。
【０００５】
主として文書を校閲する責任を負う人は、しばしば、次々に会議に出席し続けるスケジュールを有するので、移動中に校閲者が文書とインタラクト（相互作用）できる（文書を理解してそれに手を加えることができる）ようにすることによって校閲プロセスを単純にする装置の必要がある。たとえば、現在のシステムは、校閲者が、複数の位置から文書にアクセスしたり、口頭でコメントしたりすることができない。校閲者は、現在のシステムを使用して、校閲者の自動車内のセル電話機で文書の校閲を開始し、自宅のＰＣで同じ文書の校閲を継続し、公衆電話で文書の構成を終了することはできない。
【０００６】
現在のシステムは、校閲者に、口頭で文書とインタラクトする直観的な形を提供することもしない。文書校閲のシステムのほとんどは、テキストベースであり、校閲者に文書を読み上げ、その結果、校閲者が文書の内容を聞けるようにする能力を有しない。さらに、これらのテキストベースのシステムは、校閲者が文書を読みながら与えた口頭コメントを記録する形を提供しない。これらの制限は、校閲される文書が映画の脚本または、校閲者が文書に含まれる単語を聞くことが重要である他の種類の文書である時に、特に明白になる。
【０００７】
読者が、本発明の実施形態によってもたらされる当技術分野での進歩をよりよく理解できるようにするために、文書を編集する、かつ／または文書に関してコメントするための複数の現在のシステムの簡単な説明をこれに続ける。一部のテキストベースのシステム（たとえばワード・プロセッサ）は、校閲者が、コメント・フィールドに入力を手でタイプすることによって文書にコメントする形を提供する。コメントを、サウンド・ファイルに記録し、手作業で文書に関連付けることもできる。しかし、このプロセスは、面倒であり、校閲者に、文書を簡単に聞き、コメントする形を提供しない。
【０００８】
一部のワード・プロセッシング・プログラム（たとえばＭｉｃｒｏｓｏｆｔ  Ｗｏｒｄ（商標））は、文書にコメントを挿入する組込み機構を有する。この機構は、校閲者に、テキスト文書の内容に関連する音声出力を聞く形を提供しない。そのようなプログラムは、校閲者が、ワード・プロセッシング・プログラムに話し掛けることによって文書に関する入力を提供できるようになってない。しかし、そのようなワード・プロセッシング・プログラムでは、校閲者が、タイプされたコメントをテキスト文書に手作業で挿入することができる。
【０００９】
図１に、コメントを文書に挿入するように構成されたワード・プロセッシング・プログラムを示す。ワード・プロセッシング・プログラム１００に、プログラムのユーザがコメントすることができるテキストを含む文書１１４のインスタンスが含まれる。ユーザが、センテンス１０４にコメントすることを望む場合に、そのユーザは、ポインティング・デバイス（たとえばマウス）を使用して、コメントに関連するテキストを強調表示することによって、文書にコメントを挿入することができる。テキストが選択されたならば、ユーザは、コンピュータ・キーボードなどの入力デバイスを介してコメントを入力する。コメントは、通常は、文書１１４に関連する１つまたは複数のコメントのリストからなるコメント領域１０２に入力される。
【００１０】
コメントを書いたユーザが、コメントに関連する位置で、省略された形で識別される。たとえば、ユーザＩＤ１１０によって、ユーザ名（たとえばｕｓｅｒ１：ｊａｋｅ＿ｓｍｙｔｈ）を有するユーザが、コメント１０８に関連していることが示される。コメント１０８は、テキスト・コメントまたは音声ファイルとして存在することができる。口頭コメントが記録され、文書１１４に関連付けられている場合に、ユーザは、アイコン１０６を選択することによって、口頭コメントを聞くことを選択することができる。アイコン１０６の選択時に、音声プレイヤー１１２によって、口頭コメントの保管された版を含む音声ファイルが再生される。いくつかのワード・プロセッシング・プログラムでは、コメントに関連するテキスト１０４が、テキストのその部分に関してコメントが作られたことを示す色で強調表示される。
【００１１】
ワード・プロセッシング・プログラムは、文書にコメントを入力する組込み機能を備えるが、そのようなプログラムは、プログラム自体以外の場所から文書にコメントを挿入する形を提供しない。たとえば、ユーザは、ワード・プロセッシング・プログラムを使用して、かつ、文書のコピーを持ち合わせていない限り、文書に関してコメントすることができない。したがって、ユーザに、移動中に文書を編集するかコメントをつける代替達成方法を与えることによって既存ワード・プロセッシング・プログラムを補足する方法および装置の必要がある。さらに、そのようなワード・プロセッシング・プログラムは、文書に対して注釈が作られた後に、どの位置からでも文書を保管し、簡単に検索する効率的な形を備えていない。たとえば、既存のシステムは、ユーザが文書に継続的にアクセスし、コメントをつけられるようにする形を有しない。
【００１２】
文書を編集する既存のシステムのもう１つの例が、Ｂｏｙｓら（米国特許第５８７５４４８号）にある。Ｂｏｙｓらの特許には、別々の領域にテキストと音声データを含む１つのファイルを操作する音声エディタが記載されている。Ｂｏｙｓらに記載の音声エディタは、音声データを入力する機能と、入力された音声データを編集する機能を備える。そのような音声データが入力され、編集されたならば、そのデータは、テキスト・ファイルへの変換のために個人に渡される。ファイルを、音声エディタから、そのファイルを完全にテキストに変換するＰＣアプリケーションにアップロードすることができ、すべての可変入力および編集を口頭で行うことができるシステムが提供され、テキストへの変換が最後の仕事として残される。
【００１３】
図２に、Ｂｏｙｓらに記載の音声エディタで使用されるデータ・ファイルの表現を示す。データ・ファイル２００は、音声エディタまたは他のディジタル・デバイスによって作成され、音声エディタにダウンロードされる。このファイルは、通常は、マイクロホンまたは他の音声入力を介して入力されたデジタル的に記録された音声データからなる。しかし、いくつかの場合に、音声エディタに供給されるデータ・ファイルが、ＰＣワード・プロセッサ・ファイル内などの機械操作可能なテキスト・コードと、デジタル的に記録された音声である他の部分とを有する場合がある。データ・ファイルのこの二重の性質は、ファイルの最終的な望ましい形がマシン可読コード（たとえば完成したワード・プロセッサ文書）なので、重要である。したがって、データ・ファイル２００の性質は、ディジタル的に記録された音声としてデータを追加し、編集することができるセクションを有するフォーマットされたワード・プロセッサ・ファイルである。このフォーマットされたファイル２００には、機械操作可能テキスト・コードなので音声エディタによっては編集することができない、ヘッダ、フッタ、小見出し（たとえば、要素２０２、２０４、２０６、２０８、２１０、２１２、および２１３）などのセクションが含まれている。Ｂｏｙｓらでは、要素２０２、２０４、２０６、２０８、２１０、および２１２を合成音声にするテキスト読み上げソフトウェアの使用が企図されている。テキスト読み上げソフトウェアによって、ユーザに、ファイル２００のすべての部分を校閲する形が与えられるが、ユーザは、「デジタル的に記録された音声部分を入力し、これに追加し、編集することだけができるだけである」（Ｂｏｙｓら、列９、行４〜５参照）。要素２０２、２０４、２０６、２０８、２１０、および２１２の間に、ファイル２００には、部分２１４、２１６、２１８、２２０、２２２、および２２４が含まれる。これらの部分は、デジタル的に記録された音声のために予約されている。したがって、ファイル２００に、テキスト部分（機械操作可能テキスト・コードと称する）と、デジタル的に記録された音声部分の両方を含めることができる。ユーザが再生ボタンを選択すると、テキスト部分と音声部分が音声化される。その後、ユーザは、ファイルの前進または巻き戻しを行って、音声化された異なる部分を聞くことができる。したがって、この音声エディタは、ユーザに、ファイルを完全に機械操作可能コード（たとえばテキスト）に変換する前に、ファイルを作成し編集する形を与える。
【００１４】
ユーザがファイルの作成を完了したならば、そのファイルを、ＰＣなどのホスト・コンピュータにアップロードし、テキストに変換することができる。オペレータが、ワード・プロセッシング・アプリケーションを使用して、最終的な変換を行う。ワード・プロセッシング・アプリケーションは、ファイルのテキスト部分と音声部分を示す形でファイル２００を表示する。オペレータは、音声化された部分を、マウスまたは他のポインティング・デバイスで選択することによって、音声化された部分を聞くことができる。オペレータは、音声化されたデータが読まれる時に、そのデータをテキストとして入力することができる。
【００１５】
Ｂｏｙｓらの参考文献で使用される手法に関連する複数の問題がある。たとえば、Ｂｏｙｓらは、ファイルのすべての態様（たとえば要素２００から２１３）を口頭編集する機能を提供しない。Ｂｏｙｓらでは、ファイル２００の音声部分を編集する機構が開示されているが、ユーザがファイル内のテキスト要素を編集するかテキスト要素にコメントをつける形が提供されない。Ｂｏｙｓらでは、編集できない要素を含むテンプレート・ファイルに挿入される音声ファイルの作成と、その後の編集に対処する。したがって、Ｂｏｙｓらでは、編集できる要素を制限することによって、ユーザの操作が制限される。さらに、Ｂｏｙｓらは、コメントまたは注釈であることを意図された音声化された入力を区別しない。そうではなく、Ｂｏｙｓらは、文書を追加するか編集する形が提供されるが、ユーザは、入力のある部分に全般的なコメントとしてフラグを立てることができない。Ｂｏｙｓらで使用される設計に固有のもう１つの制限が、ファイルの音声部分を、オペレータを介して手動でテキストに変換しなければならないことである。Ｂｏｙｓらは、自動変化をその場で行うか、編集処理でユーザを助ける機構を有しない。Ｂｏｙｓらには、特定のユーザによって作られたコメントを選択的に聞く機構も欠けている。Ｂｏｙｓらでは、２人の人が同一の文書を編集する場合に、システムが、これらの当事者を区別せず、ユーザに、一方の当事者または他方の当事者のコメントを選択的に聞く形を提供しない。そうではなく、音声エディタでは、単一のファイルの作成および編集で単一のユーザを助けることが意図されている。音声エディタは、文書を生成するのに使用され、文書自体の内容を必ずしも修正せずに既存の文書に対するコメントを生成するのには使用されない。このシステムのもう１つの制限は、このシステムが、任意の位置でユーザに文書を提供することに対処していないことである。Ｂｏｙｓらに記載の音声エディタのユーザは、たとえば、文書のインスタンスを手元に持たずに、リモート位置から文書を得ることができない。
【発明の概要】
【発明が解決しようとする課題】
【００１６】
したがって、文書を変更せずに、ユーザが文書を聞き、文書の内容に対して口頭でコメントできるようにすることによって、従来技術に固有の制限を解決するシステムの必要がある。さらに、ユーザは、変換処理の責任を負うユーザ（たとえば、タイピストまたはデータ入力担当者）を助けるシステムから利益を得ることができるであろう。いくつかの場合に、文書に関して作られたすべてのコメントを校閲する必要なしに、ユーザが、ある個人によって作られたコメントを選択的に聞くことができるようにするシステムの必要もある。
【００１７】
現在のシステムに関する前述の説明で、例示のために、従来技術に存在する問題および制限を示した。これらの問題が、他の文脈または職業にも存在することと、本発明を、本明細書で説明するもの以外の状況にも適用できることは、当業者には明白であろう。
【課題を解決するための手段】
【００１８】
本発明の実施態様では、人が、映画の脚本、書籍、または他のタイプの文書などのディジタル文書に口頭注釈を追加（すなわちコメントを追加）できるようにするシステムを説明する。このデバイスは、校閲者に、移動中に文書とインタラクトし、コメントをつける改善された方法を提供する。たとえば、校閲者は、本発明の実施態様を使用して、複数の位置から文書にアクセスし、口頭でコメントをつけることができる。したがって、本発明は、校閲者が、セル電話から文書の校閲を開始し、自宅のＰＣで同一の文書の校閲を継続し、公衆電話で文書の校閲を終了することができるようにするシステムを提供する。本発明の実施態様では、口頭で文書とインタラクトする直観的な方法も校閲者に提供される。このシステムは、文書を読み上げることができ（たとえば、テキスト−スピーチ・エンジンを介して）、その結果、校閲者が、文書の内容を聞くことができる。このシステムは、校閲者に、文書に関する口頭コメントを記録する形も提供する。コメントが提供されると、そのコメントが、文書内でコメントが提供された位置に関連付けられる。たとえば、校閲者が、テキストの特定の節に関してコメントする場合に、そのコメントは、テキストのうちでそのコメントに関係する節に関連付けられる。
【００１９】
本発明を実施するデバイスでは、音声出力機構を使用して、ユーザに向けて文書を再生する。再生中のいつでも、ユーザは、注釈ボタンを選択し、デバイスに単純に話し掛けることによって、コメントを提供することができる。デバイスは、ユーザのコメントを記録し、文書内でそのコメントが与えられた位置に関連付ける。ユーザがコメントを提供した後に文書が再生される場合には、デバイスは、音声出力機構を介して文書およびコメントを再生する。この形で、ユーザは、文書およびその文書に関して作られたすべてのコメントを聞くことができる。
【００２０】
本発明の実施態様を実現することができるデバイスのタイプの例には、自動車のサウンド・システム、セル電話、通常の電話、パーソナル・コンピュータ、または他の計算システムの構成要素が含まれる。本発明を実施するデバイスのそれぞれが、複数のタイプのデバイスを使用して複数の位置から文書を校閲する方法をユーザに提供するために、文書にアクセスすることができる（たとえば、データ記憶媒体またはコンピュータ・ネットワークを介して）。ユーザは、たとえば、自動車内で文書の校閲を開始し、セル電話を介して文書の校閲を継続し、通常の電話回線を使用して自宅から文書の校閲を終了させることができる。
【００２１】
本発明の１つまたは複数の実施態様は、ユーザが、世界中のどこからでも、映画の脚本、書籍などのディジタル文書に任意の数の注釈を追加（すなわち、コメントを追加）できるようにする方法および装置を含む。したがって、本発明の実施態様によって、ユーザが、１つまたは複数の位置から文書を聞き、コメントをつけることができる。あらゆるタイプの計算デバイスを本発明を実施することができるように構成することができ、これによって、ユーザに、特定の文書にコメントをつけるかその文書に関するコメントを校閲するインターフェースを提供することができる。本発明の実施態様を実現するように構成させることができるデバイスのタイプの例として、自動車のサウンド・システム、セル電話、通常の電話（たとえばＰＯＴＳ）、パーソナル・コンピュータ（たとえばＰＣまたはＰＤＡ）、または、音声入出力を受け入れることができる他の計算システムの構成要素が含まれる。複数のタイプのデバイスを使用して複数の位置からユーザが文書を校閲することができるように、本発明を実施するデバイスのそれぞれが文書にアクセスすることができる。ユーザは、たとえば、自動車内で文書の校閲を開始し、セル電話を介して文書の校閲を継続し、通常の電話回線を使用して自宅から文書の校閲を終了させることができる。
【００２２】
複数のタイプのデバイスを本発明の諸態様を組み込むように修正することができる。たとえば、テキスト文書を含むメモリを有する注釈デバイス（たとえば装置）とプロセッサとを、メモリからテキスト文書を入手し、その文書の一部をユーザに向けて再生することができる音声ファイルに変換するように構成された文書処理エンジンに結合させることができる。ユーザが、文書の内容を聞くことを望むことを示す場合に、注釈デバイスは、音声出力機構を使用して、音声ファイルをユーザに向けて再生する。ユーザが注釈デバイスにコメントを提供する場合に、ユーザからのそのような言葉によるコメントを得るように構成された音声入力デバイスが、そのコメントを音声コメント・ファイルとして保管する。注釈デバイスは、音声コメント・ファイルをアノテータ（注釈器）に渡す。アノテータは、言葉で表現したコメントをユーザが提供した時に再生されていた音声ファイルに対応するテキスト文書内の位置に、音声コメント・ファイルを関連付けるように構成されている。
【００２３】
本発明のもう１つの実施態様には、ネットワーク上で分散された構成要素のセットを使用する装置が含まれる。この実施態様では、テキスト−スピーチ・エンジンを有するサーバが、文書ソース（たとえば、メモリまたは別のコンピュータ）からテキストを含む文書を入手し、文書内のテキストの一部またはすべてを音声ファイルに変換する。シン(thin)−クライアント（たとえば、ユーザ・インターフェース・デバイス）が、ネットワーク接続を介してサーバから音声ファイルを入手し、そのシンークライアント関連付けられた音声出力デバイスが音声ファイルをユーザに再生する。ユーザは、文書に関してコメントすることを望む場合に、シン−クライアントに関連する音声入力デバイスに、言葉にされた入力（たとえば、コメントおよび／または注釈）を供給することができる。ユーザが、そのような入力を供給したならば、その入力がサーバ・コンピュータに送信され、サーバ・コンピュータでは、そのファイルを音声コメント・ファイルとして保管する（たとえば、関連するデータ構造内に）。サーバ・コンピュータには、ユーザがコメントを供給した時に再生されていた音声ファイルの部分に対応する文書内の位置に、音声コメント・ファイルを関連付けるように構成されたアノテータが含まれている。
【００２４】
本発明では、文書に注釈をつける方法も企図されている。コンピュータ・ソフトウェアが、本明細書に記載の処理の一部またはすべての態様を実行することによって、この方法を補足することができる。本発明の一実施態様は、文書に注釈をつける方法であって、文書へのアクセスを望むユーザの認証情報を生成し、ユーザに対して関連ファイル構造を割り振り、文書にアクセスするように構成された相互接続経路を介して記憶媒体からテキスト要素を有する文書を入手し、テキスト文書の音声要素の第１のセットを有する第１注釈を入手し、テキスト要素を音声要素の第２のセットに変換し、再生文書を生成するために、音声要素の第１のセットを音声要素の第２のセットに関連付け、ユーザが文書を聞くことを希望する時に、ユーザに向けて再生文書の可聴再生を生成し、可聴再生中の注釈トリガのアクティブ化時に、音声入力機構を介してユーザから言葉によるコメントを入手し、その言葉によるコメントを可聴再生中の注釈トリガの発生に対応する再生文書内の位置に関連付け、ユーザの位置および認証情報と言葉によるコメントとを関連ファイル構造に保管することを含む方法である。
【図面の簡単な説明】
【００２５】
【図１】ユーザがコメントを文書に手動で挿入する方法を含むワード・プロセッシング環境を示す図である。
【図２】従来技術の音声編集デバイスで使用されるデータ・ファイルの表現を示す図である。
【図３】本発明の実施形態を実施する注釈デバイスに関連するコマンド・インターフェースの例を示す図である。
【図４】文書に注釈をつけるのに、本発明の一実施形態に従って使用される装置のいくつかのタイプを示す図である。
【図５】本発明の一実施形態による文書に注釈をつける基本構成要素を示す図である。
【図６】文書に注釈をつけるのに、本発明の一実施形態に従って使用される処理の例を示す図である。
【図７】コンピュータ・ネットワークから文書またはコメント・データを聞き、入手するのに使用されるシステムの処理能力に応じて処理の責任を割り振るのに、本発明の実施形態によって使用される処理を示す図である。
【図８】本発明の一実施形態によるスマート・クライアント構成の概略を示す図である。
【図９】サーバからの文書データがスマート・クライアントにパケットで送信される、限られたメモリを有するスマート・デバイスで文書に注釈をつけるのに、本発明の一実施形態によって使用される処理を示す図である。
【図１０】本発明の一実施形態によるシン−クライアント構成の概略を示す図である。
【図１１】本発明の一実施形態による、シン端末とインタラクトする時に文書サーバによって実行される処理の流れ図である。
【図１２】本発明の実施形態による、注釈を保管するファイル構造を示す図である。
【図１３】本発明の実施形態による、ファイル保管システムの階層木構造を示す図である。
【図１４】本発明の１つまたは複数の実施形態を実施するのに使用される汎用ハードウェア環境を示す図である。
【発明を実施するための形態】
【００２６】
文書に注釈をつける方法および装置を説明する。以下の説明では、本発明のより完全な理解を与えるために、多数の具体的な詳細を示す。しかし、本発明を、これらの具体的な詳細なしで実践できることは、当業者には明白であろう。それ以外の場合には、本発明を不明瞭にしないように、周知の特徴は詳細に説明しない。
文書を校閲する必要を有するすべての個人が、本発明の１つまたは複数の形態を使用できることに留意することが重要である。映画プロデューサ、監督、俳優、および他の娯楽産業に従事する人ならびに医師、弁護士、教師、学生、ビジネスマン、および多数の他の様々な個人が、本発明の実施によって解決される問題に遭遇する。したがって、本明細書に記載の文書に注釈をつける方法および装置が使用される複数のコンテキストがあることは、当業者に明白であろう。
【実施例】
【００２７】
システムの概要：
本発明の１つまたは複数の実施形態では、本明細書に記載の装置および方法によって、ユーザが、世界中のどこからでも、映画の脚本、書籍などのディジタル文書を校閲し、任意の数の注釈を追加（すなわちコメントを追加）できる。たとえば、本発明は、音声出力機構を介してユーザに向けて文書を再生することができ、ユーザに、音声入力機構に単に話すことによって文書にコメントする方法を提供する。あらゆるタイプの計算デバイスを本発明を実施するように構成することができ、これによって、ユーザに、特定の文書にコメントするか、それに関するコメントを校閲するインターフェースが与えられる。本発明の実施形態を実施するように構成することができるデバイスのタイプの例に、自動車のサウンド・システム、セル電話、地上ベースの電話、パーソナル・コンピュータ（たとえばＰＣまたはＰＤＡ）、口述筆記デバイス、または、音声入出力を受け入れることができる他の計算システムの構成要素が含まれる。複数のタイプのデバイスを使用して複数の位置から文書を校閲する方法をユーザに提供するように、本発明を実施するデバイスのそれぞれが文書にアクセスすることができる。ユーザは、たとえば、自動車内で文書の校閲を開始し、セル電話を介して文書の校閲を継続し、通常の電話回線を使用して自宅から文書の校閲を終了することができる。
【００２８】
ユーザがリモート位置（たとえば自動車内）にいる間に文書の内容を校閲することを望む場合に、ユーザは、本発明の１つまたは複数の実施形態を実装しているデバイス（たとえば、図３の注釈デバイス３００を参照されたい）を使用して、ユーザが聞くことを望む文書のインスタンスを入手し、再生することができる。ユーザは、文書データ３０５を含む任意のタイプの取外し可能媒体３０４（たとえば、フラッシュ・メモリ、フロッピ・ディスク）を介してデバイスに文書を供給することができる。ユーザは、そのような取外し可能媒体を媒体スロット３０２に挿入することができる。本発明の一実施形態によれば、このデバイスを、ネットワーク３０８（たとえば、無線ネットワーク、インターネット、高周波（ＲＦ）ネットワーク、セルラ・ネットワークなど）を介してサーバ３１２から文書データ３０５を入手するように構成することもできる。文書は、通常は、テキスト・データ（たとえば、Ｍｉｃｒｏｓｏｆｔ  Ｗｏｒｄ（商標）ファイル、ＨＴＭＬファイル、ＸＭＬファイル、または文書を表すすべての他のタイプのＡＣＳＣＩＩデータまたはバイナリ・データ）として生じ、再生の前に音声データに変換される（たとえば、本発明の実施形態で文書処理エンジンと称することができるテキスト−スピーチ・オペレーション（テキストを音声に変換するオペレーション）を介して）。しかし、本発明では、複数のタイプの文書とインタラクトするように構成された実施形態が企図され、あらゆるタイプのディジタル文書を校閲する能力をユーザに提供するように本発明を適合させることができる。
【００２９】
ユーザへの可聴再生のために文書データを準備するテキスト−スピーチ・オペレーションは、サーバ３１２または注釈デバイス３００で行うことができる。本発明の一実施形態では、注釈デバイス３００のユーザが、校閲する文書を識別し、再生ボタン３１２を選択することによって、文書の校閲を開始することができる。これによって、デバイスが、音声出力３１０を介してユーザに向かって文書を聞こえるように再生する。文書が、元々はテキストであった場合には、デバイスは、サウンド・データを音声出力３１０に送る前に、テキストをサウンド・ファイルに変換する（たとえば、テキスト−スピーチ・エンジンを介して）。文書の再生中はいつでも、ユーザが、注釈ボタン３１３を選択することによって、文書に口頭でコメントを挿入することができる。注釈ボタン３１３がアクティブ化されると、注釈デバイス３００は、音声入力３１０を介してユーザによって供給される可聴コメントの収集を開始する。したがって、注釈デバイスには、ユーザからの可聴単語（たとえばコメント／注釈）を収集するマイクロホンなどの機構が含まれる。
【００３０】
ユーザが供給するコメントのそれぞれは、システムによってメモリ（クライアント・デバイスまたは文書サーバの）に保管され、コメントに文脈的に関連する文書内の位置と関連付けられる。たとえば、文書が脚本である場合に、脚本を校閲する人が、コメントに関連する特定のシーンまたは処置に関する文書内の箇所に、そのシーンまたは処置に関するコメントを挿入することができる。ユーザがシーン１に関してコメントする場合に、そのコメントはシーン１に関連付けられる。その結果、第１のユーザがコメントを挿入した後に、別の個人がその文書を開けば、その個人が、文書の内容と共に第１のユーザのコメントを校閲できることになる。
【００３１】
ユーザが、デバイス内であるセクションに前進または巻き戻しを望む場合に、ユーザは、前進／巻き戻しボタン３１４を使用して、文書内のある場所に達することができる。したがって、ボタン３１４によってユーザは、文書の関連する部分へすばやく前進または巻き戻しを行うことができる。本発明の一実施形態では、ボタン３１４に、リニア編集で使用されるタイプなどのシャトル／ジョグ・ボタンが含まれる。停止ボタン３１５によってユーザは文書の再生を停止させることができる。本発明に、一時停止ボタン３１６も含めることができ、このボタンは、押された時に、ユーザが別のボタンの選択によって文書の再生を再開するように指示するまで、ある時間間隔の間だけ再生を一時的に停止させる。本発明の一実施形態では、ボタン３１２から３１６に関連する機能を実現させるために、音声によってアクティブ化されるソフトウェアの使用が企図されている。この実施形態では、ユーザは、文書の再生中に注釈コマンドを口頭で発することによって、文書に注釈をつけることができる。
【００３２】
注釈デバイスがユーザからコメントを得ると、後の使用および／または処理のためにそのコメントをディジタル記憶媒体に保管する。保管されたコメントを、たとえば、音声認識エンジン（ＳＲＥ）を介して音声データからテキストに変換することができる。したがって、文書に関連するコメントをテキストおよび／または音声の形で保管することができる。同一のまたは別のユーザが異なる時にこの文書を再生する場合に、文書内のコメントが前に与えられた箇所を聞くと、デバイスは最初にサンプリングされた音声をメモリから得て、その音声を再生する。本発明の一実施形態では、コメントが再生される時に、そのコメントを与えたユーザが音声によって識別される。たとえば、ユーザ１という名前のユーザが、文書の特定の部分に関してコメントすると、コメントが再生される時に、デバイスはそのコメントがユーザ１から発したものであることを識別する。したがって、デバイスは、コメントの各セットが誰から発したかを識別する方法をユーザに提供する。文書を校閲するユーザは、他のユーザからのコメントを除外しながら、あるユーザからのコメントを聞くことを選択することができる。たとえば、校閲者が、ユーザ１のコメントを聞くが、ユーザ２のコメントを聞かないことを望む場合に、校閲で、デバイスがユーザ１のコメントだけを再生することを要求することができる。
【００３３】
図４に、文書に注釈をつけるのに使用することができる注釈デバイスの異なるタイプの一部を示す。デバイスの各タイプは、異なる位置から文書に注釈をつける手段をユーザに提供する。図４には、文書サーバ４０２に配置された文書４０７にコメントすることを望むユーザ４００が示されている。ユーザ４００は、デバイス４０４、４０６、または４０１を使用することによってこれを達成することができる。注釈デバイス４０１には、地上ベースの電話（公衆電話、自宅の電話、職場の電話、セル電話など）が含まれる。
【００３４】
モバイル・クライアント４０１が無線デバイスである実施形態では、注釈デバイス４０１と通信ネットワーク４１０の間を無線塔４０３を使用して相互接続することができる。注釈デバイス４０１に、本発明の要件を処理するのに適当な処理能力およびメモリを用いて構成された「スマート」デバイスを含めることができる。たとえば、注釈デバイス４０１に、スマート・モバイル・クライアントが含まれる場合に、デバイス４０１は、元の文書を再生する制御機能５０２の他に、図５に示された注釈機能を実行する計算能力を備えるべきである。
【００３５】
もう１つの実施形態では、注釈デバイス４０１は地上電話機またはＲＦデバイスなどの「シン(thin)」デバイスである。地上電話構成では、注釈デバイス４０１が、文書の再生制御に関する図５の再生制御機能５０２を提供する。たとえば、電話キーパッドのキーまたは適当な音声コマンドによって、再生制御機能を提供することができる。注釈エンジン５００および音声認識エンジン５１０を示す図５の機能は、本発明の一実施形態では、文書サーバ４０２で実行される。
【００３６】
注釈デバイス４０１に、異なるタイプの通信相互接続へのアクセスを有するすべてのデバイスを含めることができる。本発明の実施形態では、複数のタイプの計算デバイスの間でデータを搬送する１つまたは複数の適当な通信経路を提供するすべてのタイプの相互接続ファブリックの使用が企図されている。相互接続ファブリックは、データの搬送波として働くことができる無線トランスポート機構の１タイプとすることができる。たとえば、本発明の実施形態で、Ｃｅｌｌｕｌａｒ  Ｄｉｇｉｔａｌ  Ｐａｃｋｅｔ  Ｄａｔａ（ＣＤＰＤ）ネットワーク、Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ（ＧＳＭ）ネットワーク、Ｍｏｂｉｔｅｘネットワーク、および／または他のタイプの、複数のデバイスの間のリンクを確立することができるラジオ通信チャネル、衛星通信チャネル、または無線通信チャネルを使用することができる。注釈デバイス４０１は、たとえば、文書サーバ４０２への通信ネットワーク４１０（たとえばインターネット）にデータを送信するか、それからデータを受信することができる。
【００３７】
注釈デバイス４０１は、ユーザ４００に、文書サーバ４０２の出力を制御するインターフェースを与える。ユーザ４００は、たとえば、注釈デバイス４０１を使用して、ユーザ４００に聞こえるように文書（たとえば文書４０７）を再生するように構成されたシステム（たとえばサーバ４０２）に接続する。本発明のこの実施形態では、文書サーバ４０２は、音声メール・システムの１つまたは複数の構成要素を使用して、ユーザに向けて文書４０７を再生することができる。音声メール・システムは、所定の位置にある文書ファイルにネットワーク４１０を介してアクセスし、再生できるようになっている。アクセスされるファイルがテキスト・データである場合には、システムは、テキスト−スピーチ・エンジンを介してそのテキスト・データを音声データに変換することができる。ユーザがこのシステムにアクセスする時に、ユーザは聞く文書を選択し（たとえば、階層メニュー構造をナビゲートすることによって）、システムがその文書をユーザに向けて再生する。ユーザが文書に関するコメントを与えることを望む場合には、ユーザは、コメントが与えられようとしていることをシステムに示す（たとえば、電話キーパッドのキーを押すことによって）。ユーザがそのような指示を行うと、システムは文書の再生を一時停止し、コメントの位置をマークする。その後、ユーザがシステムに口頭で陳述することによって、システムにコメントを与えることができる。システムはユーザのコメントを記録し、そのコメントを文書内でユーザによって識別された位置に関連付ける。同一のまたは別のユーザがこの文書をもう一度再生する時、文書内でユーザが前にコメントを与えた位置に達すると、システムは前に与えられたコメントを再生する。したがって、ユーザは、文書サーバ４０２へのインターフェースとして注釈デバイス４０１を使用して、特定の文書に関するコメントを聞き、与えることができる。
【００３８】
注釈デバイス４０４には、１つまたは複数のソースから文書データを入手するように構成されたクライアント・デバイス（図３に示されたものなど）が含まれる。デバイス４０４には、パーソナル・コンピュータ、ＰＤＡ、または、ネットワーク４１０を介して文書サーバ４０２から文書４０７を入手するように構成された、他のタイプのクライアント・コンピューティング・デバイスが含まれる。１つまたは複数の実施形態で、注釈デバイス４０４を注釈つけ機能として使用することができる。注釈デバイス４０４は通信ネットワーク４１０を介して文書サーバ４０２に接続される。注釈デバイス４０４は、取外し可能記憶媒体４０５、文書サーバ４０２、またはすべての他のデータ・ソースからのデータを処理することができる。保管されたデータ（たとえば文書４０７）は、注釈をつけられる文書または注釈をつけられた文書を含からなる。文書データが、取外し可能記憶媒体４０５に含まれる場合に、クライアント・コンピュータ４０８を使用して、文書サーバ４０２にデータを転送することができる。たとえば、取外し可能ストレージ４０５に、自律クライアント４０６で処理されたデータを含めることができる。
【００３９】
自律クライアント４０６には、本発明の１つまたは複数の実施形態を使用することができる別のタイプのデバイスが含まれる。自律クライアント４０６のユーザは、取外し可能記憶媒体４０５を介してクライアント・コンピュータ４０８からとられた文書データが手動で供給される。自律クライアント４０６は、取外し可能ストレージ４０５に保管された文書ファイルを処理することができる。１つまたは複数の実施形態で、自律クライアント４０６は通信ネットワーク４１０への直接接続されない。この構成では、自律クライアント４０６は、図５に示された機能を実行する機能のすべてを所有する。したがって、自律クライアント４０６には、文書に注釈をつける独立型デバイスとして働くのに十分な構成要素が含まれる。
【００４０】
自律クライアント４０６には、再生、巻き戻し、早送り、一時停止、停止、注釈つけ（すなわちマーク）などの、取外し可能ストレージ４０５に含まれる文書の再生に関する制御機能が含まれる。本開示に記載されていない他の再生制御機能を、追加する、減ずる、または置換して、文書の最適再生の機能を提供できることが当業者には明白であろう。たとえば、ユーザ識別を入力する機能、再生速度を変更する機能、ジャンプ機能を実行する機能、および検索機能を実行する機能を有することが望ましい場合がある。したがって、自律クライアント４０６を修正して、これらおよび他の再生制御機能を組み込むことができる。
【００４１】
文書サーバ４０２によって、注釈をつけられる文書の現在のコピーが維持される。本発明の１つまたは複数の実施形態では、文書サーバ４０２が、世界中におよぶ通信ネットワーク上にあり、その結果、ユーザが、世界中のどこからでも特定の文書にコメントをつけるためにログ・オンする（デバイス４０１、注釈デバイス４０４、またはクライアント・コンピュータ４０８を使用して）ことができる。文書サーバ４０２は、この開示に記載の処理機能の一部またはすべてを実行する能力も維持する。たとえば、文書サーバ４０２は、図６に示された処理のすべてを実行すると同時に、元の文書およびその注釈を保管し、維持する能力を有する。文書サーバ４０２は、文書への許可されないアクセスを防ぐセキュリティ機能も維持することができる。たとえば、文書サーバ４０２は、それに含まれる文書ファイルへのアクセスを許可する前に、ログオンＩＤおよびパスワードを要求するか、他のタイプの認証を実行することができる。
【００４２】
注釈エンジン
本発明の１つまたは複数の実施形態に、図５に示された注釈エンジンが含まれる。注釈エンジン５００は、再生コントローラ５０２からの制御入力およびユーザからのコメント５１２を受け入れる。たとえば、ユーザがメモリ５０４に含まれる文書にコメントをつけることを望むと、ユーザは文書へのアクセスを得るのに必要な認証を実行する。アクセスが許可された後に、メモリ５０４内の文書を、再生コントローラ５０２からの制御機能を使用して再生することができる。メモリ５０４には、すべてのタイプのメモリ（たとえば、フラッシュ・メモリ、取外し可能記憶媒体、スタティック・ストレージ、または他のすべてのタイプのコンピュータ・メモリ）が含まれる。
【００４３】
ユーザが、コメント５１２を与えたならば、注釈エンジン５００は、コメント５１２を文書内でコメントが与えられた位置に関連付ける。たとえば、注釈エンジン５００は、メモリ５０４内に元の文書を保存し、図１２に示された関連ファイル（すなわち、注釈ファイル、注釈インデックス・ファイル、および注釈名ファイル）を作成する。
【００４４】
再生コントローラ５０２は注釈エンジンに再生指令を供給する。再生コントローラ５０２は、再生、巻き戻し、早送り、一時停止、停止、および注釈つけ（すなわち注釈開始マーク５１４）などのコマンドを供給して、メモリ内のデータの再生を制御する。再生制御機能は、上にリストされたものに制限されず、ユーザへのフィードバックとして可聴再生を使用する実施形態でのボリューム制御などユーザへの再生を強化する他の機能もある。他の例に、可変速制御機能、ジャンプ機能、および検索機能を含めることができる。たとえば、ユーザが、文書の先頭またはデータの既知の点へのジャンプを望む場合がある。
【００４５】
再生中に、文書がテキストであり、可聴再生が望まれる場合に、文書をテキスト／スピーチ変換ブロック５０６で音声に変換することができる。テキスト／スピーチ変換ブロック５０６には、入力としてテキストを受け入れ、出力として音声を生成するように構成されたテキスト−スピーチ変換エンジンが含まれる。テキスト／スピーチ・ブロックに含めることができるテキスト−スピーチ・エンジンの例に、Ｌｅｒｎｏｕｔ  ＆  Ｈａｕｓｐｉｅ社、Ｍｉｃｒｏｓｏｆｔ（商標）社、または他のテキスト−スピーチプロバイダによって作られるものなどのテキスト−スピーチ・エンジンが含まれる。再生中に特定の点で文書にコメントを追加することを望むユーザは、注釈ボタン３１３を選択するなどのアクションの実行を選択することによって、注釈開始マーク５１４を生成する。しかし、本発明では、注釈開始マーク５１４を発生させることができる他の機構が企図されている。たとえば、注釈開始マークを音声によってアクティブ化するか、注釈を与えることを望むユーザによって供給される他のコマンドによってアクティブ化することができる。
【００４６】
注釈開始マーク５１４の発生時に、文書の音声再生が一時停止され、アノテータ５０８がユーザ・コメントの記録を開始する。後続の注釈マーク５１４（たとえば、終了注釈マーク）によって文書のその位置に関するユーザ・コメントの終りを示すことができる。いくつかの場合に、ある時間の期間の経過によって注釈終了マーク５１４が発生する。たとえば、注釈終了マーク５１４を発生させた後に、ユーザがある時間にわたってなにも話さないと、注釈終了マーク５１４が発生し、これによってユーザのコメントの終りがマークされる。
【００４７】
本発明の一実施形態では、アノテータ５０８が、音声およびテキスト・データをユーザに送る能力を有する。たとえば、テキスト／スピーチ変換ブロック５０６で生成された音声サウンドを、スピーカ・システムを介してユーザに送ることができる。このシステムが、たとえば、自動車のサウンド・システムの一部である場合には、音声データを生成し、自動車のステレオ・システムに関連するスピーカ・システムを介して送ることができる。文書にサウンド・データが含まれる場合に、アノテータ５０８は、メディア・プレイヤを使用して、スピーカ・システムを介してユーザに直接にサウンド・データを再生する。アノテータ５０８は、サウンド・データおよびテキスト・データを受け取り、記録する能力を有する。たとえば、ユーザ・コメント５１２が、マイクロホンなどのサウンド入力ソースから到着し、アノテータ５０８によってメモリ５０４に記録される。したがって、アノテータ５０８は、ユーザから音声データを収集するか、ユーザに音声データを供給する音声入出力機構を含むか、それに関連する。
【００４８】
アノテータ５０８は、校閲中の文書内で、注釈開始マーク５１４の発生に対応する位置を判定する。この位置によって、ユーザがコメント５１２を作り始めた場所（たとえばスタート）が示される。注釈開始マークの受取時に、アノテータ５０８は、校閲中の文書の現在位置を判定する。この位置は、本発明の一実施形態で、図１１で説明する関連ファイルの一部として保管される。それと同時に、アノテータ５０８は、終了注釈マーク５１４を受け取るまでユーザのコメント５１２の記録を開始する。ユーザのコメントの記録中に、注釈エンジン５００は、ユーザがコメント５１２を作り始めた位置に対応する箇所で、校閲中の文書の再生を延期する。文書の再生は、ユーザ・コメントの記録の完了時に再開される。たとえば、再生は、ユーザが終了注釈マーク５１４を提示する時に再開される。
【００４９】
文書の再生およびユーザ・コメントの記録が完了した後に、アノテータ５０８は、関連情報（図１１参照）をメモリ５０４に保管する。関連情報には、１人または複数のユーザによって供給されたコメントを表すデータ・メモリが含まれる。各コメントは、通常は、ある文書および／またはあるユーザに関連する。本発明の一実施形態では、関連情報が、注釈名ファイル、注釈インデックス・ファイル、および注釈ファイルを含むデータ構造に保管される。この関連データ構造の詳細は後で本明細書で説明する。注釈デバイスが関連データ構造を使用すると、元の文書の保全性が処理中に危険にさらされることがない。
【００５０】
アノテータ５０８は、記録されたデータを保管用の正しいフォーマットに変換する。１つまたは複数の実施形態で、コメントは、サウンド・データとしてＷＡＶファイルに保管されるか、サウンド・データを保管できる他の音声フォーマット（たとえば、ＭＰ３、ＲｅａｌＡｕｄｉｏ（商標）など）で保管される。コメントも、保管のためにまたは、処理が無線クライアントで行われ、テキスト送信が音声送信より望ましい場合に、Ｗｉｒｅｌｅｓｓ  Ａｐｐｌｉｃａｔｉｏｎｓ  Ｐｒｏｔｏｃｏｌ（ＷＡＰ）などのプロトコルを使用してデータ・パケットとして送信するために、変換することができる。テキストへのコメントの変換が望まれる時には、音声認識エンジン５１０を使用して、コメントをテキストに変換することができる。１つまたは複数の実施形態では、アノテータ５０８が、コメントをデータ構造に保管する前にコメントを校閲する能力をユーザに与える。
【００５１】
注釈を入手する／再生するのに使用される処理：
図６に、本発明の一実施形態に従って、文書に注釈をつけるのに使用される処理の例を示す。この処理はハードウェアおよび／またはソフトウェアの形で実現することができ、たとえば、この処理は、プロセッサまたはプロセッサに結合されたメモリなどのコンピュータ可読媒体で有形に実装されるコンピュータ可読プログラム・コードを含む。他の場合に、本発明は、ハード・ディスク、フロッピ・ディスク、および／またはコンピュータ可読プログラム・コードを保管できる他のすべての形のメモリなどのメモリ内で実行される。コンピュータ・プログラムまたはハードウェア・デバイスを本明細書ではシステムと称する。本明細書で説明するように、本発明の実施形態によって使用されるファイルの、ある実行可能部分および実行不能部分を、ネットワーク（たとえば無線ネットワーク）を介して配布または入手することができる。
【００５２】
このシステムは、開始点６００で実行状態に入り、ユーザからの入力を待つ。本発明の一実施形態によれば、ユーザからの入力で、認証を要求する。認証によって、どのユーザがコメントの特定のセットを作ったかを判定する方法をシステムに与える。複数のユーザが、文書に対してコメントする場合に、認証データによって、システムは、異なるユーザによって供給されるコメントを区別できる。認証が必要である場合に（たとえばステップ６０２で）、システムは、ユーザから一意の識別子を入手する（たとえばステップ６０４で）か、システムがユーザに関連付けられる。認証が必要でない場合には、システムは、ユーザによって供給される注釈に関連する１つまたは複数のデータ構造のために、システムにメモリの一部を割り振る（たとえばステップ６０６で）。本発明で、システムが、実行処理のより早くまたはより遅くにメモリを割り振る実施形態も企図されることを、当業者は諒解するであろう。
【００５３】
メモリがデータ構造に対して割り振られたならば、システムは校閲されるファイルを入手する（たとえばステップ６０８で）。このファイルには、通常は、テキストおよび／または他の要素などのデータを含む文書が含まれる。文書は、たとえば、テキスト・ファイル（たとえば、ＡＳＣＩＩ、ＥＰＳＩＤＩＣなど）、音声ファイル（たとえば、ＭＰ３、ＲｅａｌＡｕｄｉｏ（商標）、ＷＡＶなど）、イメージ・ファイル（たとえば、ＧＩＦ，ＪＰＧ，ＴＩＦＦなど）、ムービー・ファイル（たとえば、ＡＶＩ、ＭＰＥＧ、ＲＭなど）、または、システムのユーザが校閲し、後にコメントをつけることを望むデータを含む他のすべてのタイプのファイルとして作ることができる。校閲されるファイル（またはファイルの位置）がメモリにロードされると、システムは、ユーザが注釈を有するファイルの再生を望むことを示すのを待つ（たとえばステップ６１０で）。ユーザが、注釈付きの再生を開始するコマンドを開始する（たとえば、注釈付き再生ボタンを押すか、口頭コマンドを開始することによって）と、システムは、システムを操作するユーザが聞くことを望むコメント／注釈を作ったユーザに関連する一意の識別子（たとえばＩＤ）を入手することによって応答する。たとえば、システムのユーザが、１人または複数のある個人からのコメントを聞くことを望む場合に、これらの個人に関連するＩＤが、ステップ６１２でシステムに供給される。システムは、文書に関連するすべてのコメントを再生するという設定をデフォルトにすることができ、あるいは、他の場合に、システムが、ある個人からのコメントを、他の個人からのコメントの前に再生することによって、コメントに優先順位をつけることができる。
【００５４】
システムは、入手するコメントのセットを識別する時に、１つまたは複数の注釈ファイルを入手する（たとえばステップ６１４で）。注釈ファイルは、本発明の一実施形態では、インデックスまたはポインタのセットを介してアクセス可能である。したがって、インデックスを使用して、操作するユーザが聞くことを望むコメントの位置を判定することによって、適切な注釈ファイルにアクセスすることができる。各注釈ファイルに、１人または複数のユーザからのコメントをポイントするかどうかを含む、１つまたは複数のファイルが含まれる。本発明の一実施形態では、注釈ファイルに、メモリ位置のリスト、ネットワーク・アドレス、または、ユーザ・コメントを参照するか含むハイパーリンクが含まれる。注釈ファイルに、メモリ内に配置された構成要素、またはネットワーク（たとえば無線ネットワーク）を介してアクセス可能な複数のコンピュータに分散された構成要素を含めることができる。１つの例では、インターネットなどのコンピュータ・ネットワークまたはユーザ・コメントを有するディジタル・ファイルを入手する他の機構を介してコメントがアクセス可能である。
【００５５】
ユーザが、注釈付きで文書を校閲するコマンドを開始していない場合には、システムは、ステップ６１２および６１４をバイパスして、ステップ６１６を実行する。ステップ６１６では、システムは再生のために文書ファイルを準備する。ユーザが、前に、注釈を聞くことの望みを示した場合には、システムは、注釈ファイルと文書ファイルを再生ファイル内で互いに関連付けることによって、再生のためにこの２つのファイルを準備する。ユーザが、注釈を聞くことを望まない場合には、システムは、注釈なしで文書ファイルを再生のために準備する。文書ファイルおよび注釈ファイルの両方に、テキスト、サウンド、および／または他のタイプのデータを含めることができる。本発明の一実施形態によれば、テキストとして作られた文書ファイルおよび注釈ファイルに、文書内の特定の位置に関連する音声データが含まれる。しかし文書ファイルおよび注釈ファイルの両方に、他のタイプのデータを含めることができる。
【００５６】
本発明の一実施形態では、システムが、再生ファイルの型データまたは内容を再検討して、再生ファイルに対して実行されるオペレーションを決定する。ステップ６１８で、システムは、ファイルがサウンド・ファイルであるかどうかを判定することができる。システムが、サウンド・ファイルに出会う場合には、システムは、テキスト−スピーチ・エンジンを使用することによって、ファイルを音声データからテキスト・データに変換する（たとえばステップ６２０で）。テキスト−スピーチ処理の位置は、使用されるシステムの処理能力に応じて変更することができる。テキスト−スピーチ変換は、再生を行うコンピュータまたは再生を行うコンピュータから分離したコンピュータで行うことができる。テキスト−スピーチ変換が行われた後に、システムは、音声出力機構を介して音声ファイルを再生する（たとえばステップ６２２で）。ユーザがコメントを提供しないうちにシステムがファイルの終り（ＥＯＦ）に達した場合には（たとえば、ステップ６２４で）、システムは、ステップ６２５で終了することができる。しかし、ユーザが、注釈ボタンを選択する、コメントを言葉にする、またはコマンドを発行するその他の機構によって、コメント／注釈を供給する望みを示す場合（たとえばステップ６２６で）、システムは、ステップ６２８を実行し、このステップで、テキスト・ファイルに関連する音声の再生を一時停止し、適切な位置にマークを挿入する。このマークによって、ユーザが注釈コマンドを開始した位置が識別される。マークがセットされたならば、システムは、マイクロホンなどの音声入力機構を介してユーザからコメントを入手する（たとえばステップ６３０で）。コメントには、ユーザがコメントをつけている文書に関連付けることができるすべてのタイプの言葉にされた入力または言葉にされない入力を含めることができる。文書内のテキストの特定のセグメントに関するコメントに、たとえば、校閲者が共用を望む情報を含むウェブ・アドレスへの参照を含めることができる。コメントは、他のコメントをポイントすることができ、その結果、各コメントを他のタイプのデータに関係させるか関連付けることができる。したがって、校閲者は、コメント内の他のＵＲＬまたはデータを参照することができ、校閲者のコメントを聞くユーザはそのデータにアクセスすることができる。
【００５７】
システムは、入力を監視して、ユーザがコメントの供給を終了する時を判定する。ユーザがコメントを終了する時に、システムはそのコメントを適切な位置に保管する。システムは、たとえば、ステップ６０６で割り振られたデータ構造に関連するメモリ位置にコメントを置くことができる。いくつかの場合に、ユーザが供給したコメントのそれぞれが、注釈ファイルに保管され、ディジタル・データを保管することができる任意の位置に保管される。
【００５８】
処理の責任の割振り：
デバイスが、ネットワーク（たとえば、セル電話網、無線ネットワークなど）を介して文書データおよび／または注釈データを入手するように構成され、その結果、ユーザがそのようなデータとインタラクトできるようにされるとき、データへのアクセスの入手を試みるデバイスのタイプが重要である。たとえば、システムが十分な処理能力を有し、システムへの接続に使用されるネットワークが、低い帯域幅または高いコストに関連付けられている場合には、デバイスに送られるデータの量を最小にしなければならず、処理をシステム側で実行すべきである。しかし、システムが処理リソースを全く有しないか、最小限の処理能力を有する場合には、処理を文書または注釈データを供給するコンピュータ（たとえばサーバ・コンピュータ）で実行すべきである。
【００５９】
図７に、処理の責任を割り振るために、本発明の実施形態によって使用される処理を示す。図示の処理は、ステップ７００で開始され、ここで、音声データへの変換のためのネットワーク・ソースからのテキスト・データの入手と、その後のユーザへの再生を試みるシステムが、スマート・モバイル・デバイスであるか否かを判定する。システム（たとえば注釈デバイス）が、スマート・モバイル・デバイスである場合には、ネットワーク・ソース、通常は文書サーバ４０２が、メモリからテキスト・データを検索し（たとえばステップ７０２で）、テキスト・データを準備し、スマート・モバイル・デバイスに送る（たとえばステップ７０４で）。本発明の一実施形態では、スマート・モバイル・デバイスは上で説明した注釈エンジン機能を実行する。たとえば、スマート・モバイル・デバイスで実行される処理のタイプに、通常は、ネットワーク・ソースから供給されたテキストを、ユーザに向かって再生できる音声データに変換するテキスト−スピーチ・オペレーションが含まれる。たとえば、テキストの各部分を、ディジタル信号処理（ＤＳＰ）技法を使用して処理して、音声データの品質を高め、かつ／またはデータを、スマート・モバイル・システムが再生できる音声フォーマットにエンコードすることができる。スマート・モバイル・デバイスは、たとえば、組込みのまたはソフトウェアによるＲｅａｌ  Ａｕｄｉｏプレイヤを介してユーザに向けてファイルを再生する前に、テキストを最適化されたＲｅａｌ  Ａｕｄｉｏ（商標）ファイル（たとえばストリーミング・メディア・ファイル）に変換することができる。処理が完了したならば、スマート・モバイル・デバイスは、保管またはさらなる処理のために、あるデータをサーバに送り返す（たとえばステップ７０６で）。たとえば、ユーザが、コメントした場合に（たとえばステップ７０４で）、スマート・モバイル・デバイスは、ユーザ・コメントならびにそのコメントに関連する位置データを保管および／または処理のためにサーバに送り返すことができる。位置データによって、テキストに関してどこでユーザがコメントしたかが識別される。コメントには、注釈ファイルに挿入されるデータが含まれる。スマート・モバイル・デバイスが、セキュリティまたは認証のために他のタイプのデータをサーバに送り返すこともできることに留意することが重要である。本発明では、データ・ソースとスマート・モバイル・デバイスの間のリンクを維持するのに必要な他のタイプのデータの送信も企図されている。
【００６０】
ステップ７００の結果から、データ・ソースに接続されるシステムがスマート・モバイル・デバイスではなく、最小限の処理能力を含むか処理能力を含まないデバイス（たとえば公衆電話または陸線電話）であることが示された場合には、データ処理のより高い能力を有するコンピュータで処理を実行することができる。そのような処理は、データ・ソース側またはコンピュータ・ネットワークを介してアクセス可能な他のコンピュータ上で実行することができる。そのような処理を実行する仕事を課せられたコンピュータはデータを入手し、テキスト・ファイルを音声ファイルに変換する（たとえばステップ７０８で）。実行される処理に、ファイルを送信しようとしているデバイスを考慮して音声ファイルの品質の最適化のルーチンを含めることもできる。テキスト・ファイルを処理したならば、音声データを、ユーザに関連するデバイスに送信することができる（たとえばステップ７１０で）。たとえば、ユーザが、公衆電話または、データを処理する機構を有しない、他のタイプの遠隔通信デバイスを使っている場合に、サーバによって作成される音声ファイルが電話網を介して遠隔通信デバイスを使っているユーザに送信される。処理を実行する仕事を課せられたシステムは、クライアントに向かって文書を再生している間に、コメントの受け取りを開始する何らかの形のコマンドについてリスンする（たとえばステップ７１２で）。ユーザが、文書にコメントを挿入することを望む場合には、ユーザは、電話機のキーパッドまたはサウンドを生成できる他の機構を介して、トーンまたは他の何らかのサウンドを生成する。本発明の一実施形態では、ユーザが、キー（たとえば１などの数字）または「ｉｎｓｅｒｔ  ｃｏｍｍｅｎｔ（コメント挿入）」などの単純な口頭ステートメントを発して、コメントすることを望むことを示すことができる。システムは、可聴コマンドを受け取ったならば、音声データの送信を停止し、リスニング・モードに入る。システムは、リスニング・モードに入った時に、ユーザによって供給されるすべての口頭入力（たとえば、コメントまたは注釈）を集める（たとえばステップ７１４で）。システムは、ユーザ・コメントに関連する位置をマークし、コメントを、ユーザがコメントしている文書に関連付ける。ユーザがコメントの供給を終えたならば、システムは後のアクセスのために、コメントを注釈ファイルに保管する。システムは、ユーザがある時間の閾値期間（たとえば、３０秒、４５秒、１分など）だけ黙っていると、または、ユーザが、可聴ノイズを生成させる、デバイスのキーまたはボタンを押すことによってコメントの完了を示すと、ユーザがコメントを終了したと判定することができる。
【００６１】
スマート・クライアント構成
図８に、本発明の一実施形態によるスマート・クライアント構成の概略が含まれる。本明細書で使用されるスマート・クライアントは、本発明に必要な処理を実行するのに適切な処理能力および制御機能を有する。図８からわかるように、スマート・クライアント８００は、再生制御８０２、メモリ５０４、テキスト／スピーチ変換５０６、およびアノテータ５０８の機能がカプセル化されている。１つまたは複数の実施形態で、メモリ５０４を取外し可能記憶媒体とすることができる。他の実施形態では、メモリ５０４が、ランダム・アクセス・メモリ、フラッシュ・メモリ、光学メモリなどのメモリ・デバイスである。たとえば、セル電話などの無線デバイスで、ｗｉｒｅｌｅｓｓ  ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｔｏｃｏｌまたは任意の類似するプロトコルを介してテキスト・メッセージとして送信される文書の一次的ストレージにランダム・アクセス・メモリを使用することができる。
【００６２】
再生制御機能８０２はスマート・デバイスで使用可能な制御によって提供される。ブロック８０２には、音声入出力用のスピーカおよびマイクロホンも含まれる。スマート・デバイスがコンピュータ端末である場合には、キーボード機能によって、文書再生、ナビゲーション、および注釈の制御に必要な制御を提供することができる。スマート・デバイスは、本発明を実践するための制御機能（たとえば、ボタンまたは音声コマンドの使用による）を提供するように特に作られたデバイスとすることができる。セル電話が使用される場合には、キーパッドによって、再生に必要な制御を提供することができる。
【００６３】
本発明の１つまたは複数の実施形態において、テキスト／スピーチ変換ブロック５０６およびアノテータ５０８を、ログ・イン時にＪａｖａ（登録商標）アプレットの形でオブジェクトとしてサーバからクライアント８００に提供することができる。Ｊａｖａアプレットは、ランタイムにコンパイルされ、Ｊａｖａ仮想マシン（ＪＶＭ）によって実行されるバイトコードの形の実行可能オブジェクトである。小フットプリント（すなわち、制限された処理能力およびメモリ）を有するスマート・デバイスの場合に、「Ｋ」仮想マシン（ＫＶＭ）によって、アプレットがコンパイルされ、実行される。Ｊａｖａアプレットまたは他の形のマシン依存コードを使用することによって、仮想マシンを有するスマート・デバイスでの本発明の処理の実行の柔軟性がもたらされる。
【００６４】
制限されたメモリを有するスマート・モバイル・デバイスによって使用される処理：
図９に、サーバからの文書データがスマート・クライアントにパケットで送信されるように、限られたメモリを有するスマート・デバイスで文書に注釈をつけるために、本発明の一実施形態によって使用される処理を示す。たとえば、Ｗｉｒｅｌｅｓｓ  Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｔｏｃｏｌを使用する無線デバイスが、処理のためにデータ・パケットで文書を受信する。インターネットに接続された他のデバイスは、ＴＣＰ／ＩＰ、ＵＤＰ、またはコメントされる文書の内容をカプセル化することができる他のプロトコルなどのプロトコルを使用することができる。
【００６５】
スマート・デバイスによって実行される処理は、ステップ９０２で開始され、ここで、システムがテキスト文書を入手し、そのテキストを音声データに変換する。たとえば、ステップ９０２で、デバイスに送信されるデータ・パケットを処理し、ステップ９０４での再生用の音声に変換する。ステップ９０６で、注釈を開始する表示を受け取る場合に、処理はステップ９０８に進む。注釈を開始する表示は、キー入力によって生成されるトーンまたは音声コマンドなど、上で説明した形のどれにでもすることができる。そうでない場合には、再生が継続され、処理がステップ９０２に戻って、さらなるデータのパケットを受信し、再生が完了するか、注釈開始表示が受け取られるまで、処理が継続される。
【００６６】
注釈開始マーク（たとえば注釈トリガ）が受け取られると、再生が延期される。ステップ９０８で、処理されているデータ・パケット内のオフセットに対応する現在位置（すなわち、元の文書ファイルに関する、再生中のデータ・パケットで送信されたデータの範囲を参照する時のデルタ位置）が記録され、アノテータが、ステップ９１０で、注釈の記録を開始する。
【００６７】
ステップ９１２で、注釈停止トリガ表示を受け取るかどうかの判定を行う。注釈停止トリガは、キーパッド入力または音声コマンドなど、上で説明した形のいずれかで生成することができる。注釈を停止するトリガが受け取られる場合に、処理はステップ９１４に進む。そうでない場合には、アノテータは、入ってくるコメントの記録を継続する。ステップ９１４では、本発明の一実施形態で、注釈開始トリガが受け取られた、再生中の現在のデータ・パケット内の位置を含むデルタ位置と、記録された注釈が、望ましいプロトコルのいずれかを使用して文書サーバに送信される。文書サーバでは、オフセット（すなわちデルタ位置）を、処理されつつあるデータ・パケットの先頭に対応する位置の値に加算することによって、実際の文書位置を判定する。本発明の一実施形態では、文書サーバが、処理中のデータ・パケットで送信されたデータの範囲を記憶する。したがって、文書サーバおよび注釈デバイスはお互いに関連して動作して、文書の再生を同期化しながら、文書内でコメントを挿入するのに適切な位置を識別する。処理は、文書全体が処理されるか、ユーザがさらなる処理を延期するまで、ステップ９０２で継続される。
【００６８】
シン−クライアント構成
図１０に、本発明の一実施形態によるシン−クライアント構成の概略を示す。ユーザは、シン−クライアント構成で本発明にアクセスすることができる。シン−クライアント構成では、一般に、処理が、ほとんどまたは全くクライアント端末側で実行されないことが暗示される。これは、一般に、ユーザが、図５の注釈エンジン５００の要件を処理するのに十分な処理能力を有しない、地上電話に似たデバイスまたは類似するデバイスを介してシステムにアクセスする場合である。
【００６９】
ユーザが文書サーバ側で処理の一部を実行することを望む場合に、文書サーバ４０２（図４）にアクセスできるすべてのデバイスを、シン−クライアント構成で使用することができる。たとえば、スマート・クライアントをシン−クライアント構成で使用することができる。ユーザが、大量の処理を文書サーバ４０２で実行することを望む時には、いつでも、シン−クライアント構成を使用することができる。たとえば、ネットワーク・トラフィックの考慮から、スマート・クライアントでシン−クライアント構成を使用し、これによってサーバ側で処理を実行することが必要になる場合がある。
【００７０】
シン−クライアント構成では、ブロック１０００で表される処理が文書サーバ４０２で実行される。シン−クライアント１００２は、再生コマンドの生成、音声コマンドの送受信、注釈開始マーク・コマンドの生成など、限られた処理を実行することができる。たとえば、電話機がクライアントとして使用される場合に、キーパッド・ボタンを必要な再生コマンドに使用することができる。電話機のキーパッドは、再生制御に便利な機能を提供し、たとえば、「＃」キーを早送りに使用することができ、「＊」キーを巻き戻しに使用することができ、数字キーを他の機能に使用することができる。シン−クライアントは、１つまたは複数のキーの任意のセットを使用して、さまざまなタイプの再生機能を制御することができる。
【００７１】
図１１は、注釈つけを実行するように構成されたシン−クライアント・デバイスとインタラクトする時に文書サーバによって実行される処理の流れ図である。サーバによるユーザの認証と、再生される文書の検索の後に、ステップ１１０１で再生が開始される。たとえば、ユーザは、電話機の受話器を介して文書を聞くことができる。ユーザがコメントを追加したい点に再生が達すると、ユーザは注釈ボタンとして指定されたボタンを押す。このボタンによって、トーンの形で注釈マークが生成される。本発明の一実施形態では、注釈マークを注釈開始マークまたは注釈トリガと称する。再生は、サーバが注釈開始マークを受信しない場合に、ステップ１１０１で継続される。しかし、サーバは、ステップ１１０２で注釈開始マークを受信すると、ステップ１１０３に進んで、マークと再生されているサーバ・ファイルを同期化する。同期化は、複数の形とすることができる。たとえば、一実施形態は、同期化を文の先頭に戻すことを必要とする。同期化は、文の先頭としてもよいが、これは、ユーザが、通常は単語の途中にコメントを挿入したくないと仮定できるからである。しかし、いくつかの場合に、システムは、ユーザが、単語の途中にコメントを挿入できるようにすることができる（たとえば、単語を訂正するか、新しい単語を追加するために）。
【００７２】
ステップ１１０４で、サーバが、シン−クライアントから入ってくる音声コメントを記録する。記録は、ステップ１１０５で、別の注釈マーク（たとえば注釈終了マーク）が受信されて、ユーザ・コメントの終了が知らされるまで、ステップ１１０４で継続される。注釈終了マークが受信される場合には、処理はステップ１１０６で継続される。一実施形態では、注釈終了マークが、ある期間の沈黙によってトリガされる。コメントの記録の終りに、ステップ１１０６で、データが保管され、文書の終りに達するかユーザが再生を停止する望みを示すまで、再生がステップ１１０１で再開される。再生停止は、単純に受話器をフックに戻すこと、または再生機能を停止すると指定されたボタンの使用によって示すことができる。
【００７３】
ファイル構造
１つまたは複数の実施形態に、図１２に示された、文書の注釈に関連する４つの基本ファイルがある。これらのファイルには、元の文書１２００（すなわち、注釈をつけられる文書）、注釈名ファイル１２０２、注釈インデックス・ファイル１２０４、および注釈ファイル１２０６が含まれる。
【００７４】
文書ファイル１２００には、注釈をつけられる文書が含まれ、文書ファイル１２００は、通常は、注釈つけ中に修正されない。文書ファイル１２００は、別の文書への前の注釈（コメント）を表現することもできる。たとえば、ユーザが、別のユーザのコメントにコメントを追加したい場合がある。前のコメントにコメントを追加することによって、ファイルおよびリンクの階層が作成される。たとえば、注釈をつけられる文書ごとに、３つの関連ファイル（たとえば、注釈名ファイル、注釈インデックス・ファイル、および注釈ファイル）が作成される。その結果は、図１３に示されている、元の文書をルートとするファイルの階層ツリーである。
【００７５】
図１３では、ルート・ノード１３００が元の文書である。元の文書は、たとえば、書籍または映画の脚本とすることができる。コメントが元の文書に追加される時に、ノード１３０２Ａから１３０２Ｃとして表される注釈名ファイル、注釈インデックス・ファイル・ノード１３０６、および注釈ファイル・ノード１３０４が作成される。１つまたは複数の実施形態で、注釈ファイル１３０４に含まれるコメントに注釈をつけることができ、これによって、ノード１３０８ＡからＣ、１３１０、および１３１２で表される子ファイルが作成される。コメント１３０４は、文書１３００のコメントのＮＡＭＥ１１３０２Ａによる注釈であり、コメント１３１２は、文書１３００に対するＮＡＭＥ１１３０２Ａによって行われたコメントに対するＮＡＭＥ６１３０８Ｃによる注釈である。
【００７６】
コメント１３０４は、元の文書の注釈の第１レベルに関する注釈ファイル１２０６内のコメントを表す。構造化されているので、第２のユーザが、前のユーザによって行われた注釈ファイル１２０６内のコメントにコメントすることができる。したがって、追加コメントへの中間ノードとして働く同一レベルの一連のコメント１３０４を有することができる。
【００７７】
上で述べたモデルにしたがって、孫ノードおよび曾孫ノードを注釈の階層ツリーに追加することができる。この形の階層ツリーを使用することによって、元の文書にトレース・バックする能力を維持しながら、望みのレベルでコメントに対するコメントを追加できるようになり、これはサーバのメモリ容量のみによって制限される。このツリー構造を用いると、本明細書で説明した洗練された再生コントローラおよび注釈エンジンを使用して、階層ツリーをトラバースして選択的なコメントを校閲することが可能になる。
【００７８】
図１２に戻って、注釈名ファイル１２０２には、文書に注釈をつけるユーザの識別が含まれる。上で述べたように、この文書は、別のユーザまたは同一のユーザによる前のコメント（すなわち注釈）とすることができる。１つまたは複数の実施形態で、一連の英数字文字を、ユーザ識別に使用することができる。システムのユーザごとに一意の識別を有することが好ましいが、一意の識別子は必要ではない。一意の識別子を使用することによって、コメントのソースを追跡するのが簡単になる。
【００７９】
注釈名ファイル１２０２のユーザごとに注釈インデックス・ファイル１２０４がある（たとえばＮＡＭＥ１）。たとえば、注釈名ファイル１２０２に「Ｎ」個の名前がある場合に、「Ｎ」個の対応する注釈インデックス・ファイル１２０４がある。注釈インデックス・ファイル１２０４内の各位置（たとえばＬＯＣ１）には、コメントが挿入される文書ファイル１２００内の位置と、注釈ファイル１２０６内のコメントの位置が含まれる。すなわち、注釈インデックス・ファイル１２０４内の位置のそれぞれに、２つの情報が含まれる。注釈インデックス・ファイル１２０４内の位置ごとに、対応するユーザ・コメントを含む注釈ファイル１２０６内の位置がある。
【００８０】
図１２に提示されたファイル構造によって、元の文書に対して作られる注釈（すなわちコメント）を無限に保管し、追跡する方法がもたらされる。本明細書に記載のファイル構造は、簡単な成長およびトラバーサルに望ましいが、ユーザ注釈の検索の助けとなる限り、他のファイル構造を使用することができることは、当業者に明白である。
【００８１】
コメントがファイル構造に保管されたならば、コメントを、ユーザの要求時に再構成することができる。ユーザは、たとえば、注釈をつけられた文書を、その文書を仕上げるために秘書または他の人に与えることができる。他の場合に、文書は、別の人による後の処理のために保管される。本発明のさまざまな部分を実施するのに使用することができる汎用コンピュータ環境の説明を、下に続ける。
【００８２】
汎用コンピュータ環境の実施形態：
本発明の実施形態は、図１４に示されたコンピュータ１４００などの１つまたは複数の汎用コンピュータで実行されるコンピュータ可読プログラム・コードの形のコンピュータ・ソフトウェアとして実装することができる。キーボード１４１０およびマウス１４１１が、両方向システム・バス１４１８（たとえば、ＰＣＩ、ＩＳＡ、または他の類似するアーキテクチャ）に結合される。キーボードおよびマウスは、コンピュータ・システムにユーザ入力を導入し、ユーザ入力を中央処理装置（ＣＰＵ）１４１３に通信するためのものである。他の適切な入力デバイスを、マウス１４１１およびキーボード１４１０に加えて、またはその代わりに使用することができる。両方向システム・バス１４１８に結合されたＩ／Ｏ（入力／出力）ユニット１４１９は、プリンタまたはＡ／Ｖ（音声／ビデオ）デバイスなどの可能な出力デバイスを表す。
【００８３】
コンピュータ１４００には、ビデオ・メモリ１４１４、メイン・メモリ１４１５、大容量記憶装置１４１２、および通信インターフェース１４２０が含まれる。これらのデバイスのすべてが、キーボード１４１０、マウス１４１１、およびＣＰＵ１４１３と共に両方向システム・バス１４１８に結合される。大容量記憶装置１４１２には、磁気記憶システム、光記憶システム、光磁気記憶システム、または他の使用可能な大容量記憶技術など、固定式媒体と取外し可能媒体の両方を含めることができる。システム・バス１４１８は、ビデオ・メモリ１４１４またはメイン・メモリ１４１５をアドレッシングする手段を提供する。システム・バス１４１８は、ＣＰＵが、メイン・メモリ１４１５、ビデオ・メモリ１４１４、および大容量記憶装置１４１２などの構成要素の間でデータを転送する機構も提供する。
【００８４】
本発明の一実施形態では、ＣＰＵ１４１３が、６８０Ｘ０プロセッサなどのＭｏｔｏｒｏｌａ社が製造するマイクロプロセッサ、Ｉｎｔｅｌ  Ｐｅｎｔｉｕｍ（登録商標）  ＩＩＩプロセッサ、またはＳｕｎ  Ｍｉｃｒｏｓｙｓｔｅｍｓ社のＵｌｔｒａＳｐａｒｃプロセッサである。しかし、他の適切なプロセッサまたはコンピュータを使用することができる。ビデオ・メモリ１４１４は、デュアル・ポート式のビデオ・ランダム・アクセス・メモリである。ビデオ・メモリ１４１４の１つのポートは、ビデオ・アクセラレータ１４１６に結合される。ビデオ・アクセラレータ・デバイス１４１６は、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、またはＴＦＴ（薄膜トランジスタ）モニタ１４１７を駆動するのに使用される。ビデオ・アクセラレータ１４１６は、当技術分野で周知であり、適切な装置によって実装することができる。この回路は、ビデオ・メモリ１４１４に保管されたピクセル・データを、モニタ１４１７による使用に適する信号に変換する。モニタ１４１７は、グラフィック・イメージの表示に適するタイプのモニタである。
【００８５】
コンピュータ１４００には、システム・バス１４１８に結合された通信インターフェース１４２０も含まれる。通信インターフェース１４２０は、ネットワーク・リンク１４２１を介するネットワーク１４２２への両方向データ通信結合を提供する。たとえば、通信インターフェース１４２０がモデムである場合に、通信インターフェース１４２０は、対応するタイプの電話回線へのデータ通信接続を提供し、これには、ネットワーク・リンク１４２１の一部が含まれる。通信インターフェース１４２０が、ネットワーク・インターフェース・カード（ＮＩＣ）である場合には、通信インターフェース１４２０は、ネットワーク・リンク１４２１を介する互換ネットワークへのデータ通信接続を提供する。物理ネットワーク・リンクには、イーサネット（登録商標）、無線、光ファイバ、およびケーブル・テレビジョン・タイプのリンクが含まれる。そのような実施形態では、通信インターフェース１４２０が、さまざまなタイプの情報を表すディジタル・データ・ストリームを搬送する電気信号、電磁信号、または光信号を送信し、受信する。
【００８６】
ネットワーク・リンク１４２１は、通常、１つまたは複数のネットワークを介する他のデータ・デバイスへのデータ通信を提供する。たとえば、ネットワーク・リンク１４２１は、ローカル・ネットワーク１４２２を介するホスト・コンピュータ１４２３またはインターネット・サービス・プロバイダ（ＩＳＰ）１４２４によって運営されるデータ機器への接続を提供することができる。ＩＳＰ１４２４は、現在一般に「インターネット」１４２５と称する全世界のパケット・データ通信ネットワークを介するデータ通信サービスを提供する。ローカル・ネットワーク１４２２およびインターネット１４２５の両方が、ディジタル・データ・ストリームをファイルに搬送する電気信号、電磁信号、または光信号を使用する。さまざまなネットワークを介する信号とネットワーク・リンク１４２１上および通信インターフェース１４２０を介する信号は、ディジタル・データをコンピュータ１４００との間で搬送するが、ディジタル情報を移送する搬送波の例示的な形である。
【００８７】
コンピュータ１４００は、ネットワーク、ネットワーク・リンク１４２１、および通信インターフェース１４２０を介して、メッセージを送信し、プログラム・コードを含むデータを受信することができる。インターネットの例では、サーバ１４２６が、インターネット１４２５、ＩＳＰ１４２４、ローカル・ネットワーク１４２２、および通信インターフェース１４２０を介して、アプリケーション・プログラムに関する要求されたコードを送信することができる。
【００８８】
本発明の一実施形態では、シン−クライアント・デバイスが、コンピュータ・ネットワークを介して、上で説明したコンピュータ・システムとインターフェースするように構成される。他の場合には（たとえば、スマート・モバイル・デバイスが使用される時）、上で述べた構成要素の一部またはすべてが、デバイスに組み込まれる。上で説明したコンピュータ・システムが、例示にすぎないことは、当業者には明白であろう。本発明の実施形態は、あらゆるタイプのコンピュータ・システムまたはプログラミングあるいは処理環境で実施することができる。
【００８９】
したがって、文書に注釈をつける方法および装置を説明した。本明細書で説明した特定の実施形態は、例示のみであり、これによって本発明が制限されてはならない。請求項および同等物の範囲全体によって、本発明が定義される。
【図１】
2010140506.tif 000003
【図２】
2010140506.tif 000004
【図３】
2010140506.tif 000005
【図４】
2010140506.tif 000006
【図５】
2010140506.tif 000007
【図６】
2010140506.tif 000008
【図７】
2010140506.tif 000009
【図８】
2010140506.tif 000010
【図９】
2010140506.tif 000011
【図１０】
2010140506.tif 000012
【図１１】
2010140506.tif 000013
【図１２】
2010140506.tif 000014
【図１３】
2010140506.tif 000015
【図１４】
2010140506.tif 000016