(57)【特許請求の範囲】
【請求項１】
データベースに格納されているプレゼンテーション中に記録したプレゼンテーションのスライド、画像、映像情報及び音声情報を含む記録情報を用いて、プレゼンテーションの各スライドに挿入情報を挿入して書類の複合的な電子表現物を作成する方法であって、  プレゼンテーションのスライドを含む前記書類の電子表現物を受信し、  受信した前記書類の電子表現物から、特徴抽出手段により前記スライドの画像を抽出し、  前記記録情報を、前記特徴抽出手段により抽出された前記スライドの画像と比較し、１以上の特徴に合致する合致情報と前記合致情報に関連する関連情報を、比較手段により判別し、  前記比較手段で判別された前記合致情報と前記関連情報と前記電子表現物とに基づいて、前記電子表現物に挿入する挿入情報を、情報挿入手段により決定し、  決定された前記挿入情報を前記プレゼンテーションの各スライドに挿入して複合的な電子表現物を形成するステップ  を有し、前記比較手段は、前記記録情報中のプレゼンテーションの画像のうち、テキストを含む画像については光キャラクタリーダ照合を適用し、テキストを含まない画像についてはエッジヒストグラム照合を適用することを特徴とする方法。
【請求項２】
前記関連情報が、記録情報についての時間情報を含み、前記時間情報は、１以上の特徴に関連する情報が前記プレゼンテーション中に提示された時間を示す
ことを特徴とする請求項１記載の方法。
【請求項３】
挿入情報の選択内容を受信し、
前記複合的な電子表現物中の決定された情報についての関連情報を使用して、前記時間情報に示される時点でプレゼンテーション中に記録された情報にアクセスするステップ
を更に有することを特徴とする請求項２記載の方法。
【請求項４】
データベースに格納されているプレゼンテーション中に記録したプレゼンテーションのスライド、画像、映像情報及び音声情報を含む記録情報を用いて、プレゼンテーションの各スライドに挿入情報を挿入して書類の複合的な電子表現物を作成するデータ処理システムであって、
プロセッサと、
前記プロセッサに接続されたメモリと
を有し、前記メモリは、前記プロセッサに手順を実行させる複数のモジュールを格納し、前記手順は、
前記書類の電子表現物を受信し、  受信した前記書類の電子表現物から、特徴抽出手段により前記スライドの画像を抽出し、  前記記録情報と前記特徴抽出手段により抽出された前記スライドの画像とを比較し、１以上の特徴に合致する合致情報と前記合致情報に関連する関連情報を、比較手段により判別し、  前記比較手段で判別された前記合致情報と前記関連情報と前記電子表現物とに基づいて、前記電子表現物に挿入する挿入情報を、情報挿入手段により決定し、  決定された前記挿入情報を前記プレゼンテーションの各スライドに挿入して複合的な電子表現物を形成するステップ
を有し、前記比較手段は、前記記録情報中のプレゼンテーションの画像のうち、テキストを含む画像については光キャラクタリーダ照合を適用し、テキストを含まない画像についてはエッジヒストグラム照合を適用することを特徴とするデータ処理システム。
【請求項５】
前記関連情報が、記録情報についての時間情報を含み、前記時間情報は、１以上の特徴に関連する情報が前記プレゼンテーション中に提示された時間を示す
ことを特徴とする請求項４記載のデータ処理システム。
【請求項６】
挿入情報の選択内容を受信し、
前記複合的な電子表現物中の決定された情報についての関連情報を使用して、前記時間情報に示される時点でプレゼンテーション中に記録された情報にアクセスすることを特徴とする請求項５記載のデータ処理システム。
【請求項７】
データベースに格納されているプレゼンテーション中に記録したプレゼンテーションのスライド、画像、映像情報及び音声情報を含む記録情報を用いて、プレゼンテーションの各スライドに挿入情報を挿入して複合的な電子表現物を作成する装置であって、  プレゼンテーションのスライドを含む書類の電子表現物を受信する電子表現物受信手段と、  前記電子表現物受信手段により受信した前記電子表現物から、前記スライドの画像を抽出する特徴抽出手段と、  前記記録情報と前記特徴抽出手段により抽出された前記スライドの画像とを比較し、１以上の特徴に合致する合致情報と前記合致情報に関連する関連情報を判別する比較手段と、  前記比較手段で判別された前記合致情報と前記関連情報と前記電子表現物とに基づいて、前記記録情報から前記電子表現物の各スライドに挿入する挿入情報を決定する情報挿入手段と、  前記情報挿入手段により決定された前記挿入情報を前記プレゼンテーションの各スライドに挿入して複合的な電子表現物を形成する複合的電子表現物形成手段と、  を備え、前記比較手段は、前記記録情報中のプレゼンテーションの画像のうち、テキストを含む画像については光キャラクタリーダ照合を適用し、テキストを含まない画像についてはエッジヒストグラム照合を適用することを特徴とする装置。
【請求項８】
前記関連情報が、前記記録情報についての時間情報を含み、前記時間情報は、１以上の特徴に関連する情報が前記プレゼンテーション中に提示された時間を示すことを特徴とする請求項７記載の装置。
【請求項９】
前記挿入情報の選択内容を受信し、前記複合的な電子表現物中の決定された情報についての関連情報を使用して、前記時間情報に示される時点におけるプレゼンテーション中に記録された情報にアクセスすることを特徴とする請求項８記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録された情報にアクセスする技術分野に関連し、特に、記録された情報に関して挿入された情報を含む電子表現物を作成する技術に関する。
【背景技術】
【０００２】
プレゼンテーション中に情報を記録することは近年多くの人気を得てきている。学校や大学は授業や講義をプログラムし始めており、企業はミーティングや会議を記録し始めている、等々である。１以上の捕捉装置が、プレゼンテーション中に情報を記録してもよい。記録された情報は、音声情報、映像情報等を含む、様々な種類及び様々なストリームの情報を含んでもよい。
【０００３】
なお、本願は以下の出願に関連し、それら総ての内容は本願に組み入れられる。
【０００４】
西暦２０００年１１月３０日付けで出願され、“ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＣＡＰＴＵＲＩＮＧ  ＩＮＦＯＲＭＡＴＩＯＮ  ＤＵＲＩＮＧ  ＭＵＬＴＩＭＥＤＩＡ  ＰＲＥＳＥＮＴＡＴＩＯＮＳ”と題する米国出願番号第０９／７２８，５６０号；
西暦２０００年１１月３０日付けで出願され、“ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＲＥＣＥＩＶＩＮＧ  ＩＮＦＯＲＭＡＴＩＯＮ  ＤＵＲＩＮＧ  ＭＵＬＴＩＭＥＤＩＡ  ＰＲＥＳＥＮＴＡＴＩＯＮＳ  ＆  ＣＯＭＭＵＮＩＣＡＴＩＮＧ  ＴＨＥ  ＩＮＦＯＲＭＡＴＩＯＮ”と題する米国出願番号第０９／７２８，４５３号；
西暦２０００年３月８日付けで出願され、“ＭＥＴＨＯＤ  ＆  ＳＹＳＴＥＭ  ＦＯＲ  ＩＮＦＯＲＭＡＴＩＯＮ  ＭＡＮＡＧＥＭＥＮＴ  ＴＯ  ＦＡＣＩＬＩＴＡＴＥ  ＴＨＥ  ＥＸＣＨＡＮＧＥ  ＯＦ  ＩＤＥＡＳ  ＤＵＲＩＮＧ  Ａ  ＣＯＬＬＡＢＯＲＡＴＩＶＥ  ＥＦＦＯＲＴ”と題する米国出願番号第０９／５２１，２５２号；
西暦２００１年１１月１９日付けで出願され、“ＰＡＰＥＲ−ＢＡＳＥＤ  ＩＮＴＥＲＦＡＣＥ  ＦＯＲ  ＭＵＬＴＩＭＥＤＩＡ  ＩＮＦＯＲＭＡＴＩＯＮ”と題する米国出願番号第１０／００１，８９５号；
西暦２００３年９月１２日付けで出願され、“ＴＨＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＳＴＯＲＩＮＧ  ＭＵＬＴＩＭＥＤＩＡ  ＩＮＦＯＲＭＡＴＩＯＮ  ＷＩＴＨ  ＳＯＵＲＣＥ  ＤＯＣＵＭＥＮＴＳ”と題する米国出願番号第１０／６６０，９８５号；
西暦２００３年９月１２日付けで出願され、“ＴＨＣＨＮＩＱＵＥＳ  ＦＯＲ  ＰＥＲＦＯＲＭＩＮＧ  ＯＰＥＲＡＴＩＯＮＳ  ＯＮ  Ａ  ＳＯＵＲＣＥ  ＳＹＭＢＯＬＩＣ  ＤＯＣＵＭＥＮＴ”と題する米国出願番号第１０／６６１，０５２号；
西暦２００３年９月１２日付けで出願され、“ＴＨＣＨＮＩＱＵＥＳ  ＦＯＲ  ＡＣＣＥＳＳＩＮＧ  ＩＮＦＯＲＭＡＴＩＯＮ  ＣＡＰＴＵＲＥＤ  ＤＵＲＩＮＧ  Ａ  ＰＲＥＳＥＮＴＡＴＩＯＮ  ＵＳＩＮＧ  Ａ  ＰＡＰＥＲ  ＤＯＣＵＭＥＮＴ  ＦＯＲ  ＴＨＥ  ＰＲＥＳＥＮＴＡＴＩＯＮ”と題する米国出願番号第１０／６６０，８６７号；
西暦２００３年９月１２日付けで出願され、“ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＵＳＩＮＧ  Ａ  ＣＡＰＴＵＲＥＤ  ＥＬＥＣＴＲＯＮＩＣ  ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ  ＦＯＲ  ＴＨＥ  ＲＥＴＲＩＥＶＡＬ  ＯＦ  ＲＥＣＯＲＤＥＤ  ＩＮＦＯＲＭＡＴＩＯＮ”と題する米国出願番号第１０／６９６，７３５号；及び
西暦２００３年４月１１日付けで出願され、“ＡＵＴＯＭＡＴＥＤ  ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＣＯＭＰＡＲＩＮＧ  ＣＯＮＴＥＮＴＳ  ＯＦ  ＩＭＡＧＥＳ”と題する米国出願番号第１０／４１２，７５７号。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
プレゼンテーションの後に、記録された情報はユーザに利用可能になる。ユーザは彼らのメモを再検討するかもしれないし、プレゼンテーションの記録を見たいかもしれない。これらの記録にアクセスする従来の方法は、記録を順番に見ることによるものであった。記録された情報にアクセスする又は検索する、或いは記録された情報に索引を付ける更に効率的な技法が望まれている。
【課題を解決するための手段】
【０００６】
概して本発明の実施例は複合的な電子表現物を作成する技法に関連する。その技法は、書類の電子表現物を受信することを含む。電子表現物中の特徴が抽出され、記録された情報と比較され、合致する情報を判別する。例えば、合致する情報は、プレゼンテーション及び／又は記録された情報中の表現物でもよい。挿入する情報は、その合致する情報及び受信した電子表現物に基づいて決定される。そして、決定された情報を用いて、複合的な電子表現物が作成される。
【０００７】
一実施例では、複合的な電子表現物を作成する方法が提供される。本方法は：書類の電子表現物を受信するステップ；前記書類の前記電子表現物から特徴を抽出するステップ；前記特徴を記録情報と比較し、前記特徴に合致する前記記録情報中の情報を決定するステップ；前記特徴に合致する記録情報中の情報及び前記書類の受信した電子表現物に基づいて、挿入する情報を決定するステップ；及び決定された情報より成る複合的な電子表現物を形成するステップ；を有する。
【０００８】
他の実施例では、プレゼンテーション中に記録した情報を用いて、書類の複合的な電子表現物を作成する方法が提供される。本方法は：前記プレゼンテーションについての書類の電子表現物を受信するステップであって、前記電子表現物は、前記プレゼンテーション中に提示された特徴を含むところのステップ；前記電子表現物から前記特徴を抽出するステップ；前記プレゼンテーション中に記録された情報と前記特徴とを比較し、１以上の特徴に合致する記録情報中の情報を決定するステップ；前記特徴に合致する記録情報中の情報及び書類の受信した電子表現物に基づいて、挿入する情報を決定するステップ；及び決定された情報より成る複合的な電子表現物を形成するステップ；を有する。
【０００９】
他の特徴を有する実施例及び本発明の利点は、以下の明細書、図面及び特許請求の範囲を参照することで更に明確になるであろう。
【発明の効果】
【００１０】
本発明によれば、記録された情報にアクセスする或いは検索すること、又は記録された情報に索引を付けることを更に効率的にすることができる。
【発明を実施するための最良の形態】
【００１１】
以下の説明では、説明を目的として、本発明に関する充分な理解を与えるために具体的な詳細が説明される。しかしながら、そのような具体的な詳細なしに本発明が実現されてもよいことは明白である。
【００１２】
図１は本発明の一実施例を組み込んでもよいシステム１００の簡略化されたブロック図である。図１に示されるシステム１００は、本発明を組み込む実施例を単に例示するに過ぎず、特許請求の範囲の発明の範囲を制限するものではない。当業者は他の変形例、修正例及び代替例を認識するであろう。
【００１３】
システム１００はコンピュータシステム１０２を含み、コンピュータシステムは、プレゼンテーションで提示される内容を準備するためにユーザによって使用されてもよい。プレゼンテーションの具体例は、会合、会議、授業、スピーチ、デモンストレーション等を含む。プレゼンテーションの内容（マテリアル）は、スライド、写真、音声メッセージ、映像クリップ、文字情報、ウェブページ等を含んでもよい。ユーザは、コンピュータ１０２によって実行される１以上のアプリケーション１０４を用いて、そのプレゼンテーションの内容を出力する。プレゼンテーションで提示されるスライドを用意するのに一般に使用されるアプリケーションの具体例は、マイクロソフト（登録商標）社のパワーポイント（登録商標）である。例えば、図１に示されるように、ユーザはパワーポイント（登録商標）アプリケーション１０４を用いて「プレゼンテーション．ｐｐｔ」ファイル（＊．ｐｐｔファイル）を作成してもよい。パワーポイント（登録商標）アプリケーションを用いて作成された＊．ｐｐｔファイルは１以上のページを含むことができ、各々のページは１以上のスライドより成る。プレゼンテーションでスライドが提示される順序に関する且つスライドが提示される方法に関する情報を、＊．ｐｐｔファイルは格納してもよい。
【００１４】
スライドより成るパワーポイント（登録商標）プレゼンテーションファイルに加えて、他のプレゼンテーション内容を含む他の種類のファイルが、コンピュータ１０２により実行される別のアプリケーションを用いて作成されてもよい。これらのファイルは「象徴的な（シンボリック）プレゼンテーションファイル」として一般的に言及されてもよい。シンボリックプレゼンテーションファイルは、アプリケーション又はプログラムを用いて作成された任意のファイルであり、プレゼンテーション中に提示又は出力される少なくともいくつかの内容を有する。シンボリックプレゼンテーションファイルは、スライド、写真、音声メッセージ、映像クリップ、テキスト、ウェブページ、画像等のような様々な種類の内容から構成されてもよい。パワーポイント（登録商標）アプリケーションを用いて作成された＊．ｐｐｔファイルは、スライドから構成されるシンボリックプレゼンテーションファイルの一例である。書類を作成するために、ユーザはプレゼンテーション内容の一部を紙媒体に印刷してもよく（書類とも言及される）、その書類は通常的にはプレゼンテーションで配布される。「紙媒体」なる用語は、印刷可能で手で触れることの可能ないかなる媒体をも言及するよう意図される。「印刷」又は「印刷する」なる用語は、書き込み、押印し、描画、型押し等を含むように意図される。書類の各々は１以上の紙のページを含んでもよい。プレゼンテーションに出席する人数に依存して、多数の書類が印刷されてもよい。
【００１５】
書類の電子的な表現物が受信される。図１に示されるように、スキャナ１０８は書類１１０をスキャンするために使用されてもよい。紙媒体中の情報をスキャンすることのできる他の様々な装置を用いて書類をスキャンしてもよい。そのような装置の具体例は、ファクシミリ装置、複写機、スキャナ等を含む。
【００１６】
書類には様々な種類の特徴があるかもしれない。一般に、書類上の特徴は、その書類が作成されるプレゼンテーション中に提示又は議論される情報に関連する。その特徴はプレゼンテーション内容の一部又は他の内容を含んでもよい。印刷可能な特徴の具体例は、スライド、写真、ウェブページ、テキスト情報（例えば、ミーティングで議論される議題の特徴のリスト）等を含む。例えば、ユーザは＊．ｐｐｔファイルからの１以上のスライドを書類に印刷してもよい。パワーポイント（登録商標）アプリケーションは、書類を作成するために、＊．ｐｐｔファイルから１以上のスライドを印刷する手段（ツール）を提供する。書類の各ページはそこに印刷される１以上のスライドを含んでもよい。書類ページ上のスライドを用いる書類ページの具体例は、図３（Ａ）及び（Ｂ）に示され、以下で更に詳細に説明される。
【００１７】
電子表現物は書類の電子画像でもよい。例えば、＊．ｐｐｔファイルは、画像に変換され、書類の電子表現物として使用されてもよい。書類が使用されるが、いかなる書類の電子表現物が受信されてもよい。紙に印刷される書類は、電子表現物を生成するために使用されることを必要としない。
【００１８】
捕捉装置１１８はプレゼンテーションで提示された情報を捕捉するよう構築される。プレゼンテーション中に出力される様々な異種の情報が捕捉装置１１８によって捕捉又は記録されもよく、その情報は例えば音声情報、映像情報、スライドや写真の画像、ホワイトボードの情報、テキスト情報等である。本願に関し、「提示される」なる語は、表示される、出力される、話される等を含むように意図される。本願に関し、「捕捉装置」なる語は、１以上の種類の情報を捕捉又は記録するよう構築された装置、システム、装置又はアプリケーションのいかなるものをも言及するよう意図される。捕捉装置１１８の具体例は、マイクロフォン、映像カメラ、カメラ（ディジタル及びアナログの双方が該当し得る）、スキャナ、プレゼンテーションレコーダ、スクリーン捕捉装置（例えば、ホワイトボード情報の捕捉装置）、象徴的な（シンボリック）情報の捕捉装置等を含む。情報を捕捉することに加えて、捕捉装置１１８は、捕捉した情報に関連する時間的な情報を補足することができてもよい。
【００１９】
プレゼンテーションレコーダは、プレゼンテーション中に提示された情報を、（例えば情報ソースからの情報ストリームを取得して捕捉することによって）捕捉することのできる装置である。例えば、パワーポイント（登録商標）アプリケーションを実行するコンピュータが＊．ｐｐｔファイルからのスライドを表示するために使用されるならば、プレゼンテーションレコーダは、コンピュータの映像出力を取得し、表示されるスライドの映像キーフレームの中で顕著な変化が検出される毎にキーフレームを捕捉するよう構成されてもよい。プレゼンテーションレコーダは、音声情報、映像情報、スライド情報ストリーム等のような異種の情報を捕捉することもできる。情報が出力又は捕捉された時間を示す捕捉情報に関する時間情報は、様々な種類の捕捉情報を同期させるのに使用される。プレゼンテーションレコーダの具体例は、スクリーン捕捉ソフトウエアアプリケーション、パワーポイント（登録商標）アプリケーション（プレゼンテーション中に各スライドについてスライド及び経過時間の記録を可能にする）及び以下の米国出願に記載されたプレゼンテーションレコーダ（２０００年１１月３０日付け出願の米国出願番号第０９／７３８，５６０号、２０００年１１月３０日付け出願の米国出願第０９／７２８，４５３号及び２０００年３月８日付け出願の米国出願番号第０９／５２１，２５２号）を含み、それら米国出願の内容は本願に組み入れられる。
【００２０】
シンボリック情報捕捉装置は、プレゼンテーション中に出力されるかもしれないシンボリックプレゼンテーション書類に記録された情報を捕捉することができる。例えば、シンボリック情報捕捉装置は、プレゼンテーションで提示されたスライドを一連の画像のように（例えば、ＪＰＥＧｓ、ＢＭＰｓ等のように）記録することができる。シンボリック情報捕捉装置は、スライドのテキスト内容を抽出するよう構成されてもよい。例えば、パワーポイント（登録商標）スライドのプレゼンテーション中に、シンボリック情報捕捉装置は、スライドの変わり目を捕捉し（例えば、キーボードのコマンドを捕捉することによって捕捉し）、それらの変わり目に基づいて提示情報を抽出することによってスライドを記録してもよい。ホワイトボード装置は、ホワイトボード、スクリーン、チャート等の内容を捕捉するように適切に設けられたカメラのような装置を含んでもよい。
【００２１】
プレゼンテーション中に捕捉装置１１８によって捕捉又は記録された情報は、記録情報１２０としてリポジトリ又はデータベース１５０に格納されてもよい。記録情報１２０は様々な形式で格納されてもよい。例えば、記録情報１２０を格納するための階層（ディレクトリ）がリポジトリ１１５内に形成されてもよく、記録情報１２０に含まれる様々な形式の情報（例えば、音声情報、画像情報、画像等）がその階層に従って記憶されてもよい。他の実施例では、記録情報１２０はファイルとして格納されてもよい。当業者に周知の他の様々な手法が、記録情報を格納するために使用されてもよい。
【００２２】
書類の中で発見されたスライドの画像はプレゼンテーション中に表示される。一実施例では、プレゼンテーションレコーダは、それらが表示されるようにスライド画像を捕捉してもよい。更に、記録情報１２０に索引を付けるのに使用されてもよい関連情報が格納されてもよい。例えば、スライドが表示された時間を示す時間情報が格納されてもよい。その時間情報は、そのスライドが表示された時点に関連する記録情報の部分を判別するのに使用されてもよい。
【００２３】
時間情報に加えて、プレゼンテーションの間に記録情報が格納された場所を区別するソース情報が識別されてもよい。記録情報１２０に関するこの格納場所情報は、その記録情報が新しい格納場所に移される場合に、更新されてもよい。このよに、本発明の一実施例は、記録情報１２０の格納場所を時間と共に変化させることができる。
【００２４】
本発明の実施例によれば、関連情報はＸＭＬ構造に格納される。例えば、関連情報はプレゼンテーション及び／又はページに関してステップ２０６で決定される時間情報及びソース情報を含んでもよい。ソース情報はプレゼンテーションにアクセスするのに使用される識別子でもよい。例えば、ソース情報はロケーション名及びファイル名でもよい。時間情報はプレゼンテーションの一部分に索引を付けるのに使用される。プレゼンテーションはステップ２０４で決定されたプレゼンテーション又はステップ２０４で決定された情報に関連するプレゼンテーションであってもよい（例えば、あるプレゼンテーションレコーダを用いてスライド画像が捕捉されたところのプレゼンテーション）。プレゼンテーションの一部は、ステップ２０４で決定された抽出された特徴に合致する情報を含んでもよい。例えば、プレゼンテーションの一部は、プレゼンテーション中に表示されていたスライドを含んでもよい。
【００２５】
サーバ１１２は複合的な電子表現物１２２を作成する。一実施例では、受信した書類の電子表現物から特徴が抽出される。その特徴は、合致する情報を判別するために記録情報１２０と比較される。一実施例では、合致する情報は様々な手法を用いて決定されてもよい。スライド画像は、スライド画像に完全に合致しなくてもよいことが認識されるであろう。例えば、スライド中のテキストは、実質的に合致するテキストを判別するためにテキストと比較されてもよい。
【００２６】
挿入する情報は、合致する情報や、書類の電子表現物に基づいて決定される。複合的な電子表現物１２２は、挿入されたその情報に基づいて作成される。複合的な電子表現物１２２は、抽出された特徴を含んでもよい。また、複合的な電子表現物１２２は、合致する情報及び書類の電子表現物に基づいて決定された情報を含んでもよい。
【００２７】
ユーザは、複合的な電子表現物１２２内の挿入情報を選択し、記録された情報１２０にアクセスする及び／又は再生してもよい。例えば、書類中のスライドの電子表現物は、記録情報１２０に関連する情報を決定するために使用されてもよい。挿入される情報は、プレゼンテーションの一部の様子を示すオブジェクトを含んでもよい。オブジェクトが選択されると、プレゼンテーションの中でそのスライドが表示された時点の記録情報がアクセスされ及び／又は再生される。従って、書類中のスライドに関連する付加的な情報をユーザが望む場合には、複合的な電子表現物１２２内の挿入情報を使用して、そのスライドが表示及び／又は議論された時点の（プレゼンテーションの）記録情報１２０を検索してもよい。
【００２８】
図２は、本発明の一実施例による複合的な電子表現物に関する方法の概略フローチャート２００を示す。図２に示される方法は、プロセッサで実行されるソフトウエア、ハードウエアモジュール又はそれらの組み合わせによって実行されてもよい。図２に示されるフローチャート２００は、本発明の一態様を示すにすぎず、本発明の範囲を限定することを意図するものではない。他の変形例、修正例及び代替例も本発明の範疇にある。
【００２９】
ステップ２０２では、書類の電子表現物が受信される。一実施例では、書類は紙の書類として印刷される。ユーザは書類にメモをとってもよい。そのメモは一般的にはプレゼンテーション中に紙の書類に記載される。電子形式の書類にタイピングするような、メモを取る他の方法が想定されてもよい。メモは書類に記載されてもよいが、何らかのメモが存在することは必須ではない。
【００３０】
書類の電子表現物が受信されるように想定されているが、書類の電子的な複製（コピー）が受信されてもよいことは理解されるであろう。書類中の１以上のページは、電子表現物として受信されてもよい。説明の便宜上、電子表現物が１つのページを含むことを仮定するが、電子表現物はいかなるページ数を含んでもよいことは理解されるべきである。上述したように、書類の電子表現物は、スキャンされる書類から受けてもよい。
【００３１】
他の実施例では、書類の電子形式（バージョン）が使用されてもよい。例えば、その電子バージョンは＊．ｐｐｔファイル内で発見されたスライドの画像でもよい。＊．ｐｐｔファイルは画像に変換されてもよい。例えば、＊．ｐｐｔスライドがａ．ｐｄｆ又はフラッシュファイル内の画像に変換される技術が知られている。これらの画像は書類の画像として使用されてもよい。例えば、書類の電子表現物は以下のプロセスを用いて受信されてもよい。ユーザは、ｐｄｆリーダのようなアプリケーションで電子表現物を開いてもよい。例えば、スキャンした書類からの電子表現物又はその電子バージョンが、そのアプリケーションで開かれてもよい。以下のステップを開始する入力がｐｄｆリーダ内に設けられてもよい。
【００３２】
ステップ２０４では、書類の電子表現物から特徴が抽出される。書類はプレゼンテーションで提示された１以上のスライドの画像を含んでもよい。スライドの画像は書類の電子表現物から抽出される。その処理はスライドを抽出するように説明されるが、他の特徴が抽出されてもよいことは理解されるであろう。例えば、画像や文字等が抽出されてもよい。例えば、プレゼンテーションにおけるスライドを使用する代わりに、ユーザは、ある特徴の画像を表示してもよい。その画像はその後に抽出される。
【００３３】
一実施例では、１より多くのスライドが１ページに存在する場合に、区分け（セグメンテーション）が行われてもよい。セグメンテーションは、分割を行い、書類の電子表現物における個々のスライドを決定する。個々のスライドが記録情報１２０の異なる部分に関連すべき場合に、これは望ましいかもしれない。唯一のスライドがページにある等の特定の場合には、セグメンテーションは必要ないかもしれない。
【００３４】
書類及び画像を分割する技法は当該技術分野でよく知られている。目下の多くの分割法は、書類の電子表現物から個々のスライド領域を区分けするために使用される。区分けの具体例は以下に更に詳細に説明される。セグメンテーションが説明されるが、他の手法を利用して、書類の電子表現物中のスライド画像を判別してもよい。例えば、電子表現物の内容は、スライド画像を判定するために分析されてもよい。一実施例では、四角形の枠（ボックス）が認定され、その枠内の情報がスライド画像として使用されてもよい。
【００３５】
ステップ２０６では、抽出された特徴が記録情報１２０と比較され、記録情報１２０の内で合致する情報を判別する。例えば、抽出された情報に適合する記録情報の部分が、判別されてもよい。その部分は、プレゼンテーションのページ、映像、音声等を含んでもよい。一実施例では、書類の電子表現物から抽出されたスライド画像は、別のプレゼンテーションに関する記録情報１２０中のスライド画像と比較される。プレゼンテーションに関する記録情報１２０は、別の時間に表示されてもよく、総てが合致する情報を含む（例えば、あるスライドはプレゼンテーション中の異なる記録情報の中で生じてもよい。）。
【００３６】
一実施例では、抽出された特徴は複数のスライドを含んでいてもよい。スライドは、合致する情報を含むプレゼンテーションを判別するために、スライド画像と比較されてもよい。一実施例では、複数のスライド中の各々が、プレゼンテーションに関する記録情報１２０内の複数のスライドと比較される。スライドに合致する情報を含む記録情報１２０の部分が判定される。
【００３７】
他の実施例では、複数のスライドが、一組として処理され、総てのスライドが全プレゼンテーション中のスライドを比較するのに使用される。従って、合致する情報を含むプレゼンテーションを見分けるために、そのプレゼンテーションは、一組として処理される複数のスライドの各々に合致するスライドを含むべきである。
【００３８】
記録情報１２０内の合致情報を判別するために様々な技法が使用されてもよい。一実施例では、以下の米国出願に記載された手法や、当該技術分野で既知の他の手法を用いて、合致する画像（即ち、抽出された特徴を有する記録情報からの画像）を発見してもよい。その米国出願は、２００３年４月１１日付け出願の“ＡＵＴＯＭＡＴＥＤ  ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＣＯＭＰＡＲＩＮＧ  ＣＯＮＴＥＮＴＳ  ＯＦ  ＩＭＡＧＥＳ”と題する米国特許出願番号第１０／４１２，７５７号；２００３年９月１２日付け出願の“ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＳＴＯＲＩＮＧ  ＭＵＬＴＩＭＥＤＩＡ  ＩＮＦＯＲＭＡＴＩＯＮ  ＷＩＴＨ  ＳＯＵＲＣＥ  ＤＯＣＵＭＥＮＴＳ”と題する米国特許出願番号第１０／６６０，９８５号；２００３年９月１２日付け出願の“ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＰＥＲＦＯＲＭＩＮＧ  ＯＰＥＲＡＴＩＯＮＳ  ＯＮ  Ａ  ＳＯＵＲＣＥ  ＳＹＭＢＯＬＩＣ  ＤＯＣＵＭＥＮＴ”と題する米国特許出願番号第１０／６６１，０５２号；２００３年９月１２日付け出願の“ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＡＣＣＥＳＳＩＮＧ  ＩＮＦＯＲＭＡＴＩＯＮ  ＣＡＰＴＵＲＥＤ  ＤＵＲＩＮＧ  Ａ  ＰＲＥＳＥＮＴＡＴＩＯＮ  ＵＳＩＮＧ  Ａ  ＰＡＰＥＲ  ＤＯＣＵＭＥＮＴ  ＦＯＲ  ＴＨＥ  ＰＲＥＳＥＮＴＡＴＩＯＮ”と題する米国特許出願番号第１０／６６０，８６７号；２００３年９月１２日付け出願の“ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＵＳＩＮＧ  Ａ  ＣＡＰＴＵＲＥＤ  ＥＬＥＣＴＲＯＮＩＣ  ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ  ＦＯＲ  ＴＨＥ  ＲＥＴＲＩＥＶＡＬ  ＯＦ  ＲＥＣＯＲＤＥＤ  ＩＮＦＯＲＭＡＴＩＯＮ”と題する米国特許出願番号第１０／６９６，７３５号である。
【００３９】
一実施例では、抽出された特徴は、その抽出情報に合致する情報を含むプレゼンテーションに関する記録情報１２０を判別するために使用されてもよい。例えば、これは記録情報１２０からの第１抽出画像によってなされる。記録情報１２０から抽出される画像は、様々な電子表現捕捉装置によりプレゼンテーション中に捕捉された画像、プレゼンテーションレコーダで捕捉された画像、プレゼンテーション中に捕捉された映像情報から取得されたキーフレーム画像等を含んでもよい。
【００４０】
抽出画像はステップ２０４で決定された抽出された特徴と比較される。抽出された画像は、そのスライドが表示された又は提示されたプレゼンテーション中の時点を示す時間情報を判別するために予め処理されてもよい。スライドに関する時間情報は、そのスライドが提示された又は表示されたプレゼンテーション中の１以上の期間をも識別する。その期間は非連続的でもよい。
【００４１】
一実施例では、合致する情報は、以下に説明される「マッチング法」の部分で説明される技法を利用して決定されてもよい。マッチング情報は、プレゼンテーションレベルマッチングを用いて決定されてもよい。書類マッチングアルゴリズムは、書類の電子表現Ｉｉを入力として受信し、プレゼンテーションレコーダ書類のデータベースに対してそれを比較する。これはプレゼンテーションマッチングステップと言及されてもよい。それは、そのプレゼンテーションを与えるのに使用されてもよかった総てのプレゼンテーション記録セッションを特定する。スライドマッチングと呼ばれる次のステップは、識別されたプレゼンテーションレコーダセッション内の分割された電子表現物ｐｊ，ｋ各々を、書類上のスライド画像にマッピングする。その手法は以下で更に詳細に説明される。これは、書類内の各スライドから、ソースや、音声及び映像トラック内のタイムスタンプへのマッピング機能を与える。
【００４２】
ステップ２０７では、ステップ２０６で決定されたマッチング情報や、ステップ２０２で受信された書類の電子表現に基づいて、挿入する情報が決定される。一実施例では、決定される情報は、抽出された特徴に合致するスライド画像に基づいてもよい。合致するスライド画像について決定された関連情報は、プレゼンテーションに索引を付けるのに使用されてもよい。関連情報によって示される時点におけるプレゼンテーション記録から抽出される画像が、その後に判定されてもよい。
【００４３】
ステップ２０８では、ステップ２０７で決定された情報を用いて、複合的な電子表現物１２２が作成される。複合的な電子表現物は多くの種類の情報を含んでいてもよい。例えば、抽出される特徴は、複合的な電子表現物１２２内に含まれてもよい。
【００４４】
また、その情報はメタデータを含んでもよく、メタデータは記録情報１２０に基づいて決定される。メタデータは、ステップ２０６で決定されたマッチング情報から導出されてもよい。例えば、メタデータが判別され、作成された電子表現の中に挿入されてもよい。複合的な電子表現物１２２に含まれているメタデータを抽出するために、記録情報１２０は後処理されてもよい（書類をテンプレートとして使用して作成される）。例えば、スライドはどの程度長く議論されたかが計算され、挿入される。どの種類のメタデータが抽出されるかについてや、又は複合的な電子表現物１２２内にそれらが包含され得る形式については何らの制限もなく、メタデータの抽出に関するいくつかの例は例示的な目的で与えられていることは、理解されるべきである。メタデータを決定する手法は、以下で更に詳細に説明される。
【００４５】
また、アイコンやリンクのような選択可能なオブジェクトが挿入されてもよい。選択されると、そのオブジェクトは、ステップ２０６で決定したマッチング情報に関連する関連情報を利用して、記録情報１２０にアクセスする。例えば、アクセスされる情報は、スライドが表示されていた時間におけるプレゼンテーション記録でもよい。記録情報１２０から抽出された画像は、選択されると、それに起因して、その画像に関する関連情報で指定される時間で、記録されたプレゼンテーションがアクセスされる。他の実施例では、記録情報１２０は画像と共に埋め込まれる又は格納される。オブジェクトが選択されると、埋め込まれた情報がアクセスされ、再生される。従って、アクセスについて中心的なデータベースは必須ではない。例えば、画像再生オブジェクトは画像の中に埋め込まれてもよい。再生が選択されると、記録された情報１２０が自動的に再生される。
【００４６】
一実施例では、ステップ２０２で受信した電子表現は、複合的な電子表現物１２２を作成するために使用される。例えば、受信した電子表現の中に情報が挿入される。また、受信した電子表現物及び挿入情報を含む新たな書類が作成されてもよい。双方の場合に、複合的な電子表現物１２２は、そこに挿入される記録情報１２０に関連する情報と共に作成される。例えば、プレゼンテーションの間に書類が印刷されて配布されてもよい。ユーザは書類にメモを取ってもよい。書類の電子表現を作成するために、書類がその後にスキャンされる。そして、スキャンされた電子表現に情報が挿入される。
【００４７】
他の実施例では、受信した電子表現とは異なる書類が作成される。異なる書類はステップ２０４で抽出した特徴及び挿入情報を含んでもよい。例えば、書類内のスライドのまさに抽出した画像及び決定された情報が、複合的な電子表現物１２２に含まれてもよい。
【００４８】
ステップ２１０で作成された複合的な電子表現物１２２は例えばその後に電子メール送信され、再印刷され、後のアクセス用にサーバに格納され、ＣＤのような格納媒体に複写され、表示されたりしてもよい。その特定のプレゼンテーションをユーザが再検討する必要があるときは、ユーザは複合的な電子表現物１２２の中で取ったメモを検討することができる（複合的な電子表現物１２２は紙書類のメモを含むことを想定している。）。より多くの情報が必要とされるならば、複合的な電子表現物１２２に挿入される情報が選択され、その挿入情報の関連情報に対応する記録情報１２０がアクセスされて表示されてもよい。例えば、プレゼンテーションの再生（プレイバック）インターフェースが起動され、関連情報に格納された時間から再生を始めてもよい。他の実施例では、複合的な電子表現物１２２に情報を付加するために挿入情報が使用されてもよい。例えば、メタデータは、どの程度長くスライドが議論されたかを示してもよい。
【００４９】
図３（Ａ）は、本発明の実施例により作成された書類による概略的なページ３００を示す。図３に示されるページ３００は、本発明を組み込む実施例を単に例示するに過ぎず、特許請求の範囲に記載される発明の範囲を限定するものではない。当業者は他の変形例、修正例及び代替例を認識するであろう。
【００５０】
図３（Ａ）に示されるように、プレゼンテーション及びプレゼンター（発表者）を示す情報３０２がページ３００に印刷される。プレゼンテーションが行われる時間やプレゼンテーションの長さ等のような他の情報も、情報３０２に含まれてもよい。図３（Ａ）に示される例では、３つのスライド３０４−１，３０４−２及び３０４−３がページ３００に印刷される。更に、プレゼンテーション中に各スライドについてユーザがメモを取るように、余白（スペース）３０８が設けられている。
【００５１】
図３（Ｂ）は、本発明の一実施例によるユーザのマーキングと共に図３（Ａ）のページ３００を示す。図示されるように、ユーザはスペース３０８−１及び３０８−２にてその書類にメモを取っている。
【００５２】
図３（Ｃ）は、本発明の一実施例による複合的な電子表現物１２２を示す。複合的な電子表現物１２２は、ｐｄｆリーダ、ウェブブラウザ、ワードプロセッシングインターフェース等のようなインターフェースを用いて見てもよい。複合的な電子表現物１２２は、本発明の一実施例による記録情報１２０に関連して挿入された情報を含む。インターフェース２３１０に示されるように、複合的な電子表現物１２２はページ３００の少なくとも一部を含む。図３（Ｃ）の複合画像は、ページ３００を基礎に利用して作成されてもよい。他の情報は複合画像に重ねられてもよい。
【００５３】
複合的な電子表現物１２２は情報３１４も含む。図示されるように、記録情報１２０の画像が情報３１４中に含まれている。一実施例では、この画像は表現物に関する記録情報１２０中の一部分に相当する。この部分は、スライド３０４に合致するスライドが出力された時間のものであってもよい。例えば、情報３１４−１は、スライド３０４−１の画像が出力された記録情報１２０から抽出された情報を含む。
【００５４】
一実施例では、情報３１４は、選択されると、ある動作が実行されることを引き起こしてもよい。情報３１４内の各画像は、時間やソース情報のような関連情報（記録情報１２０にアクセスするのに使用される）に関連してもよい。図示してはいないが、情報３１４は、ハイパーテキストリンク、アイコン、メタデータ等のような画像以外の情報を含んでもよい。
【００５５】
複合的な電子表現物１２２は、紙書類３００の受信した電子表現を含んでもよい。この場合に、情報３１４は、スキャンした電子表現物に挿入される。従って、紙書類にメモを取ったユーザは、メモに加えて挿入された情報３１４と共に紙書類を見ることができる。一実施例では、ユーザの紙書類の電子表現物は、メディア書類に関する挿入情報３１４を含むテンプレートになる。従って、ユーザはそのメディア書類を見てもよいし、より多くの情報が望まれれば、その挿入情報が選択され、関連する記録情報１２０がアクセスされ示されてもよい。
【００５６】
複合的な電子表現物１２２は、受信した電子表現とは異なる書類でもよい。そのこ異なる書類は、受信した電子表現のいかなる又は総ての特徴を含んでもよい。例えば、ユーザは、紙書類の電子表現以外のフォーマットを望むかもしれない。紙書類の電子表現中のスライド画像又はメモは、除去されてもよいし、そのページの別の場所に移動させてもよい。例えば、まさにユーザによるメモ及び挿入された情報３１４を有する複合的な電子表現物１２２が生成されてもよい。
【００５７】
複合的な電子表現物１２２は様々なフォーマットで格納されてもよい。例えば、複合的な電子表現物１２２は、ピーディーエフ（ＰＤＦ）、ハイパーテキストトランスファー言語（ＨＴＭＬ）、フラッシュ、エムエスワード（ＭＳＷｏｒｄ）等のフォーマットの書類でもよい。一実施例では、そのフォーマットは、記録情報１２０にリンクするのに使用されてもよい情報の挿入をサポートする。
【００５８】
上述したように、抽出された特徴は、合致する情報を判別するために使用される。別の実施例では、合致する情報を判別するために他の種類の情報が使用されてもよい。例えば、書類上のバーコードを用いて、記録情報１２０の一部を判別してもよい。例えば、一実施例では、各スライドに関連するバーコードを用いて書類が印刷されてもよい。バーコードは、スライド及び記録情報間のリンクを形成するのに使用されてもよい。そのような技術は例えば次の文献に記載されている：２００３年９月１２日付けで出願され、“ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＡＣＣＥＳＳＩＮＧ  ＩＮＦＯＲＭＡＴＩＯＮ  ＣＡＰＴＵＲＥＤ  ＤＵＲＩＮＧ  Ａ  ＰＲＥＳＥＮＴＡＴＩＯＮ  ＵＳＩＮＧ  Ａ  ＰＡＰＡＥＲ  ＤＯＣＵＭＥＮＴ  ＦＯＲ  ＴＨＥ  ＰＲＥＳＥＮＴＡＴＩＯＮ”と題する米国出願番号第１０／６６０，８６７号。
【００５９】
別の実施例では、各スライドの署名情報を表現するために、バーコード又は他の何らかのマーキングが使用されてもよい。この署名情報は、スライドからのテキスト、画像特性ベクトル等を含んでもよい。署名は、書類の作成時（例えば、印刷中）に生成される。署名は、記録情報１２０に関連する情報が挿入されているならば、書類の場所に関する情報を含んでもよい。書類が捕捉された後に（例えば、スキャン後に）、これらの印刷されたマーキングが識別され（抽出され及びデコードされ）、マッチングに、アクセスに及び記録情報に関連する情報の挿入に使用される。
【００６０】
図４は、本発明の一実施例による、情報３１４が選択され後の可能な出力を示す。情報３１４は画像を含むが、アイコン、リンク、テキスト、ピクチャー、映像、音声等のように、画像以外の情報が選択されてもよいことが理解されるべきである。
【００６１】
図示されるように、情報３１４中の画像が選択されると、インターフェース５０２が表示されてもよい。インターフェース５０２は、記録情報１２０を表示するウインドウ５０４と、スライド３０４の画像を含むウインドウ５０６とを含む。説明の便宜上、ユーザが情報３１４−３内の画像を選択したものとする。選択後に、その画像に関する関連情報は、記録情報１２０にアクセスするのに使用される。例えば、関連情報はソース及び時間情報でもよい。ソース情報はプレゼンテーションにアクセスするのに使用されてもよく、時間情報はその時間におけるプレゼンテーションの部分を判別するのに使用される。例えば、時間情報は、スライド３０４−３が表示された開始時間でもよい。
【００６２】
ウインドウ５０４はメディアプレーヤーを含み、アクセスした記録情報１２０の部分を表示するのに使用されてもよい。図示されるように、記録情報１２０は、メディアプレーヤーウインドウ５０８の中に表示される。この場合に、開始画像は情報３１４−３に表示された画像に対応する。以後ユーザはメディアプレーヤーで再生を選択し、プレゼンテーションのその部分が再生される。或いは、アクセスした記録情報１２０が自動的に再生されてもよい。
【００６３】
スライド３０４−３の画像はウインドウ５０６に表示されてもよい。また、＊．ｐｐｔファイル内の当初のスライドが、ウインドウ５０６に表示されてもよい。即ち、ユーザはウインドウ５０４内のプレゼンテーションに加えて、視聴するスライド３０４−３を鑑賞してもよい。従って、ユーザは書類の紙の複製（コピー）を見る必要はないかもしれない。また、ウインドウ５０６は、図３（Ｂ）に示されるようなユーザの取ったメモのような他の情報を含んでもよい。更に、判別されたメタデータがウインドウ５０６内に表示されてもよい。
【００６４】
図５は本発明の実施例を実現するのに使用されてもよいモジュールの概略ブロック図６００である。モジュールは、ソフトウエア、ハードウエア又はそれらの組み合わせで実現されてもよい。図５に示されるモジュールは、本発明を組み込む実施例の単なる例に過ぎず、特許請求の範囲に記載された発明の範囲を限定するものではない。当業者は他の変形例、修正例及び代替例を認識するであろう。
【００６５】
電子表現受信機６０２は、紙書類の電子表現を受信する。一実施例では、電子表現は、画像を生成するために書類をスキャンしたスキャナから受信されてもよい。また、書類の電子複製が受信されてもよい。
【００６６】
特徴抽出部６０４は、電子表現を受信し、その画像から特徴を抽出するよう構成される。例えば、紙書類の電子表現からスライド画像が抽出される。上述したように、個々のスライド画像を判別するために様々な技術が使用されてもよい。比較器６０６は、抽出された特徴を受信し、その抽出された特徴に合致する情報（マッチング情報）を判別するよう構成される。一実施例では、記録情報１２０及び関連情報６０９を格納したデータベース６０８が問い合わせを受ける。抽出された特徴は、記録情報１２０と比較され、合致する情報を判別する。また、記録情報１２０中の合致する情報についての関連情報が判別されてもよい。関連情報は、プレゼンテーションの一部にアクセスするのに使用されてもよい。
【００６７】
情報挿入部６１０は、マッチング情報、関連情報及び画像を受信する。また、記録情報１２０（例えば、音声及び映像情報）、メタデータ等が受信されてもよい。情報挿入部６１０は、上述したように、挿入する情報を決定し、複合的な電子表現物１２２を作成するように構成される。例えば、記録情報１２０内のマッチング情報に関連する情報は、複合的な電子表現物１２２に挿入される。情報３１４は関連情報に関連付けられてもよい。この場合に、挿入情報３１４が選択されると、関連情報を使用して、記録情報１２０の一部分にアクセスする。また、記録情報１２０（例えば、音声及び映像情報）、メタデータ等が電子表現３１０に挿入されてもよい。従って、データベース６０８は、記録情報１２０が再生される場合にアクセスされる必要はない。
【００６８】
アプリケーション：
Ｉ．演劇プログラム
本発明の実施例はプレゼンテーション記録を利用して説明されたが、説明される実施例は、プレゼンテーション記録以外の記録情報と共に使用されてもよいことが認識されるであろう。紙書類は、抽出可能な認識可能な特徴を含むいかなる媒体（メディア）でもそれを含む様々な形式でよい。例えば、紙書類は演劇のプログラムでもよい。劇場で演劇が始まる前に、演劇のプログラムが観客に配布される。そのプログラムは、演劇中のいくつかの場面、俳優の画像、又は演劇中の何らかのテキストを含んでもよい。演劇はその後記録される。演劇の後に、その演劇プログラムの複合的な電子表現物１２２が受信される。例えば、ユーザはディジタルカメラで演劇プログラムをスキャン又は捕捉してもよい。上述した処理により、複合的な電子表現物１２２は記録された演劇に関連する情報を含む。その処理は、プログラム中の演劇場面と記録された演劇の捕捉された映像フレームとを比較すること、プログラム中の俳優の画像と演劇記録による顔認識物とを比較すること、及びプログラム中のテキストと捕捉した音声とを比較して（スピーチ認識）マッチング情報を判別することを含む。
【００６９】
マッチング情報に関連する情報は、複合的な電子画像に挿入されてもよい。演劇プログラムの複合的な電子表現物１２２は、その演劇の一部に関連して挿入されたオブジェクトを有してもよい。ユーザは複合的な電子表現物１２２を彼らのディジタルカメラに格納してもよい。或いは、複合的な電子表現物１２２は、ユーザに又は共用目的で他者に、電子メールで通知されてもよい。従って、一例として、ユーザがプログラム内のある特徴に興味のある場合に、挿入された情報が選択され、記録された演劇の一部がアクセスされ、再生されてもよい。
【００７０】
ＩＩ．シンフォニー
以下は他のアプリケーション例であり、交響曲の練習が行われる前に、音楽メモが印刷され、演奏者に紙書類として配布される。交響曲の間に、音楽は記録され、演奏者は書類にメモをとってもよい。練習の後に、書類の電子表現物が受信される。記録された音声間の関連付けは、捕捉された音楽メモに対してＯＣＲ（光キャラクタリーダ）処理を行い、音声からのメモを自動的に抽出し、それらを照合することで決定される。そして、ユーザは、ＰＤＦ書類のような複合的な電子表現物１２２を受信し、その電子表現物は、スキャンした音楽メモ、個人的なメモ及び挿入情報を含んでもよく、その挿入情報は練習中に記録した音声（又は他の交響曲で演奏された音声）に情報を関連付けるものである。また、複合的な電子表現物１２２は、当初の練習でミスした他者が練習するのを支援するかもしれない。
【００７１】
セグメンテーションを行う技術、マッチングを行う技術及びメタデータを判別する技術が以下に説明される。
【００７２】
（セグメンテーション）
本発明の実施例では、以下のプロセスを用いて、書類の電子表現を分割してもよい。電子表現の水平及び垂直の投影（射影）が先ず行われる。この段階（ステップ）の前に、電子表現物の何らかの前処理が必要とされてもよいことが理解されるべきであり、その処理は例えば歪又はスキューの補償、ダウンサンプリング、スミアリング（ｓｍｅａｒｉｎｇ）、要素分析の接続等である。
【００７３】
抽出された投影と一群の書類テンプレートから得られる投影との間の距離が算出される。図６は、一群の書類テンプレートに含まれてもよい可能なテンプレートを示す。書類テンプレート７０２は、そのページを作成するのに使用されてもよい可能なレイアウトを含む。レイアウトは異なる画像を含む。例えば、書類７０２−１，７０２−２は、スライド画像に関するレイアウトを含む。書類テンプレート７０２−１は、２列のスライド画像７０４を含む。書類テンプレート７０２−２は一列のスライド画像７０６を含む。書類テンプレート７０２−３は、３つのスライド画像７０８を含む左列と、ユーザがメモを入力したかもしれない３つの領域７１０を含む右列とを含む。抽出された投影は、書類テンプレート７０２と比較される。一実施例では、これらのテンプレートは、紙書類を作成するために使用される。例えば、図示される画像は、スライドの画像であることを要しない。むしろ、スライドを示すウインドウは、図６に示されるスライド画像が使用されてもよいある場所に設けられるべきである。
【００７４】
そして、書類画像へ最短距離の書類テンプレート７０２が判定される。例えば、左列に３つのスライド画像を、右列にメモを取る空白を含むページは、書類テンプレート７０２−３に実質的に合致するかもしれない。合致した書類テンプレート７０２のスライド配置情報を用いて、書類画像がその後に複数の四角形領域に分割される。例えば、あるスペースと共にスライドは左列に位置するので、書類は複数の部分に分割され、その部分の各々はスライドを含んでもよい。
【００７５】
マッチング法
一実施例では、以下の技法は、書類の電子表現及びプレゼンテーション記録書類を用いて、関連情報を判別するために使用されてもよい。書類照合アルゴリズムは、画像Ｉｉを入力として受信し、記録されたプレゼンテーションレコーダ書類のデータベースと比較する。これは、プレゼンテーション照合ステップと言及されてもよい。それは、書類中のスライドが提示されるプレゼンテーション中に捕捉された総てのプレゼンテーションレコーダ書類の位置を突き止める。スライドマッチングと呼ばれる次のステップは、分割された書類画像中のスライド画像各々を、１つのプレゼンテーションセッションにおけるプレゼンテーションレコーダで捕捉されたスライド画像にマッピングする。
【００７６】
プレゼンテーション照合アルゴリズムは、プレゼンテーションレコーダ書類にＯＣＲを適用し、テキストを保存し、テキストが生じたページを示すものと共に出力する。問題は、プレゼンテーションレコーダ書類中の潜在的に大量の重複的な画像及び不要な画像双方が存在することであり、人々が喋っている間に彼らのパワーポイントファイルを進退させること、捕捉画像に僅かな差異しか生じさせないカスタムアニメーションを利用すること、プレゼンテーションレコーダに何百ものフレームを捕捉させるビデオクリップを利用すること等に起因する。プレゼンテーション照合アルゴリズムの一例による擬似コードステートメントが以下に示される。
【００７７】
【数１】
0004833573.tif 000002
第１ステップは、書類Ｉｉ（Ｄｏｃｕｍｅｎｔ  Ｉｉ）内で各ワード  ｎ−ｇｒａｍ  を含むプレゼンテーションレコーダファイル総てを調べ、その書類に関するスコアを増やす。第２ステップは、Ｉｉ中のワードに関して最小のパーセンテージを有するプレゼンテーションレコーダファイルを、ｔ１で指定されたものとみなし、Ｉｉ中のｎ−ｇｒａｍに関してｔ２より多くを有するページのパーセンテージを判定する。それがｔ３を超えると、このＰｊは合致するプレゼンテーションレコーダ書類と呼ばれる。
【００７８】
プレゼンテーション照合アルゴリズムは、プレゼンテーションレコーダ書類中のＯＣＲエラーに対する耐性がある。それはカラーのジェイペグ（ｊｐｅｇ）画像を含むので、そのＯＣＲは多くのミスを犯すであろうことが予測される。しかしながら、一般的にはプレゼンテーションはフォントを注意深く選択し、短いテキストフレーズを使用するので、エラーは深刻な問題ではないかもしれない。プレゼンテーションレコーダファイルのページ関するあるパーセンテージが書類に含まれている条件は、重複的な及び不要な画像を考慮に入れる。これらの要因は閾値を自由に設定させる。
【００７９】
プレゼンテーション照合アルゴリズムの構築における更なる考察事項は、既存のフルテキストインデックスを利用することである。これは、ワードｎ−ｇｒａｍｓを問い合せタームとして使用し、合致する可能性のあるパワーポイントファイルを提案することで、達成される。これは、例えば、グーグル（Ｇｏｏｇｌｅ）のようにほとんど総てのフルテキストインデックスによってサポートされる。
【００８０】
スライド照合アルゴリズムは書類Ｉｉ中の画像を判別し、その画像は、プレゼンテーション照合アルゴリズムにより突き止められたプレゼンテーションレコーダファイル中のスライド各々に合致する。そのアルゴリズムは、テキストを含むその画像についてのＯＣＲ結果に対する文字列照合と、テキストを含まない画像についてのエッジヒストグラム照合との組み合わせを利用する。スライド照合技術の具体例は、次の文献に詳細に説明されている：２００３年４月１１日付けで出願され、“ＡＵＴＯＭＡＴＥＤ  ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＣＯＭＰＡＲＩＮＧ  ＣＯＮＴＥＮＴＳ  ＯＦ  ＩＭＡＧＥＳ”と題する米国特許出願第１０／４１２，７５７号。
【００８１】
メタデータ
（テキスト及びキーワード）
テキストは、捕捉されたスクリーン画像各々から抽出される。電子表現物各々のローカライズ及び二値化は、捕捉画像の輝度成分だけでなくその色成分をも利用する手法で達成される。その理由は、通常の書類画像とは異なり、スライドの電子表現における背景／前景のコントラストは、輝度のコントラストに加えてカラーのコントラストによって得られるかもしれないからである。この手法の詳細は次の文献に説明されている：２００３年４月１１日付けで出願され、“ＡＵＴＯＭＡＴＥ  ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＣＯＭＰＡＲＩＮＧ  ＣＯＮＴＥＮＴＳ  ＯＦ  ＩＭＡＧＥＳ”と題する米国出願第１０／４１２，７５７号。商用のＯＣＲパッケージは、二値化されたテキスト領域からテキストを抽出するために使用されてもよい。抽出されたテキストは、捕捉された画像及び行番号でＸＭＬフォーマットで索引付け（インデックス）される。プレゼンテーションセッション中に捕捉されたスクリーン画像全体から抽出されたテキストについてＴＦ−ＩＤＦ分析を行うことで、キーワードが発見される。
【００８２】
（電子表現特性）
多数の画像特性ベクトル、即ちエッジヒストグラム及び色レイアウト［ＩＤ−ＲＩＩ−３１１］は、そのスクリーン捕捉画像について算出される。これらの特徴は、重複するスライド検出や、スクリーン画像をオリジナルのプレゼンテーションスライドに関連付ける（リンクする）ために後に使用される。
【００８３】
（シンボリックプレゼンテーションスライド）
プレゼンターは、彼らの会話の前に、オリジナルのプレゼンテーション書類をサーバに提出することができる。その提出後に、プレゼンテーションファイルにはＩＤ，ＩＤｋが割り当てられ、テキスト及びスライドタイトルが、プレゼンテーションファイルを分析することによって各スライドから抽出される。スライドを表すＪＰＥＧ電子表現物Ｓｉが抽出され、それを使用して、エッジヒストグラム及びカラーレイアウト特性ベクトルを算出する。プレゼンテーションファイル、ＪＰＥＧ画像、テキスト、タイトル及び特性ベクトルは索引付けされ、非分解（ｕｎｒｅｓｏｌｖｅｄ）プレゼンテーションの階層に設けられる。
【００８４】
プレゼンテーションセッションが終了した後で、スクリーン捕捉画像から抽出された画像特性及びテキストは、非分解プレゼンテーションファイルから抽出された画像特性及びテキストと照合される。合致が発見されると、そのファイルは、非分解プレゼンテーションの階層から除去され、記録されたプレゼンテーションにリンクされる。プレゼンテーションレベル照合の後に、電子表現及びテキスト特性を利用して、各プレゼンテーションスライドＳｉを、一群のスクリーン捕捉画像｛Ｃｌ，．．．，Ｃｎ｝と照合する。電子表現照合プロセスは、９８％の精度を有する。
【００８５】
（キーフレーム抽出）
会議室には、２台のカメラが装備され、それらはパン・ズーム・チルト（ＰＴＺ）カメラと、３６０°で捕捉可能なオムニ指向性カメラである。ＰＴＺカメラは、プレゼンター又は会議室全体の何れかに焦点を合わせる。ＰＴＺカメラの位置は、そのミーティングルームのポータルによって制御され、カメラ位置が変わる毎に、キーフレームが映像シーケンスから抽出される。オムニ指向性カメラは、会議室の中央に設けられ、その部屋のパノラマ的な像を取得する。カメラには４つのマイクロフォンが取り付けられ、音源特定（ＳＳＬ：ｓｏｕｎｄ  ｓｏｕｒｃｅ  ｌｏｃａｒｉｚａｔｉｏｎ）法が、４音声チャネルでリアルタイムで実行される。音源方向が変わる毎に、その音の方向からのみの映像を示すキーフレームが、パノラマビデオから抽出される。図７はこれらのキーフレーム８０２を示し、それらが話者の変化と一致するようにミーティング／プレゼンテーション記録をナビゲートする際に、それらのキーフレームは有用である。抽出されたキーフレームの総ては、それらのソース及びタイムスタンプで索引付けされる。
【００８６】
（スライド各々で費やされる時間）
プレゼンテーションスライドで費やされる時間の量ｓＴｉは、その特定のスライドの重要性に関する良い指標にすることができ、次式により算出される：
【００８７】
【数２】
0004833573.tif 000003
ここで、ｐＴは全プレゼンテーション時間であり、Ｓｉはプレゼンテーションスライドであり、ＣｎはＳｉに合致するｎ番目の捕捉されたスクリーン電子表現であり、Ｔ（Ｃｎ）は、秒で表現されたＣｎのタイムスタンプである。
【００８８】
（質疑応答動作）
特定のプレゼンテーションスライドに関する議論、質問、コメントの量は、議論する話題に関する関心度（の指標）にすることができる。一方、スピーカの分割、Ｑ＆Ａセッションは、やりがいはあるが非常に困難であり、スピーカ分割システムの事前トレーニングを必要とすることがしばしばある。Ｑ＆Ａ動作（アクティビティ）と共に音声セグメントを識別する我々の手法は幾分異なる。それはＳＳＬに基づき、実用上極めてロバストに（ｒｏｂｕｓｔｌｙ）機能する。プレゼンテーション中に、９３％の時間に、スピーカはＳＳＬ装置の同じ２０°の方位角内にいることを、我々の実験結果は示している。明らかに、その方位範囲は会議室の設定内容に基づいて変化する。それにもかかわらず、ほとんどの会議室の設定内容では、プレゼンターが動き回る限定されたプラットフォームを有するようにすることがしばしば合理的な仮定である。このプラットフォームのこの範囲を［αｓ１αｓ２］のＳＳＬで示すことにする。プレゼンター及びＳＳＬ装置の間に聴講者は誰もおらず、プレゼンター以外の方向から到来する音は、観客メンバからのコメント又は質問として解釈できるものとする。所与のプレゼンテーションスライドＳｉについての質疑応答動作は、観客及びプレゼンター間の音源方向変化の回数として次のように定義される：
【００８９】
【数３】
0004833573.tif 000004
ここで、ＣｎはＳｉに合致するｎ番目の捕捉されたスクリーン画像であり、Ｔ（Ｃｎ）は秒で表現されるＣｎのタイムスタンプであり、ｐＤはプレゼンテーション全体に対するＱＡ動作であり、即ち、
【００９０】
【数４】
0004833573.tif 000005
であり、ｐＴは全プレゼンテーション時間であり、Ｄ（ｔ）は、
【００９１】
【数５】
0004833573.tif 000006
のように定義される関数であり、ここで、ＳＳＬ（ｔ）はｔにおける音方向の方位である。
【００９２】
（メモ書き）
セミナーのある話題について取ったメモ書きの量は、その話題に関する観客の関心度に直接的にほとんど時間関連する。メモ書き動作の測定値は、次のように計算され、
【００９３】
【数６】
0004833573.tif 000007
ここで、η（ｔ１，ｔ２）は、時間枠［ｔ１ｔ２］に関連するメモ入力数を返す。電子メモ書きインターフェースは、現在時点だけでなく過去の時点にもメモを関連付けることを可能にし、関数ηは、入力時間ではなく、関連する時間に基づくメモ入力を返す。
【００９４】
図８は、データ処理システム９００の概略ブロック図であり、本発明の一実施例による処理を実行するために使用されてもよい。図８に示されるように、データ処理システム９００は少なくとも１つのプロセッサ９０２を含み、プロセッサはバスシステム９０４により多数の周辺装置と通信を行う。周辺装置は、メモリサブシステム９０８及びファイル格納サブシステム９１０を有する格納サブシステム９０６と、ユーザインターフェース入力装置９１２と、ユーザインターフェース出力装置９１４と、ネットワークインターフェースサブシステム９１６とを有する。入力及び出力装置は、ユーザがデータ処理システム９０２と相互作用することを可能にする。
【００９５】
ネットワークインターフェースサブシステム９１６は、他のコンピュータシステム、ネットワーク及び格納リソースに対するインターフェースを提供する。ネットワークは、インターネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク、イントラネット、私的ネットワーク、公的ネットワーク、切換ネットワークその他適切ないかなるネットワークを含んでもよい。ネットワークインターフェースサブシステム９１６は、他のソースからのデータを受信し、データ処理システム９００から他のソースへデータを送信するインターフェースとして機能する。例えば、データ書処理システム９００は、ネットワークインターフェースサブシステム９１６を通じて、プレゼンテーションに関する格納された記録情報及びＸＭＬデータ構造にアクセスしてもよい。ネットワークインターフェースサブシステム９１６の具体例は、イーサーネット（登録商標）カード、モデム（電話、衛星、ケーブル、ＩＳＤＮ等）、（非対称）ディジタル加入者回線（ＤＳＬ）装置等を含む。
【００９６】
ユーザインターフェース入力装置９１２は、キーボード、（マウス、トラックボール、タッチパッド又はグラフィックスタブレットのような）ポインティングデバイス、スキャナ、バーコードスキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識シス手のような音声入力装置、マイクロフォン及び他の種類の入力装置を含んでもよい。一般に、「入力装置」なる語を利用するときは、情報をデータ処理システム９００に入力するための可能な総ての種類の装置及び方法を含むように意図される。
【００９７】
ユーザインターフェース出力装置９１４は、ディスプレイサブシステム、プリンタ、ファクシミリ装置又は音声出力装置のような非視覚的な装置を含んでもよい。ディスプレイサブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）のようなフラットパネル装置又は投影装置（プロジェクタ）でもよい。一般に、「出力装置」なる語を利用するときは、データ処理システム９００から情報を出力する可能な総ての種類の装置及び方法を含むように意図される。
【００９８】
格納サブシステム９０６は、本発明による機能を与える基本的なプログラミング及びデータ構造を格納するよう構築される。例えば、本発明の一実施例によれば、本発明の機能を実行するソフトウエアモジュールが、格納サブシステム９０６内に格納されてもよい。これらのソフトウエアモジュールは、プロセッサ９０２により実行されてもよい。格納サブシステムは、本発明により使用されるデータを格納するリポジトリを提供してもよい。格納サブシステム９０６は、メモリサブシステム９０８及びファイル／ディスクサブシステム９１０から構成されてもよい。
【００９９】
メモリサブシステム９０８は、プログラム実行中に命令及びデータを格納するための主ランダムアクセスメモリ（ＲＡＭ）９１８と、不変の命令が格納されるリードオンリメモリ（ＲＯＭ）９２０とを含む多数のメモリを含んでもよい。ファイル格納サブシステム９１０は、プログラム及びデータに関する永続的な（不揮発性の）格納機能を提供し、それは、ハードディスクドライブ、取り外し可能な媒体によるフロッピディスク、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）ドライブ、光ドライブ、取り外し可能なメディアカートリッジ及び他の格納媒体を含んでもよい。
【０１００】
バスサブシステム９０４は、データ処理システム９０２の様々な要素及びサブシステムが、意図されるように互いに通信させる機構を与える。バスサブシステムは、単独のバスとして概略的に示されているが、バスシステムの他の例は複数のバスを利用してもよい。
【０１０１】
データ処理システムは、パーソナルコンピュータ、ポータブルコンピュータ、ワークステーション、ネットワークコンピュータ、メインフレーム、キオスク又は他のいかなるデータ処理システムをも含む様々な形式のものにすることができる。コンピュータ及びネットワークの今までの変化する性質に起因して、図８に示されるデータ処理システムの説明は、コンピュータシステムの好適実施例を説明するための具体例を意図しているに過ぎない。図８に示されるシステムより多くの又はより少ない要素を有する他の多くの構成が可能である。
【０１０２】
以上本発明の特定の実施例が説明されてきたが、様々な修正、置換、代替構成及び均等物も本発明の範疇に包含される。説明された発明は、ある特定のデータ処理環境内での動作に制限されず、複数のデータ処理環境内で動作して差し支えない。更に、本発明は、特定の一連のトランザクション及びステップを用いて説明されてきたが、本発明の範囲は記述された一連のトランザクション及びステップに制限されないことは、当業者に明白であろう。上記の数式は本発明の実施例による例に過ぎず、本発明の他の実施例では変わり得ることが理解されるであろう。
【０１０３】
更に、本発明はハードウエア及びソフトウエアの特定の組み合わせを用いて説明されてきたが、ハードウエア及びソフトウエアの他の組み合わせも本発明の範囲内にあることが、理解されるべきである。本発明は、ハードウエアだけで、ソフトウエアだけで、又はそれらの組み合わせを用いて実現されてもよい。
【０１０４】
従って、明細書及び図面は、限定的な意味でなく例示として考えられる。しかしながら、付加、置換、削除及び他の修正や変更が、特許請求の範囲に記載の発明の精神及び範囲から逸脱せずに、それらの例示に対してなされてもよいことは、明白であろう。
【図面の簡単な説明】
【０１０５】
【図１】本発明の一実施例を組み込んでもよいシステムの概略ブロック図である。
【図２】書類の電子表現物を用いて、記録情報に関連する挿入情報を有する電子表現物を作成する本発明の一実施例による方法の概略フローチャートを示す。
【図３】（Ａ）は本発明の一実施例による書類のページ、（Ｂ）は本発明の一実施例によるユーザのマーキングと共に（Ａ）のページ、（Ｃ）は本発明の一実施例による記録情報に関連する挿入情報を含むインターフェースを示す。
【図４】本発明の一実施例により情報が選択された後の可能な出力を示す。
【図５】本発明の一実施例を実現するのに使用されてもよいモジュールの概略ブロック図である。
【図６】本発明の一実施例による書類テンプレートを示す。
【図７】本発明の一実施例によるキーフレームを示す。
【図８】本発明の一実施例による処理を実行するのに使用されてもよいデータ処理システムの概略ブロック図である。
【符号の説明】
【０１０６】
１００  システム
１０２  コンピュータ
１０４  アプリケーション
１０６  ファイル
１０８  スキャナ
１１０  紙書類
１１２  サーバー
１１４  ＸＭＬ構造
１１５  リポジトリ
１１６  出力装置
１１８  捕捉装置
１２０  記録情報
１２２  複合的な電子表現物
３００  ページ
３０２，３１４  情報
３０４  スライド
３０８  スペース
５０２  インターフェース
５０４，５０６  ウインドウ
５０８  メディアプレーヤウインドウ
６０２  電子表現受信部
６０４  特徴抽出部
６０６  比較部
６０８  データベース
６０９  関連情報
６１０  情報挿入部
７０２  書類テンプレート
７０４，７０６，７０８  スライド画像
７１０  スペース
８０２  キーフレーム
９００  データ処理システム
９０２  プロセッサ
９０４  バスシステム
９０６  格納サブシステム
９０８  メモリサブシステム
９１０  ファイル格納サブシステム
９１２  ユーザインターフェース入力装置
９１４  ユーザインターフェース出力装置
９１６  ネットワークインターフェース
９１８  ＲＡＭ
９２０  ＲＯＭ
【図１】
0004833573.tif 000008
【図２】
0004833573.tif 000009
【図３】
0004833573.tif 000010
【図４】
0004833573.tif 000011
【図５】
0004833573.tif 000012
【図６】
0004833573.tif 000013
【図７】
0004833573.tif 000014
【図８】
0004833573.tif 000015