(57)【要約】  混合メディアリアリティ(MMR)システム及び関連技術が開示される。本発明のMMRシステムは、少なくとも２種類のメディア（例えば、第１媒体としての印刷用紙及び第２媒体としてのディジタル写真、ディジタルムービー、ディジタルオーディオファイル又はウェブリンク）を含む混合メディア書類を形成する仕組みを提供する。更に、本発明のMMRシステムはビジネス方法を支援し、そのビジネス方法は、カメラ付き携帯電話のような携帯用電子装置と紙書類との結び付きを利用する。
2009506395.tif 000002
【特許請求の範囲】
【請求項１】
第１タイプのメディア及び第２タイプのメディアを利用する混合メディア環境を作成するためのシステムであって、
前記第１タイプのメディアの第１表現を捕捉する捕捉装置と、
前記第１タイプのメディアの第２表現及びインデックスを有する混合メディア書類と前記第１表現とを関連付ける混合メディアプロセッサと、
前記混合メディア書類を格納するメディアストレージと、
を有するシステム。
【請求項２】
前記捕捉装置を前記混合メディアプロセッサに結合する通信機構を更に有する請求項１記載のシステム。
【請求項３】
前記通信機構は、ネットワーク、有線結合、赤外線リンク、ブルートゥースリンク、無線通信リンク、セルラ通信リンク、データ通信リンク、モバイルデータサービス、GSM通信方式及び公衆交換電話網を含む群から選択されたものである請求項１記載のシステム。
【請求項４】
前記第１タイプのメディアが紙書類であり、前記第２タイプのメディアが、データ構造、コマンド、テキスト、オーディオ、ビデオ、イメージ、ディジタル写真、ウェブリンクテキスト、アプリケーションファイル、更新された情報及びサービスを含む群から選択されたものである請求項１記載のシステム。
【請求項５】
前記混合メディアプロセッサは、前記第１表現及び前記第２表現を比較し、前記第１表現を前記混合メディア書類に関連付けるよう形成され、前記混合メディアプロセッサは、前記混合メディア書類に対する前記第１表現の関係に応じた処理内容を実行する請求項１記載のシステム。
【請求項６】
前記処理内容は、情報を抽出すること、注文を行うこと、ビデオを抽出すること、音を抽出すること、情報を格納すること、新たな書類を作成すること、書類又は画像を印刷すること、書類又は画像を表示すること、情報を探すこと、又は情報を提示することを含む群から選択されたものである請求項５記載のシステム。
【請求項７】
前記捕捉装置は、前記第１タイプのメディアの一部を表す画像又はディジタルデータを捕捉することの可能なポータブル入力装置を含む請求項１記載のシステム。
【請求項８】
前記捕捉装置は、前記第２タイプのメディアを出力することの可能なポータブル出力装置を含む請求項１記載のシステム。
【請求項９】
前記捕捉装置は、カメラ付きセルラ携帯電話、パーソナルディジタルアシスタント装置、ディジタルカメラ、バーコードリーダ、無線周波数識別タグ(RFID)リーダ、コンピュータ周辺機器、ウェブカメラ又はビデオカードを含む群から選択されたものである請求項１記載のシステム。
【請求項１０】
前記混合メディアプロセッサに結合されたメモリを更に有し、前記メモリは、前記混合メディアプロセッサで実行可能な命令及び／又はデータを格納し、前記メモリは、テキスト又はイメージパッチからコンテンツベースの情報を抽出するコンテンツベース抽出部を含むようにした請求項１記載のシステム。
【請求項１１】
前記第２タイプのメディアをオリジナルの形式で格納するベースメディアストレージを更に有し、前記ベースメディアストレージは前記混合メディアプロセッサに結合されるようにした請求項１記載のシステム。
【請求項１２】
複数の混合メディア書類を格納する混合メディアストレージを更に有し、混合メディア書類の各々は第２表現及びインデックスを有し、前記混合メディアストレージは、前記混合メディアプロセッサに結合されるようにした請求項１記載のシステム。
【請求項１３】
前記混合メディアプロセッサからの信号に応答して、前記第２タイプのメディアを出力する出力装置を更に有し、前記出力装置は、前記混合メディアプロセッサに結合されるようにした請求項１記載のシステム。
【請求項１４】
前記第１表現は、パターン照合に利用可能な少なくとも２行を含む印刷書類のテキスト認証子である請求項１記載のシステム。
【請求項１５】
前記第１表現は、印刷書類における位置を一意に特定し、且つ印刷書類の照合可能な部分である請求項１記載のシステム。
【請求項１６】
前記第１表現は、第１行の一部及び隣接する第２行の一部を含む印刷書類のテキスト認証子である請求項１５記載のシステム。
【請求項１７】
前記混合メディア書類は、前記第２タイプのメディアのデータ構造又はファイルを含み、前記インデックスは、前記ファイル及び前記第２表現間のリンクになるようにした請求項１記載のシステム。
【請求項１８】
前記混合メディア書類が、前記第２タイプのメディアの複数のファイルを含むようにした請求項１７記載のシステム。
【請求項１９】
前記混合メディア書類が、提示されるテキスト又は実行される１つ以上のコマンドを含み、前記インデックスが、前記提示される前記テキスト又は実行される１つ以上のコマンドと前記第２表現との間のリンクになるようにした請求項１記載のシステム。
【請求項２０】
前記混合メディア書類が、前記第１表現に対応する前記第１タイプのメディアの電子表現の書類を含み、前記インデックスは、前記電子表現及び前記第２表現の間のリンクになるようにした請求項１記載のシステム。
【請求項２１】
前記インデックスは前記第２表現、前記混合メディア書類及び前記第２タイプのメディアを関連付ける請求項１記載のシステム。
【請求項２２】
前記混合メディア書類は複数の第２表現を含み、各第２表現は関連するインデックスを含むようにした請求項１記載のシステム。
【請求項２３】
混合メディアシステムの捕捉装置であって、
第１メディアタイプの表現を捕捉する入力装置と、
入力装置及び出力装置に結合され、情報及びコマンドを混合メディアシステムと送受信する通信トランシーバと、
混合メディアプロセッサと、
を有し、前記混合メディアプロセッサは、前記表現を複数の混合メディア書類と比較し、該混合メディア書類の各々は対応する表現を有し、前記混合メディアプロセッサは、前記表現が、照合する混合メディア書類の前記対応する表現と一致する場合、照合する混合メディア書類により指定される処理内容を実行するようにした捕捉装置。
【請求項２４】
前記第１メディアタイプが、印刷書類である請求項２３記載の捕捉装置。
【請求項２５】
前記処理内容は、情報を抽出すること、注文を行うこと、ビデオを抽出すること、音を抽出すること、情報を格納すること、新たな書類を作成すること、書類又は画像を印刷すること、書類又は画像を表示すること、情報を探すこと、又は情報を提示することを含む群から選択されたものである請求項２３記載の捕捉装置。
【請求項２６】
第２メディアタイプを提示する出力装置を更に有し、前記出力装置は、該出力装置により出力される命令及びデータを受ける前記混合メディアプロセッサに結合される請求項２３記載の捕捉装置。
【請求項２７】
前記処理内容が前記第２メディアタイプを出力することであり、前記第２メディアタイプが、データ構造、コマンド、テキスト、オーディオ、ビデオ、イメージ、ディジタル写真、ウェブリンクテキスト、アプリケーションファイル、更新された情報及びサービスを含む群から選択されたものである請求項２６記載の捕捉装置。
【請求項２８】
前記メディアプロセッサが、テキスト又はイメージパッチからコンテンツベース情報を検索するコンテンツベース抽出部を含み、前記第１メディアタイプの第１表現は、テキストのパッチである請求項２３記載の捕捉装置。
【請求項２９】
複数の混合メディア書類を格納するストレージ装置を更に有する請求項２３記載の捕捉装置。
【請求項３０】
前記混合メディアプロセッサは、第１行の一部及び隣接する第２行の一部を含む印刷書類のテキスト認証子を比較することで、前記第１メディアタイプの表現及び対応する表現を比較する請求項２３記載の捕捉装置。
【請求項３１】
第１メディアタイプ及び第２メディアタイプを関連付ける装置であって、
入力及び出力を有し、第１メディアタイプの第１表現と複数の混合メディア書類とを比較する混合メディアプロセッサであって、該混合メディア書類の各々は照合する混合メディア書類を特定するための第２表現を有し、該混合メディアプロセッサは、照合する混合メディア書類により指定される処理内容を実行し、該混合メディアプロセッサの入力は前記第１表現を受けるように結合されている混合メディアプロセッサと、
複数の混合メディア書類を格納し、前記混合メディアプロセッサに結合されたストレージ装置と、
を有する装置。
【請求項３２】
捕捉装置を前記混合メディアプロセッサに結合する通信機構を更に有する請求項３１記載の装置。
【請求項３３】
前記第１タイプのメディアが紙書類であり、少なくとも１つの混合メディア書類が第２メディアタイプを含み、該第２タイプのメディアは、データ構造、コマンド、テキスト、オーディオ、ビデオ、イメージ、ディジタル写真、ウェブリンクテキスト、アプリケーションファイル、更新された情報及びサービスを含む群から選択されたものである請求項３１記載の装置。
【請求項３４】
前記処理内容は、情報を抽出すること、注文を行うこと、ビデオを抽出すること、音を抽出すること、情報を格納すること、新たな書類を作成すること、書類又は画像を印刷すること、書類又は画像を表示すること、情報を探すこと、又は情報を提示することを含む群から選択されたものである請求項３１記載の装置。
【請求項３５】
前記混合メディアプロセッサに結合されたメモリを更に有し、前記メモリは、前記混合メディアプロセッサで実行可能な命令及び／又はデータを格納し、前記メモリは、テキスト又はイメージパッチからコンテンツベースの情報を抽出するコンテンツベース抽出部を含むようにした請求項３１記載の装置。
【請求項３６】
前記ストレージ装置は、前記第２タイプのメディアを該オリジナルの形式で格納する請求項３１記載の装置。
【請求項３７】
前記混合メディア書類は、インデックス及びファイル又はデータ構造を含み、前記インデックスは、前記ファイル及び前記第２表現間のリンクになるようにした請求項３１記載の装置。
【請求項３８】
前記混合メディア書類が、前記第１表現に対応する前記第１メディアタイプの電子表現の書類を含み、前記インデックスは、前記電子表現及び前記第２表現の間のリンクになるようにした請求項３１記載の装置。
【請求項３９】
前記第１表現は、パターン照合に利用可能な少なくとも２行を含む印刷表現のテキスト認証子である請求項３１記載の装置。
【請求項４０】
混合メディア環境で第１メディアタイプ及び第２メディアタイプの書類を利用するための方法であって、
第１メディアタイプの書類の表現を生成するステップと、
前記書類について生成された表現を混合メディア書類に対して索引付けするステップと、
入力表現を取得するステップと、
前記入力表現及び前記生成された表現を比較するステップと、
前記入力表現が前記生成された表現と類似していた場合、前記混合メディア書類で指定されている処理内容を実行するステップと、
を有する方法。
【請求項４１】
第１メディアタイプの書類の表現を生成するステップが、印刷書類のテキストレイアウトを自動的に捕捉するステップを有する請求項４０記載の方法。
【請求項４２】
前記自動的に捕捉するステップが、印刷書類捕捉モジュール、オペレーティングシステム、印刷ドライバ、スキャナ及びファイル転送システムを含む群から選択されたものにより実行される請求項４１記載の方法。
【請求項４３】
前記生成された表現は、書類全体の表現、テキストのパッチの表現、シングルワードの表現、画像の一部の表現、書類の照合可能な部分の他の何らかの表現を含む群から選択されたものである請求項４０記載の方法。
【請求項４４】
生成された表現を索引付けする前記ステップは、インデックス、前記書類の電子表現、第２メディアタイプ及び処理内容を含む群から選択されたものと、前記生成された表現を関連付けることを含む請求項４０記載の方法。
【請求項４５】
生成された表現を索引付けする前記ステップは、印刷書類のキャラクタのｘ−ｙ座標を特定すること、印刷書類のワードのｘ−ｙ座標を特定すること、印刷書類の画像又は画像の一部のｘ−ｙ座標を特定すること、OCR処理を行ってキャラクタ及び／又はワードのｘ−ｙ座標を特定すること、特徴抽出を実行すること、及びキャラクタ及び／又はワードのｘ−ｙ座標を特定することを含む群から選択されたステップを含む請求項４０記載の方法。
【請求項４６】
前記入力表現を取得するステップが、テキストのパッチをスキャンすること、テキストのパッチをスキャンして、意図される特徴記述が正確に抽出される尤度を判定するように予備処理を行うこと、コンピュータ読み取り可能な識別子をスキャンすること、書類を識別するデータを入力すること、添付書類と共に電子メールを受信すること、ファイルトランスファにより書類を受信すること、画像の一部をスキャンすること及び書類を入力することを含む群から選択されたステップを含む請求項４０記載の方法。
【請求項４７】
前記入力表現及び前記生成された表現を比較するステップが、前記入力表現及び前記生成された表現の間でパターン照合を実行するステップを有する請求項４０記載の方法。
【請求項４８】
前記パターンマッチングは、前記入力表現の書類認証子と、前記生成された表現の書類認証子とを比較することで実行される請求項４７記載の方法。
【請求項４９】
前記書類認証子を比較するステップは、捕捉された画像から特徴を抽出するステップと、該特徴から記述子を構築するステップと、ある割合で該記述子を含む書類及びパッチを探すステップとを含む請求項４８記載の方法。
【請求項５０】
混合メディア書類で指定されている処理内容を実行するステップが、照合する生成された表現を有する混合メディア書類に関連する所定の処理内容を抽出するステップを含む請求項４０記載の方法。
【請求項５１】
前記処理内容が、情報を抽出すること、ある位置に情報を書き込むこと、情報の探索を実行すること、クライアント装置に情報を表示すること、インタラクティブな対話を促すこと、後に実行するように前記処理内容を遅らせること、書類を修正すること、製品を購入すること、及び他システムへコマンドを入力することを含む含む群から選択されたものである請求項４０記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも２種類のメディアから形成される混合メディア書類を生成する技術に関連し、特に、印刷媒体と電子媒体とを結合して混合メディア書類を作成する混合メディアリアリティ(MMR:  Mixed  Media  Reality)システムに関連する。
【背景技術】
【０００２】
書類を印刷及び複写する技術は長年にわたって多くの状況で使用されている。例えば、プライベートな及び業務用のオフィス環境で、パーソナルコンピュータと共に家庭環境で、書類印刷及び出版サービス環境等において、プリンタ及び複写機が使用されている。しかしながら、印刷及び複写技術は、静的な印刷媒体(即ち、紙の書類)と双方向性の「仮想世界(virtual  world)」との間のギャップを橋渡しする手段としては従来考えられていなかった。双方向性の仮想世界は、ディジタル通信、ネットワーキング、情報提供、宣伝広告、娯楽及び電子商取引等を含む。
【０００３】
何世紀もの間、印刷媒体は、ニュースや広告情報等のような情報を通知する一次ソースであった。ここ数年の間に、パーソナルディジタルアシスタント(PDA)装置や携帯電話(例えば、カメラ付き携帯電話)等のようなパーソナル電子機器及びパーソナルコンピュータの出現及び普及は、印刷媒体を電子的に読み取り可能でサーチ可能な形式にすることによって及び双方向性のマルチメディア機能を導入することによって、印刷媒体の概念を拡張した。これらは従来の印刷媒体に類を見ない。
【０００４】
不都合なことに、電子的にアクセス可能な仮想的なマルチメディアベースの世界と、印刷媒体の物理的な世界との間には或る隔たり(ギャップ)がある。例えば、先進国のほとんど誰でもが印刷媒体に及び電子情報に日常的にアクセスするが、印刷媒体の及びパーソナル電子機器のユーザは、その両者２つの間のリンクを形成するのに必要な（即ち、混合媒体書類の作成を促すための）ツール及び技術を持っていない。
【０００５】
更に、通常の印刷媒体には、触れる感覚があること、電力を要しないこと、構造及び保存に関する永続性等をもたらすという特に優れた性質があり、これらは仮想的な又はディジタル媒体には備わっていない。同様に、通常のディジタル媒体には、携帯性(例えば、携帯電話やラップトップのストレージで運べること)や伝送の容易性(例えば、電子メール)等のような特に優れた性質がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これらの理由から、本発明の課題は、印刷媒体及び仮想媒体双方の利点を利用可能にする技術をもたらすことである。
【課題を解決するための手段】
【０００７】
本発明の１つ以上の実施例の内の少なくとも１つの形態は、混合メディアリアリティ(MMR)システム及び関連方法をもたらす。本発明のMMRシステムは、少なくとも２種類のメディア（例えば、第１媒体としての印刷用紙及び第２媒体としての電子形式のテキストやデータ、ディジタルピクチャ、ディジタル写真、ディジタルムービー、ディジタルオーディオファイル又はウェブリンク）を含む混合メディア書類を形成する仕組みを提供する。更に、本発明のMMRシステムはビジネス方法を支援し、そのビジネス方法は、カメラ付き携帯電話のような携帯用電子装置と紙書類との結び付きを利用する。本発明のMMRシステムは、MMRプロセッサ、捕捉装置、通信手段及びメモリ(MMRソフトウエアを含む)を含む。MMRプロセッサは、メディアタイプのストレージ又はソース、入力装置及び出力装置に結合されてもよい。MMRソフトウエアは、MMRプロセッサで実行可能なルーチンを含み、付加的なディジタルコンテンツと共にMMR書類にアクセスし、MMR書類を作成又は修正し、書類を用いて他の処理(商取引、データ問い合わせ、報告等)を実行する。
【０００８】
本発明は多くの新しい方法(混合メディアリアリティ書類を作成する方法、混合メディアリアリティ書類の利用方法、及び混合メディアリアリティ書類を修正又は消去する方法)も含む。
【０００９】
本発明の１つ以上の実施例の内の少なくとも１つの他の形態は、命令と共にエンコードされたマシン読み取り可能な媒体(例えば、コンパクトディスク、ディスケット、サーバ、メモリスティック、ハードドライブ、ROM、RAM等の１つ以上、又は電子命令を格納するのに適した如何なるタイプのメディアでもよい)をもたらし、該命令は、１つ以上のプロセッサにより実行される場合に、混合メディア書類システム中の情報へアクセスする処理をプロセッサに実行させる。そのプロセスは、例えば、上記の方法と同様でもよいし、異なっていてもよい。
【発明を実施するための最良の形態】
【００１０】
本願で説明される特徴及び利点は、全てを網羅するものではなく、特に、多くの追加的な特徴及び利点が以下の説明及び図面を理解することで当業者に明白になるであろう。更に、本明細書で使用される特定の言語は、主に理解及び説明の観点から選択されているに過ぎず、本発明の範囲を限定しようとするものでないことに留意すべきである。
【００１１】
以下、添付図面と共に非限定的な実施例により本発明が説明され、図中同様な番号が同様な要素を指すために使用される。
【００１２】
本発明を実施するベストモード
混合メディアリアリティ(MMR)システム及び関連する方法が開示される。MMRシステムは少なくとも２種類のメディアを含む混合メディア書類を作成する仕組みをもたらし、例えば第１媒体として印刷用紙を使用し、第２媒体としてディジタル写真、ディジタル映画、ディジタルオーディオファイル、ディジタルテキストファイル又はウェブリンク等を使用してもよい。更に、MMRシステム及び／又は技術は、様々なビジネスモデルを促すように使用することもでき、携帯用電子装置(例えば、PDA又はカメラ付き携帯電話)と紙の書類を組み合わせて混合メディア書類を用意することを考えてもよい。
【００１３】
ある特定の実施例では、MMRシステムはコンテンツベースの検索データベースを含み、そのデータベースは、テキストベースの索引付け(インデックス)を利用して検索を可能にする方法で、印刷書類から抽出されたオブジェクト間の幾何学的な２次元的位置関係を表す。証拠蓄積技術(evidence  accumulation)は、特徴の出現頻度と２次元領域内での場所の尤度とを結合する。そのような一実施例では、MMRデータベースシステムはインデックステーブルを含み、MMR特徴抽出アルゴリズムで算出された記述を受信する。インデックステーブルは、特徴の各々が出現するページ内でのｘ−ｙ座標、ページ及び書類を特定する。証拠蓄積アルゴリズムは、インデックステーブルからのデータの元での仮定的な位置、ページ及び書類のランキングされた群を計算する。関連データベース(又は他の適切なストレージ装置)は、書類、ページ及び場所の各々について追加的な特徴量を必要に応じて格納するよう使用することができる。
【００１４】
MMRデータベースシステムは他のコンポーネントを含んでもよく、例えば、MMRプロセッサ、キャプチャー装置、通信手段及びメモリ(MMRソフトウエアを含む)等をふくんでもよい。MMRプロセッサは、メディアタイプのストレージ又はソースに、入力装置に及び出力装置に結合されてもよい。そのような一実施例では、MMRソフトウエアはMMRプロセッサで実行可能なルーチンを含み、追加的なディジタルコンテンツとともにMMRドキュメントにアクセスし、MMRドキュメントを作成又は修正し、その書類を用いて他の処理(業務処理、データ検索、報告等)を実行する。
【００１５】
MMRシステムの概要
図１Ａを参照するに、本発明の一実施例による混合メディアリアリティ(MMR)システム100aが示されている。MMRシステム100aは、MMRプロセッサ102、通信手段104、携帯入力装置168及び携帯出力装置170を有するキャプチャー装置106、MMRソフトウエア108を含むメモリ、ベースメディアストレージ160、MMRメディアストレージ162、出力装置164及び入力装置166を有する。MMRシステム100aは、既存の印刷書類(第1メディアタイプ)からの情報を、第２メディアタイプ(例えば、オーディオ、ビデオ、テキスト、更新情報及びサービス等)のインデックスとして利用する方法を提供することで、混合メディア環境を作り出す。
【００１６】
キャプチャー装置１０６は、印刷書類の表現(例えば、画像、図形その他の表現)を生成することができ、その表現は、MMRプロセッサ102に送信される。MMRシステム100aはその表現をMMRドキュメント及び他の第２メディアタイプと照合する。MMRシステム100aは、入力に応答する動作及び表現の認識に関する責務を負う。MMRシステム100aにより行われる動作は、如何なるタイプのものでもよく、例えば、情報を抽出すること、ある順序に並べること、ビデオ又は音を検索すること、情報を格納すること、新たな書類を作成すること、書類を印刷すること、書類や画像を表示すること等を含んでもよい。上記のコンテンツベースの検索データベース技術を利用することで、MMRシステム100aは印刷されたテキストをダイナミックなメディアに変える仕組みをもたらし、関心のあるサービスの電子コンテンツや値に対する入力点をユーザにもたらす。
【００１７】
MMRプロセッサ102は、データ信号を処理し、様々な演算アーキテクチャを含んでもよく、演算アーキテクチャは、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、又は組み合わせによる命令セットを実行するアーキテクチャ等を含む。ある特定の実施例では、MMRプロセッサ102は、演算論理部、マイクロプロセッサ、汎用コンピュータ、その他の情報機器等の本発明による動作を実行するように備えられたものである。他の実施例では、MMRプロセッサ102はグラフィカルユーザインターフェースを有する汎用コンピュータを構成し、例えば、ウインドウズ(登録商標)やユニックス(登録商標)ベースのオペレーティングシステム等のようなオペレーティングシステム上で動作するジャバ(Java(登録商標))で書かれたプログラムによって生成されてもよい。図１Ａでは１つのプロセッサしか描かれていないが、複数のプロセッサが含められてもよい。プロセッサはMMR108に結合され、そこに格納されている命令を実行する。
【００１８】
通信手段104は、キャプチャー装置106をMMRプロセッサ102に結合する何らかの装置又はシステムである。例えば、通信手段104は、ネットワーク(例えば、WAN及び／又はLAN)、有線リンク(例えば、USB、RS232又はイーサーネット)、無線リンク(例えば、赤外線、ブルートゥース又は802.11)、移動体通信リンク(例えば、GPRS又はGSM)、公衆交換電話網(PSTN)リンク又はこれらの何らかの組み合わせを用いて実現されてもよい。様々な通信アーキテクチャ及びプロトコルがここで使用可能である。
【００１９】
キャプチャー装置106は、通信手段104とインターフェースをとるトランシーバのような手段を含み、入力装置168を介して画像又はデータをディジタル的に捕捉することが可能な如何なる装置でもよい。キャプチャー装置106は出力装置170を場合によっては含んでもよく、或いは携帯可能でもよい。例えば、キャプチャー装置106は、標準的なカメラ付き携帯電話、PDA装置、ディジタルカメラ、バーコードリーダ、無線ICタグ(RFID)リーダ、標準的なウェブカム(standard  webcam)のようなコンピュータ周辺機器、又はPCのビデオカードのような組込型装置等でもよい。キャプチャー装置106のいくつかの具体例は図2A-2Dを参照しながらそれぞれ詳細に説明される。更に、キャプチャー装置106はソフトウエアアプリケーションでもよく、ソフトウエアアプリケーションは、コンテンツベースの検索を可能にし、MMRシステム100a/100bのインフラストラクチャとキャプチャー装置106とを結び付ける。キャプチャー装置106の更に詳細な機能は、図２Eを参照しながら説明される。一般的な及びカスタマイズされた様々なキャプチャー装置106、及びそれらの機能やアーキテクチャは、本願により明らかになるであろう。
【００２０】
メモリ108は、プロセッサ102で実行される命令及び/又はデータを格納する。命令及び／又はデータは、上記の技術の何れか及び／又は全てを実行するコードで構成される。メモリ108はダイナミックランダムアクセスメモリ(DRAM)装置、スタティックランダムアクセスメモリ(SRAM)装置でもよいし、或いは適切な如何なる他のメモリ装置でもよい。メモリ108は図４を参照しながら以下で更に詳細に説明される。ある特定の実施例では、メモリ108はMMRソフトウエア一式、オペレーティングシステム及び他のアプリケーションプログラム(例えば、ワードプロセシングアプリケーション、電子メールアプリケーション、財務アプリケーション及びウェブブラウザアプリケーション)を含む。
【００２１】
ベースメディアストレージ160は、第２メディアタイプをそれら当初の形式で格納するためのものであり、MMRメディアストレージ162はMMRドキュメントを、データベースを及び他の情報（MMR環境を作り出すための詳細な情報）を格納するためのものである。図中、別々に示されているが、他の実施例では、ベースメディアストレージ160及びMMRメディアストレージ162は、同じストレージ装置の一部でもよいし、或いは統合されてもよい。データストレージ160，162は、MMRプロセッサ102の命令及びデータを格納し、（ハードディスクドライブ、フロッピディスクドライブ、CD-ROM装置、DVD-ROM装置、DVD-RAM装置、DVD-RW装置、フラッシュメモリ装置又は適切な他の何らかの大容量記憶装置等のような）1つ以上の装置を含んでもよい。
【００２２】
出力装置164は、MMRプロセッサ102に動作可能に結合され、データを出力するように装備された何らかの装置(表示する、音を出す、或いはコンテンツを提示する装置)を表現する。例えば、出力装置164は、プリンタ、表示装置及び／又はスピーカ等のような様々なタイプの内のどれでもよい。例示的な表示出力装置164は、陰極線管(CRT)、液晶表示装置(LCD)、同様に備わる何らかの表示装置、スクリーン又はモニタ等を含む。一実施例では、出力装置164はタッチスクリーンに備わり、そのタッチスクリーンでは、接触感知方式の透明パネルが出力装置164の画面を覆っている。
【００２３】
入力装置166はMMRプロセッサ102に動作可能に結合され、キーボード、カーソルコントローラ、スキャナ、複合機、スチルカメラ、ビデオカメラ、キーパッド、タッチスクリーン、ディテクタ、RFIDタグリーダ、スイッチその他の何らかの手段等のような様々なタイプの内のどれでもよい（何らかの手段は、ユーザがシステム100aとやり取りすることを可能にするものである。）。一実施例では、入力装置166はキーパッド及びカーソルコントローラである。カーソルコントローラは、例えば、マウス、トラックボール、スタイラス、ペン、タッチスクリーン、パッド、カーソル方向キー、又はカーソルを動かす他の手段を含む。他の実施例では、入力装置166は、マクロフォン、オーディオ挿入／拡張カードであり、汎用コンピュータシステム、アナログディジタル変換器及びディジタル信号プロセッサ内で音声認識及び／又はオーディオ処理を促す余に使用するよう設計されたものである。
【００２４】
図１Ｂは、本発明の別の実施例により構築されたMMRシステム100bの機能ブロック図を示す。この実施例では、MMRシステム100bは、MMRコンピュータ112(ユーザ110により操作される)、ネットワークメディアサーバ114及び印刷書類118を生成するプリンタ116を含む。更にMMRシステム100bは、オフィスポータル120、サービスプロバイダサーバ122、電子ディスプレイ124を含み、電子ディスプレイはセットトップボックス126及び書類スキャナ127に電子的に接続されている。MMRコンピュータ112、ネットワークメディアサーバ114、プリンタ116、オフィスポータル120、サービスプロバイダサーバ122、セットトップボックス126及び書類スキャナ127の間の通信リンクは、ネットワーク128により用意され、ネットワークは、LAN(例えば、オフィス又はホームネットワーク)、WAN(例えば、インターネット、企業ネットワーク)、LAN／WANの組み合わせ他の適切な何らかのデータパスであってよく、それらを介して複数の演算装置が通信してよい。
【００２５】
更にMMRシステム100bはキャプチャー装置106を含み、キャプチャー装置は、ネットワークメディアサーバ114、ユーザプリンタ116、オフィスポータル120、サービスプロバイダサーバ122、電子ディスプレイ124、セットトップボックス126及び書類スキャナ127の1つ以上と、セルラインフラスクトラクチャ132、ワイヤレスフィデリティ(Wi-Fi)技術134、ブルートゥース技術136及び／又は赤外線(IR)技術138等を介して無線で通信することができる。代替的に又は追加的に、キャプチャー装置106は、MMRコンピュータ112、ネットワークメディアサーバ114、プリンタ116、オフィスポータル120、サービスプロバイダサーバ122、セットトップボックス126及び書類スキャナ127と有線技術140を介して有線形式で通信することができる。Wi-Fi技術134、ブルートゥース技術136、IR技術138及び有線技術140は、図１Ｂでは別々の要素のように示されているが、そのような技術は、(例えば、MMRコンピュータ112、ネットワークメディアサーバ114、キャプチャー装置106等のような)処理環境内で統合されてもよい。更に、MMR100bは更にジオ(Geo)ロケーション手段142を含み、無線で又は有線でサービスプロバイダサーバ122又はネットワーク128と通信する。これはキャプチャー装置106に統合されてもよい。
【００２６】
MMRユーザ110は、MMRシステム100bを利用している何らかの個人である。MMRコンピュータ112は何らかのデスクトップ、ラップトップ、ネットワークコンピュータその他の処理環境である。ユーザプリンタ116は印刷書類を作成可能な何らかのホーム、オフィス又は業務用プリンタであり、印刷書類は、1以上の印刷ページで構成される書類である。
【００２７】
ネットワークメディアサーバ114はネットワークコンピュータであり、ネットワーク128を介してMMRシステム100bのユーザによりアクセスされる情報及び／又はアプリケーションを有する。ある特定の実施例では、ネットワークメディアサーバ114は、セントラル化されたコンピュータであり、そのコンピュータ上で、テキストソースファイル、ウェブページ、オーディオ及び／又はビデオファイル、画像ファイル（例えば、静止画写真）等のような様々なメディアファイルが格納されている。ネットワークメディアサーバ114は、例えば、コムキャスト社のコムキャストビデオオンデマンドサービス、リコーイノベーションズインコーポレーテッドのリコードキュメントモール又はグーグルインコーポレーテッドのビデオサーバである。概して、ネットワークメディアサーバ114は、アタッチされた、統合された或いはキャプチャー装置106により印刷書類118に関連付けられた何らかのデータへのアクセス権を提供する。
【００２８】
オフィスポータル120は、MMRユーザ110の環境の中で生じるイベントを捕捉するためのオプション的な手段であり、例えばMMRユーザ110のオフィスで生じるイベント等を捕捉する。例えばオフィスポータル120はMMRコンピュータ112とは別個のコンピュータでもよい。その場合、オフィスポータル120は、MMRコンピュータ112に直接的に接続されてもよいし、ネットワーク128を介してMMRコンピュータ112に接続されてもよい。或いは、オフィスポータル120はMMRコンピュータ112内に組み込まれてもよい。例えば、オフィスポータル120が通常のパーソナルコンピュータ(PC)で構成され、そして、何らかの関連する捕捉装置106をサポートする適切なハードウエアとともに拡張されてもよい。オフィスポータル120はビデオカメラ及びオーディオレコーダのような捕捉装置を含んでもよい。更に、オフィスポータル120はMMRコンピュータ112からのデータを捕捉及び格納してもよい。例えば、オフィスポータル120はMMRコンピュータ112で生じるイベント及び機能を監視及び受信することができる。その結果、オフィスポータル120はMMRユーザ110の物理的な環境の中でオーディオ及びビデオの全てを記録し、MMRコンピュータ112で生じる全てのイベントを記録することができる。ある特定の実施例では、オフィスポータル120はイベントを捕捉する−例えば、書類が編集されている最中にMMRコンピュータ112から映像スクリーン捕捉を行う。その際、オフィスポータル120は、閲覧したウェブサイト、及び所与の書類が作成された際に作成された他の書類を捕捉する。その情報は、彼／彼女のMMRコンピュータ112又は捕捉装置106を介して後にMMRユーザ110にとって利用できるようにしてもよい。更に、オフィスポータル120は、ユーザが彼らの書類に付けるクリップに備えてマルチメディアサーバとして使用されてもよい。更に、書類が机の上にある間に生じた会話(例えば、電話やオフィス内の会話)、電話での話し合い及びオフィス内の小規模なミーティング等のような他のオフィスイベントをオフィスポータル120は捕捉してもよい。オフィスポータル120のビデオカメラ(図示せず)は、捕捉装置106用に開発された同じコンテンツベースの検索技術を利用することで、MMRユーザ110の物理的なデスクトップ上の書類を確認してもよい。
【００２９】
サービスプロバイダサーバ122は情報又はアプリケーションを保持する何らかの商用サーバであり、その情報等はネットワーク128を介してMMRシステム100bのMMRユーザ110によってアクセス可能である。特に、サービスプロバイダサーバ122は、MMRシステム100bに関連する如何なるサービスプロバイダをも表現する。サービスプロバイダサーバ122は、限定ではないが例えば、コムキャストコーポレーション等のようなケーブルTVプロバイダの商用サーバ、ベリゾンワイヤレス等のような携帯電話サービスプロバイダ、アデルフィアコミュニケーションズ等のようなインターネットサービスプロバイダ、ソニーコーポレーション等のようなオンライン音楽サービスプロバイダ等である。
【００３０】
電子ディスプレイ124は何らかの表示装置であり、限定ではないが例えば、標準的なアナログ又はディジタルテレビジョン(TV)、フラットスクリーンTV、フラットパネルディスプレイ又は投影システム等である。セットトップボックス126は、衛星アンテナ、空中線、ケーブル、ネットワーク又は電話回線等から到来する信号を処理する受信装置である。セットトップボックスの製造者は例えばアドバンストディジタルブロードキャストである。セットトップボックス126は電子ディスプレイ124のビデオ入力に電子的に接続される。
【００３１】
書類スキャナ127は、パナソニックコーポレーションのKV-S2026Cフルカラースキャナ等のような市販の書類スキャナ装置である。書類スキャナ127は、既存の印刷された書類をMMR用書類に変換する際に使用される。
【００３２】
セルラインフラストラクチャ132は、複数のセルタワー及び他のセルラネットワーク相互接続を表す。特に、セルラインフラストラクチャ132を利用することで、双方向の音声及びデータ通信が、捕捉装置106等のような装置に組み込まれた無線モデムを介して、手持ちの、携帯可能な及び車載の電話で行われる。
【００３３】
Wi-Fi技術134、ブルートゥース技術136及びIR技術138は、電子装置間の無線通信を行うための技術を表す。Wi-Fi技術134は、802.11規格等に基づく無線ローカルエリアネットワーク(WLAN)に関連する技術である。ブルートゥース技術136は電気通信工業規格仕様で規定され、その規格は携帯電話、コンピュータ及びPDAが短距離無線接続等によりどのように相互接続されるかを記述している。IR技術138は短距離無線信号を通じて電子装置が通信できるようにする。例えば、IR技術138はテレビジョンのリモートコントローラ、ラップトップコンピュータ、PDAその他の装置で使用される見通し線無線通信媒体でもよい。IR技術138は可視光線より下のミッドマイクロ波帯(mid-microwave)のスペクトルを使用する。更に、1つ以上の他の実施例では、IEEE802.15(UWB)及び／又は802.16(WiMAX)規格を用いて無線通信がサポートされてもよい。
【００３４】
有線技術140は標準的なイーサーネット接続又はユニバーサルシリアルバス(USB)接続等のような何らかの有線通信手段である。セルラインフラストラクチャ132、Wi-Fi技術134、ブルートゥース技術136、IR技術138及び／又は有線技術140を利用することで、捕捉装置106はMMRシステム100bの電子装置の何れか又は全てと双方向に通信できる。
【００３５】
ジオロケーション手段142は地理的な位置を確認する適切な何らかの手段である。ジオロケーション手段142は、例えば周知のような、地上のGPS受信装置に位置データを提供するGPS衛星である。図１Ｂに示される具体例では、位置データはサービスプロバイダサーバ122を介してMMRシステム100bのユーザに与えられ、そのサービスプロバイダサーバはGPS受信機(図示せず)と結合するネットワーク128に接続されている。或いは、ジオロケーション手段142は一群のセルタワー(例えば、セルラインフラストラクチャ132の一部分)であり、三角測量手段、セルタワー身元確認(ID)手段及び／又は(地理的な位置を確認する手段のような)エンハンストサービス911を用意する。或いは、ジオロケーション手段142は、WiFiアクセスポイント又はブルートゥース装置の既知の場所からの信号強度測定により与えられてもよい。
【００３６】
動作の際、捕捉装置106はMMRユーザ110の所有するクライアントとして機能する。そこにはソフトウエアアプリケーションがあり、コンテンツベースの検索処理を実行可能にし、そして、セルラインフラストラクチャ132、Wi-Fi技術134、ブルートゥース技術136、IR技術138及び／又は有線技術140を介して捕捉装置106をMMRシステム100bのインフラストラクチャに結合する。更に、いくつもの動作を可能にするソフトウエアアプリケーションはMMRコンピュータ112にも存在し、限定ではないが例えば、印刷捕捉処理、イベント捕捉処理(例えば、書類の編集履歴を保存する)、サーバ処理(例えば、他社に対する後のサービスに備えてデータ及びイベントを保存する)、又は印刷管理処理(例えば、プリンタ116は、書類のレイアウト及びマルチメディアクリップ等のようなMMRに必要なデータをキュー(queue)に並べるよう設定されてもよい)等を可能にする。
【００３７】
ネットワーク化されたメディアサーバ114は、印刷書類118のような印刷書類に添付されたデータへのアクセス権を与え、印刷書類118はMMRユーザ110に属するMMRコンピュータ112を介して印刷される。その際、ビデオ又はオーディオのような第２の媒体が、書類のような第１の媒体に関連付けられる。第１の媒体に第２の媒体を関連付けるソフトウエアアプリケーション及び／又は手段の更なる詳細は、図２Ｅ，３，４及び５を参照しながら以下で説明される。
【００３８】
捕捉装置
図２Ａ，２Ｂ，２Ｃ及び２Ｄは、本発明の一実施例による捕捉装置106を例示する。より具体的には、図２Ａは携帯電話である捕捉装置106aを示す。図２ＢはPDA装置である捕捉装置106bを示す。図２Ｃはコンピュータ周辺装置である捕捉装置106cを示す。コンピュータ周辺装置の一例は何らかの標準的なウェブカムである。図２Ｄはコンピュータ装置(例えば、MMRコンピュータ112等)に組み込まれている捕捉装置106dを示す。例えば、捕捉装置106dはコンピュータグラフィックスカードである。捕捉装置106の具体的な詳細は、図２Ｅを参照しながら説明される。
【００３９】
捕捉装置106a,106bの場合、捕捉装置106はMMRユーザ110の所有に係るものでもよい。それらの物理的な場所はジオロケーション手段142により又はセルラインフラストラクチャ132内の各セルタワーのID番号により追跡されてもよい。
【００４０】
図２Ｅを参照するに、本発明の一実施例による捕捉装置例106の機能ブロック図が示されている。捕捉装置106は、プロセッサ210、ディスプレイ212、キーパッド214、ストレージデバイス216、無線通信リンク218、有線通信リンク220、MMRソフトエア群222、捕捉装置ユーザインターフェース(UI)224、書類フィンガープリント照合モジュール(書類認証子照合モジュール)226、第三者ソフトウエアモジュール228、及び様々な捕捉手段230の内の少なくとも１つを含む。捕捉手段の具体例は、限定ではないが例えば、ビデオカメラ232、スチルカメラ234、ボイスレコーダ236、電子ハイライター238、レーザ240、GPS装置242及びRFIDリーダ244等を含む。
【００４１】
プロセッサ210は中央処理装置(CPU)であり、限定ではないが例えば、インテルコーポレーションにより製造されているペンティアム(登録商標)マイクロプロセッサである。ディスプレイ212は、手持ち式の電子装置で使用されるような何らかの標準的なビデオディスプレイ手段である。より具体的には、ディスプレイ212は例えば何らかのディジタルディスプレイ(液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)ディスプレイ等)である。キーパッド214は何らかの標準的な英数字入力手段であり、例えば、標準的なコンピュータ装置及び携帯式の電子装置(例えば、携帯電話)で使用されるキーパッドである。ストレージデバイス216は揮発性又は不揮発性の何らかのメモリ装置であり、例えば、周知のハードディスクドライブやランダムアクセスメモリ(RAM)装置である。
【００４２】
無線通信リンク218は無線データ通信手段であり、アクセスポイント(図示せず)を介して及びLAN(例えば、IEEE802.11Wi-Fi又はブルートゥース技術)を介して良く知られているように直接的な１対１通信又は無線通信を行う。有線通信リンク220は有線データ通信手段であり、例えば、標準的なイーサーネット及び／又はUSB接続を介して直接的な通信を行う。
【００４３】
MMRソフトエア群222は全体的な管理ソフトウエアであり、あるタイプのメディアを第２のタイプに併合するようなMMR処理を実行する。MMRソフトエア群222の更なる詳細は、図４を参照しながら説明される。
【００４４】
捕捉装置ユーザインターフェース(UI)224は、捕捉装置106を操作するためのユーザインターフェースである。捕捉装置UE224を利用することで、機能の選択肢に関する様々なメニューがMMRユーザ110に提示される。より具体的には、捕捉装置ユーザインターフェース(ＵＩ）224のメニューはMMRユーザ110がタスクを管理することを可能にし、限定ではないが例えば、書類と相互作用すること、既存の書類からデータを読み取ること、既存の書類にデータを書き込むこと、それらの書類に関連する拡張されたリアリティとともに閲覧及び相互作用すること、彼／彼女のMMRコンピュータ112に表示された書類に関連する拡張されたリアリティとともに閲覧及び相互作用すること等を可能にする。
【００４５】
書類フィンガープリント照合モジュール226は、捕捉装置106の少なくとも１つの捕捉手段230を介して、捕捉したテキスト画像から特徴を抽出するソフトウエアモジュールである。書類フィンガープリント照合モジュール226は、捕捉した画像及び書類データベースの間でパターン照合を実行することもできる。最も基本的なレベルでの一実施例によれば、書類フィンガープリント照合モジュール226は大きなページ画像中の画像パッチの一部(小区画)を決定し、その大きなページ画像は書類の多くの集合から選択されたものである。捕捉したデータを受信すること、捕捉したデータから画像の表現を抽出すること、書類中のパッチ判定及びモーション分析を実行すること、判定の合成を実行すること、入力画像が位置付けられるｘ−ｙ座標のリストを出力すること等のルーチン又はプログラムを書類フィンガープリント照合モジュール226は含む。例えば、書類フィンガープリント照合モジュール226は、テキストのフィンガープリント(指紋)の画像から抽出された水平方向の及び垂直方向の(縦横の)特徴量を結合し、その特徴量の抽出元の書類及び書類中のセクションを確認するアルゴリズムでもよい。いったん特徴量が抽出されると、例えばMMRコンピュータ112又はネットワークメディアサーバ114にある印刷書類インデックス(図示せず)が問い合わせられ、シンボリック(symbolic)書類を確認する。捕捉装置ユーザインターフェース(ＵＩ）224の制御の基で、書類フィンガープリント照合モジュール226は印刷書類インデックスへのアクセス権を有する。印刷書類インデックス図３のMMRコンピュータ112を参照しながら更に詳細に説明される。代替実施例では、書類フィンガープリント照合モジュール226はMMRコンピュータ112の一部であり且つ捕捉装置106内に設けられないようにしてもよいことに留意を要する。そのような例では、捕捉装置106は未処理の捕捉データをMMRコンピュータ112へ、画像抽出、パターン照合、書類及び位置判定に備えて送信する。更に別の実施例では、書類フィンガープリント照合モジュール226は特徴抽出のみを実行し、抽出された特徴量がパターン照合及び認証に備えてMMRコンピュータ112に送信される。
【００４６】
第三者ソフトウエアモジュール228は、捕捉装置106で生じる何らかの処理を支援する何らかの第三者ソフトウエアモジュールを表す。ダイダン社ソフトウエアの具体例は、セキュリティソフトウエア、画像検出ソフトウエア、画像処理ソフトウエア及びMMRデータベースソフトウエアを含む。
【００４７】
上述したように、捕捉装置106は捕捉手段230をいくつでも含んでよく、それらの具体例が以下に説明される。
【００４８】
ビデオカメラ232はディジタルビデオ記録装置であり、標準的なディジタルカメラや携帯電話で見受けられるものでもよい。
【００４９】
スチルカメラ234は、ディジタル画像を捕捉することができる何らかの標準的なディジタルカメラ装置である。
【００５０】
ボイスレコーダ236は、何らかの標準的な記録装置(マイクロフォン及び関連するハードウエア)であり、その記録装置は、オーディオ信号を捕捉し、それをディジタル形式で出力することができる。
【００５１】
電子ハイライター238は、印刷されたテキスト、バーコード及び小さな画像をPC、ラップトップコンピュータ又はPDA装置に対して走査、格納及び転送することができる電子ハイライターである。電子ハイライター238は、例えば、ウィズコムテクノロジーズのクイックリンクペンハンドヘルドスキャナ(Quicklink  Pen  Handheld  Scanner)であり、シリアルポート、赤外線通信又はUSBアダプタを介して情報をペンに格納することや情報をコンピュータぷりケーションに直接的に転送することを可能にする。
【００５２】
レーザ240は良く知られているように誘導放出、コヒーレント、準単色光により光を生成する光源である。例えばレーザ240は標準的なレーザダイオードであり、順方向にバイアスされた場合にコヒーレント光を放出する半導体素子である。レーザ240に関連するもの及び包含されるものは、レーザ240が向けられている画像で反射された光量を測定するディテクタである。
【００５３】
GPS装置242は、例えば緯度及び経度のディジタルデータのような位置データを用意する何らかのポータブルGPS受信装置である。ポータブルGPS受信装置242の具体例は、ソニーコーポレーションのUV-U70ポータブル衛星ナビゲーションシステム、タレスノースアメリカ(Thales  North  America)コーポレーションのマゼランブランドロードメートシリーズGPS装置、メリディアンシリーズ(Meridian  Series)GPS装置及びイクスプロリストシリーズ(eXplorist  Series)GPS装置等である。GPS装置242は、リアルタイムで、或る程度、三角測量により、捕捉装置106の位置を決定する方法を複数のジオロケーション手段142に良く知られているようにもたらす。
【００５４】
RFIDリーダ244は、テキサスインスツルメントで製造されているTI-RFIDシステムのような市販のRFIDタグリーダシステムである。RFIDタグは無線波を利用することで固有の事項(アイテム)を確認するための無線装置である。周知のように、RFIDタグはアンテナに取り付けられたマイクロチップで形成され、そのマイクロチップに固有のディジタル識別番号が格納されている。
【００５５】
ある特定の実施例では、捕捉装置106は、プロセッサ210、ディスプレイ212、キーパッド214、ストレージデバイス216、無線通信リンク218、有線通信リンク220、MMRソフトエア群222、捕捉装置ユーザインターフェース(UI)224、書類フィンガープリント照合モジュール226、第三者ソフトウエアモジュール228、及び様々な捕捉手段230の内の少なくとも１つを含む。その場合、捕捉装置106は全機能搭載型装置である。或いは、捕捉装置106はより少ない機能しか備えてなくてもよいし、機能コンポーネントの限定された組しか含んでなくてもよい。例えば、MMRソフトエア群222及び書類フィンガープリント照合モジュール226は遠隔的に存在し、例えば、MMRシステム100bのMMRコンピュータ112又はネットワークメディアサーバ114は、無線通信リンク218又は有線通信リンク220を介して捕捉装置106からアクセスされてもよい。
【００５６】
MMRコンピュータ
図３を参照するに、本発明の一実施例により構築されたMMRコンピュータ112が示されている。図示されているように、１つ以上のマルチメディア(MM)ファイル336を含むネットワークメディアサーバ114に、印刷書類118を生成するユーザプリンタ116に、書類スキャナ127に及び捕捉装置106にMMRコンピュータ112は接続されており、捕捉装置は書類フィンガープリント照合モジュール226の第１インスタンス及び捕捉装置ユーザインターフェース(ＵＩ）224を含む。これらのコンポーネント間の通信リンクは、直接的なリンクでもよいし、或いはネットワークを介してもよい。更に、書類スキャナ127は書類フィンガープリント照合モジュール226’の第２インスタンスを含む。
【００５７】
本実施例のMMRコンピュータ112は、1つ以上のソースファイル310、第１ソース書類(SD)ブラウザ312、第２SDブラウザ314、プリンタ装置316、印刷書類(PD)捕捉モジュール318、PDインデックス322を格納するドキュメントイベントデータベース320、イベント捕捉モジュール324、書類分析モジュール326、マルチメディア(MM)クリップブラウザ／エディタモジュール328、MMのプリンタドライバ330、書類ビデオ分析(DVP:  Document-to-Video  Parser)印刷システム332及びビデオペーパー334を含む。
【００５８】
ソースファイル310は、書類(又はその一部分)の電子表現である何らかのソースファイルを表す。ソースファイル310の具体例は、ハイパーテキストマークアップ言語(HTML)ファイル、マイクロソフトワードファイル、マイクロソフトパワーポイントファイル、シンプルテキストファイル、ポータブルドキュメントフォーマット(PDF)ファイル等であり、これらはMMRコンピュータ112のハードドライブ(又は他の適切なストレージ)に格納される。
【００５９】
第１SDブラウザ312及び第２SDブラウザ314は、スタンドアローンPCアプリケーション又は既存のPCアプリケーション用のプラグイン(plug-in)であり、ソースファイル310に関連付けられているデータへのアクセスを可能にする。第１及び第２SDブラウザ312,314はオリジナルのHTMLファイル又はMMクリップをMMRコンピュータ112で表示するために抽出する。
【００６０】
プリンタ装置316はプリンタドライバソフトウエアであり、アプリケーションと(何らかの特定のプリンタで使用されている)ページ記述言語又はプリンタ制御言語との間の通信リンクを周知のように制御する。特に、印刷書類118のような書類が印刷されるときはいつでも、印刷装置用にリコーコーポレーションで用意されているもののように、プリンタドライバ316は制御コマンドを正すデータをプリンタ116に供給する。一実施例では、印刷装置316は通常の印刷装置とは異なり、印刷される全ページの全キャラクタのｘ−ｙ座標、フォント及びポイントサイズの表現物を自動的に捕捉する。言い換えれば、印刷装置は印刷される書類全体の内容についての情報を捕捉し、そのデータをPD捕捉モジュール318にフィードバックする。
【００６１】
印刷書類(PD)捕捉モジュール318は書類の印刷表現を捕捉するソフトウエアアプリケーションであり、キャラクタ及び図形の印刷ページでのレイアウトが取り出せるようにする。更に、PD捕捉モジュール318を利用することで、書類の印刷表現は、自動的に、リアルタイムで及び／又は印刷時に捕捉される。より具体的には、PD捕捉モジュール318はあるソフトウエアルーチンであり、印刷ページ上での文字の２次元配置を捕捉し、その情報をPDインデックス322に伝送する。一実施例では、PD捕捉モジュール318は、印刷ページ上の全キャラクタのウインドウズテキストレイアウトコマンドを取得することで処理を行う。そのテキストレイアウトコマンドは、フォントやポイントサイズ等だけでなく印刷ページ上の全キャラクタのｘ−ｙ座標をオペレーティングシステム(OS)に示す。実際には、PD捕捉モジュール318はプリンタ116に伝送された印刷データを傍受する。図示の例では、PD捕捉モジュール318はデータを捕捉するために第１SDブラウザ312の出力に結合される。代替的に、PD捕捉モジュール318の機能はプリンタドライバ316内で直接的に実行されてもよい。様々なコンフィギュレーションが可能なことが本願の開示により明らかになるであろう。
【００６２】
ドキュメントイベントデータベース320は、本発明の一実施例により、印刷書類及びイベント間の関係を格納するように修正された何らかの標準的なデータベースである。（ドキュメントイベントデータベース320は図３４Ａを参照しながらMMRデータベースとして更に後述される。）例えば、ドキュメントイベントデータベース320は、ソースファイル310(例えば、ワードファイル、HTMLファイル、PDFファイル)から、印刷書類118に関連するイベントへの双方向のリンクを格納する。イベントの例は、ワード書類が印刷された直後に捕捉装置106でマルチメディアクリップを捕捉すること、捕捉装置106のクライアントアプリケーションとともにマルチメディアを書類に加えること、又はマルチメディアクリップに対する注釈等である。更に、ドキュメントイベントデータベース320に格納されてもよいソースファイル310に関連する他のイベントは、所与のソースファイル310が開かれた、閉じられた又は削除されたときのロギング、所与のソースファイル310がMMRコンピュータ112のデスクトップ上でアクティブアプリケーション内にあった場合のロギング、書類「コピー」及び「移動」操作の回数及び宛先のロギング、所与のソースファイル310の編集履歴のロギング等を含む。そのようなイベントは、イベント捕捉モジュール324で捕捉され、ドキュメントイベントデータベース320に格納される。ドキュメントイベントデータベース320は、ソースファイル310の出力を、イベント捕捉モジュール324、PD捕捉モジュール318及びスキャナ127の出力を受信するように結合され、クエリ及びデータを受けるように捕捉装置106にも結合され、出力を用意する。
【００６３】
ドキュメントイベントデータベース320は、PDインデックス322も格納する。PDインデックスはソフトウエアアプリケーションであり、印刷書類の画像から取り出した特徴量をそれらのシンボリックフォームに(例えば、スキャンされた画像をワードに)マッピングする。一実施例では、PD捕捉モジュール318は、フォントやポイントサイズ等だけでなく、印刷ページ上の全キャラクタのｘ−ｙ座標をPDインデックス322に与える。PDインデックス322は所与の書類が印刷された時点で作成される。しかしながら、全ての印刷データは、後の時点で取得される方法で捕捉されPDインデックス322に保存されてもよい。例えば、印刷書類118が、言葉「薔薇」の１行前のページに物理的に位置する言葉「庭」を含んでいた場合、PDインデックス322はそのようなクエリ機能をサポートする(即ち、言葉「薔薇」に先行して言葉「庭」がある)。PDインデックス322はどの書類のどのページのどの場所で(そのページ中のどの場所で)、言葉「庭」が言葉「薔薇」の前に現れているかの記録を含む。従って、PDインデックス322は特徴量ベースの又はテキストベースのクエリをサポートするよう組織される。PDDインデックス322の内容は、印刷書類の電子表現であり、印刷処理中にPD捕捉モジュール318を利用することで及び／又はスキャン処理中に書類スキャナ127の書類フィンガープリント照合モジュール226’を利用することで生成される。更なるデータベース320及びPDインデックス322のアーキテクチャ及び機能は、図３４Ａ−Ｃ、３５及び３６を参照しながら後述される。
【００６４】
イベント捕捉モジュール324は、MMRコンピュータ112でイベントを捕捉するソフトウエアアプリケーションであり、所与の印刷書類118及び／又はソースファイル310に関連付けられる。これらのイベントは所与のソースファイル310のライフサイクルの中で捕捉され、ドキュメントイベントデータベース320に保存される。特定の実施例では、イベント捕捉モジュール324を用いることで、第１SDブラウザ312のようなコンピュータ112のブラウザの中でアクティブなHTMLファイルに関するイベントが捕捉される。これらのイベントは、HTMLファイルがMMRコンピュータ112に表示された時点、又はそのHTMLファイルが表示若しくは印刷されている際に同時に開かれていた他の書類のファイル名等を含んでもよい。このイベント情報は、例えば、HTMLファイルが表示又は印刷されている際に彼／彼女が閲覧又は作業していた書類が何であるかを、MMRユーザ110が(後の時点で)知ることを希望した場合に特に有用である。イベント捕捉モジュール324により捕捉されるイベントの具体例は、書類編集履歴、所与のソースファイル310がデスクトップ上にあった近辺の時点でなされたオフィスミーティングの映像、及び所与のソースファイル310が開かれた時点で起こった電話呼出(オフィスポータル120で捕捉されてもよい)等を含む。
【００６５】
イベント捕捉モジュール324の具体的な機能は：１）トラッキング−アクティブなファイル及びアプリケーションを追跡すること、２）キーストロークキャプチャリング−キーストローク捕捉及びアクティブアプリケーションとの関連付け、３）フレームバッファキャプチャリング及びインデキシング−各フレームバッファ画像はフレームバッファデータの光文字認識(OCR)の結果と索引付けされることを含み、印刷書類の一部が画面に表示された場合に照合できるようにする。或いは、グラフィカルディスプレイインターフェース(GDI)シャドーdllとともにテキストが捕捉可能であり、PCオペレーティングシステムにより発行されたPCデスクトップについて文字を描くコマンドを追跡する。MMRユーザ110は捕捉装置106をある書類で指示し、それがMMRコンピュータ112のデスクトップでアクティブであった時点を確認してもよい；上記の機能は、４）履歴捕捉読取−フレームバッファキャプチャリング及びインデキシング処理のデータは、彼／彼女のMMRコンピュータ112のデスクトップで書類がアクティブであった時点の分析とリンクされ、どの程度長いか、及び特定の書類のどの部分かを追跡するように、MMRユーザ110に表示可能にすることを含む。その際、MMRユーザ110が書類を読んでいたか否かを推察するために、キーストロークやマウスの動きのような他のイベントとの関連性が考慮されてもよい。
【００６６】
ドキュメントイベントデータベース320、PDインデックス322及びイベント捕捉モジュール324の組み合わせは、MMRコンピュータ112でローカルに実現されてもよいし、或いは共用データベースとして実現されてもよい。ローカルに実現する場合、共用形式で実現することに比べてセキュリティレベルの低いことが必要とされる。
【００６７】
書類分析モジュール326は、印刷される書類118各自に関連するソースファイル310を分析するソフトウエアアプリケーションであり、そこでの有用なオブジェクト(例えば、ユニフォームリソースロケータ(URL)、アドレス、タイトル、著者、時間又は場所を表すフレーズ(例えば、ハリーディービルディング))を特定する。その際、ソースファイル310の印刷バージョンにおけるこれらのオブジェクトの場所が特定される。書類分析モジュール326の出力は、受信装置により使用可能であり、書類118の提示を追加的な情報とともに拡張し、パターン照合の精度を改善する。更に、受信装置は、例えばURLの場合そのロケーションを使用して、URLに関連するウェブページを取り出す。書類分析モジュール326は、ソースファイル310を受信するよう結合され、書類フィンガープリント照合モジュール226に出力を提供する。捕捉装置の書類フィンガープリント照合モジュール226に結合されるようにしか示されていないが、書類分析モジュール326の出力は、書類フィンガープリント照合モジュール226の全部に又はいくつにでもそれらが位置する何処にでも結合可能である。更に、書類分析モジュール326の出力は、後の利用に備えてドキュメントイベントデータベース320に格納されてもよい。
【００６８】
MMクリップブラウザ／エディタモジュール328は、オーサリング(著作)機能を提供するソフトウエアアプリケーションである。MMクリップブラウザ／エディタモジュール328は、スタンドアローンアプリケーションでもよいし、或いは書類ブラウザ上で動作するプラグインでもよい(第２SDブラウザ314に対して波線で表現されている)。MMクリップブラウザ／アプリケーション328はマルチメディアファイルをユーザに表示し、マルチメディアファイル336を受けるようにネットワークメディアサーバに結合される。更に、MMRユーザ110が書類を作成する際(例えば、マルチメディアクリップを書類に付ける際)、MMクリップブラウザ／アプリケーション328はその機能に関するサポートツールになる。MMクリップブラウザ／アプリケーション328は、マルチメディア書類が作成された頃に印刷された書類から分析された情報のようなメタデータを示すアプリケーションである。
【００６９】
MMのプリンタドライバ330はMMRドキュメントを作成する機能を用意する。例えば、MMRユーザ110は、MMのプリンタドライバ330により生成されたテキストをユーザインターフェース(ＵＩ）で強調し、マルチメディアデータを取り出すこと又はネットワーク128で若しくはMMRコンピュータ112で他の何らかのプロセスを実行することを含むアクション(処理内容)をそのテキストに付け加えてもよい。MMのプリンタドライバ330及びDVP印刷システム332の組み合わせは、バーコードを利用する代替的な出力をもたらす。このフォーマットは必ずしもコンテンツベースの検索技術を必要としない。MMのプリンタドライバ330は、ビデオペーパーテクノロジ−即ち、ビデオペーパー334をサポートするプリンタドライバである。MMのプリンタドライバ330は、バーコードを含む紙の表現物をマルチメディアにアクセスする手段として作成する。これに対して、プリンタドライバ316は、MMR対応技術を含む紙の表現物をマルチメディアにアクセスする手段として作成する。MMクリップブラウザ／アプリケーション328及びSDブラウザ314の組み合わせに含まれるオーサリング機能は、ソナ時出力フォーマットをSDブラウザ312として作成し、コンテンツベースの検索に備えて、MMRドキュメントの作成を可能にする。DVP印刷システム332は、書類に関連するドキュメントイベントデータベース320中の何らかのデータの処理を、その印刷表現に明示的な又は黙示的なバーコードとともに結合する。黙示的なバーコードは、バーコードに使用されるもののようなテキスト属性のパターンに関連する。
【００７０】
ビデオペーパー334は、紙のような印刷可能な媒体でオーディオビジュアル情報を表す技術である。ビデオペーパーでは、コンピュータ内に格納された又はコンピュータないでアクセス可能な電子コンテンツに対する指標としてバーコードが使用される。ユーザはバーコードをスキャンすると、そのテキストに関連するビデオクリップその他のマルチメディアコンテンツがシステムから出力される。オーディオ又はビデオペーパーを印刷するシステムは存在し、これらのシステムは本質的にはマルチメディア情報について紙ベースのインターフェースをもたらす。
【００７１】
ネットワークメディアサーバ114のMMファイル336は、様々なファイルタイプ及びファイルフォーマットの内のどの集合をも表す。例えば、MMファイル336はテキストソースファイル、ウェブページ、オーディオファイル、ビデオファイル、オーディオ／ビデオファイル及びイメージファイル(例えば、静止画写真)である。
【００７２】
図１Ｂで述べたように、書類スキャナ127は既存の印刷書類をMMR仕様書類に変換する際に使用される。しかしながら、更に図３を参照するに、書類スキャナ127は、書類フィンガープリント照合モジュール226’の特徴抽出処理を、走査される書類の全ページに適用することで、既存の書類に対してMMR処理を行うことを可能にするために使用される。その後、PDインデックス322には走査及び特徴抽出結果が投入され、走査された書類の電子表現がドキュメントイベントデータベース320に格納される。PDインデックス322の情報は、MMRドキュメントを作成するのに使用可能である。
【００７３】
図３を更に参照するに、MMRコンピュータ112のソフトウエア機能は、MMRコンピュータ112だけに限定されないことに留意を要する。或いは、MMRコンピュータ112、ネットワークメディアサーバ114、サービスプロバイダサーバ122及び捕捉装置106のMMRシステム100bの中でユーザが決めた何らかのコンフィギュレーションの中で図３に示されるソフトウエア機能が分散されてもよい。例えば、ソースファイル310、SDブラウザ312、SDブラウザ314、プリンタ装置316、PD捕捉モジュール318、ドキュメントイベントデータベース320、PDインデックス322、イベント捕捉モジュール324、書類分析モジュール326、MMクリップブラウザ／エディタモジュール328、MMのプリンタドライバ330及びDVP印刷システム332は、捕捉装置106内に完全に備わっていてもよく、それにより、捕捉装置106にとって強化された機能をしてもよい。
【００７４】
MMRソフトウエア群
図４は、本発明の一実施例によるMMRソフトウエア群222に含まれるソフトウエアコンポーネント群を示す。MMRソフトウエア群222の全部又はいくつかは、MMRコンピュータ112、捕捉装置106、ネットワークメディアサーバ114及び他のサーバに含まれてもよいことに留意すべきである。更に、MMRソフトウエア群222の他の例は、図示のコンポーネントを１つ乃至全部に至るまでいくつでも所有してよい。本実施例のMMRソフトウエア群222は、マルチメディア注釈ソフトウエア410(テキストコンテンツベースの抽出部412、画像コンテンツベースの抽出部414及び埋込(ステガノグラフィック)修正部416を含む)と、ペーパー読み取り履歴ログ418と、オンライン読み取り履歴ログ420と、協同的書類確認部422と、リアルタイム通知部424と、マルチメディア取得部426と、デスクトップビデオリマインダ部428と、ウェブページリマインダ部430と、物理履歴ログ432と、記入済書類確認部434と、伝搬時間部436と、位置確認部438と、PCオーサリング部440と、書類オーサリング部442と、捕捉装置オーサリング部444と、無意識的アップロード部446と、書類バージョン取得部448と、PC書類メタデータ部450と、捕捉装置ユーザインターフェース(ＵＩ）部452と、ドメイン固有コンポーネント454とを含む。
【００７５】
ドキュメントイベントデータベース320の集合体とともに結合したマルチメディア注釈ソフトウエア410は、ある特定の実施例によるMMRシステム100bの基礎的な技術をなす。より具体的には、マルチメディア注釈ソフトウエア410は、紙の書類についてのマルチメディア注釈を管理するためのものである。例えば、MMRユーザ110は、紙書類の何れかの部分を介して捕捉装置に対する指示を行い、捕捉装置106の少なくとも１つの捕捉手段230を用いてその部分に注釈を付ける。特定の例では、契約書のある部分について法律家が注釈を指図する(オーディオファイルを作成する)。そのマルチメディアデータ(オーディオファイル)は、その書類のオリジナルの電子バージョンに自動的に添付される。その書類の以後の印刷は、必要に応じて、それらの注釈の存在の指標を含む。
【００７６】
テキストコンテンツベースの抽出部412は、コンテンツベースの情報をテキストから取り出すソフトウエアアプリケーションである。例えば、テキストコンテンツベースの抽出部412を用いることで、テキストのパッチ(一部)からコンテンツが取得され、オリジナルの書類及び書類中のセクションが確認される、或いはそのパッチにリンクした他の情報が確認される。テキストコンテンツベースの抽出部412はOCRベースの技術を利用してもよい。或いは、テキストからコンテンツベースの抽出を実行するために非OCRベースの技術は、テキストのパッチ内でのワード長の２次元配列を含む。テキストコンテンツベースの抽出部412の一例はあるアルゴリズムであり、そのアルゴリズムは、テキストの一部の画像から抽出された水平方向の及び垂直方向の(縦横の)特徴量を結合し、書類及びその書類中の抽出されたセクションを確認する。水平方向の及び垂直方向の特徴量は、連続的に、並列的に或いは同時に使用されてもよい。そのような非OCRベースの特徴群を使用すると、高速な実現手段をもたらし、ノイズのある環境でのロバスト性をもたらす。
【００７７】
画像コンテンツベースの抽出部414は、コンテンツベースの情報を画像から取り出すソフトウエアである。画像コンテンツベースの抽出部414は、捕捉した画像及びデータベース320中の画像間の画像比較を実行し、可能な画像照合のリスト及び関連する信頼度を生成する。更に、一致画像の各々は、ユーザ入力に応じて実行される関連動作及び関連データを有してもよい。一例では、画像コンテンツベースの抽出部414は、例えば、画像をベクトル表現に変換することで、ラスタ画像(例えば、マップ)に基づいてコンテンツを抽出し、そのベクトル表現は、特徴量の配列の同じ画像を求めて画像データベースに問い合わせるのに使用可能である。代替実施例は、カラーコンテンツの画像又は画像内のオブジェクトの幾何学的配置を利用して、データベースの中で一致する画像を探す。
【００７８】
埋込修正部(ステガノグラフィック−steganographic−修正部)416は、印刷に先立って埋め込みによる修正を実行するソフトウエアアプリケーションである。MMRアプリケーションのさらに良好な動作を実現可能にするため、テキスト及びイメージが印刷される前にテキスト及びイメージにディジタル情報が加えられる。代替実施例では、埋込修正部416はMMRドキュメントを生成及び格納し、MMRドキュメントは、１）テキスト、オーディオ又はビデオ情報のようなオリジナルベースのコンテンツ、２）テキスト、オーディオ、ビデオ、アプレット、ハイパーテキストリンク等のような何らかの形式の追加的なコンテンツを含む。埋込修正は、カラーの又はグレースケールの画像中にウォーターマークを、書類の背景にドットパターンの印刷を、印刷されたキャラクタの輪郭の僅かな修正を埋め込み、ディジタル情報をエンコードすることを含む。
【００７９】
ペーパー読み取り履歴ログ418は、紙書類の読み取り履歴ログである。ペーパー読み取り履歴ログ418は、例えば、ドキュメントイベントデータベース320の中にある。ペーパー読み取り履歴ログ418は、リコーイノベーションズにより開発された、ビデオによる書類認証技術(document  identification-from-video  technology)に基づいてもよい。ペーパー読み取り履歴ログ418は、例えば、MMRユーザ110に読み取った書類及び／又は関連するイベントを再確認で通知する際に特に有用である。
【００８０】
オンライン読み取り履歴ログ420は、オンライン書類の読み取り履歴ログである。オンライン読み取り履歴ログ420は、オペレーティングシステムイベントの分析に基づき、ドキュメントイベントデータベース320の中にある。オンライン読み取り履歴ログ420は、MMRユーザ110により読み取られたオンライン書類の記録であり、その書類の一部分が読み取られる。オンライン読み取り履歴ログ420のエントリは、多くの方法で以後の如何なるプリントアウトで印刷されてもよく、例えば、各部分を読み取るのに費やした時間に基づいて、各ページの下にメモを用意することで又は異なる色でテキストを強調することで印刷されてよい。更に、マルチメディア注釈ソフトウエア410はPDインデックス322でこのデータを指示してもよい。或いは、オンライン読み取り履歴ログ420は、MMRコンピュータ112をモニタする顔検出システムのような装置に備わるMMRコンピュータ112により支援されてもよい。
【００８１】
協同的書類確認部422はあるソフトウエアアプリケーションであり、同じ紙書類の異なるバージョンの１以上のリーダが、他のリーダにより適用されたコメントを、(彼／彼女の捕捉装置106を書類の何らかのセクションの場所で指示することによって)確認できるようにする。例えば、書類サムネイルのトップにおけるオーバーレイとして、注釈が捕捉装置106で表示されてもよい。協同的書類確認部422は、既存の如何なるタイプの協同的なソフトウエアとともに実現される又は協同してもよいもよい。
【００８２】
リアルタイム通知部424は、読み取られる書類のリアルタイムの通知を実行するソフトウエアアプリケーションである。例えば、MMRユーザ110は書類を読み取るがその一方で、彼／彼女の読み取った跡(トレース)は、ブログに又はオンライン掲示板に掲示される。その結果、同じ話題に興味のある他の人々が、その書類について集まってチャットを行ってもよい。
【００８３】
マルチメディア取得部426は、代替的な紙書類からマルチメディアを取り出すソフトウエアアプリケーションである。例えば、MMRユーザ110は行われる会話全てを取り出す一方、捕捉装置106をその書類位置で指示することで、代替的な紙書類がMMRユーザ110の机に提示される。これは、マルチメディアデータを捕捉するMMRユーザ110のオフィスの中でオフィスポータル120が(又は他の適切な手段が)存在することを想定している。
【００８４】
デスクトップビデオリマインダ部428は、MMRコンピュータ112で起こるイベントをMMRユーザ110に知らせるソフトウエアアプリケーションである。例えば、紙書類のあるセクションで捕捉装置106を指図することで、MMRユーザ110は、そのセクションが現れた場合に、MMRコンピュータ112のデスクトップにおける変化を示すビデオクリップを見てもよい。更に、デスクトップビデオリマインダ部428は、MMRコンピュータ112により記録された他のマルチメディア(例えば、MMRコンピュータ112の近辺での音響)を取り出すように使用されてもよい。
【００８５】
ウェブページリマインダ部430は、MMRユーザ110に彼／彼女のMMRコンピュータ112で見えるウェブページを思い出させるソフトウエアアプリケーションである。例えば、紙書類上で捕捉装置106をパン撮り(panning)することで、MMRユーザ110は表示されたウェブページのトレースを眺める一方、書類の関連するセクションがMMRコンピュータ112のデスクトップに示される。ウェブページは、SDブラウザ312，314のようなブラウザに示されてもよいし、捕捉装置106のディスプレイ212に示されてもよい。或いは、ウェブページは捕捉装置106のディスプレイ212に又はMMRコンピュータ112にURLそのものとして表示されてもよい。
【００８６】
物理履歴ログ432は、例えばドキュメントイベントデータベース320の中にある。物理履歴ログ432は紙書類の物理履歴ログである。例えば、MMRユーザ110は彼／彼女の捕捉装置106を或る紙書類の所で指し、物理履歴ログ432に格納されている情報を利用することで、何らかの過去の時点で関心を寄せた書類に隣接する他の書類が決定される。この処理は、RFIDのようなトラッキングシステムによって支援される。その場合、捕捉装置106はRFIDリーダ244を含む。
【００８７】
記入済書類確認部434は、あるフォーム(定型様式)を記入するのに使用した過去に取得した情報を抽出するソフトウエアアプリケーションである。例えば、MMRユーザ110は彼／彼女の捕捉装置106を或るブランクフォーム(例えば、ウェブサイトから印刷された請求様式)の所で指示し、過去に入力した情報の履歴を用意する。その後に、記入済書類確認部434により、そのフォームは過去に入力した情報で自動的に記入される。
【００８８】
伝搬時間部436は、書類の過去の及び将来のバージョンに備えてソースファイルを取り出し、それらのバージョンに関連するイベントのリストを取得及び表示するソフトウエアアプリケーションである。この処理は、最も重要な外的なイベント(例えば、話し合いやミーティング)の後にそれらに関連する書類が何ヶ月かたって作成されたバージョンから、手持ちの印刷書類が生成されていることを埋め合わせる。
【００８９】
位置確認部438は、位置認識(location-aware)書類を管理するソフトウエアアプリケーションである。位置認識書類の管理は、例えば、RFID的なトラッキングシステムによって支援される。例えば、捕捉装置106は、日中のMMRユーザ110の地理的な位置のトレースを捕捉し、書類又は書類を含むフォルダに付いたRFIDタグをスキャンする。RFIDスキャン処理は、捕捉装置106のRFIDリーダ244により実行され、その範囲内で何らかのRFIDを検出する。MMRユーザ110の地理的な位置は、セルラインフラストラクチャ132内の各セルタワーの識別番号によって、或いは捕捉装置106のGPS装置242によって、又はジオロケーション手段142との組み合わせによって追跡されてもよい。或いは、書類の確認は、捕捉装置106のビデオカメラ232又は「オールウェイズオンビデオ(always-on-video)」とともに達成されてもよい。ロケーションデータは、「ジオリファレンス(geo-referenced)」書類を用意し、一日中、書類が位置する場所を示すマップベースのインターフェースを可能にする。１つのアプリケーションは、遠く離れたクライアントを訪問する、ファイルを持ち運ぶ法律家である。代替例では、書類118はそれらに取り付けられた検出手段を含み、書類が動かされた場合にそれを検知でき、ある基本的な顔検出処理を実行する。この検知機能は、書類に付けられたジャイロスコープ又は同様な装置一式を介してなされてもよい。位置情報に基づいて、MMRシステム100bは、所有者の携帯電話を「呼び出す」際に、書類が動いていることを彼／彼女に知らせる。携帯電話は、その書類を仮想的なブリーフケースに加える。更に、これは「不可視」のバーコードの概念であり、それは、捕捉装置106のビデオカメラ232又はスチルカメラ234には見えるマシン読み取り可能なマーキングであるが、人間にとっては見えない又は非常に微妙である。様々なインク及びステガノグラフィ又は印刷された画像ウォーターマーキング技術(捕捉装置106でデコードされてもよい)は、位置を確認するのに考慮されてもよい。
【００９０】
PCオーサリング部440は、MMRコンピュータ112のようなPCでのオーサリング処理を実行するソフトウエアアプリケーションである。PCオーサリング部440は、マイクロソフトワード、パワーポイント及びウェブページオーサリングパッケージ等のような既存のオーサリングアプリケーションのプラグインとして与えられる。PCオーサリング部440は、MMRユーザ110が紙書類を準備することを可能にし、その紙書類は、彼／彼女のMMRコンピュータ112からのイベントに対するリンク又は彼／彼女の環境の中でのイベントに対するリンクを含む。或いはPCオーサリング部440は、リンクを有する紙書類を自動的に生成することを可能にし、印刷される書類が、該書類の生成元のワードファイルに自動的にリンクされるようにする。或いはPCオーサリング部440は、MMRユーザ110がワードファイルを検索可能にし、他の誰かにそれを付与できるようにする。リンクを含む紙書類は、MMRドキュメントとして言及される。MMRドキュメントの更なる詳細は、図５に関連して更に説明される。
【００９１】
書類オーサリング部442は、既存の書類に関するオーサリング処理を実行するソフトウエアアプリケーションである。書類オーサリング部442は、例えば個人用エディションとして又は業務用エディションとして実現可能である。個人用エディションの場合、MMRユーザ110は書類をスキャンし、それらをMMRドキュメントデータベースに加える(例えば、ドキュメントイベントデータベース320に加える)。業務用エディションの場合、発行者(又は第三者)がオリジナルの電子ソース(又は、電子ゲラ刷り)からMMRドキュメントを作成する。この機能は、ハイエンド出版パッケージ(例えば、アドビリーダー)に組み込まれ、他のエンティティにより提供されるバックエンドユーザとともにリンクされてもよい。
【００９２】
捕捉装置オーサリング部444は、捕捉装置106で直接的にオーサリング処理を実行するソフトウエアアプリケーションである。捕捉装置オーサリング部444を利用することで、MMRユーザ110は、彼／彼女が手に持っている紙書類からキーフレーズを取り出し、その場で捕捉した追加的なコンテンツとともにそのキーフレーズを格納し、仮のMMRドキュメントを作成する。更に、捕捉装置オーサリング部440を利用することで、MMRユーザ110は、彼／彼女のMMRコンピュータ112に戻り、彼／彼女が作成した仮のMMRドキュメントを既存の書類アプリケーション(例えば、パワーポイント)にダウンロードし、それをMMR書類の最終バージョンに編集する又は他のアプリケーション用の他の標準的な形式の書類に編集してもよい。その際、イメージ及びテキストが既存の書類のページ中に自動的に挿入される(例えば、パワーポイント書類のページ中に挿入される。)。
【００９３】
無意識的アップロード部446は、印刷書類を無意識的に(自動的に、ユーザの介在なしに)捕捉装置106にアップロードするソフトウエアアプリケーションである。MMRユーザ110が彼／彼女のMMRコンピュータ112の所に居る場合も含めて、捕捉装置106はほとんどの時点でMMRユーザ110に所有されているので、書類をプリンタ116に送信することに加えてプリンタドライバ316は、それらの同じ書類を捕捉装置106のストレージ装置216へ、捕捉装置106の無線通信リンク218を介して、Wi-Fi技術134又はブルートゥース技術136とともに又は捕捉装置106がMMRコンピュータ112に結合されているならば有線接続により、送り出してもよい。その場合、MMRユーザ110は書類が印刷された後書類を取ることを決して忘れない。なぜなら書類は捕捉装置106に自動的にアップロードされるからである。
【００９４】
書類バージョン取得部448は、所与のソースファイル310の過去及び将来的なバージョンを取得するソフトウエアアプリケーションである。例えば、MMRユーザ110は印刷書類の場所に捕捉装置106を指示し、そして書類バージョン取得部448が現在のソースファイル310(例えば、ワードファイル)、ソースファイル310の他の過去及び将来のバージョンを特定する。特定の実施例では、この動作はウインドウズファイルトラッキングソフトウエアを利用し、ソースファイル310が複製され及び動かされた場所を追跡する。他のそのようなファイルトラッキングソフトウエアも使用可能である。例えば、グーグルデスクトップサーチやマイクロソフトウインドウズサーチコンパリゾンは、ソースファイル310から選択されたワードで構成されるクエリとともにファイルの現在のバージョンを見つけることができる。
【００９５】
PC書類メタデータ部450は、書類のメタデータを取得するソフトウエアアプリケーションである。例えば、MMRユーザ110は捕捉装置106を印刷書類の所に指示し、そしてPC書類メタデータ部450は、誰がその書類を印刷したか、いつその書類が印刷されたか、どこでその書類が印刷されたか及び印刷時の所与のソースファイルのファイルパス等を確認する。
【００９６】
捕捉装置ユーザインターフェース(ＵＩ）部452は、捕捉装置106のユーザインターフェース(ＵＩ）の動作を管理するソフトウエアアプリケーションであり、MMRユーザ110が紙書類とともに相互作用できるようにする。捕捉装置ユーザインターフェース(ＵＩ）部452及び捕捉装置ユーザインターフェース(ＵＩ）224を組み合わせることで、既存の書類からデータを読み取ること及びデータを既存の書類に書き込むこと、その書類に関連する拡張されたリアリティとともに閲覧及び相互作用すること（即ち、捕捉装置106を介して、何が起こったか、何時書類が作成されたか又は何時書類が編集されたかをMMRユーザ110は知ることができる。）、並びに彼／彼女の捕捉装置106に表示される書類に関連する拡張されたリアリティとともに閲覧及び相互作用することをMMRユーザ110に許可する。
【００９７】
ドメイン固有コンポーネント454は、ドメイン固有の機能を管理するソフトウエアアプリケーションである。例えば、音楽アプリケーションの場合、ドメイン固有コンポーネント454は、例えば、捕捉装置106のボイスレコーダ236を介して検出された音楽をタイトル、アーティスト又は作曲家と照合するソフトウエアアプリケーションである。このように、検出された音楽に関する音楽CDや楽譜等のような関心のあるアイテムが、MMRユーザ110に提示される。同様に、ドメイン固有コンポーネント454は、ビデオコンテンツ、ビデオゲーム及び何らかの娯楽情報についても同様な方法で動作するよう適合させられている。デバイス固有コンポーネント454は何らかの大容量メディアコンテンツの電子バージョンに適合していてもよい。
【００９８】
図３及び図４を更に参照するに、MMRソフトウエア群222のソフトウエアコンポーネントは、１つ以上のMMRコンピュータ112、ネットワークメディアサーバ114、サービスプロバイダサーバ122及び捕捉装置106のMMRシステム100b内に完全に又は部分的に存在してよいことに留意すべきである。言い換えれば、MMRソフトウエア群222で実行されるようなMMRシステム100bの処理は、MMRコンピュータ112、ネットワークメディアサーバ114、サービスプロバイダサーバ122及び捕捉装置106の間のユーザの決めた何らかのコンフィギュレーションの中で分散されてもよい(又はシステム100bに含まれるそのような他の処理環境の中で分散されてもよい）。
【００９９】
MMRシステム100a/100bの基本的な機能は、MMRソフトウエア群222のソフトウエアコンポーネントの或る組み合わせとともに実行可能であることは、本開示により明らかになるであろう。例えば、MMRシステム100a/100bの一例による基本機能は、以下を含む：
●第１メディア部分及び第２メディア部分を含むMMRドキュメントを作成及び付加すること。
【０１００】
●MMRドキュメントの第１メディア部分(例えば、紙書類)を利用して、第２メディア部分の情報にアクセスすること。
【０１０１】
●MMRドキュメントの第１メディア部分(例えば、紙書類)を利用して、電子ドメインでの処理を引き起こす(トリガをかける)又は開始すること。
【０１０２】
●MMRドキュメントの第１メディア部分(例えば、紙書類)を利用して、第２メディア部分を作成又は付加すること。
【０１０３】
●MMRドキュメントの第２メディア部分を利用して、第１メディア部分を作成又は付加すること。
【０１０４】
●MMRドキュメントの第２メディア部分を利用して、電子ドメイン内での処理を引き起こす若しくは開始する又は第１メディア部分に関連付けること。
【０１０５】
MMRドキュメント
図５は、本発明の一実施例によるMMRドキュメント500を示す。より具体的には、図５のMMRドキュメント500は、印刷書類118の一部の表現502、アクション又は第２メディア504、インデックス又はホットスポット506、及び書類118全体の電子表現508を含む。MMRドキュメント500は典型的にはドキュメントイベントデータベース320に格納されているが、捕捉装置に又はネットワーク128に結合された何らかの他の装置に格納されてもよい。一実施例では、複数のMMRドキュメント500が１つの印刷書類に対応してもよい。別の実施例では、図５に示される構造が複製され、１つの印刷書類の中に複数のホットスポット506を作成してもよい。ある特定の実施例では、MMRドキュメント500は、ページに関する表現502及びホットスポット506並びにページ内の場所を含み、第２メディア504及び電子表現508は選択的であり、波線で示されるように線引きされている。第２メディア504及び電子表現508は、望まれるならば、MMRドキュメントが作成された後に後で付加されてもよいことに留意を要する。この基礎的な実施例は、その表現に関連する書類を見つける又は書類中の特定の場所を見つけるために使用されてもよい。
【０１０６】
印刷書類118の一部の表現502は、パターンを照合し、書類中の少なくとも１つのロケーションを特定するのに利用可能な如何なる形式(画像、ベクトル、画素、文字、コード等)でもよい。表現502は印刷書類の中で或る場所を一意に特定することが好ましい。一実施例では、表現502は図５に示されるようなテキストフィンガープリントである。テキストフィンガープリントは、PD捕捉モジュール318を介して自動的に捕捉され、印刷処理中にPDインデックス322に格納される。或いは、テキストフィンガープリント502は、書類スキャナ127の書類フィンガープリント照合モジュール226’を介して自動的に捕捉され、スキャン処理中にPDインデックス322に格納されてもよい。代替的に表現502は書類全体、テキストの一部、１つのワード(そのワードが書類中の固有のインスタンスであるならば)、イメージの一部分、固有の属性又は書類の照合可能な部分の他の如何なる表現でもよい。
【０１０７】
アクション又は第２メディア504は、ディジタルファイル又は何らかのタイプのデータ構造であることが好ましい。ほとんどの基本的な実施例における第２メディア504は、提示されるテキスト又は実行される１以上のコマンドかもしれない。第２メディアタイプ504はより一般的にはテキストファイル、オーディオファイル又はビデオファイルであり、それらは表現502により特定される書類の一部分に関連するものである。第２メディアタイプ504は、複数の異なるメディアタイプや、同一タイプの複数のファイルを参照又は包含するデータ構造又はファイルでもよい。例えば、第２メディア504は、テキスト、コマンド、イメージ、PDFファイル、ビデオファイル、オーディオファイル、アプリケーションファイル(例えば、スプレッドシートやワードプロセシング書類)等にすることができる。
【０１０８】
インデックス又はホットスポット506は、表現502とアクション又は台2メディア04との間のリンクである。ホットスポット506は、表現502及び第２メディア504を関連付ける。一実施例では、インデックス又はホットスポット506は、書類中のｘ及びｙ座標のような位置情報を含む。ホットスポット506は或る点(ポイント)でもよいし、或る領域でもよいし、書類全体でさえよい。一実施例では、ホットスポットは表現502を指すポインタ、第２メディア504を指すポインタ及び書類中のロケーションを備えたデータ構造である。MMRドキュメント500は複数のホットスポット506を含むことができ、その場合、データ構造は、複数の表現、複数の第２メディアファイル、及び印刷書類118内の複数のロケーションの間のリンクを作成することが理解されるべきである。
【０１０９】
代替実施例では、MMRドキュメント500は書類全体118の電子表現508を含む。この電子表現は、ホットスポット506の位置を特定すること、ユーザインターフェースを用いて捕捉装置106又はMMRコンピュータ112に書類を表示することに使用可能である。
【０１１０】
MMRドキュメント500の利用例は、以下のとおりである。テキストフィンガープリント又は表現502を分析することで、捕捉されたテキストフラグメントが、捕捉装置106のドキュメントフィンガープリント照合モジュール226’により確認される。例えば、MMRユーザ110は、彼／彼女の捕捉装置106のビデオカメラ232又はスチルカメラ234を印刷書類118の所に指示し、イメージを捕捉する。次に、ドキュメントフィンガープリント照合モジュール226は、捕捉したイメージについて分析を実行し、PDインデックス322内に関連するエントリが有るか否かを確認する。合致した場合、ホットスポット506の存在が、彼／彼女の捕捉装置106のディスプレイ212上でMMRユーザ110に対して強調される。例えば、図５に示されるようなワード又はフレーズが強調される。印刷書類118内の各ホットスポット506は、他のユーザの決めた又は所定のデータ(例えば、ネットワークメディアサーバ114にあるMMファイル336の１つ)に対するリンクとして機能する。PDインデックス322内に格納されたテキストフィンガープリント又は表現502にアクセスすることは、書類中の如何なるMMRドキュメント500にも又は如何なるホットスポット506にも電子データを付加することを可能にする。図４を参照しながら説明したように、少なくとも１つのホットスポット506(例えば、リンク)を含む紙書類は、MMRドキュメント500として参照される。
【０１１１】
図１Ｂ、２Ａ乃至２Ｄ、３、４及び５に関するMMRシステム100bの動作例が以下に説明される。MMRユーザ110又は他の何らかのエンティティ(例えば、出版会社)は、所与のソースファイル310を開き、印刷処理を開始し、印刷書類118のような紙書類を作成する。印刷処理中に、次のような（１）〜（６）の動作が自動的に実行される。（１）印刷時にPD捕捉モジュール318を介して印刷フォーマットを自動的に捕捉し、それを捕捉装置106に転送すること。書類の電子表現508は、例えばSDブラウザ312の出力でPD捕捉モジュール318を利用することで、印刷時に自動的に捕捉される。例えば、MMRユーザ110はブラウザ312からコンテンツを印刷し、そのコンテンツはPD捕捉モジュール318により選別(フィルタリング)される。上述したように、ページ上の文字の２次元配列は、その書類が印刷用にレイアウトされた時点で決定可能である。（２）印刷時に書類のソースファイル310をPD捕捉モジュール318により自動的に捕捉すること。（３）書類分析モジュール326を介して印刷されたフォーマット及び／又はソースファイル310を分析し、捕捉装置106のマルチメディア注釈インターフェースに入力された「指名されたエンティティ」又は他の関心のある情報を発見すること。指名されたエンティティは、例えば、マルチメディアを後で付与するための「いかり(anchor)」であり、自動的にホットスポット506が生成される。書類分析モジュール326は、所与の印刷書類118に関連する入力ソースファイル310を受信する。書類分析モジュール326は、書類118におけるホットスポット506とともに使用する表現502(例えば、タイトル、作者、時間又はロケーション)を確認し、情報を捕捉装置106で受けることを促すアプリケーションである。（４）コンテンツベースの検索に備えて、印刷されたフォーマット及び／又はソースファイル310に自動的に索引付けを行うこと(PDインデックス322を構築する)。（５）書類に関するドキュメントイベントデータベース320におけるエントリを作成し、例えば履歴及び現在位置のようなソースファイル310に関連するイベントを作成すること。（６）プリンタドライバ316内でインタラクティブな対話を実行すること。これは、MMRユーザ110が、書類の印刷される前にホットスポット506を書類に付けることを可能にし、MMRドキュメント500が作成される。関連するデータがMMRコンピュータ112に格納される、或いはネットワークメディアサーバ114にアップロードされる。
【０１１２】
代替実施例
MMRシステム100(100a又は100b)は、図１Ａ−１Ｂ、２Ａ−２Ｄ及び３−５に示されるコンフィギュレーションに限定されない。MMRソフトウエアは、捕捉装置106及びMMRコンピュータ112の間の全体にわたって又は一部分に分散されてもよいし、図３，４に関して説明したモジュール全てよりもかなり少ないものしか要しない。可能な複数のコンフィギュレーションは、以下の代替例を含む。
【０１１３】
第１の代替例によるMMRシステム100は、捕捉装置106及び捕捉装置ソフトウエアを含む。捕捉装置ソフトウエアは、捕捉装置ユーザインターフェース(ＵＩ）224及びドキュメントフィンガープリント照合モジュール226(例えば、図３に示されるようなもの)である。捕捉装置ソフトウエアは捕捉装置106で実行されてもよいし、或いは、捕捉装置106にとってアクセス可能なネットワークメディアサーバ114やサービスプロバイダサーバ122のような外部サーバで実行されてもよい。この代替例では、刊行物にリンクされたデータを供給するネットワークサービスが利用可能である。ある階層判定法が使用されてもよい。その方法では、刊行物が先ず確認され、その刊行物内のページ及びセクションが確認される。
【０１１４】
第２の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア及びドキュメント利用ソフトウエアを含む。第２の代替例は、図４を参照しながら図示及び説明されたようなソフトウエアを含み、印刷書類を捕捉及び索引付けし、書類の編集履歴のような基本的な書類イベントを結び付ける。これはMMRユーザ110が彼／彼女の捕捉装置106を何らかの印刷書類の所に指示し、印刷の時間及び場所に加えて、書類を生成したソースファイルの名称及び場所も確認することを可能にする。
【０１１５】
第３の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア、ドキュメント利用ソフトウエア及びイベント捕捉モジュール324を含む。イベント捕捉モジュール324が、イベントを捕捉するMMRコンピュータ112に加えられ、そのイベントは、書類がMMRコンピュータ112のデスクトップ上で見えるようになった時間(GDIキャラクタジェネレータを監視することで確認される)、書類が開かれた際にアクセスされたURL、又は書類が開かれた際にキーボードにタイプされたキャラクタ等のような、書類に関連するイベントである。
【０１１６】
第４の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア及びプリンタ116を含む。第４の代替例では、プリンタ116がブルートゥーストランシーバ又は同様な通信リンクとともに装備され、近接している何らかのMMRユーザ110の捕捉装置106と通信する。何らかのMMRユーザ110がプリンタ116から書類を取り出すときはいつでも、プリンタ116はMMRデータ(ドキュメントレイアウト及びマルチメディアクリップ)をそのユーザの捕捉装置106に押し出す。ユーザプリンタ116はキーパッドを含み、そのキーパッドによりユーザはログインしてコードを入力し、特定の書類に関連するマルチメディアデータを取得する。書類のフッターに、プリンタドライバ316により挿入されたコードの印刷表現が含まれていてもよい。
【０１１７】
第５の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア及びオフィスポータル120を含む。オフィスポータル120は好ましくは個人仕様のオフィスポータル120である。オフィスポータル120は、会話、会議／電話及びミーティング等のようなオフィス内のイベントを捕捉する。オフィスポータル120は物理的なデスクトップ上で特定の紙書類を確認及び追跡する。更にオフィスポータル120は書類確認ソフトウエア(即ち、ドキュメントフィンガープリント照合モジュール226及びホストドキュメントイベントデータベース320)を実行する。第５の代替例は、MMRコンピュータ112から演算負担を分散するように機能し、顧客装置のようなMMRシステム100bをパッケージする便利な方法をもたらす(例えば、MMRシステム100bは、アップルコンピュータインコーポレーテッドのマックミニコンピュータで実行されるハードウエア及びソフトウエアプロダクトとして販売される。)。
【０１１８】
第６の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア及びネットワークメディアサーバ114を含む。この代替例では、マルチメディアデータは、例えばカムキャストビデオオンデマンドサーバのようなネットワークメディアサーバ114にある。MMRユーザ110が彼／彼女の捕捉装置106のユーザにより書類テキストの一部をスキャンする場合、その結果のルックアップコマンドは、(無線で、インターネットを介して、或いは電話回線でセットトップボックス126を呼び出すことで)MMRユーザ110のケーブルTVに関連するセットトップボックス126に、又はコムキャストサーバに伝えられる。何れの場合にも、マルチメディアはコムキャストサーバからセットトップボックス126へストリーム伝送される。システム100はデータを送る場所を知っている。なぜなら、MMRユーザ110は彼／彼女の電話を過去に登録しているからである。従って、捕捉装置106はセットトップボックス126に対するアクセス及び制御に使用可能になる。
【０１１９】
第７の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア、ネットワークメディアサーバ114及びロケーションサービスを含む。この代替例では、ロケーション認識サービスが、コムキャストシステム(又は適切な他の通信システム)からの出力に関する複数の宛先を識別する。この機能は、携帯電話タワーIDを自動的に識別することにより、又はデータが表示されるロケーションをMMRユーザ110に選択させるキーパッドインターフェースにより実行される。従って、他のロケーションがケーブルアクセスを有する限り、他のロケーションを訪れている際に、ケーブルオペレータにより提供されるケーブルTV上映作品及び番組にユーザはアクセスできる。
【０１２０】
ドキュメントフィンガープリント照合(イメージベースのパッチ判定)
上述したように、ドキュメントフィンガープリント照合は、MMRドキュメントの一部分、即ち「パッチ」を固有に確認することを含む。図６を参照するに、書類のフィンガープリント照合モジュール／システム610は、捕捉したイメージ612を受信する。ドキュメントフィンガープリント照合システム610は、書類データベース3400のページの集合に問い合わせを行い(例えば図３４を参照しながら後述される)、捕捉イメージ612が含まれているページ及び書類のリストを返す。結果の各々は、捕捉された入力画像612が現れるｘ−ｙロケーションである。(例えば、図６に示されるように)データベース3400はドキュメントフィンガープリント照合モジュール610の外にあるが、ドキュメントフィンガープリント照合モジュールの中にあってもよいことを当業者は理解するであろう(例えば、図７，１１，１２，１４，２０，２４，２６，２８及び３０−３２に示されるように、ドキュメントフィンガープリント照合モジュール610はデータベース3400を含む。)。
【０１２１】
図７は、本発明の一実施例によるドキュメントフィンガープリント照合システム610のブロック図を示す。捕捉装置106はイメージを捕捉する。捕捉されたイメージは品質評価モジュール712に伝送され、ダウンストリーム処理の必要性及び能力に基づいて、捕捉したイメージの内容について予備的な判定を効果的に行う。例えば、捕捉されたイメージが、ドキュメントフィンガープリント照合システム610でダウンストリーム処理できない程度の品質であった場合、品質評価モジュール712は、捕捉装置106が、より高い解像度でイメージを取得し直すようにする。更に、品質評価モジュール712は捕捉イメージの他の多くの関連属性を検出してもよい−例えば、捕捉画像に含まれているテキストの鮮明さ(sharpness)を検出してもよい(鮮明さは捕捉イメージに照準が合っているか否かの指標になる。)。更に、品質評価モジュール712は、捕捉イメージがその書類の一部になり得る何かを含んでいるか否かを確認してもよい。例えば、書類画像でないもの(例えば、机、外の情景)を含む画像パッチは、ユーザが捕捉装置106の視界を新たな書類に移しつつあることを示す。
【０１２２】
更に、１つ以上の実施例では、品質評価モジュール712はテキスト／非テキスト判定を実行し、認識可能なテキストを含めるようにイメージのみを通過させる。図８は、1つ以上の実施例によるテキスト／非テキストを区別するフローチャートを示す。ステップ810では、ピクセル(画素)の列数が入力イメージパッチから取り出される。一般に、入力イメージはグレースケールであり、列(カラム)の各値は(８ビット画素の場合)ゼロから255までの整数である。ステップ812では、各カラム内のローカルピクセルが検出される。これは一般に理解されている「スライディングウインドウ」法で行うことができ、その方法では、固定長のウインドウ(例えば、Nピクセル)が列に沿って一度にMピクセルずつスライドされる(ここで、M＜Nである。)。各ステップにおいて、グレーレベル値の顕著な相違(例えば、40より大きいもの)を探すことで、ピークの存否が判定される。ウインドウの或る場所でピークが特定された場合、そのスライディングウインドウがその場所と重なっているときはいつでも、他のピークの検出は控えられる。ステップ812では、一連のピークの間のギャップも検出される。ステップ812は、イメージパッチ内のカラム番号Cに適用され、ステップ814でそのギャップ値がヒストグラムに蓄積される。
【０１２３】
ギャップヒストグラムは、データベース818に格納されている既知の分類(ステップ816)とともにトレーニングデータから導出された他のヒストグラムと比較され、パッチのカテゴリに関する判定(テキストであるか否か)が、その判定の信頼度指標とともに出力される。ステップ816でのヒストグラム分類は、テキストのイメージから導出されるヒストグラムの一般的な出現度を考慮し、それは２つの密接なピークと、1つ又は２つの他の十分に小さなピークとともに行間の距離に集中したもの(それらのピークから離れたヒストグラムで整数倍高い)を含む。分類は、統計的なばらつきの指標とともにヒストグラムの形状を決定し、或いは、ヒストグラムを距離指標とともに格納済みのプロトタイプと１つ１つ比較してもよい(距離指標は、例えば、ハミング距離やユークリッド距離である。)。
【０１２４】
図９を参照するに、テキスト／非テキストの判定例が示されている。入力イメージ910は、カラム数をサンプルするように処理され、そのサブセットが波線で示される。代表的なカラム912のグレースケールレベルが914に示される。Yの値は910でのグレースケールレベルであり、Xの値は910の行である。ヒストグラム中のピーク間で検出されるギャップが、916に示される。サンプルしたカラム全てからのギャップ値のヒストグラムが、918に示される。この例は、テキストを含むパッチから導出されたヒストグラムの形状を示す。
【０１２５】
図１０には、イメージパッチ中のテキストのポイントサイズを推定するフローチャートが示されている。このフローチャートは、イメージの不鮮明さ(blur)が、ページからの捕捉装置の距離に反比例することを考慮している。不鮮明度を推定することで、距離が推定され、その距離を使用して、イメージのオブジェクトのサイズを既知の「規格化された」大きさにスケーリングしてもよい。この振る舞いは、新たなイメージ中のテキストのピントサイズを推定するのに使用されてもよい。
【０１２６】
トレーニング段階1010では、既知のフォント及びポイントサイズのテキストのパッチのイメージ(「校正」イメージとして言及される)が、ステップ1012で既知の距離で画像捕捉装置により取得される。そのイメージ内のテキストキャラクタの大きさ(画素数で表現される)が、ステップ1014で測定される。これは例えばマイクロソフトフォトエディタのような画像注釈ツールとともにマニュアルで実行してもよい。校正イメージの不鮮明さがステップ1016で推定される。これは例えば２次元高速フーリエ変換のスペクトルカットオフの既知の指標とともに実行されてもよい。これは多数の画素数を単位として表現されてもよい。
【０１２７】
ステップ1024で「新たな」イメージがMMR認識システムにランタイムに与えられると、そのイメージはステップ1026で処理され、ライン分割及びキャラクタ分割の一般に知られている方法でテキストを特定し、その方法は、各キャラクタ周囲を包囲するボックスを生成する。これらのボックスの高さは画素数で表現されてもよい。新たな画像の不鮮明さは、ステップ1016でのものと同様な方法でステップ1028で推定される。これらの推定値はステップ1030で結合され、各キャラクタの(又は、等価的に各ラインの)ポイントサイズの第１推定値1032を生成する。これは、次の数式を計算することでなされてもよい：
(校正画像不鮮明サイズ／新規画像不鮮明サイズ)×
(新規画像テキスト高さ／構成画像テキスト高さ)×
(校正画像フォントサイズポイント数)
これは、校正画像中のテキストのポイントサイズをスケーリングし、入力画像パッチ中のテキストの推定されたポイントサイズを生成する。同じスケーリング機能が、キャラクタの包囲ボックス全ての高さに適用されてもよい。これは、パッチ中のキャラクタ全てについての判定をもたらす。例えば、パッチが50個のキャラクタを含んでいた場合、これはパッチ中のフォントのポイントサイズについて50票をもたらす。ポイントサイズについて１つの推定値が、票のメジアン(中央値)とともに導出されてもよい。
【０１２８】
更に、図７を更に具体的に参照するに、１つ以上の実施例では、捕捉装置106への品質評価モジュール712のフィードバックが、捕捉装置106のユーザインターフェース(UI)に指示されていてもよい。例えば、そのフィードバックは、音又は振動の形式の指示を含み、その指示は、捕捉したイメージがテキストに見える何かを含んでいるが、それは不鮮明であること、そしてユーザは捕捉装置106を設置すべきであることを指示してもよい。フィードバックは或るコマンドを含み、そのコマンドは、捕捉装置106の光学パラメータを変更して捕捉画像の品質を改善してもよい。例えば、焦点、Fストップ、及び／又は露出時間調整され、捕捉画像の品質が改善されるようにしてもよい。
【０１２９】
更に、捕捉装置106への品質評価モジュール712のフィードバックは、使用される特手の特徴抽出アルゴリズムのニーズに応じて特化されてもよい。後述されるように、特徴抽出はイメージをシンボリックな表現に変換する。ワード長を計算する認識システムでは、捕捉装置106の光学特性について、捕捉画像を不鮮明にすることが望ましいかもしれない。そのような調整は或る画像を形成するが、人又は光学文字認識(OCR)プロセスではおそらく認識されず、特徴抽出技法に十分相応しいことを当業者は留意するであろう。品質評価モジュール712は捕捉装置106に指示をフィードバックすることでそれを実行し、捕捉装置106はレンズの焦準をぼやけさせ、ぼけた画像を生成する。
【０１３０】
フィードバックプロセスは制御構造714により修正される。一般に、制御構造714はデータ及びシンボリック情報(symbolic  information)をドキュメントフィンガープリント照合システム610内の他のコンポーネントから受信する。制御構造714は、ドキュメントフィンガープリント照合システム610での様々な手順の実行順序を決定し、演算負荷を最適化することができる。制御構造714は受信したイメージパッチのｘ−ｙ座標を特定する。より具体的には、制御構造714は、特徴抽出プロセスの必要性に関する情報と、品質評価モジュール712からの結果と、捕捉装置106のパラメータとを受信し、それらを適切になるように変えることができる。これはフレーム毎の形式で動的に実行可能である。複数の特徴抽出法を使用するシステムコンフィギュレーションでは、あるものがテキストの大きなパッチの不鮮明な画像を必要とし、別のものが紙の目に鮮明に焦点のあった高い解像度を必要とするかもしれない。その場合、制御構造714は品質評価モジュール712にコマンドを送信し、視界にテキストを含む場合、適切な画像品質をもたらすように指図する。品質評価モジュール712は捕捉装置106と相互作用し、正しいイメージを生成する(例えば、紙の目に鮮明に焦点のあった(高解像度の)M個の画像の後に、N個の不鮮明な画像の大きなパッチが続く。)。制御構造714は、パイプライン処理でそれらの画像処理の進行を追跡し、対応する特徴抽出および分類が適用されることを保証する。
【０１３１】
画像処理モジュール716は認識システムのニーズに基づいて入力画像の品質を修正する。イメージ修正のタイプの具体例は、鮮明化すること、歪を正すこと(deskewing)及び２値化することである。そのようなアルゴリズムは、マスクサイズ、予測回転量及び閾値などのような調整可能な多くのパラメータを含む。
【０１３２】
図７に示されるように、ドキュメントフィンガープリント照合システム610は、特徴抽出及び分類モジュール718，720(後述)からのフィードバックを用いて、画像処理モジュール716のパラメータを動的に修正する。これが機能するのは、ユーザは典型的には彼らの捕捉装置を書類の同じ場所で連続的に何秒かの間に指示するからである。例えば、捕捉装置106が毎秒30フレーム処理する場合、どのシーケンスでも最初の数フレームの処理結果は、後に捕捉されるフレームがどの程度処理されるかに影響する。
【０１３３】
特徴抽出モジュール718は捕捉した画像をシンボリックな表現に変換する。一実施例では、特徴抽出モジュール718はワードを特定し、それらを囲むボックスを算出する。別の実施例では、特徴抽出モジュール718は、つながったコンポーネントを特定し、それらの形状に関する記述を用意する。更に、１つ以上の実施例では、ドキュメントフィンガープリント照合システム610は、特徴抽出結果に関するメタデータを制御構造714と共有し、そのメタデータを利用して、他のシステムコンポーネントのパラメータを調整する。これは、貧弱な品質データの認識を阻止することで、演算制約をかなり削減し、精度をかなり改善することを当業者は認識するであろう。例えば、ワード包囲ボックスを特定する特徴抽出モジュール718は、制御構造714に行数及び発見した「ワード」を通知する。ワード数が多すぎた場合(例えば、入力イメージが分割されることを示す場合)、制御構造714は品質評価モジュール712に不鮮明な画像を作成することを指示してもよい。そして品質評価モジュール712は適切な信号を捕捉装置106に送信する。或いは、制御構造714は、画像処理モジュール716にスムージングフィルタを適用するように指示してもよい。
【０１３４】
分類モジュール720は、特徴抽出モジュール718からの特徴記述を、書類中の1以上のページの身元及びそれらのページ内のｘ、ｙ座標(入力画像パッチが現れている場所)に変換する。その身元は上述したようにデータベース3400からのフィードバックに依存して形成される。更に、1つ以上の実施例では、信頼度の値が各判定に関連付けられてもよい。ドキュメントフィンガープリント照合システム610は、そのような判定を利用して、システム内の他のコンポーネントのパラメータを決定してもよい。例えば、上位２つの判定の信頼度が互いに近接していた場合、画像処理アルゴリズムのパラメータは変更されるべきことを、制御構造714は決定してもよい。これは、メジアンフィルタの範囲の大きさを増やし、結果のダウンストリームを残りのコンポーネントに運ぶことになる。
【０１３５】
更に、図７に示されるように、分類モジュール720及びデータベース3400の間にフィードバックがあってもよい。更に、当業者は図６に示されるようにデータベース3400がモジュール610の外部にあってもよいことを思い出すであろう。パッチの身元に関する確認は、同様な外観を有する他のパッチを求めて、データベース3400に問い合わせるのに使用可能である。これは、入力画像パッチとデータベース3400との照合ではなく、データベース3400に格納されているパッチの完全な画像データと、データベース3400内の他の画像を比較する。これは、分類モジュール720の判定に関する追加的な確認レベルをもたらし、一致するデータの何らかの予備的処理を可能にする。
【０１３６】
データベース比較は、イメージデータだけのもの以外のパッチについては、シンボリック表現でも実行可能である。例えば、最良の判定内容は、イメージパッチが、12ポイントのアリエル(Arial)フォントで１行置きであったとする。データベース比較は、同様なフォント、行間及びワードレイアウトの他の書類中のパッチを、イメージデータ比較以外のテキストメタデータだけを用いて特定できるかもしれない。
【０１３７】
データベース3400はいくつかのタイプのコンテンツベースのクエリをサポートしてもよい。分類モジュール720はデータベース3400に或る特徴配置を伝達し、その配置が現れるｘ−ｙ座標及び書類のリストを受信してもよい。例えば、特徴量は縦横のワード長の三重文字(trigram)(後述)でもよい。データベース3400はクエリの何れかのタイプに応じて結果のリストを返すように組織されてもよい。分類モジュール720又は制御構造714は、それらのランキング(格付け)を結合し、１つのソートされた判定リストを生成してもよい。
【０１３８】
データベース3400、分類モジュール720及び制御構造714の間にフィードバックが存在してもよい。特徴ベクトルから位置を特定するのに十分な情報を格納することに加えて、データベース3400は、図形成分に関するシンボリック表現だけでなく、書類の当初のイメージを含む関連情報を格納してもよい。これは、制御構造714が他のシステムコンポーネントの動作をその場で制御することを可能にする。例えば、所与の画像パッチについてもっともらしい２つの判定があった場合、データベース3400は、画像の表示に関して縮小すること及び領域右側を検査することでそれらを明確化するように指示してもよい。制御構造714は、縮小することを指示する適切なメッセージを捕捉装置106に送信する。特徴抽出モジュール718及び分類モジュール720は、書類に印刷される画像についてその画像の右側を調べる。
【０１３９】
更に、パッチが書類の中に適切に位置している場合、データベース3400は画像パッチを包囲するデータについての詳細な情報を格納することに留意を要する。これは、従来では予想されていない更なるハードウエア及びソフトウエア画像分析ステップを引き起こすのに使用されてもよい。その詳細な情報は、一例として、書類の詳細なシンボリック記述を保存するプリント捕捉システムによって用意される。１つ以上の他の実施例では、同様な情報が書類をスキャンすることで取得されてもよい。
【０１４０】
図７を更に参照するに、ポジショントラッキングモジュール724は、制御構造714から画像パッチの身元に関する情報を受信する。ポジショントラッキングモジュール724は、それを用いてデータベース3400から書類ページ全体のコピーを取り出す又は書類を記述するデータ構造を取り出す。ポジショントラッキングプロセスの開始に関する最初の場所は、アンカー(anchor)になる。ポジショントラッキングモジュール724は、品質評価モジュール712が捕捉画像はトラッキングに相応しいことを確認した場合、捕捉装置106からイメージデータを受け取る。ポジショントラッキングモジュール724は、最後のフレームが良好に認識されて以来経過した時間の情報も有する。ポジショントラッキングモジュール724は、捕捉装置106が連続的なフレームの間で動かされた場合、書類上で距離を推定するのを可能にする選択的なフロー処理技術を使用する。捕捉装置の所与のサンプリングレートの基で、装置の見るデータがたとえ認識可能でなかったとしても、そのターゲットは推定可能である。捕捉装置106の推定位置は、画像データと、データベース書類から導出された関連する画像データとの比較により確認されてもよい。簡易な例は、捕捉された画像と、データベース3400の中の予想される画像との相互相関を計算することである。
【０１４１】
こうして、ポジショントラッキングモジュール724は、データベース画像のインタラクティブな利用法をもたらし、ポジショントラッキングアルゴリズムの進行を案内する。これは、図形及び画像のようなテキストでないオブジェクトに対する電子相互作用のためのアタッチメントを可能にする。更に、１つ以上の他の実施例では、そのようなアタッチメントは、上述の画像比較／確認を行わずに実現されてもよい。言い換えれば、ページに関する捕捉装置106の瞬間的な動きを推定することで、捕捉画像に関係ない視野の中にある電子的なリンクが推定されてもよい。
【０１４２】
図１１は、本発明の別の実施例による書類のフィンガープリント照合法を示す。図１１に示される「フィードフォワード」法は、パッチ各々を独立に処理する。この方法は、1つ以上のページ及びそのページでのｘ−ｙ座標(パッチが現れる場所)を特定するのに使用される特徴量を画像パッチから取り出す。例えば、1つ以上の実施例では、ドキュメントフィンガープリント照合用の特徴抽出は、捕捉される画像の特徴(例えば、ワード、キャラクタ、ブロック等)の水平方向の及び垂直方向のグループ化に依存してもよい。抽出された特徴量のグループは、抽出された特徴量を含む書類(及びその書類中のパッチ)を探すのに使用されてもよい。OCR機能は、捕捉した画像における水平方向のワード対を特定するのに使用されてもよい。特定された水平方向のワード対の各々は、データベース3400に対するサーチクエリを形成するのに使用され、そのサーチクエリは、特定された水平方向のワードペアを含む全ての書類及び書類中のワードペアのｘ−ｙ座標を確認するためのものである。例えば、水平方向のワードペアが「その，猫」(“the,cat”)であった場合、データベース3400は(15,x,y),(20,x,y)を返し、水平方向のワードペア「その，猫」が書類15及び20のｘ−ｙ座標に現れることを示す。同様に、垂直方向のワードペア各々について、データベース3400は、そのワードペアのインスタンスを含む全ての書類及び書類中のワードペアのｘ−ｙ座標を探すように問い合わせられる。例えば、垂直方向(縦向き)に隣接するワードペア「中で，帽子」(“in,hat”)に関し、データベース3400は(15,x,y),(7,x,y)を返し、縦向きに隣接するワードペア「中で，帽子」は書類15,7のｘ−ｙ座標に現れることを示す。こうして、データベース3400から返される書類及びロケーション情報を用いることで、捕捉画像から取り出された様々な水平方向ワードペア及び垂直方向ワードペアの間でどの書類が最大のロケーションオーバーラップを表したかに関する判定を行うことができる。これは、ホットスポット及びリンクされたメディアの存否が確認されることに応じて、捕捉された画像を含む書類を確認することになる。
【０１４３】
図１２は、本発明の別の実施例による書類のフィンガープリント照合法を示す。図１２に示される「インタラクティブ画像分析」法は、画像処理及び特徴抽出の間での相互作用を含み、画像パッチが認識される前になされてもよい。例えば、画像処理モジュール716は、入力画像の不鮮明さを先ず推定してもよい。そして、特徴抽出モジュール718は、画像テキストのページからの距離及びポイントサイズを算出する。そして、画像処理モジュール716は、そのポイントサイズのフォントのキャラクタを利用して、その画像に関してテンプレート照合ステップを実行してもよい。その後、特徴抽出モジュール718はその実行結果からキャラクタ又はワード特徴量を取り出してもよい。更に、フォント、ポイントサイズ及び特徴量は、書類データベース3400の中でそのフォントにより拘束されることを当業者は認識するであろう。
【０１４４】
図１３には、図１２に関して上述したようなインタラクティブ画像分析の例が示されている。入力画像パッチは、カメラからの距離だけでなく画像パッチ内のテキストのフォント及びポイントサイズをも推定するようにステップ1310で処理される。フォントの推定（即ち、パッチ内のテキストのフォントの候補の特定）は、既知の技術でなされてもよいことに当業者は留意するであろう。ポイントサイズ及び距離推定は、例えば、図１０に関して説明されたフロープロセスを用いることで実行されてもよい。更に、捕捉装置に容易に適用可能な既知の焦点距離法等のような他の技術が使用されてもよい。
【０１４５】
図１３を更に参照するに、ライン分割アルゴリズムがステップ1312で適用され、パッチの中のテキストのライン周囲を包囲するボックスを構築する。各ライン画像の高さは、プロポーショナルスケーリングのような既知の方法を用いて、ステップ1314で固定サイズに規格化される。フォントサイズだけでなく、画像内で検出されたフォントの身元は、フォントプロトタイプの集まり(コレクション)に伝達され、それらは、指名されたフォント各々でキャラクタの画像プロトタイプを取り出すのに使用される。
【０１４６】
フォントデータベース1322は、ユーザのシステムにおけるフォントコレクションから構築されてもよく、ユーザのシステムは、書類を印刷するためのオペレーティングシステム及び他のソフトウエアアプリケーションによって使用される(例えば、マイクロソフトウインドウズのラスターフォント、TrueType、OpenType等である。)。１つ以上の他の実施例では、フォントコレクションは、データベース3400内の書類の当初の画像から生成されてもよい。データベース3400のxmlファイルは、ボックスを包囲するｘ−ｙ座標を用意し、当初の画像からキャラクタの正確なプロトタイプ画像を抽出するのに使用されてもよい。Xmlファイルは、フォントの名称及びキャクタのフォントサイズを正確に特定する。
【０１４７】
選択されたフォントにおけるキャラクタプロトタイプは、ステップ1314で使用されたパラメータの機能に基づいて、ステップ1320で規格化されたサイズである。ステップ1316での画像分類は、ステップ1320で出力された規格化されたサイズのキャラクタと、ステップ1314での出力とを比較し、画像パッチ内のｘ−ｙ座標各々での判定を行う。既存の画像テンプレート照合法が、(ci,xi,yi,wi,hi)のような出力を生成するのに使用され、ここでciはキャラクタの身元であり、(xi,yi)はボックスを包囲する左上隅の座標であり、hi,wiはその高さ及び幅であり、i=1,...,nは画像パッチ内で検出されたキャラクタを指す。
【０１４８】
ステップ1318では、幾何学的制約データベースでの探索が上述したように実行されるが、この場合、ワードペアの代わりにキャラクタペアについて特化されてもよい。その場合、“a-b”は、ａ及びbが水平方向に隣接していることを示し；“a+b”は、それらが垂直方向に隣接していることを示し；“a/b”は、ａがｂの南西にあることを示し；“a＼b”は、ａがｂの南東にあることを示す。幾何学的位置関係は、キャラクタの各ペアのxi,yiの値から導出されてもよい。MMRデータベース3400は、それが書類ページのリストを返すように組織され、その書類ページはワードペアでなくキャラクタペアを含むものである。ステップ1326デの出力は、スコアで格付けされたｎ組として表現される入力画像に一致する候補のリストである(documenti,pagei,xi,yi,actioni,scorei)。
【０１４９】
図１４は、本発明の別の実施例による書類のフィンガープリント照合法を示す。図１４に示される「生成及び検査」法は、各パッチを独立に処理する。その方法は、所与の画像パッチを含むかもしれない画像ページ数を特定するのに使用される特徴量を画像パッチから取り出す。更に、１つ以上の実施例では、追加的な抽出及び分類ステップが実行され、ページが画像パッチを含む尤度で各ページをランキングしてもよい。
【０１５０】
図１４を参照しながら説明される「生成及び検査」法を更に参照するに、捕捉される画像の特徴量は抽出され、それら抽出された特徴量のほとんどを含むデータベース3400中の画像パッチが特定されてもよい。最も一致する特徴量を伴う最初のX個の書類パッチ(候補)が、更に処理される。このプロセスでは、一致する書類パッチ候補中の特徴量の相対的な位置が、目下対象の画像の特徴量の相対的な場所と比較される。その比較に基づいて或るスコアが算出される。そして、最も一致する書類パッチPに対応する最高スコアが確認される。最高スコアが適用される閾値より大きかった場合、その書類パッチPは問われているイメージに合致するものとして見出される。閾値は(例えば抽出された特徴数を含む)多くのパラメータに対して適応的である。データベース3400では、書類パッチPがどこから来たかが分かり、問われている画像が、その場所から来ているものとして確認される。
【０１５１】
図１５は、ワード境界ボックス判定アルゴリズムの例を示す。回転量を正す画像処理後の入力画像パッチ1510が示されている。スキュー補正アルゴリズムとして一般に知られているように、この種の技術はテキスト画像を回転させ、テキスト画像が水平軸に揃うようにする。境界ボックス判定の次のステップは、水平投影プロファイル(平面図特性)(1512)の算出である。行判定用の閾値は、既知の適応的な閾値法により又はスライディングウインドウアルゴリズムにより選択され(1516)、それらの方法では「閾値を越える」領域はテキストの行に対応する。各行内の領域は、1514及び1518と同様に抽出及び処理され、行の中でワードを表す閾値を超える領域を特定する。テキストの或る行の中で検出された境界ボックスの例が、1520で示されている。
【０１５２】
様々な特徴量が書類パッチ候補との比較用に取り出されてもよい。例えば、スケールインバリアントフィーチャートランスフォーム(SIFT)特性、コーナー特性、突出点、アセンダー(ascender)、ディセンダー、ワード境界及びスペース等が照合用に抽出されてもよい。書類画像から容易に抽出可能な特徴量の1つは、ワード境界である。ワード境界が抽出されると、それらは図１６に示されるように複数のグループに形成される。図１６では、例えば、ワード境界が、重なるワード境界を上にも下にも有し、且つ重なるワード境界の総数が少なくとも３であるように、縦のグループが形成される(重なるワード境界の最小数は、1つ以上の他の実施例で異なってもよいことに留意を要する。)。例えば、第１の特徴点(第２行中の２番目のワードボックスで長さが６のもの)は、上に２つのワード境界を有し(それらの長さは５及び７である)、下に１つのワード境界を有する(その長さは５である)。第２特徴点(第３行中の４番目のワードボックスであり、長さが５のもの)は、上に２つのワード境界を有し(それらの長さは４及び５である)、下に２つのワード境界を有する(それらの長さは８及び７である)。従って、図１６に示されるように、図示の特徴は、上のワード境界の長さに続き、下のワード境界の長さに続く中間のワード境界の長さとともに表現される。更に、ワードボックスの長さは、如何なるメトリックに基づいてもよいことに留意を要する。従って、いくつかのワードボックスについて別の長さを用意することもできる。その場合、それらの代替物の全部又は一部を含む特徴量が、抽出されてもよい。
【０１５３】
更に、１つ以上の実施例では、スペースが０で表現され且つワード領域が１で表現されるように特徴量が抽出されてもよい。図１７には具体例が示されている。右側のブロック表現は、左側の書類パッチのワード／スペース領域に対応する。
【０１５４】
抽出された特徴量は、様々な距離指標(例えば、ノルムやハミング距離を含む)と比較されてもよい。或いは、１つ以上の実施例では、問い合わせのイメージ(クエリイメージ)と同じ特徴量を有する書類パッチを特定するためにハッシュテーブルが使用されてもよい。そのようなパッチがいったん特定されると、各特徴点から他の特徴点への角度が図１８に示されるように算出されてもよい。或いは、特徴点のグループ間の角度が算出されてもよい。1802は、３つの特徴点から計算された角度1803,1804,1805を表す。算出された角度は、クエリイメージでの特徴点各々から他の特徴点への角度と比較される。照合する特徴点の何らかの角度が似ていた場合、類似スコアが増やされてもよい。或いは、角度のグループが使用される場合であって、２つのイメージの中で特徴点の同様なグループ間の角度のグループが数値的に同様であった場合、類似スコアが増やされてもよい。クエリイメージ及び抽出された各書類パッチ間のスコアが一旦算出されると、最高のスコアをもたらす書類パッチが選択され、適応的な閾値と比較され、その一致度が或る所定の基準に合うか否かを確認する。その基準に合っていた場合、一致する書類パッチが発見されたものとして通知される。
【０１５５】
更に、１つ以上の実施例では、抽出された特徴量はワード長に基づいてもよい。ワードの高さ及び幅に基づいて各ワードが推定文字(複数)に分割される。所与のワード上下のワードラインがスキャンされると、上下のワードライン中のスペース情報に応じて、推定文字各々に２進値が割り当てられる。そして、２進コードは整数で表現される。例えば、図１９を参照するに、ワードボックスの配列が示され、各ワードボックスは、捕捉されたイメージの中で検出されたワードを表現する。ワード1910は推定文字に分割される。この特徴量は、(i)ワード1910の長さ、(ii)ワード1910の上の行のテキスト配列及び(iii)ワード1910の下の行のテキスト配列とともに記述される。ワード1910の長さは、推定文字の数で測定される。テキスト配列情報は、目下の推定文字の上下のスペース情報の２進コードから引き出される。ワード1910の場合、最後の推定文字だけがスペースの上にあり、第２及び第３の推定文字はスペースの下にある。従って、ワード1910の特徴量は、(6,100111,111110)としてコード化され、ここで、０はスペースを意味し、１はスペースでないことを意味する。整数形式で書き直すと、ワード1910は(6,39,62)にコード化される。
【０１５６】
図２０は、本発明の別の実施例による書類のフィンガープリント照合法を示す。図２０に示される「複数分類(multiple  classification)」法は、様々な特徴記述の相補的な情報を分類し、その結果を結合することで、それらの情報を活用する。テキストパッチ照合に適用されるこのパラダイムの具体例は、横に及び縦に隣接するワードペアの長さを抽出し、データベース中のパッチのランキングを個々に計算することである。より具体的には、例えば、１つ以上の実施例において、分類モジュール720とともに「分類子」アテンダントによって、特徴量のロケーションが確認される。捕捉されたイメージの縦横の特徴量の分類子の結合を利用して、捕捉されたイメージはフィンガープリント照合に委ねられる。これは、テキストのイメージは、その身元に関して２つの独立したソースを含み−ワードの横並びに加えて、縦方向のワードのレイアウトが書類を特定するのに使用可能である（その書類はイメージの抽出元である）、という観点から実行される。例えば、図２１に示されるように、捕捉イメージ2110は、水平分類子2112及び垂直分類子2114によって分類される。捕捉イメージを入力することに加えて、分類子2112，2114各々は、データベース3400から情報を取り出し、各分類子を適用した書類ページのランキングを出力する。言い換えれば、図２１に示される複数分類子法は、水平及び垂直方向の特徴量を利用して捕捉イメージを独立に分類する。書類ページのランキングされたリスト（複数）は、結合アルゴリズム2118により結合され(具体例については後述される)、書類ページのランキングされたリスト（単数）を出力し、そのリストは、捕捉イメージ2110の水平及び垂直方向の特徴量双方に基づく。特に、１つ以上の実施例では、水平分類子2112及び垂直分類子2114からの別々のランキングは、ある情報(検出された特徴量がデータベース3400の中でどのように共に現れるかについての情報)を用いて結合される。
【０１５７】
図２２を参照するに、特徴抽出に備えて縦のレイアウトが横のレイアウトとどのように統合されるかについての具体例が示されている。(a)では、ワード分割と共に捕捉イメージ2200が示されている。その捕捉イメージから、水平及び垂直の「ｎグラム(n-gram)」が決定される。「ｎグラム」は、ある特徴の量を記述する数ｎ個のシーケンスである。例えば、水平方向のトリグラム(trigram)は、３つのワードの水平方向シーケンス中の各ワード内のキャラクタ数を指定する。例えば、捕捉イメージ2200の場合、(b)は、5-8-7(捕捉イメージ2200の第１行にある横に並んだワード“upper”,“division”及び“courses”各々のキャラクタ数)、7-3-5(捕捉イメージ2200の第２行にある横に並んだワード“Project”,“has”及び“begun”各々のキャラクタ数)、3-5-3(捕捉イメージ2200の第２行にある横に並んだワード“has”,“begun”及び“The”各々のキャラクタ数)、3-3-6(捕捉イメージ2200の第３行にある横に並んだワード“461”,“and”及び“permit”各々のキャラクタ数)及び3-6-8(捕捉イメージ2200の第３行にある横に並んだワード“and”,“permit”及び“projects”各々のキャラクタ数)の水平トリグラムを示す。
【０１５８】
縦方向のトリグラムは、所与のワード上下の縦並びのワード各々のキャラクタ数を指定する。例えば、捕捉イメージ2200の場合、(c)は、5-7-3(縦並びのワード“upper”,“Project”及び“461”各々のキャラクタ数)、8-7-3(縦並びのワード“division”,“Project”及び“461”各々のキャラクタ数)、8-3-3(縦並びのワード“division”,“has”及び“and”各々のキャラクタ数)、8-3-6(縦並びのワード“division”,“has”及び“permit”各々のキャラクタ数)、8-5-6(縦並びのワード“division”,“begun”及び“permit”各々のキャラクタ数)、8-5-8(縦並びのワード“division”,“begun”及び“projects”各々のキャラクタ数)、7-5-6(縦並びのワード“courses”,“begun”及び“permit”各々のキャラクタ数)、7-5-8(縦並びのワード“courses”,“begun”及び“projects”各々のキャラクタ数)、7-3-8(縦並びのワード“courses”,“The”及び“projects”各々のキャラクタ数)、7-3-7(縦並びのワード“Project”,“461”及び“student”各々のキャラクタ数)及び3-3-7(縦並びのワード“has”,“and”及び“student”各々のキャラクタ数)の垂直トリグラムを示す。
【０１５９】
図２２に示される捕捉イメージ2200から決定された水平及び垂直トリグラムに基づいて、書類のリスト(d)及び(e)が生成され、水平及び垂直トリグラム各々を含む書類を示す。例えば、(d)の場合、水平トリグラム7-3-5は書類15,22,134に現れる。更に、例えば、(e)の場合、垂直トリグラム7-5-6は書類15,17に現れる。書類リスト(d),(e)を用いて、参照される書類全てのランキングされたリストが(f)及び(g)にそれぞれ示される。例えば、(f)の場合、書類15は(d)の中で５つの水平トリグラムによって参照されているが、書類9は(d)の中で１つのトリグラムでしか参照されていない。更に、例えば、(g)の場合、書類15は(e)の中で11個の垂直トリグラムで参照されているが、書類18は(e)の中で１つの垂直トリグラムによってしか参照されていない。
【０１６０】
図２３を参照するに、図２２を参照しながら説明された水平及び垂直トリグラム情報を結合する方法が示されている。この方法は、オリジナルの印刷ページにおけるトリグラムの既知の物理的なロケーションに関する情報を利用して、水平及び垂直特徴抽出からの投票のリストを結合する。水平及び垂直分類子各々によって出力される上位M個の選択肢の中で共通する全書類に関し、書類に投票された水平トリグラム全部のロケーションが、その書類について投票された垂直トリグラム全部のロケーションと比較される。どの垂直トリグラムにも重複する書類は、水平トリグラム数に等しい投票数を受け取り、この場合において、２つのトリグラムの境界ボックスが重なる場合に、「重複(オーバーラップ)」が生じる。更に、重複の中心のｘ−ｙ座標は、図３４の3406に関して後述される適切に修正されたバージョンの証拠蓄積アルゴリズムによりカウントされる。例えば、図２３に示されるように、(a)及び(b)のリスト(図２２ではそれぞれ(f)及び(g)である)は分割され、水平及び垂直トリグラム双方で参照されるページのリスト(c)を特定する。分割されたリスト(c)、リスト(d)及び(e)(指定されたトリグラムによって参照される、分けられた書類のみを示す)、並びに印刷書類データベース3400を利用して、書類のオーバーラップが確認される。例えば、書類6は水平トリグラム3-5-3により及び垂直トリグラム8-3-6により参照され、これら２つのトリグラムは、捕捉イメージ2200の中のワード“has”に関してオーバーラップし、従って書類6はその１つのオーバーラップにつき１票を獲得する。(f)に示されるように、特定の捕捉イメージ2200の場合、書類15は最大の投票数を獲得し、捕捉イメージ2200を含む書類として確認される。(x1,y1)は書類15の中での入力イメージの場所として確認される。図２２，２３を参照しながら上述したドキュメントフィンガープリント照合法では、要するに、水平分類子はテキスト中のワードの水平配列から導出された特徴量を使用し、垂直分類子はワードの垂直配列から導出された特徴量を使用し、その結果が、オリジナルドキュメントでの特徴量のオーバーラップに基づいて結合される。そのような特徴抽出は、特徴抽出による水平方向の特徴量を適切な文法及び言語の制約に委ねる一方、垂直方向の特徴量をそのような制約には委ねずに、書類を一意に特定する仕組みをもたらす。
【０１６１】
更に、図２２，２３に関する説明は特にトリグラムを利用していたが、水平及び垂直の特徴抽出／分類の一方又は双方に如何なるｎグラムが使用されてもよい。例えば、1つ以上の実施例で、垂直及び水平のｎグラム(ｎ＝４)が、マルチ分類子特徴抽出に使用されてもよい。１つ以上の他の実施例では、水平分類子がｎグラム(n=3)に基づいて特徴量を抽出し、垂直分類子がｎグラム(n=5)に基づいて特徴量を抽出してもよい。
【０１６２】
更に、１つ以上の実施例において、厳密には垂直でない又は水平でない隣接関係に基づいて、分類がなされてもよい。例えば、NW,SW,SW,SEの隣接関係が抽出／分類に使用されてもよい。
【０１６３】
図２４は、本発明の別の実施例による書類のフィンガープリント照合例を示す。入力に合致するかもしれない書類の画像を使用し、画像分析の以後のステップ(初期の画像からのサブイメージが入力イメージと照合される)を決定することで、書類画像照合システムの精度は向上する、ということを図２４に示される「データベースドリブンフィードバック」法では考慮に入れる。本方法は、入力イメージにあるノイズを複製するという変換を含む。その後にテンプレート照合分析が続く。
【０１６４】
図２５は、本発明の一実施例によるデータベースドリブンフィードバックのプロセスフローを示す。入力イメージパッチは上述のステップ2510,2512で先ず処理及び認識され(例えば、ワードOCR及びワードペアルックアップ、キャラクタOCR及びキャラクタペアルックアップ、ワード境界ボックスコンフィギュレーションなどを使用する)、イメージパッチ2522の身元の多数の候補を生成する。このリストの中の各候補は、次の項目(doci,pagei,xi,yi)を含み、dociは書類の識別子であり、pageiは書類中のページであり、(xi,yi)はそのページの中のイメージパッチの中心のｘ−ｙ座標である。
【０１６５】
ステップ2512での初期パッチ抽出アルゴリズムは、ページからの距離の情報を利用して入力イメージパッチ全体のサイズを固定サイズに選択的に規格化し、既知の空間分解能(例えば、100dpi)に変換することを保証する。上述のフォントサイズ推定アルゴリズムが、このタスクに適用されてもよい。同様に、フォーカスからの既知の距離又はフォーカスからの深さ等が使用されてもよい。サイズの規格化は、各ワード包囲ボックスの高さに基づいてイメージパッチを線形にスケーリングすることができる。
【０１６６】
初期パッチ抽出アルゴリズムは、識別子と共にMMRデータベース3400に問い合わせ、各書類及びページを探し、MMRデータベースが生成するパッチの包囲ボックスの中心と共にそれを受け取る。生成されるパッチの範囲は、規格化された入力パッチのサイズに依存する。このような方法では、同じ空間分解能及び寸法のパッチが取得される。例えば、100dpiに規格化されている場合、入力パッチはその中心の各側に50ピクセルずつ広がる。この場合、MMRデータベースは、指定されたｘ−ｙの値を中心とする100画素の高さ及び幅の100dpiの初期パッチを生成するように指示する。
【０１６７】
MMRデータベースから返された初期イメージパッチ(2524)の各々は、次の項目(doci,pagei,xi,yi,widthi,heighti,actioni)に関連付けられ、(doci,pagei,xei,yi)は上述のものであり、widthi及びheightiは初期パッチの幅及び高さ(画素数)であり、actioniは或る選択的動作であり、データベース中のdociのエントリ中の対応する領域に関連付けられる。初期パッチ抽出アルゴリズムは、イメージパッチのリスト及びデータを、構成される規格化された入力パッチのサイズと共に出力する(2518)。
【０１６８】
更に、１つ以上の実施例では、パッチ照合アルゴリズム(2516)は、規格化されたサイズの入力パッチと初期パッチ各々とを比較し、それらが互いにどの程度よく合致するかを測るスコアを割り当てる(2520)。パッチのサイズが互いに匹敵することを保証するメカニズムに起因して、ハミング距離に関する簡易な相互相関は多くの場合に十分であることを当業者は理解するであろう。更に、このプロセスは、初期パッチにノイズを導入することを含み、入力で検出された画像ノイズを模擬する。比較は代替的に複雑化してよく、如何なる特徴群の比較を含んでもよく、その特徴群は、キャラクタ、キャラクタ対又はワード対の数に基づく２パターンのOCR結果及びランキングを含み、それらの対は、上述の幾何学的位置関係から構築可能である。しかしながら、この場合、入力パッチ及び初期パッチ間に共通する幾何学的な対の数は、ランキングメトリックとして推定及び使用されてもよい。
【０１６９】
更に、出力2520はｎ組の形式(doci,pagei,xi,yi,actioni,scorei)でもよく、そのスコアは、パッチ照合アルゴリズムにより用意され、入力パッチがdoci,pageiの対応する領域にどの程度よく合致しているかを測る。
【０１７０】
図２６は、本発明の別の実施例による書類のフィンガープリント照合例を示す。図２６に示される「データベースドリブン分類子」法は、入力イメージを含むかもしれない候補群を生成するために初期分類子を使用する。これらの候補はデータベース3400内で探され、特徴抽出プラス分類法がそれらの候補について自動的にデザインされる。一例は、タイムス(Times)又はアリエル(Arial)フォントを含むような入力パッチを特定することである。この場合、制御構造714は、セリフ／サンセリフ(serif/san  serif)の識別に特化した特徴抽出器及び分類子を起動する。
【０１７１】
図２７は、本発明の一実施例によるデータベースドリブンクラシフィケーションのフローチャートを示す。第１の特徴抽出2710に続いて、入力イメージパッチは、上述の何らかの1つ以上の認識法によって分類され(2712)、書類のランキング、ページ及びページ内のｘ−ｙ座標を生成する。このリスト中の各候補は、例えば、次の項目(doci,pagei,xi,yi)を含み、dociは書類の識別子であり、pageiは書類中のページであり、(xi,yi)はそのページ内のイメージパッチの中心のｘ−ｙ座標である。図２５を参照しながら説明された初期パッチ抽出アルゴリズム2714を利用して、各候補についてパッチイメージを生成してもよい。
【０１７２】
図２７を更に参照するに、第２の特徴抽出が初期パッチに適用される(2716)。これは第１の特徴抽出とは異なり、例えば、フォント検出アルゴリズム、キャラクタ認識技法、境界ボックス及びSIEF特徴等の１つ以上を含んでもよい。初期パッチ各々で検出された特徴量は、自動分類子設計法2720への入力になり、例えば、ニューラルネットワーク、サポートベクトルマシン及び／又は最近接分類子を含む(それらは、未知のサンプルを初期パッチの1つとして分類するようデザインされる)。同じ第２の特徴抽出が入力イメージパッチに適用され(2718)、検出された特徴量は、新たに設計された分類子への入力になり、その初期パッチに特化したものになる。
【０１７３】
出力2724はｎ組の形式(doci,pagei,xi,yi,actioni,scorei)でもよく、スコア(score)は2720で自動的に設計される分類法(2722)により用意される。そのスコアは、入力パッチがdoci,pageiの対応する領域とどの程度合っているかを測るものであることを当業者は理解するであろう。
【０１７４】
図２８は、本発明の別の実施例による書類のフィンガープリント照合例を示す。図２８に示される「データベースドリブン複数分類子」法は、判定プロセス全体を通じて複数の候補を使用することで、認識プロセス初期での復元不可能なエラーの可能性を減らす。いくつかの初期分類が実行される。各々は、入力パッチの異なるランキングを生成し、そのランキングは、様々な特徴抽出及び分類によって識別可能である。例えば、これらの群中の１つは、水平方向のｎ組によって生成され、そして、サン−セリフによるセリフを識別することで一意に認識される。他の具体例は、垂直方向のｎ組により生成され、行間の正確な計算から一意に認識される。
【０１７５】
図２９は、本発明の一実施例によるデータベースドリブン多重分類のフローチャートを示す。このフロープロセスは図２７に示されるものに似ているが、複数の異なる特徴抽出アルゴリズム2910,2912を使用し、分類2914,2916と共に入力イメージパッチの独立したランキングを生成する点で異なる。特徴量及び分類法の例は、上述の水平及び垂直のワード長のｎグラムを使用する。各分類子は少なくとも以下の項目(doci,pagei,xi,yi,scorei)を含むパッチ身元のランク付けされたリストを各候補について生成し、pageiは書類中のページであり、(xi,yi)はそのページ内の画像パッチ中心のｘ−ｙ座標であり、scoreiは、入力パッチが、データベース書類中の対応するロケーションとどの程度よく合っているかを測る。
【０１７６】
図２５に関する上述の初期パッチ抽出アルゴリズムは、2914,2916の出力でのパッチ識別子のリスト中のエントリに対応する初期イメージパッチ群を生成するのに使用されてもよい。第３及び第４の特徴抽出2918,2920は、図２７で説明したように自動的に設計及び適用された初期パッチ及び分類子に適用される。
【０１７７】
図２９を更に参照するに、これらの分類子から生成されたランキングは結合され、候補番号i=1,...についてエントリ(doci,pagei,xi,yi,actioni,scorei)と共に１つのランキングを生成し(2924)、各エントリ中の値は上述の通りである。ランキング結合2922は、例えば、既知のボルダカウント指標(Borda  count  measure)を用いて実行されてもよく、その指標は、２つのランキングでの共通する位置に基づいてアイテムにスコアを割り当てるものである。これは、個々の分類により割り当てられたスコアと結合され、複合的なスコアを生成する。更に、当業者はランキング結合の他の方法が使用されてよいことに留意するであろう。
【０１７８】
図３０は、本発明の別の実施例による書類のフィンガープリント照合例を示す。図３０に示される「ビデオシーケンスイメージ蓄積」法は、近くの又は隣接するフレームからのデータを統合することで或る画像(イメージ)を構築する。一例は、「超解像度(super  resolution)を含む。これは、N個の一時的に隣接するフレームを登録し、レンズの点広がり関数(point  spread  function)を利用して、本質的にはサブピクセルエッジ強調であるものを実行する。その効果は、イメージの空間的解像度を増やす。更に、１つ以上の実施例では、超解像度法は、ホール、コーナー及びドットのような文字固有の特徴量を強調するように特化されてもよい。別の拡張法は、データベース3400から判定されるような候補イメージパッチの特徴量を利用して、超解像度統合機能を特化することである。
【０１７９】
図３１は、本発明の別の実施例による書類のフィンガープリント照合例を示す。図３１に示される「ビデオシーケンス特徴蓄積」法は、判定を行う前に、多数の一時的に隣接するフレームに渡って特徴量を蓄積する。これは、捕捉装置の速いサンプリングレート(例えば、毎秒30フレーム)及びユーザの意向を利用し、少なくとも何秒かの間書類の同じ点に捕捉装置を指示し続けるようにする。特徴抽出は各フレームで独立して実行され、その結果(複数)は結合され、１つの統合された特徴マップを生成する。結合プロセスは、間接的な(implicit)登録ステップを含む。この方法のニーズは、テキストパッチのビデオクリップを検査する際に直ぐに明らかになる。一般的な捕捉装置でのオートフォーカス及びコントラスト調整は、隣接するビデオフレームでかなり異なる結果をもたらすかもしれない。
【０１８０】
図３２は、本発明の別の実施例による書類のフィンガープリント照合例を示す。図３２に示される「ビデオシーケンス判定結合」法は、多数の一時的に隣接するフレームからの判定を結合する。これは、一般的な捕捉装置の速いサンプリングレート及びユーザの意向を利用し、少なくとも何秒かの間捕捉装置を書類上の同じ地点に指示するようにする。各フレームは独立に処理され、それ自身のランキングされた判定リストを生成する。これらの判定は、入力画像群の１つの統合されたランキングを生成するように結合される。この方法は、判定結合プロセスを制御する間接的な登録法を含む。
【０１８１】
１つ以上の実施例では、図６−３２に関連して上述した様々なドキュメントフィンガープリント照合法の１つ以上は、１つ以上の既知の照合法と組み合わせて使用されてもよい(例えば、そのような結合は、「マルチ−ティア(又は、マルチ−ファクタ)認定」として本願で言及される。)。一般に、マルチ−ティア認定では、特定の基準を満たすページ群を書類データベース内で特定するために第１の照合法が使用され、その後に第２の照合法が使用され、その群中のページの中から１つのパッチを一意に特定する。
【０１８２】
図３３は、本発明の一実施例によるマルチティア認識のフローチャートを示す。始めに、ステップ3310で捕捉装置106が使用され、関心のある書類上で「選別(culling)」特徴を捕捉／スキャンする。選別特徴は如何なる特徴でもよく、選別特徴の捕捉は、書類データベース内の一群の書類を実際上選択することになる。例えば、選別特徴は、数字のみのバーコード(例えば、ユニバーサル製品コード(UPC))、英数字バーコード(例えば、コード39、コード93、コード128)又は２次元バーコード(例えば、QRコード、PDF417、DataMatrix、Maxicode)等でもよい。更に、選別特徴は、例えば、図形、画像、トレードマーク、ロゴ、特定の色又は色の組み合わせ、キーワード、又はフレーズ等でもよい。更に、１つ以上の実施例では、選別特徴は、捕捉装置106による認識に相応しい特徴量に制限されてもよい。
【０１８３】
ステップ3312では、選別特徴が一旦ステップ3310で捕捉されると、書類データベース内の一群の書類及び／又は書類のページが、捕捉された選別特徴に関連して選択される。例えば、捕捉された選別特徴が企業のロゴであった場合、そのロゴを含むように索引付けされているデータベース中の全ての書類が選択される。別の例では、データベースは、捕捉された選別画像と比較されるトレードマークのライブラリを含んでもよい。ライブラリの中で「ヒット」があった場合、ヒットしたトレードマークに関連する全ての書類が、以下に説明される以後の照合に備えて選択される。更に、１つ以上の実施例では、ステップ3312での書類／ページの選択は、走査された書類上で捕捉された選別特徴及びその選別特徴の場所に依存してよい。例えば、捕捉された選別特徴に関連する情報は、選別画像が、書類の左下隅でなく、書類の右上隅にあるか否かを特定してもよい。
【０１８４】
更に、特定の捕捉画像が選別特徴の画像を含んでいることの確認は、捕捉装置106によりなされてもよいし、或いは捕捉装置106から未処理のイメージデータを受信する他の何らかのコンポーネントによりなされてもよいことを、当業者は留意するであろう。例えば、捕捉装置106から伝送された特定の捕捉画像が選別特徴を含んでいることを、捕捉した選別特徴に関連する書類群をデータベースが選択したことに応答して、データベース自身が判定してもよい。
【０１８５】
ステップ3314では、書類の特定の群がステップ3312で選択された後、捕捉装置106はスキャンし続け、そして関心のある書類の画像を捕捉する。図６−３２に関連して説明された様々なドキュメントフィンガープリント照合法の1つ以上を利用して、書類の捕捉画像は、ステップ3312で選択された書類と照合される。例えば、ステップ3310で関心のある書類上で靴の図形画像を捕捉したことに基づいて、靴の図形の選別特徴を含むようにインデックスされた書類群が、ステップ3312で選択された後、関心のある書類の以後捕捉された画像は、上述の複数の分類子を利用して選択された書類群と照合されてもよい。
【０１８６】
そして、図３３に関連して上述したマルチティア認定フロープロセスを実行し、パッチ認定時間は、以後捕捉される画像と照合されるページ／書類数を始めに削減することで、減らされる。更に、ユーザは、あるロケーション上で書類を先ずスキャンすることでそのように改善された認定時間の恩恵を受けてもよい（そのロケーションには、画像、バーコード、図形その他の選別特徴が存在する。）。そのような動作を行うことで、以後捕捉される画像と照合される書類数をユーザは速やかに減らしてもよい。
【０１８７】
MMRデータベースシステム
図３４Ａは、本発明の一実施例により構築されたMMRデータベースシステム3400の機能ブロック図を示す。システム3400はコンテンツベースの抽出用に構築され、オブジェクト間の２次元の幾何学的位置関係が、テキストベースのインデックスで(又は、他の何らかの探索可能なインデックスで)探索可能な方法で表現される。システム3400は、証拠蓄積法(evidence  accumulation)を利用し、例えば、特徴量の出現頻度と２次元領域内のロケーションの尤度とを結合することで検索効率を強化する。ある特定の実施例では、データベースシステム3400は(PDインデックス322を含む)書類イベントデータベース320の詳細な実施例であり、そのコンテンツは、図３に関連して上述した捕捉モジュール318及び／又はドキュメントフィンガープリント照合モジュール226によって生成された印刷書類の電子表現を含む。システム3400に関する他のアプリケーション及びコンフィギュレーションは、本願の開示内容から明らかになるであろう。
【０１８８】
図示されているように、データベースシステム3400はMMRインデックステーブルモジュール3404(MMR特徴抽出モジュール3402により算出された記述を受信する)と、証拠蓄積モジュール3406と、リレーショナルデータベース3408(又は、何らかの適切な他のストレージ手段)とを含む。インデックステーブルモジュール3404は、インデックステーブルに問い合わせを行い、インデックステーブルは、各特徴量が現れるページのｘ−ｙ座標、ページ及び書類を特定する。インデックステーブルは、例えば、MMRインデックステーブルモジュール3404又は他の専用モジュールにより生成可能である。証拠蓄積モジュール3406は、インデックステーブルモジュール3404からのデータの基で、書類、ページ及びロケーション候補3410のランク付けされた群を計算するようにプログラムされる又は構築される。リレーショナルデータベース3408は、各パッチについての付加的な特徴量3412を格納するよう使用可能である。限定ではないが、これらは図５の504,508を含む。パッチについてシグネチャ又はフィンガープリント(即ち、固有のサーチターム(search  term))を導出する際に、パッチ内でテキストの２次元配列を利用することで、テキストの小さな部分でさえその一意性が大幅に増える。他の実施例は、パッチのシグネチャ又はフィンガープリントを導出する際に、パッチ内でオブジェクト／特徴量の何らかの２次元配列を同様に利用することができ、本発明の実施例は、パッチを一意に特定するテキストの２次元配列に限定するようには意図されない。図３４Ａに示されるデータベースシステム3400の他のコンポーネント及び機能は、フィードバック指向の特徴サーチモジュール3418、書類変換アプリケーションモジュール3414及びサブイメージ抽出モジュール3416を含む。これらのコンポーネントは、システム3400の他のコンポーネントと相互作用し、動的に初期イメージを生成することに加えて、フィードバック指向の特徴探索を行う。更に、システム3400は、アクションを受けるアクションプロセッサ3413を含む。そのアクションは、データベースシステム34002より実行されるアクション及びそれが提供する出力を判定する。これらの他のコンポーネントの各々が以下に説明される。
【０１８９】
図３４Ｂには、パッチ内のテキストの２次元配列を利用するMMR特徴抽出モジュール3402の例が示されている。そのような1つの例では、MMR特徴抽出モジュール3402は、OCRベースの技術を利用して、画像パッチから特徴(テキスト又は他のターゲット特徴)を抽出するようにプログラムされる又は構築される。この特定の実施例では、特徴抽出モジュール3402は、テキストのパッチの画像内のワードのｘ−ｙ座標(ロケーション)を抽出し、そのロケーションを、それを含む水平に及び垂直に隣接するワードペア群として表現する。画像パッチは、それらが水平に隣接する場合は“−”が付与され(例えば、the-cat,  in-the,  the-hat,  is-back)、それらが垂直にオーバラップする場合は“＋”が付与されるワードペア(例えば、the+in,  cat+the,  in+is,  the+back)に、実際上変換される。ｘ−ｙ座標は、例えば、書類画像中の或る固定点からの、ｘｙ平面における各方向の画素数に基づいてもよい(例えば、書類の左上隅又は中心からの画素数でもよい。)。その例では水平に隣接するペアは多くの他のテキスト部分で頻繁に現れるかもしれないが、縦にオーバラップするペアは他のテキスト部分で頻繁には生じない傾向があることに留意を要する。画像特徴間の他の幾何学的位置関係は、同様に符号化可能であり、例えばSW-NEの隣接性をワード間に“／”を入れることで、NW-SEの隣接性を“＼”等により表現してもよい。また、「特徴量」は、ワード包囲ボックス(又は、他の特徴包囲ボックス)に一般化され、文字数に合うことを除き、任意に符号化されてもよい。例えば、４つ分の境界ボックスは、スムーズな下の輪郭を除き、凹凸のある高さを上の輪郭に有する限り、“4rusl”の文字列で表現されてもよい。更に、幾何学的位置関係は、特徴間の任意の角度及び距離に拡張されてもよい。例えば、NW-SEの位置関係で隣接するが、２ワード分の高さだけ離れている２つのワード(各ワードは“4ursl”で記述される)は、“4rusl＼＼4rusl”で表現されてもよい。本願の開示内容から様々な符号化法が明らかになるであろう。更に、数、論理値(Boolean  value)、幾何学的形状、及び他のそのような書類特徴が、ワードペアの代わりにIDパッチに使用されてもよいことに留意を要する。
【０１９０】
図３４Ｃは、本発明の一実施例によるインデックステーブル組織例を示す。図示されるように、MMRインデックステーブルは、逆タームインデックステーブル3422及びドキュメントインデックステーブル3424を含む。固有のターム又は特徴量(例えば、key3421)は、特徴量の関数値(例えば、key  x)を保持するタームインデックステーブル3422内のあるロケーションを指し、その関数値は記録のリスト3423(例えば、Rec#1、Rec#2等)を指し、各記録は、上述したように、書類内のページの候補領域を特定する。一例では、key(キー)及びkeyの関数値(keyx)は同じである。別の例では、ハッシュ関数がkeyに適用され、その関数の出力がkeyxになる。
【０１９１】
問い合わせ語句(クエリターム)のリストの基で、keyでインデックスされる記録全てが検査され、全てのクエリタームに最も合う領域が特定される。その領域が十分に高い合致スコア(例えば、予め決めておいた一致閾値)を有するならば、その候補に確定する。そうでなければ、照合は失敗したことが宣言され、どの領域も返されない。この実施例では、keyは上述したような“−”又は“＋”により分離されたワードペア(例えば、“the-cat”又は“cat+the”)である。Key自身の幾何学的関係を組み込むこの技法は、２次元の幾何学的探索用の通常のテキストサーチ技術を利用可能にする。
【０１９２】
従って、インデックステーブル機構は、画像パッチ内で検出された特徴量をテキストタームに変換し、そのテキストタームは、特徴量自身とそれらの幾何学的位置関係の双方を表現する。これは、通常のテキストインデックス及びサーチ法の利用を可能にする。例えば、縦に隣接するターム“cat”及び“the”は、シンボル“cat+the”で表現され、本開示により明らかになるように、「問い合わせ語句(クエリターム)」として言及されてよい。通常のテキストサーチデータ構造及び方法論を利用することは、インターネットテキストサーチシステム(例えば、グーグル、ヤフー、マイクロソフト等)のトップにMMR法を結び付けることを促す。
【０１９３】
本実施例の逆タームインデックステーブル3422では、各記録(レコード)は６つのパラメータを用いて書類中のページの候補領域を特定する。6つのパラメータは、書類識別子(DocID)、ページ番号(PG)、x/yオフセット(X及びYそれぞれのオフセット)、四角形領域の幅及び高さ(W及びH)である。DocIDは、書類が印刷された時点のタイムスタンプ(又は、他のメタデータ)に基づいて生成された固有の文字列(ストリング)である。しかしながら、装置ID及び人のIDを組み合わせた如何なる文字列でもよい。いずれにせよ、書類は固有のDocIDで特定され、書類インデックステーブルに記憶されたレコードを有する。ページ番号は、紙出力に対応するページ数であり、１から始まる。四角形領域は、規格化された座標系での包囲ボックスの幅及び高さに加えて、左上隅のｘ−ｙ座標のパラメータによっても指定される。様々な内部の書類ロケーション／座標系が本開示から明らかになり、本発明は何らかの特定のものに限定されるようには意図されない。
【０１９４】
本発明の一実施例により構築されたレコード構造例は、24ビットのDocID及び８ビットのページ番号を利用し、16×106の書類及び4×1010のページまで許容する。境界ボックスのX及びYオフセット各々についての１つの無符号バイトは、水平方向に30dpi及び垂直方向に23dpiの空間解像度を与える(8.5”×11”のページを想定しているが、他のページサイズ及び／又は空間解像度が使用されてもよい。)。(例えば、W及びH各々について１つの無符号化バイトのように)境界ボックスの幅及び高さについての同様な取り扱いは、“ｉ”のドット又は区間と同程度に小さな領域の表現を可能にする、或いはページ全体と同程度に大きな領域の表現を可能にする(例えば、8.5”×11”等)。従って、レコード当たり８バイト(DocIDにつき３バイト、PGにつき１バイト、ｘにつき１バイト、ｙにつき１バイト、ｗにつき１バイト、Hにつき１バイトで全部で８バイトになる)は、大量の領域を収容できる。
【０１９５】
ドキュメントインデックステーブル3424は、各書類に関連する情報を含む。ある特定の実施例では、この情報はXMLファイル中の書類関連フィールドを含み、そのフィールドは、印刷解像度、印刷日、用紙サイズ、シャドーファイル名、ページ画像ロケーション等を含む。印刷座標は書類を指示した時点で規格化された座標系に変換されるので、サーチ候補の計算はこのテーブルを含まない。従って、ドキュメントインデックステーブル3424は、照合される候補領域についてのみ問い合わせを受ける。しかしながら、その判定は、そのインデックスにおける或る情報損失を含む−なぜなら通常は、規格化された座標は印刷解像度より低い解像度だからである。代替例は、サーチ候補を算出する際、望まれるならば、ドキュメントインデックステーブル3424(又は、規格化された座標系での解像度より高いもの)を利用する。
【０１９６】
このようにインデックステーブルモジュール3404は、所与の画像クエリが現れる場所のオブジェクト中のｘ−ｙ座標及びオブジェクト(例えば、書類ページ)のコンテンツベースの検索を可能にする画像インデックスを効果的にもたらすように機能する。そのような画像インデックス及びリレーショナルデータベース3408の組み合わせは、画像パッチ及びパッチの特徴量に合致するオブジェクトの特定を可能にする(例えば、パッチに付随する「アクション」、又はパッチに関連する他のコンテンツの抽出を引き起こすようにスキャン可能なバーコード等)。リレーショナルデータベース3408は、書類の他のパッチについてインデックステーブルにおけるパッチから特徴量への「逆リンク」用の手段を与える。逆リンクは、特徴量を発見する方法を提供し、認識アルゴリズムは、書類画像のある部分から別の部分へ動くように見えることを予測し、上述したようなMMRシステムでフロントエンドの画像分析アルゴリズムのパフォーマンスをかなり改善する。
【０１９７】
フィードバック指向の特徴サーチ
書類及びページの身元だけでなく、画像パッチのｘ−ｙ座標(例えば、画像パッチの中心に対するｘ−ｙ座標)が、フィードバック指向の特徴サーチモジュール3418に入力される。フィードバック指向の特徴サーチモジュール3418は、画像パッチの中心から所与の距離の範囲内にあるレコード3423を求めてタームインデックステーブル3422を探索する。例えば、DocID-PGの組み合わせ各々についてレコード3423をX又はYの値の順番で連続するメモリブロックに格納することで、サーチは促進される。所与のX及びYの値を伴うレコード全てについて、所与の値を求めるバイナリサーチ及びそのロケーションからの連続的なサーチにより、探索は実行される(X又はYは、データがどのように格納されているか及び何時格納されたかに依存する。)。典型的には、これはパッチの外周のMインチリングのｘ−ｙ座標を含み、そのリングは、所与の書類及びページでWインチの幅及びHインチの高さを有する。このリング内にあるレコードが特定され、それらのキー(key)又は特徴3421が、ポインタをトレースバック(追跡)することで特定される。リング内の特徴量及びそれらのｘ−ｙ座標のリストは、図３４Ａの3417に示されるように報告される。3415に示されるW,H,Mの値は、入力画像のサイズに基づいて認識システムによって動的に設定可能であり、特徴量3417が入力画像パッチの外にあるようにする。
【０１９８】
画像データベースシステム3400のそのような性質は、例えば、複数の候補の曖昧さを無くす際に有利である。データベースシステム3400が、入力画像パッチを照合するのに1つより多くの書類を報告する場合、判定を明確にする方向に画像捕捉装置を僅かにずらすようにユーザに指示することで、パッチ周囲のリング内の特徴量は、どの書類が、ユーザの保持している書類に最も一致するかを認識システム(例えば、フィンガープリント照合モジュール226又は他の適切な認識システム)が決定できるようにする。例えば（OCRベースの特徴量が使用されるが、コンテンツは何らかの幾何学的にインデックスされた特徴群に広がっている）、書類Ａの画像パッチは、「青−木琴」“blue-xylophone”のワード対の真下にあるかもしれない。書類Ｂの画像パッチは、「青−雷」“blue-thunderbird”の真下にあるかもしれない。データベースシステム3400は、これらの特徴量の予想される場所を報告し、認識システムは、パッチのトップ及び特徴量のｙ座標の差分で指定される量だけカメラを(例えば、ユーザインターフェースを介して)上に動かすようにユーザに指示することができる。認識システムはその異なる領域で特徴量を算出し、書類Ａ及びＢからの特徴量を利用して、どれが最も合致するかを確認する。例えば、(木琴、雷)で構成される特徴量の「辞書(dictionary)」と共に、認識システムは、異なる領域からのOCR結果の後処理を実行することができる。OCR結果に最も合致するワードは、入力画像に最も合致する書類に対応する。後処理アルゴリズムの具体例は、一般に知られているスペル補正法(ワードプロセッサや電子メールアプリケーションで使用されるようなもの)である。
【０１９９】
この実施例が示すように、別のデータベースアクセスを実行する必要性を無くす方法で特徴記述を照合することで、データベースシステム3400のデザインは、認識システムが効率的な方法で複数の候補の曖昧さを無くすことを可能にする。代替例は、各イメージを独立に処理することである。
【０２００】
動的な初期画像生成
書類及びページの身元だけでなく画像パッチのロケーションのｘ−ｙ座標(例えば、画像パッチの中心のｘ−ｙ座標)も、リレーショナルデータベース3408に入力され、それらは、書類及びページの格納済みの電子情報源を引き出すのに使用可能である。書類は、書類変換アプリケーションモジュール3414によりビットマップ画像として変換可能である。また、モジュール3414で用意される付加的な「ボックスサイズ」の値は、サブイメージ抽出モジュール3416で使用され、その中心付近のビットマップの部分を取り出す。このビットマップは、イメージパッチの予測される表示の「初期」表現であり、入力画像中に存在する全ての特徴量について正確な表現を含む。初期パッチは、パッチ特徴3412として返される。このソリューションは、オンデマンドでビットマップデータに後で変換されるコンパクトな非イメージ表現を格納することで、ビットマップを格納する従来法で必要とされていた過剰なストレージの問題を克服する。
【０２０１】
そのようなストレージ法は有利である。なぜなら、仮定及び検査の認識法を利用可能にするからであり、その方法では、イメージから引き出された特徴表現は候補群を引き出すのに使用され、その候補群は詳細な特徴分析により曖昧さは解消される。しばしば、代替的な候補群を最良に明確化する(曖昧さを無くす)特徴量を予測できないので、これらの候補のオリジナルの画像から特徴量が決定されることが望ましい。例えば、“the  cat”というワードペアの画像が２つのデータベース書類中にあり、その一方はタイムスロマン(Times  Roman)フォントで当初印刷されたものであり、他方はヒルベティカ(Helvetica)フォントにおけるものである。入力画像がこれらのフォントの１つを含むか否かの確認と同様な確認は、正しく合致するデータベース書類を特定する。それらの書類の当初のパッチと入力画像パッチとを、ユークリッド距離のようなテンプレート照合比較メトリックと共に比較することで、正しい候補を特定する。
【０２０２】
具体例は、マイクロソフトワード“．ｄｏｃ”ファイルを格納するリレーショナルデータベース3408を含む(同様な方法が、他の書類フォーマットに関して機能し、他の書類フォーマットは、PCL、pdf.、又はマイクロソフトのXMLペーパー仕様XPS、又は他のそのようなフォーマットであり、他のそのようなフォーマットは、ゴーストスクリプトのような変換アプリケーション又はXPSの場合、マイクロソフトのインターネットエクスプローラ(インストールされたWinFXコンポーネントを有する)によりビットマップに変換可能である。)。書類、ページ、ｘ−ｙ座標、ボックス寸法、及びシステムパラメータが特定され、それらは好ましい解像度が600ドットパーインチ(dpi)であることを示し、ワードアプリケーションは、ビットマップイメージを生成するように起動可能である。これは6600行及び5100列のビットマップをもたらす。追加的なパラメータx=3”、y=3”、高さ=1”及び幅=1”は、データベースが600画素の高さ及び幅のパッチ(ページの左上隅からｘ及びｙ方向に1800画素の地点に中心を有する)を返すべきことを示す。
【０２０３】
複数データベース
複数のデータベースシステム3400が使用される場合、各データベースシステムは様々なドキュメントコレクションを含み、２つのデータベースが同じ書類を返しているか否かを又はどのデータベースが入力にいっそう近い候補を返したかを確認するために初期パッチが使用可能である。おそらくは異なる識別子3410(即ち、それらは異なるデータベースに別個に入っているので、オリジナル書類と同じであるようには現れない)及び特徴3412と共に、２つのデータベースが同じ書類を返した場合、初期パッチはほぼ厳密に同じである。例えばハミング距離と共に初期パッチと互いに比較することでそれは判定可能であり、ハミング距離は、異なる画素数を計数している。オリジナル書類がピクセル毎に厳密に同じならば、ハミング距離はゼロになる。ささいなフォントの相違に起因して引き起こされるようにパッチが僅かに異なっていた場合、ハミング距離はゼロより僅かに大きくなる。これは、ハミングオペレータで画像の違いが算出される際、キャラクタのエッジ周辺で「ハロー(halo)」効果を引き起こすおそれがある。このようなフォントの相違は、元の変換アプリケーションのバージョンの相違、データベースを走らせているサーバでのオペレーティングシステムのバージョンの相違、プリンタの相違又はフォントコレクションの相違などによって引き起こされるおそれがある。
【０２０４】
初期パッチ比較アルゴリズムは、２つの書類で１つより多いｘ−ｙ座標により、パッチ(複数)で実行可能である。それらは全て同じであるべきだが、このようなサンプリング処理は、データベースシステム間の相違の表現を克服する冗長性を許容する。例えば、２つのシステムで表現される場合、あるフォントは根本的に違って見えるが、別のフォントはほとんど同じに見えるかもしれない。
【０２０５】
２つ以上のデータベースが、入力画像と最良に合うものと異なる書類を返す場合、ハミング距離のようなピクセルベースの比較メトリックによって、初期パッチは入力画像と比較され、どれが正しいかを判定する。
【０２０６】
１つより多くのデータベースからの結果を比較する代替法は、アキュムレータアレイの内容を比較することであり、アキュムレータアレイは、各データベースから報告された処理中の特徴量の幾何学的な分布(配列)を測るものである。元の特徴群を別個に探す必要性を回避するため、このアキュムレータはデータベースの直ぐそばに用意されることが望ましい。また、このアキュムレータは、データベースシステム3400のコンテンツとは独立であるべきである。図３４Ａに示される例では、アクティビティアレイ3420が出力されている。２つのアクティビティアレイは、それらの値のアレイ内の分布を測定することで比較可能である。
【０２０７】
より詳細には、おそらくは異なる識別子3410(即ち、それらは異なるデータベースに別個に入っているので、オリジナル書類と同じであるようには現れない))及び特徴3412と共に、２つ以上のデータベースが同じ書類を返す場合、各データベースからのアクティビティアレイ3420はほとんど厳密に同じである。例えばハミング距離と共に初期パッチと互いに比較することでそれは判定可能であり、ハミング距離は、異なる画素数を計数している。オリジナル書類がピクセル毎に厳密に同じならば、ハミング距離はゼロになる。
【０２０８】
２つ以上のデータベースが入力特徴と最良に合うものと異なる書類を返した場合、どの書類が入力画像に「最良に」合うかを判定するために、それらのアクティビティアレイ3420が比較可能である。画像パッチに適切に合致するアクティビティアレイは、パッチが現れているロケーション付近に集まっている高い値のクラスタを含む。画像パッチに不適切にしか一致してないアクティビティアレイは、ランダムに分布した値を含むであろう。エントロピーのような画像の分散性やランダム性を測る多くの周知の方法が存在する。そのようなアルゴリズムはアクティビティアレイ3420に適用され、クラスタの存在を示す指標を取得する。例えば、画像パッチに対応するクラスタを含むアクティビティアレイ3420のエントロピーは、値がランダムに分布しているアクティビティアレイ3420のエントロピーとかなり異なる。
【０２０９】
更に、各クライアント106はいつでも複数のデータベースシステム3400にアクセスしてよく、データベースの内容は、互いに必ずしも競合しないことに留意を要する。例えば、或る企業は、公にアクセス可能なパッチと、その企業にとって私的なもの(それぞれ１つのドキュメントに関連する)との双方を所有してもよい。そのような場合、クライアント106は、データベースD1,D2,D3,...のリストを保持し(データベースはその順序で問い合わせられる)、ユーザに対する統合された表示に結合されるアクティビティアレイ3420及び識別子3410を生成する。所与のクライアント装置106は、全てのデータベースから利用可能なパッチを表示してもよいし、或いはデータベースの一部分(例えば、D1,D3及びD7のみ)を選択することをユーザに許可してもよいし、それらのデータベース中のパッチを表示するだけでもよい。あるサービスに加入することで、データベースはリストに加えられてもよいし、クライアント装置106がある場所にあった場合にデータベースは無線で利用可能にされてもよい。なぜなら、データベースはクライアント装置106にロードされているいくつかの内の1つだからであり、あるユーザはその装置を使って現在認証されているからであり、或いは、装置はあるモードで動作しているからでさえある。例えば、特定のクライアント装置がそのオーディオスピーカをターンオンに又はオフにすることに起因して、或いはビデオプロジェクタのような周辺装置が現在クライアントに取り付けられていることに起因して、いくつかのデータベースが利用可能であるかもしれない。
【０２１０】
アクション
図３４Ａを更に参照するに、MMRデータベース3400は、MMR特徴抽出モジュール3402からの一群の特徴量と共に或るアクションを受ける。アクションはコマンド及びパラメータを指定する。そのような例では、コマンド及びそのパラメータは、返されるパッチの特徴3412を決定する。例えば、テキストに容易に変換可能なhttpを含むフォーマットでアクションが受信されてもよい。
【０２１１】
アクションプロセッサ3413は、証拠蓄積モジュール3406により判定されたページ中のｘ−ｙ座標、ページ及び書類の身元を受信する。アクションプロセッサはコマンド及びそのパラメータも受信する。アクションプロセッサ3413は、コマンドを命令(指示)に変換するようにプログラムされる又は構築され、所与の書類、ページ及びｘ−ｙ座標に対応するロケーションでデータをリレーショナルデータベース3408を用いて抽出又は格納する。
【０２１２】
そのような一実施例では、コマンドは次のものを含む：RETRIEVE,  INSERT_TO  <DATA>,  RETRIEVE_TEXT  <RADIUS>,  TRANSFER<AMOUNT>,  PURCHASE,  PRISTINE_PATCH<RADIUS[DOCID  PAGEID  X  Y  DPI]>及びACESS_DATABASE<DBID>。以下、これら各々が説明される。
【０２１３】
RETRIEVEは、所与の書類ページ中のｘ−ｙ座標にリンクしたデータを取り出す。アクションプロセッサは、RETRIEVEコマンドをリレーショナルデータベースクエリに変換し、そのｘ−ｙ座標近辺に格納されているデータを抽出する。これは、そのｘ−ｙ座標周辺の領域を探索するために、１つより多いデータベースクエリの発行を要するかもしれない。取り出されたデータは、パッチ特徴3412として出力される。RETRIEVEコマンドの具体的なアプリケーションは、マルチメディアブラウジングアプリケーションであり、ビデオクリップや動的な情報オブジェクト(例えば、目下の情報が抽出可能な電子アドレス)を抽出する。抽出されたデータは、MMR装置で実行される以後のステップを指定するメニューを含んでもよい。抽出されたデータは静的なデータでもよく、そのデータは、JPEG画像又はビデオクリップのように電話で(又は他の表示装置で)表示できる。パッチ特徴量を探す領域を決定するパラメータがRETRIEVEコマンドに用意されてもよい。
【０２１４】
INSERT_TO<DATA>は、<DATA>を画像パッチで指定されたｘ−ｙ座標に挿入する。アクションプロセッサ3413は、INSERT_TOコマンドをリレーショナルデータベース用の命令に変換し、指定されたｘ−ｙ座標にデータを加える。INSERT_TOコマンドが首尾よく完了したことの確認通知は、パッチ特徴3412として返される。INSERT_TOコマンドの具体的なアプリケーションは、MMR装置でのソフトウエアアプリケーションであり、テキストの一節の中の任意のｘ−ｙ座標にデータを付けることをユーザに許可する。データはJPEG画像のような静的なマルチメディア、ビデオクリップ又はオーディオファイル等でもよいが、所与のロケーションに関連するアクションを指定するメニューのような任意的な電子データでもよい。
【０２１５】
RETRIEVE_TEXT<RADIUS>は、画像パッチで決められているｘ−ｙ座標の半径(<RADIUS>）の中でテキストを取り出す。<RADIUS>は、例えば、画像空間での画素数として指定されてもよいし、或いは、証拠蓄積モジュール3406で決められているｘ−ｙ座標周辺のワードのキャラクタ数として指定されてもよい。<RADIUS>は分析されるテキストオブジェクトに関連してもよい。この特定の例の場合、アクションプロセッサ3413はRETRIEVE＿TEXTコマンドをリレーショナルデータベースクエリに変換し、適切なテキストを抽出する。<RADIUS>が分析されるテキストオブジェクトを指定する場合、アクションプロセッサは、分析されるテキストオブジェクトを返すだけである。分析されるテキストオブジェクトが指定されたｘ−ｙ座標近辺に見当たらなかった場合、アクションプロセッサはヌル(null)の指標を返す。代替例では、アクションプロセッサはフィードバック指向の特徴サーチモジュールを呼び出し、所与のｘ−ｙ座標の半径の中にあるテキストを取り出す。テキストストリング(文字列)は、パッチ特徴3412として返される。テキストストリング内の各ワードに関連する選択的なデータは、オリジナル書類中のｘ−ｙ境界ボックスを含む。RETRIE_TEXTコマンドの具体的なアプリケーションは、印刷書類からテキストフレーズを選択し、別書類に含めることである。これは、例えば、MMRシステムで(例えば、パワーポイントフォーマットで)プレゼンテーションファイルを構成するのに使用可能である。
【０２１６】
TRANSFER<AMOUNT>は、書類全体を又は書類にリンクしたデータの一部を別のデータベースにロード可能な形式で取り出す。<AMOUNT>は取り出されるデータの数及びタイプを指定する。<AMOUNT>がALL(全て)であった場合、アクションプロセッサ3413はデータベース3408にコマンドを発行し、書類に関連するデータを全て取り出す。そのようなコマンドの具体例は、DUMP又はUnix(登録商標)TARを含む。<AMOUNT>がSOURCE(ソース)であった場合、その書類についてのオリジナルのソースファイルが取り出される。例えば、アクションプロセッサは印刷書類のワードファイルを取り出す。<AMOUNT>がBITMAP(ビットマップ)であった場合、印刷書類のビットマップのJPEG圧縮バージョン(又は他の一般的に使用されるフォーマット)が取り出される。<AMOUNT>がPDFであった場合、書類のPDF表現が取り出される。取り出されたデータは、コマンド名により呼出アプリケーションに知られているフォーマットでパッチ特徴3412として出力される。TRANSFERコマンドの具体的なアプリケーションは「ドキュメントグラバ(document  grabber)」であり、テキストの小さな領域を画像処理することで、書類のPDF表現をMMR装置に転送することをユーザに許可する。
【０２１７】
PURCHASEは、書類中のｘ−ｙ座標にリンクした製品仕様を取り出す。アクションプロセッサ3413は一連の１つ以上のRETRIEコマンドを先ず実行し、所与のｘ−ｙ座標近辺の製品仕様を取得する。製品仕様は、例えば、ベンダ名、製品の身元(例えば、ストック番号)、ベンダの電子アドレス等を含む。製品仕様は、近辺に位置するかもしれない他のデータタイプよりも優先して取得される。例えば、画像パッチで決められているｘ−ｙ座標にjpegが格納されていた場合、隣の最も近い所の製品仕様が代わりに取り出される。取り出された製品仕様は、パッチ特徴3412として出力される。PURCHASEコマンドの具体的なアプリケーションは、印刷書類での宣伝広告に関連する。MMR装置のソフトウエアアプリケーションは、その宣伝広告に関連する製品仕様を受信し、ユーザの個人的な識別情報(例えば、名前、送付先、クレジットカード番号等)を加え、その後にそれを指定された電子アドレスの指定されたベンダに送付する。
【０２１８】
PRISTINE_PATCH<RADIUS[DOCID  PAGEID  X  Y  DPI]>は、指定された書類の電子表現を取得し、ｘ−ｙを中心とする半径RADIUSの中でイメージパッチを取得する。RADIUSは円の半径を本来は指定するが、四角形のパッチを指定してもよい(例えば、２インチの高さで３インチ幅)。また、書類ページ全体を指定してもよい。(DocID,PG,x,y)の情報は、アクションの一部として明示的に与えられてもよいし、テキストパッチの画像から導出されてもよい。アクションプロセッサ3413は、書類の元の表現をリレーショナルデータベース3408から取り出す。その表現はビットマップでもよいが、表示可能な電子書類でもよい。オリジナルの表現は、書類レンダリングアプリケーション3414に伝達され、(インチ当たりのドットとしてパラメータDPIで与えられ得る解像度と共に)ビットマップに変換され、そしてサブイメージ抽出部3416に与えられ、所望のパッチが取り出される。パッチイメージはパッチ特徴3412として返される。
【０２１９】
ACESS_DATABASE<DBID>は、データベース3400をクライアント106のデータベースリストに加える。クライアントは、現在のリストの中に存在するデータベースだけでなく、今加えたデータベースを問い合わせることができる。DBIDは指定されたデータベースに関するファイル又はリモートネットワークを指定する。
【０２２０】
インデックステーブル生成法
図３５は、本発明の一実施例によるMMRインデックステーブルを生成する方法3500を示す。本方法は例えば図３４Ａのデータベースシステム34002より実行可能である。そのような実施例では、MMRインデックステーブルモジュール3404(又は、詳細な別名のモジュール)により、スキャンした又は印刷した書類からMMRインデックステーブルが生成される。生成モジュールは、ソフトウエアで、ハードウエア(例えば、ゲートレベルのロジック)で、ファームウエア(例えば、本方法を実行する組込ルーチンと共に構築されたマイクロコントローラ)で、又はそれらの何らかの組み合わせで、本願で説明される他のモジュールと同様に実現可能である。
【０２２１】
本方法は紙書類を受信すること3510を含む。紙書類は如何なる書類でもよく、例えば、何ページでもよいメモ(例えば、業務関連メモ、個人的な手紙)、製品ラベル(例えば、缶詰品、薬、箱詰めされた電子装置)、製品仕様(例えば、スノーブラウザ、コンピュータシステム、製造システム)、製品ブローシャ又は広告題材(例えば、自動車、ボート、バケーションリゾート)、サービス説明題材(例えば、インターネットサービスプロバイダ、クリーニングサービス)、本、雑誌その他の刊行物中の１ページ以上、ウェブサイトから印刷したページ、手書きメモ、ホワイトボードから捕捉及び印刷されたメモ、何らかの処理システム(例えば、デスクトップ、ポータプルコンピュータ、カメラ、スマートフォン、リモート端末)から印刷されたページ等である。
【０２２２】
本方法は、紙書類の電子表現を生成すること3512に続き、その電子表現は、書類中に示される特徴量のｘ−ｙ座標を含む。目標の(ターゲット)特徴量は、例えば、個々のワード、文字(複数)、及び／又はキャラクタ等の書類中のものでよい。例えば、オリジナルの書類がスキャンされる場合、先ずOCR処理され、ワード(又は、他のターゲット特徴)及びそれらのｘ−ｙ座標が抽出される(例えば、スキャナ127のドキュメントフィンガープリント照合モジュール226により抽出される)。オリジナル書類が印刷される場合、索引付けプロセス(インデキシングプロセス)は、全キャラクタのフォント、サイズ、ｘ−ｙ境界ボックスの(又は他のターゲット特徴の)XMLフォーマットで、(例えば、プリンタ116のプリンタドライバ316の処理により)正確な表現を受信する。この場合、(例えば、プリンタドライバ316により)正確に特定されたｘ−ｙ特徴座標と共に電子書類が受信されるので、インデックステーブル生成がステップ3514で始まる。XML以外のフォーマットについても本願の開示内容から明らかであろう。マイクロソフトワード、アドビアクロバット及びポストスクリプトのような電子書類は、それらをプリンタドライバに「プリントする」ことでデータベースに入力可能になり、プリンタドライバの出力はファイルに向けられ、紙書類が作成される必要はないようにする。これは、以下に示されるXMLファイル構造の生成を引き起こす。全ての場合に、オリジナルの書類フォーマット(ワード、アクロバット、ポストスクリプト等)に加えてXMLは、識別子(データベースに加えられるｉ番目の書類についてdoc  i)に割り当てられ、その識別子により後に検索可能な方法でリレーショナルデータベース3408に格納されるだけでなく、捕捉された時間、印刷された日、印刷を引き起こしたアプリケーション、出力ファイル名等を含む書類の他の「メタデータ」特徴量に基づく。
【０２２３】
XMLファイル構造の具体例は、次のとおりである：
【数１】
2009506395.tif 000003
【０２２４】
ある特定の実施例では、ワードは、ａ−ｚ、Ａ−Ｚ、０−９及び＠％＄＃等の如何なるキャラクタを含んでもよく、他の全ては区切り文字(デリミタ)である。.xmlファイルのオリジナルの記述は、インデキシングプロセスで使用されるプリントキャプチャーソフトウエアで生成可能である(例えば、それはデータベース320サーバのようなサーバで実行される。)。新たな書類がシステムで捕捉されるにつれて、実際のフォーマットは絶えず進展し、より多くの要素を含むようになる。
【０２２５】
プリントドライバ(例えば、プリントドライバ316)で受信したテキストの元のシーケンスは保存され、論理ワード構造は、“＿＠＆＄＃”を除いて句読点記号に基づいて制約される。XMLファイルを入力として使用し、インデックステーブルモジュール3404はページ境界を参照し、２つの連続するシーケンス間のオーバーラップ量を検査することで、先ずシーケンスを論理ラインにグループ化しようとする。ある特定の実施例では、２つのシーケンスがそれらの平均高さの半分未満しかオーバーラップしなかったならば、ラインの中断が起こっていることの発見的方法(heuristic)が使用される。そのような発見的方法は、典型的なテキスト書類(例えば、マイクロソフトワード)では良好に機能する。複雑なレイアウトを伴うhtmページの場合、付加的な幾何学的分析が必要になるかもしれない。しかしながら、クエリプロセスによって一貫した索引付けタームが生成可能である限り、完璧な意味論的書類構造を取り出すことは必須でない。
【０２２６】
紙書類の電子書類の構造に基づいて、本方法は、紙書類の全ページについてターゲット特徴量全ての一を索引付けし続ける(3514)。ある特定の実施例では、このステップは、紙書類の全ページにおける水平に及び垂直に隣接する全てのペアの位置を索引付けすることを含む。上述したように、水平に隣接するワードはライン(行)の中で隣接するワードのペアである。縦に隣接するワードは、垂直に並ぶラインで隣接するワードである。ページ中の他の多次元形態が同様に利用されてもよい。
【０２２７】
本方法は、各ターゲット特徴に関連するパッチ特徴を格納すること(3516)を含む。ある特定の実施例では、パッチ特徴は、そのパッチに付随するアクションを含み、リレーショナルデータベースに格納されている。上述したように、そのような画像インデックス及びストレージ手段を組み合わせることは、画像パッチ及びそのパッチの特徴量に一致するオブジェクトの発見を可能にする。特徴量は、メタデータのような、パスに関連する如何なるデータでもよい。特徴量は、例えば、特定の機能を実行するアクション、そのパッチに関連する他のコンテンツへのアクセスを与えるように選択可能なリンク、及び／又はパッチに関連する他のコンテンツの抽出を引き起こすようにスキャン又は処理されることが可能なバーコード等を含んでもよい。
【０２２８】
より正確な定義がサーチターム生成に関して与えられ、ライン構造の一部分のみが観察される。水平に隣接するペアの場合、そのワードと“−”の分離子(セパレータ)とを連結することで、クエリタームが形成される。垂直ペアは“＋”を用いて連結される。ワード(複数)はそれらオリジナルの形式で使用可能であり、望まれるならばキャピタリゼーション(大文字小文字)を維持する(これは、よりいっそう固有のタームを作成するが、そのように微妙な状況を考慮するための追加的なクエリ事項と共に、より大きなインデックスを作ることになる。)。本インデキシング法は、水平若しくは垂直ワードペアに、又は双方の組み合わせに同じサーチ法が適用されることを可能にする。タームの識別能力は、何らかの場合についての逆文献頻度(inverse  document  frequency)によって説明される。
【０２２９】
証拠蓄積法
図３６は、ターゲット書類のランク付けされた一群の書類、ページ及びロケーション仮説を算出する本発明の一実施例による方法3600を示す。本方法は、例えば、図３４Ａのデータベースシステム3400で実行可能である。そのような実施例では、証拠蓄積モジュール3406は、上述したようにインデックステーブルモジュール3404からのデータを用いて仮説(候補)を算出する。
【０２３０】
本方法は(大きな書類イメージ又は書類イメージ全体のイメージパッチのような)ターゲット書類イメージを受信することから始まる(3610)。本方法は、1つ以上のクエリタームを生成すること(3612)に続き、ターゲット書類イメージ中のオブジェクト間の2次元的位置関係を捕捉する。ある特定の実施例では、クエリタームは特徴抽出プロセスによって生成され、そのプロセスは、図３４Ｂを参照しながら説明したような水平の及び垂直のワードペアを生成する。しかしながら、本開示内容から明らかになるように、ここで説明される特徴抽出プロセスのいくつでもがクエリタームを生成するのに使用可能であり、ターゲット書類イメージ中のオブジェクト間の２次元的位置関係を捕捉する。例えば、方法3500のインデックスを構築するのに使用されたのと同じ特徴抽出法が、ステップ3512を参照しながら説明されたようなクエリタームを生成するのに使用可能である(紙書類の電子表現を生成する。)。更に、クエリタームの２次元的形態が、クエリターム個々に適用されてもよいし(例えば、水平のワードペアである第１のクエリタームと、垂直のワードペアである第２のクエリターム)、或いは一群のサーチタームに適用されてもよい(例えば、ターゲット書類中の水平及び垂直のオブジェクト双方を表現する１つのクエリターム)ことに留意を要する。
【０２３１】
本方法は、タームインデックステーブル3422内で各クエリタームを探し、各クエリタームに関連する場所(ロケーション)のリストを抽出することに続く(3614)。各ロケーションに関し、本方法は、そのロケーションを含む多数の領域を生成することに続く(3616)。全てのクエリが処理された後で、本方法は、全てのクエリタームに最も一致する領域を特定することを含む(3618)。そのような実施例では、全候補領域のスコアが或るウエイトにより増やされる(例えば、各領域が全てのクエリタームとどの程度一致しているかに基づく)。本方法は、特定された領域が、予め決められた一致基準を満たすか否かを判定することに続く(3620)(例えば、所定の一致閾値に基づく)。満たしていれば、本方法は、その領域をターゲット書類イメージに一致しているように確認することに続く(3622)(例えば、その領域を最も多く含んでいるようなページがアクセスされ或いは使用される)。そうでなければ、本方法はその領域を拒否することに続く(3624)。
【０２３２】
ワードペアは、「規格化された」座標空間内の座標と共にタームインデックステーブル3422に格納される。これは、様々なプリンタ及びスキャナの解像度間の統一をもたらす。ある特定の実施例では、85×110の座標空間が8.5”×11”のページに使用される。その場合、ワードペア全てが、その85×110の空間の中の場所で特定される。
【０２３３】
サーチの効率を改善するため、２段階のプロセスが実行されてもよい。第１ステップは、入力画像パッチを最も含みそうなページを見つけることを含む。第２ステップは、そのページ内で最もパッチの中心らしいｘ−ｙ座標を計算することを含む。そのような方法は、真に最良の一致が第１ステップで見逃されてしまうおそれを招く。しかしながら、僅かなインデキシング空間に伴うそのような可能性は希である。かくて、インデックスのサイズ及び所望のパフォーマンスに依存して、そのような効率的な改善法が使用可能である。
【０２３４】
そのような一実施例では、ページを発見するために以下のアルゴリズムが使用され、そのページは、入力イメージパッチ内で検出されるワードペアを最も含みそうなものである。
【数２】
2009506395.tif 000004
【０２３５】
この方法は、各ワードペアの書類頻度逆関数(idf)を、ワードペアが生じる書類及びページでインデックスされるアキュムレータに加えるnum_docs(wp)は、ワードペアwpを含む書類数を返す。アキュムレータは、証拠蓄積モジュール3406で実現される。そのアキュムレータでの最大値が閾値を越えた場合、そのパッチに最も合うページとして出力される。従って、アルゴリズムは、クエリ中のワードペアに最も合うページを特定するように動作する。或いは、Accumアレイが分類(ソート)され、上位N個のページが、入力画像に合う「ベストN」ページとして報告される。
【０２３６】
以下の証拠蓄積アルゴリズムは、本発明の一実施例により、１ページ内の入力画像パッチの位置に関するエビデンスを蓄積する。
【数３】
2009506395.tif 000005
【０２３７】
本アルゴリズムは、85×110の空間内のセルを特定するよう動作し、そのセルは、最も入力画像パッチの中心らしいものである。ここに示されている例では、各ワードペア周囲の固定された領域(ゾーンとも呼ばれる)内のセルにウエイトを加えることで、アルゴリズムはそれを実行する。
【０２３８】
範囲関数(extent  function)がx,yのペアに与えられ、範囲関数は、包囲する固定サイズ領域の最小値及び最大値を返す(1.5”の高さ及び2”の幅が一般的である。)。範囲関数は、境界条件に配慮し、返す値がアキュムレータの外に出ないことを確認する(即ち、０より小さい、ｘが85より大きい、又はｙが110より大きい領域に存在しないようにする。)。最大距離関数(maxdist  function)は、境界ボックス座標(minx,maxx,miny,maxy)で記述される境界ボックス内の２点間の最大ユークリッド距離を見出す。ワードペアの書類頻度逆関数と、セル及びゾーンの中心間の規格化された幾何学的距離との積で決定されるウエイトが、ゾーン内の各セルについて算出される。これは、中心に近く、遠く離れたセルより高いセルを重み付ける。全てのワードペアがそのアルゴリズムで処理された後、Accum2アレイは、最大値を伴うセルを探す。それが閾値を越えた場合、その座標はイメージパッチの場所として報告される。アクティビティアレイは、蓄積されたnorm_dist値を格納する。それらはidfでスケーリングされてないので、それらは、特定のワードペアを含むデータベース内の書類数を考慮しない。しかしながら、それらは、所与の一群のワードペアに最も合うｘ−ｙ座標について２次元的画像表現をもたらす。更に、アクティビティアレイのエントリは、データベースに格納されている書類と独立である。通常内部で使用されるこのデータ構造が出力されてもよい(3420)。
【０２３９】
規格化された幾何学的処理は、本発明の一実施例により、以下に示されるように算出される。
【数４】
2009506395.tif 000006
ワードペアの場所とゾーンの中心との間のユークリッド距離が計算され、そのユークリッド距離と、計算される可能性のある最大距離との間の差分が返される。
【０２４０】
ワードペアが証拠蓄積アルゴリズムで処理された後、Accum2アレイは最大値を伴うセルについて探索される。その値が所定の閾値を越えた場合、その座標は、イメージパッチの中心の場所として報告される。
【０２４１】
MMR印刷アーキテクチャ
図３７Ａは、本発明の一実施例によるMMRコンポーネントの機能ブロック図を示す。主なMMRコンポーネントは、関連するプリンタ116及び/又は共有書類注釈(SDA)サーバ3755と共にコンピュータ3705を含む。
【０２４２】
コンピュータ3705は、当該技術分野で既知の何らかの標準的な、デスクトップ、ラップトップ又はネットワークコンピュータである。一実施例では、コンピュータは図１Ｂを参照しながら説明されたMMRコンピュータ112である。ユーザプリンタ116は、当該技術分野で既知の何らかの標準的な、ホーム、オフィス又は市販のプリンタである。ユーザプリンタ116は印刷書類118を生成し、印刷書類は、１以上のページで形成される紙書類である。
【０２４３】
SDAサーバ3755は標準的なネットワーク化された又はセントラル化されたコンピュータであり、そのコンピュータは、共用される注釈法に関する様々なファイル、アプリケーション及び／又は情報を保持する。例えば、ウェブページ又は他の書類に関連する共用される注釈は、SDAサーバ3755に格納される。この例では、注釈は上述のMMRで使用されるデータ又は指示である。SDAサーバ3755は、一実施例ではネットワーク接続を介してアクセス可能である。一実施例では、SDAサーバ3755は図１Ｂを参照しながら説明されたネットワーク化されたメディアサーバ114である。
【０２４４】
コンピュータ3705は様々なコンポーネントを有し、コンポーネントの全部又は一部は様々な実施形態に応じて選択的である。一実施例では、コンピュータ3705は、ソースファイル3710、ブラウザ3715、プラグイン3720、シンボリックホットスポット記述3725、修正されたファイル3730、捕捉モジュール3735、page_desc.xml3740、hotspot.xml3745、データストア3750、SDAサーバ3755及びMMR印刷ソフトウエア3760を含む。
【０２４５】
ソースファイル3710は、書類の電子表現である何らかのソースファイルを表す。ソースファイル3710の具体例は、ハイパーテキストマークアップ言語(HTML)ファイル、マイクロソフト(登録商標)ワード(登録商標)ファイル、マイクロソフト(登録商標)パワーポイント(登録商標)ファイル、シンプルテキストファイル、ポータブルドキュメントフォーマット(PDF)ファイル等を含む。上述したように、ブラウザ3715で受信される書類は、多くの場合、ソースファイル3710から発する。一実施例では、ソースファイル3710は図3を参照しながら説明されたソースファイル310と等価である。
【０２４６】
ブラウザ3715は、ソースファイル3710に関連するデータへのアクセスをもたらすアプリケーションである。例えば、ブラウザ3715は、ウェブページ及び／又はドキュメントをソースファイル3710から取り出すのに使用されてもよい。一実施例では、ブラウザ3715は図３を参照しながら説明されたSDブラウザ312,314である。一実施例では、ブラウザ3715はインターネットエクスプローラのようなインターネットブラウザである。
【０２４７】
プラグイン3720は、オーソリング機能をもたらすソフトウエアアプリケーションである。プラグイン3720は、スタンドアローンソフトウエアアプリケーションでもよいし、或いは、ブラウザ3715上で動作するプラグインでもよい。一実施例では、プラグイン3720はコンピュータプログラムであり、ブラウザ3715のようなアプリケーションと相互作用し、上述の特定の機能を提供する。プラグイン3720は、様々な実施例に応じてブラウザ3715に表示されるウェブページや書類に対する変換その他の修正を行う。例えば、プラグイン3720は、個々に識別可能な基準マークと共にホットスポットの指標を包囲してホットスポットを作成し、HTMLファイルの「マークアップ」バージョンをブラウザ3715に返し、ブラウザ3715に表示される書類の一部に或る変換規則を適用し、ブラウザ3715に表示される書類に対する共有注釈を抽出及び／又は受信する。更に、プラグイン3720は、修正された書類を作成すること、シンボリックホットスポット記述3725を作成すること等のような他の機能を上述のように実行してもよい。プラグイン3720は、捕捉モジュール3735に関連して、図３８，４４，４５，４８及び５０Ａ−Ｂで説明される方法を支援する。
【０２４８】
シンボリックホットスポット記述3725は、書類内のホットスポットを特定するファイルである。シンボリックホットスポット記述3725は、ホットスポット数及びコンテンツを特定する。この例では、シンボリックホットスポット記述3725はデータストア3750に格納される。シンボリックホットスポット記述の具体例は、図４１で更に詳細に説明される。
【０２４９】
修正されたファイル3730は、プラグイン3720によるソースファイル3710に対する修正及び変換の結果として作成された書類及びウェブページである。例えば、上述のマークアップHTMLファイルは、修正されたファイル3730の一例である。本開示内容から明らかになるように、修正されたファイル3730は、場合によっては、ユーザに表示するためにブラウザ3715に返される。
【０２５０】
捕捉モジュール3735は或るソフトウエアアプリケーションであり、書類の印刷表現に特徴抽出及び／又は座標捕捉を実行し、印刷ページ上のキャラクタ及び図形のレイアウトが取り出せるようにする。レイアウト−即ち、印刷ページでのテキストの２次元配列は、印刷時に自動的に捕捉されてもよい。例えば、捕捉モジュール3735は、全ての文字及び描画印刷コマンドを実行し、更に、その印刷表現における全キャラクタ及び／又はイメージのｘ−ｙ座標及び他のキャラクタを取得及び記録する。一実施例によれば、捕捉モジュール3735は、ここで説明されるような印刷捕捉DLL、追加を許可するフォワーディングダイナミックリンクライブラリ(DLL:  Dynamically  Linked  Library)、又は既存のDLLの機能を修正したもの等である。捕捉モジュール3735の機能の更に詳細な説明は、図４４に関連してなされる。
【０２５１】
捕捉モジュール3735は、データを捕捉するためにブラウザ3715の出力に結合されることを当業者は認識するであろう。或いは、捕捉モジュール3735の機能は、プリンタドライバの中で直接的に実行されてもよい。一実施例では、捕捉モジュール3735は、図３に関して説明されたようなPD捕捉モジュールと等価である。
【０２５２】
page_desc.xml3740は、拡張可能マークアップ言語(XML)ファイルであり、テキスト関連である捕捉モジュール3735により処理される機能呼出に関してテキスト関連出力が書き込まれる。ホットスポット情報、プリンタポート名、ブラウザ名、印刷の日時、インチ当たりのドット数(dpi)及び解像度(res)情報に加えて、page_dec.xml3740は、ワード毎に及びキャラクタ毎に印刷された全テキストについて書類の座標情報を含む。page_dec.xml3740は例えばデータストア3750に格納される。データストア3750は図３４Ａを参照しながら説明されたMMRデータベース3400と等価である。図４２Ａ−ＢはHTMLファイルの場合のpage_dec.xml3740の具体例を詳細に示す。
【０２５３】
hotspot.xml3745は、書類が印刷される際に作成されるXMLファイルである(例えば、上述したように印刷ドライバ316の動作によりなされる)。hotspot.xmlは、シンボリックホットスポット記述3725及びpage_dec.xml3740を併合した結果である。hotspot.xmlは、ホットスポット数、座標情報、寸法情報及びホットスポットのコンテンツのようなホットスポット識別情報を含む。図４３にはhotspot.xmlファイルの具体例が示されている。
【０２５４】
データストア3750は、ファイルを格納するための当該技術分野で既知の何らかのデータベースであるが、ここで説明される方法を利用できるように修正される。例えば、一実施例によれば、データストア3750は、ソースファイル3710、シンボリックホットスポット記述3725、page_dec.xml3740、表現されるページレイアウト、共有される注釈、画像処理された書類、ホットスポットの定義及び特徴表現等を格納する。一実施例では、データストア3750は、図３を参照しながら説明されたドキュメントイベントデータベース320と等価であり、また図３４Ａを参照しながら説明されたデータベースシステム3400と等価である。
【０２５５】
MMR印刷ソフトウエア3760は、ここで説明されるMMR印刷処理を支援するソフトウエアであり、例えば、上述のコンピュータ3705のコンポーネントによって実行される。MMR印刷ソフトウエア3760は、図３７Ｂを参照しながら以下で更に詳細に説明される。
【０２５６】
図３７Ｂは、MMR印刷ソフトウエアに含まれている本発明の一実施例による一群のソフトウエアコンポーネントを示す。MMR印刷ソフトウエア3760の全部又は一部がコンピュータ112,905、捕捉装置106、ネットワークメディアサーバ114及び他のサーバに上述のように含まれてよいことが理解されるべきである。MMR印刷ソフトウエア3760はこれら様々なコンポーネントを含むように今のところ説明されるが、MMR印刷ソフトウエア3760はこれらのコンポーネントの１つから全てに至る内のいくつでもを備えてよいことを当業者は認識するであろう。MMR印刷ソフトウエア3760は、変換モジュール3765、組込モジュール3768、分析モジュール3770、変換モジュール3775、特徴抽出モジュール3778、注釈モジュール3780、ホットスポットモジュール3785、表現／表示モジュール3790及びストレージモジュール3795を含む。
【０２５７】
変換モジュール3765は、ソース書類を画像書類に変換することを可能にし、その画像書類から特徴表現が抽出可能であり、変換モジュールはそれを行う1つの手段である。
【０２５８】
組込モジュール3768は、電子書類のホットスポットの指標に対応するマークを埋め込むことを可能にし、それを行う１つの手段である。ある特定の実施例では、埋め込まれたマークは、ホットスポットの開始点及びホットスポットの終了点を示す。或いは、埋め込まれたマーク周辺の所定の領域が、電子書類のホットスポットを特定するために使用されてもよい。そのような様々なマーキング法が使用可能である。
【０２５９】
分析モジュール3770は、ホットスポットの開始点を示すマークについて、(プリンタに送付される)電子書類の分析を可能にし、それを実行する1つの手段である。
【０２６０】
変換モジュール3775は、電子書類の一部に或る変換規則を適用可能にし、それを行う１つの手段である。ある特定の実施例では、その一部分は、ホットスポットの開始点を示すマークとホットスポットの終了点を示すマークとの間のキャラクタのストリームである。
【０２６１】
特徴抽出モジュール3778は、書類及びホットスポットの印刷表現に対応する座標の抽出及び特徴の抽出を可能にし、それを行う1つの手段である。フォワーディングダイナミックリンクライブラリを用いて印刷コマンドを取り出すこと、そして、ホットスポット又は変換されたキャラクタに対応する座標の一部分についての印刷表現を分析することを座標捕捉は含む。特徴抽出モジュール3778は、一実施例により、捕捉モジュール3735の機能を実行可能にする。
【０２６２】
注釈モジュール3780は、共有される注釈及び共有される注釈に関連する書類の内の付随する指標部分を受信可能にし、それを行う１つの手段である。共有される注釈を受信することは、エンドユーザから及びSDAサーバから注釈を受けることを含む。
【０２６３】
ホットスポットモジュール3785は、１つ以上のクリップを１つ以上のホットスポットに関連付けることを可能にし、それを行う１つの手段である。ホットスポットモジュール3785は、書類の中でホットスポットの位置を先ず指定し、ホットスポットに関連するクリップを決めることで、ホットスポット定義の作成を可能にする。
【０２６４】
表現／表示モジュール3790は、書類又は書類の印刷表現を、表現又は表示されるようにし、それを行う１つの手段である。
【０２６５】
ストレージモジュール3795は、ページレイアウト、画像処理された書類、ホットスポット定義及び特徴表現を含む様々なファイルの格納を可能にし、それを行う１つの手段である。
【０２６６】
ソフトウエア部3765−3795が個別的なソフトウエアモジュールであることは必須でない。図示のソフトウエアコンフィギュレーションは、単なる例示に過ぎず、本開示から明らかになるように、本発明の範囲内で他のコンフィギュレーションも想定される。
【０２６７】
書類にホットスポットを埋め込む
図３８は、書類にホットスポットを埋め込む本発明の一実施例による方法のフローチャートを示す。
【０２６８】
本方法によれば、書類中のホットスポットの指示に関連するマークが書類に埋め込まれる(3810)。一実施例では、ホットスポット指示位置を含む書類がブラウザでの表示に備えて受信され、例えば或る書類がソースファイル3710からブラウザ3715で受信される。ホットスポットは、電子データに加えて、あるテキストを又は図形や写真等のような他の書類オブジェクトを含む。電子データはオーディオ又はビデオのようなマルチメディアを含んでもよいし、ホットスポットがアクセスを受けた場合に捕捉装置で実行される一群のステップを表してもよい。例えば、書類がハイパーテキストマークアップ言語(HTML)ファイルであった場合、ブラウザはインターネットエクスプローラであり、指示はHTMLファイル中のユニフォームリソースロケータ(URL)でもよい。図３９ＡはURL3920を伴うそのようなHTMLファイル3910の例を示す。図４０Ａは、例えばインターネットエクスプローラのようなブラウザ4010で表示される際の、図３９ＡのHTMLファイル3910のテキストを示す。
【０２６９】
(3810)でマークを埋め込むため、ブラウザ3715のプラグイン3720は、識別可能な基準マーク各々と共に各ホットスポット指示位置を包囲し、ホットスポットを作成する。一実施例では、プラグイン3720は、ブラウザ3715で表示される書類(例えば、上記に続いてインターネットエクスプローラで表示されるHTML)を修正し、ホットスポット指示位置(例えば、URL)を一まとめにするマーク又はタグを挿入する。そのマークは、ブラウザ3715で又は書類の印刷バージョンでその書類を見るエンドユーザにとって感知できないほど小さいかもしれないが、印刷コマンドで検出可能なものである。この例では、MMRクーリエニュー(MMR  Courier  New)と言及される新しいフォントが、基準マークの開始及び終了を付け加えるために使用される。MMRクーリエニューフォントでは、キャラクタ“ｂ”、“ｅ”及び数字用の一般的なグリフ又はドットパターンは、空白スペースで表現される。
【０２７０】
図３９Ａ及び４０Ａに示されるHTMLページ例を更に参照するに、プラグイン3720は、URLの開始位置で基準マーク“b0”を(“here”)、URLの終了位置で基準マーク“e0”を埋め込み、識別子“0”と共にホットスポットを示す(3810)。b,e及び数字キャラクタはスペースとして表示されるので、ユーザは、書類の表示の中でほとんど又は全く変化を見ない。更に、プラグイン3720は、図４１に示されるようなこれらのマークを示すシンボリックホットスポット指示(情報)3725を作成する。シンボリックホットスポット指示3725は、ホットスポット番号を０で特定し、それは“b0”及び“e0”基準マークにおける０に対応する。この例では、シンボリックホットスポット指示3725は例えばデータストア3750に格納される。
【０２７１】
図３９Ｂに示されるように、プラグイン3720はHTMLのマークアップバージョン3950をブラウザ3715に返す。マークアップHTML3950は、基準マークをスパンタグ3960で囲み、スパンタグは、そのフォントを１ポイントのMMRクーリエニューに変える。b,e及び数字キャラクタはスペースで示されるので、ユーザは書類の表示上でほとんど又は全く変化を見ない。マークアップHTML3950は修正されたファイル3730の一例である。個の例は簡明化のため１ページモデルを使用しているが、複数ページモデルが同じパラメータを使用してもよい。例えば、ホットスポットがページ境界を跨ぐ場合、そのホットスポットは各ページ位置に対応する基準マークを有し、各々のホットスポット識別子は同じである。
【０２７２】
次に、印刷コマンドに応じて、印刷表現及びホットスポットに対応する座標が取得される(3820)。一実施例では、捕捉モジュール3735は印刷コマンド内のテキスト及び描画コマンドを「取り出す(tap)」。捕捉モジュール3735はテキスト及び描画コマンドを全て実行し、更に、その印刷表現中のキャラクタ及び／又はイメージ全てのｘ−ｙ座標その他のキャラクタを取得及び記録する。この例では、捕捉モジュール3735は印刷表現用のデバイスコンテキスト(DC)を参照し、DCは印刷表現の構造に対する操作ハンドルであり、その構造は出力フォーマットに依存して出力されるテキスト及び／又はイメージの属性を決める(例えば、プリンタ、ウインドウ、ファイルフォーマット、メモリバッファ等)。印刷表現用の座標を捕捉するプロセス(3820)では、ホットスポットは、HTMLに埋め込まれた基準マークを用いて容易に特定される。例えば、開始マークに遭遇すると、終了マークが発見されるまで、全てのキャラクタのｘ−ｙ座標が記録される。
【０２７３】
一実施例では、捕捉モジュール3735は、「印刷捕捉DLL」と言及されるフォワーディングDLLであり、既存のDLLの機能に付加又は修正を可能にする。フォワーディングDLLは、クライアントに正確にオリジナルのDLLを示すが、コール(call)がターゲットの(オリジナル)DLLに転送される前に、追加的なコード(タップ)が機能の全部又は一部に加えられる。この例では、印刷捕捉DLLは、ウインドウズグラフィックスデバイスインターフェース(Windows(登録商標)  GDI)DLL  gdi32.dll用のフォワーディングDLLである。gdi32.dllは、600を越える出力ポートを有し、その全部が転送されることを要する。gid32_mmr.dllとして言及される印刷可能DLLは、描画にDLL  gdi32.dllを使用する何らかのウインドウズアプリケーションからプリントアウトをクライアントが捕捉することを可能にし、リモートサーバに印刷する場合でさえ、ローカルコンピュータで実行することだけを要する。
【０２７４】
一実施例によれば、gdi32_mmr.dllはgdi32.dllに改名され、C:＼Windows＼system32にコピーされ、ウインドウズアプリケーションほぼ全体からの印刷をモニタすることを引き起こす。別の実施例では、gdi32_mmr.dllはgdi32.dllに改名され、アプリケーションのホームディレクトリにコピーされ、そのアプリケーションについての印刷が監視される。例えば、C:＼Program  Files＼Internet  Explorerは、ウインドウズXPのインターネットエクスプローラをモニタする。この例では、このアプリケーション(例えば、インターネットエクスプローラ)だけが印刷捕捉DLLの機能を自動的に呼び出す。
【０２７５】
図４４は、フォワーディングDLLで使用される本発明の一実施例によるプロセスのフローチャートを示す。印刷捕捉DLL  dgi32_mmr.dllは、gdi32.dllに向けられたファンクションコールを先ず受ける(4405)。一実施例では、gdi32_mmr.dllはgdi32.dllに向けられた全てのファンクションコールを受信する。gdi32.dllは約600個のファンクションコール全体の内200個程度をモニタし、それらは何らかの方法で印刷されるページの外観に影響を及ぼす機能である。次に、印刷捕捉DLLは、受信したコールが監視されるファンクションコールであるか否かを確認する。受信したコールが監視されるファンクションコールでなかった場合、そのコールはステップ4415乃至4435を迂回し、gdi32.dllに転送される(4440)。
【０２７６】
受信したコールが監視されるファンクションコールであった場合、次に本方法は、そのファンクションコールが「新たな」プリンタデバイスコンテンツ(DC)を指定するか否か(即ち、プリンタDCが過去に受信されているか否か)を確認する。これは、内部DCテーブルに対してプリンタDCを検査することで確認される。DCは、上述したように、フォントや色等の描画設定だけでなく、(プリンタ、メモリバッファ等でもよい)描画するターゲットをも包含する。全ての描画処理(例えば、LineTo()、DrawText()等)はDC上で実行される。プリンタDCが新しくなかった場合、そのプリンタDCに対応するメモリバッファが既に存在しており、ステップ4420はスキップされる。プリンタDCが新しかった場合、新たなプリンタDCに対応するメモリバッファDCが作成される。このメモリバッファDCは、印刷されるページの出現を反映し、この例では、上記の印刷表現と等価である。こうして、プリンタDCが内部DCテーブルに加えられると、同じディメンジョンのメモリバッファDC(及びメモリバッファ)が作成され、内部DCテーブルの中でプリンタDCに関連付けられる。
【０２７７】
Gdi32_mmr.dllは、次に、コールがテキスト関連のファンクションコールであるか否を確認する(4425)。監視される200個のgdi32.dllコールの内約12個程度はテキスト関連である。テキスト関連でなければステップ4430はスキップされる。ファンクションコールがテキスト関連であった場合、テキスト関連出力がxmlファイルに書き込まれ(4430)、そのファイルは、図３７Ａに示されるようなpage_dec.xml3740として言及される。
【０２７８】
図４２Ａ及び４２Ｂは、図３９Ａ及び４０Ａを参照しながら説明されたHTMLファイル例3910のpage_dec.xml3740を例示する。Page_dec.xml3740は、ワード4210(例えば、Get)により、ｘ、ｙ、幅及び高さにより、並びにキャラクタ4220(例えば、G)により、印刷されるテキスト全てについての座標情報を含む。全ての座標はドットにおけるものであり、それはプリンタにおける画素のようなものであり、別様に定義されない限り、ページの左上隅に対する座標である。Page_dec.xml3740は、開始マーク4230及び終了マーク4240のようなホットスポット情報を「シーケンス」の形式で含む。ページ境界にわたるホットスポット(例えば、ページNからページN+1にかけてのホットスポット)の場合、ホットスポットが双方のページ(N及びN+1)に登場し、何れの場合もホットスポット識別子は同じである。更に、他の情報が、page_dec.xml3740に含まれ、他の情報は、ページ4280及び印刷可能領域4290のインチ当たりのドット数(dpi)及び解像度(res)に加えて、プリンタポート名4250(生成される.xml及び.jpegファイルに大きな影響を及ぼす)、ブラウザ3715(又はアプリケーション)の名前4260及び印刷の日時4270のようなものである。
【０２７９】
図４４を再び参照するに、コールがテキスト関連でなかったことの確認に続いて、又はテキスト関連出力をpage_dec.xml3740に書き込んだことに続いて、gdi32_mmr.dllは、DCのメモリバッファでファンクションコールを実行する(4435)。このステップ4435は、出力をプリンタに提供し、ローカルコンピュータのメモリバッファへの出力も提供する。そして、ページが増えると、メモリバッファのコンテンツは圧縮され、JPEG及びPNGフォーマットで書き込まれる。そしてファンクションコールはgdi32.dllに転送され(4440)、あたかも通常なされるようにそれを実行する。
【０２８０】
図３８を参照するに、ホットスポットを含む印刷表現を有するページレイアウトが表現される(3830)。一実施例では、その表現3830は書類を印刷することを含む。図４０Ｂは図３９Ａ及び４０ＡのHTMLファイル3910の印刷バージョン4011の例を示す。基準マークはエンドユーザにとって視覚的に感知できるものでないことに留意を要する。表現されたレイアウトは、例えばデータストア3750に保存される。
【０２８１】
一実施例によれば、印刷捕捉DLLは、例えば図４２Ａ−Ｂに示されるようにシンボリックホットスポット記述3725及びpage_dec.xml3740の中のデータを、図４３に示されるようなhotspot.xml3745に併合する。この例では、hotspot.xml3745は、書類が印刷される際に作成される。図４３の例は、ホットスポット０がx=1303，y=350にあり、190ピクセルの幅及び71ピクセルの高さであることを示す。ホットスポットのコンテンツは、http://www.richo.com.で示される。
【０２８２】
捕捉モジュール3820の代替例によれば、マイクロソフトプリンタドライバでのフィルタXPS(XMLプリント仕様)は、“XPSDrv  filter”のように一般に知られており、テキスト描画コマンドを受信し、page_dec.xmlファイルを上述のように作成する。
【０２８３】
視覚的に見えるホットスポット
図４５は、書類中のホットスポットに対応するキャラクタを変換する本発明の一実施例による方法のフローチャートを示す。本方法は、エンドユーザ及びMMR認識ソフトウエア双方を示す方法で、ホットスポットが存在する印刷書類を修正する。
【０２８４】
先ず、印刷される電子書類がキャラクタストリームとして受信される(4510)。例えば、キャラクタストリームを選別できるプリンタドライバ又はソフトウエアモジュールで、書類が受信されてもよい(4510)。一実施例では、ソースファイル3710から書類がブラウザ3715で受信される。図４６は、本発明の一実施例による書類4610の電子バージョン例を示す。この例の書類4610は２つのホットスポットを含み、１つは“are  listed  below”に関連し、１つは“possible  prior  art”に関連する。ホットスポットは一実施例ではエンドユーザが視覚的に感知できるものでない。図３８を参照しながら説明された座標捕捉法により、或いは上記の他の何らかの方法により、ホットスポットが設定されてもよい。
【０２８５】
ホットスポットの始まりを示す開始マークを求めて書類が分析される(4520)。開始マークは、上述したような基準マークでもよいし、或いは、ホットスポットを特定する個々に識別可能な何らかの他のマークでもよい。いったん開始マークが発見されると、ある変換規則が書類の一部分に適用され(4530)、即ち、終了マークが発見されるまで開始マーク以降のキャラクタに適用される。変換規則は、一実施例では例えばキャラクタのフォント又は色を修正することで、ホットスポットに対応する書類の一部分に目に見える修正を引き起こす。この例では、例えばタイムスニューロマン(Times  New  Roman)のような元のフォントが、例えばOCR-Aのような別の既知のフォントに変換される。別の例では、テキストが例えば青#F86Aのような別のフォントカラーで表現される。フォントを変換するプロセスは、一実施例の上記のプロセスと同様である。例えば、書類がHTMLファイル4610であった場合、書類4510の中で基準マークに遭遇すると、そのフォントはHTMLファイルの中で置換される。
【０２８６】
一実施例による変換ステップは、ブラウザ3715に対するプラグイン3720により実行され、修正された書類3730をもたらす。図４７は、本発明の一実施例による印刷された修正済みの書類例を示す。図示されるように、ホットスポット4720及び4730は、残りのテキスト部分と視覚的に区別可能である。特に、ホットスポット4720は異なるフォントで視覚的に区別可能であり、ホットスポット4730は異なる色及び下線で視覚的に区別可能である。
【０２８７】
次に、変換された部分を伴う書類は、あるページレイアウトに表現され、それは電子書類及び電子書類内でのホットスポットの場所を含む。一実施例では、書類を表現することは書類を印刷することを含む。一実施例では、表現は、変換された部分を伴う書類について(上記のような方法の何れかに従って)特徴抽出を行うことを含む。一実施例では、特徴抽出は、印刷コマンドに応答して、電子書類に対応するページ座標を捕捉することを含む。そして電子書類は変換されたキャラクタに対応する座標の一部分について分析される。一実施例では図３７Ａの捕捉モジュール3735が特徴抽出及び／又は座標捕捉を実行する。
【０２８８】
MMR認識ソフトウエアは、同じ変換規則を用いて全画像に前処理を施す。先ず、その規則に従うテキストを探し(例えば、OCR-Aのものや、ブルー#F86Aのもの)、次に通常の認識アルゴリズムを適用する。
【０２８９】
本発明のこの態様は、非常に簡単な画像処理ルーチンを利用することになるので、MMR認識ソフトウエアの演算負担をかなり削減し、演算するオーバーヘッドの大部分を省略できる点で有利である。更に、例えば図５１Ａ−Ｄを参照しながら説明されるように、境界ボックスが書類の一部分上にあるならば、適用するかもしれない代替法の大多数を選択肢から削除することで、特徴抽出の精度を改善できる。更に、テキストの目に見える修正は、どのテキストが（又は他のどの書類オブジェクトが）ホットスポットの部分であるかを示す。
【０２９０】
共有書類注釈
図４８は、本発明の一実施例による共有される書類注釈法のフローチャートを示す。本方法は、共有される環境でユーザが書類に注釈を付けることを可能にする。以下に説明される実施例では、共有される環境は、様々なユーザが眺めるウェブページであるが、他の実施例での共有される環境は、ワークグループ等のように、リソースが共有される如何なる環境でもよい。
【０２９１】
本方法によれば、ソース書類は例えばブラウザ3715のようなブラウザに表示される(4810)。一実施例では、ソース書類はソースファイル3710から受信され、他の実施例では、ソース書類は例えばインターネット接続のようなネットワークを介して受信されたウェブページである。そのウェブページの例を用いて説明するに、図４９Ａは、本発明の一実施例によるブラウザ中のソースウェブページサンプル4910を示す。この例では、ウェブページ4910は、一般的な子供向け書籍のキャラクタ−ジェリーバターゲーム(Jerry  Butter  Game)に関連するゲームのHTMLファイルである。
【０２９２】
ソース書類のディスプレイでは(4810)、ソース書類に関連する共有注釈とその共有注釈に関連するソース書類の部分の指示とが受信される(4820)。この例では説明の簡明化のため、１つの注釈が使用されるが、複数の注釈を使用することもできる。その例では、複数の注釈はここで説明されるようなMMRで使用されるデータ、指示又は相互作用である。注釈は、一実施例では、図３７Ａに示される3755のような共有ドキュメンテーション注釈サーバ(SDA:  Shared  Documentation  Annotation  server)に格納され、そこから取り出すことで受信される。SDAサーバ3755は一実施例ではネットワーク接続を介してアクセス可能である。共有される注釈の抽出用のプラグインは、この例では、図３７Ａに示されるようなプラグイン3720であり、この機能を促進する。別の実施例では、注釈及び指示がユーザから受け取られる。ユーザは如何なる注釈も含んでいない書類に対して共有される注釈を作成してもよいし、或いは既存の共有されている注釈を書類に付け加える又は修正してもよい。例えば、ユーザは、ソース書類の一部分を強調(ハイライト)し、共有される注釈との関連を指示し、その注釈は、叙述した様々な方法でユーザにより用意される。
【０２９３】
次に、修正された書類がブラウザで表示される(4830)。修正された書類は、ステップ4820で指定されたソース書類の一部に対応するホットスポットを含む。ホットスポットは、共有される注釈の場所を指定する。一実施例によれば、修正書類は、プラグイン3720で生成される修正ファイル3730の一部であり、ブラウザ3715に返される。図４９Ｂは、本発明の一実施例によるブラウザにおける修正ウェブページサンプル4920を示す。ウェブページ4920は、ホットスポット4930の指示及び関連する注釈4940を示し、注釈はこの例ではビデオクリップである。指示4930は、例えばハイライトすることで、残りのウェブページ4920のテキストと視覚的に区別されてもよい。一実施例によれば、指示4930がクリックされる又はマウスを操作すると、注釈4040が表示される。
【０２９４】
印刷コマンドに応答して、修正書類の印刷表現に対応するテキスト座標及びホットスポットが捕捉される(4840)。座標捕捉の詳細は、本願で説明されるどの方法に従ってもよい。
【０２９５】
次に、ホットスポットを含む印刷表現のページレイアウトが表現される(4850)。一実施例では、その表現4850は、書類を印刷することである。図４９Ｃは、本発明の一実施例による印刷されたウェブページサンプル4950を示す。印刷されたウェブページレイアウト4950は指示されるようにホットスポット4930を含むが、ウェブページ4920とは異なり、行は印刷レイアウト4950では中断している。この例では、ホットスポット4930の境界は、印刷されたレイアウト4950では視覚可能でない。
【０２９６】
選択的な最終ステップでは、共有される注釈は、例えばデータストレージ3750に格納され、印刷された書類4950内のホットスポット4930との関連性を用いてインデックスされる。その印刷表現もローカルに保存されてよい。一実施例では、印刷するアクションは、ダウンロード及びローカルコピーの作成を引き起こす(トリガを与える)。
【０２９７】
画像処理書類のホットスポット
図５０Ａは、ホットスポットを画像処理書類に付加する本発明の一実施例による方法を示すフローチャートである。本方法は、スキャン後に紙書類にホットスポットを付加できるようにする、或いは印刷用に表現された後にシンボリック電子書類にホットスポットを付加できるようにする。
【０２９８】
先ず、ソース書類は画像処理書類に変換される(5010)。一実施例ではソース書類は、ソースファイル3710からブラウザ3715で受信される。その変換(5010)は、特徴抽出を行う対象の書類を生成し、特徴表現を生成する如何なる方法でなされてもよい。一実施例によれば、紙書類がスキャンされ、それが画像処理書類になる。別の実施例では、電子書類の表現可能なページプルーフが、適切なアプリケーションを用いて表現される。例えば、表現可能なページプルーフがポストスクリプトフォーマットであった場合、ゴーストスクリプトが使用される。図５１Ａは、一実施例でスキャンされた新聞のページ5110の一部を示すユーザインターフェース5105の一例を示す。メインウインドウ5115は、新聞ページ5110の大きな部分を示し、サムネイル5120はページのどの部分が表示されるかを示す。
【０２９９】
次に、画像処理書類に特徴抽出が適用され(5020)、特徴表現を作成する。本願で説明された様々な特徴抽出のどれでもがこの目的に使用されてもよい。一実施例では、特徴抽出は、図３７Ａを参照しながら説明された捕捉モジュール3735によって実行される。そして、１つ以上のホットスポット5125が画像処理書類に加えられる(5030)。ホットスポットは、予め決められていてもよいし、或いは様々な例に応じて決められる必要があってもよい。ホットスポットが既に決まっている場合、その定義は、ページ数、ページ上のホットスポットの境界ボックスの場所、ホットスポットに付随する電子データ又は相互作用等を含む。一実施例では、ホットスポットの定義は図４３に示されるようにhotspot.xmlファイルの形をとる。
【０３００】
ホットスポットが決まっていなかった場合、エンドユーザがホットスポットを決めてもよい。図５０Ｂは、画像処理書類に付けるホットスポットを決める本発明の一実施例による方法のフローチャートを示す。先ず、ホットスポット候補が選択される(5032)。例えば、図５１Ａでは、エンドユーザが境界ボックス5125を使って書類の一部をホットスポットとして選択している。次に、所与のデータベースについて、ホットスポットがユニークであるか否かが選択的なステップ5034で確認される。例えば、n”×n”で囲まれるパッチ内にホットスポットを一意に特定するのに十分なテキストが存在すべきである。ｎの典型的な値は２である。ホトスポットがそのデータベースに対して十分にユニークでなかった場合、一実施例では、その曖昧さを如何にして処理するかについての選択肢がユーザに提示される。例えば、ユーザインターフェースは、より大きな領域を選択すること、曖昧さを許容するがその説明をデータベースに付け加えること等のような選択肢を用意してもよい。他の実施例は、ホットスポットを決める別方法を使用してもよい。
【０３０１】
ホットスポットの場所が選択されると(5032)、データ又は相互作用が決定され(5036)、それがホットスポットに付け加えられる。図５１Ｂは、選択されたホットスポットに関連付けるデータ又は操作を決めるユーザインターフェース例を示す。例えば、ユーザが境界ボックス5125を選択すると、編集ボックス5130が表示される。関連するボタンを使って、ユーザはその操作を取り消してもよいし(5135)、境界ボックス5125を単に保存してもよいし(5140)、或いはデータ又はやり取りをホットスポットに割り当ててもよい(5145)。データ又はやり取りをホットスポットに割り当てることをユーザが選択した場合、図５１Ｃに示されるように、割り当てボックス5150が表示される。割り当てボックス5150は、イメージ5155、様々な他のメディア5160及びウェブリンク5165をユーザがホットスポットに割り当てることを可能にし、割り当てられるものはＩＤ番号で区別される。そして、ユーザはホットスポット定義を保存することを選択してもよい(5175)。簡明化のため1つのホットスポットしか記載されていないが、複数のホットスポットが使用されてもよい。  図５１Ｄは、書類内のホットスポットを表示するユーザインターフェースを示す。一実施例では、異なる色の境界ボックスが、様々なデータ及びやり取りのタイプに対応している。
【０３０２】
選択的なステップでは、画像処理書類、ホットスポット定義及び特徴表現は、例えばデータストア3750内に格納される(5040)。
【０３０３】
図５２は、MMRドキュメント500及びMMRシステム100bを使用する本発明の一実施例による方法を示す。
【０３０４】
本方法5200は、第１書類又は第１書類の表現を取得することから始まる(5210)。第１書類を捕捉する具体的な方法は、以下の（１）〜（４）を含む：（１）MMRコンピュータ112のオペレーティングシステム内で印刷書類のテキストレイアウトを、PD捕捉モジュール318を介して自動的に捕捉することで、第１書類が捕捉されること；（２）MMRコンピュータ112のプリンタドライバ316内で印刷書類のテキストレイアウトを自動的に捕捉することで、第１書類が捕捉されること；（３）例えばMMRコンピュータ112に接続されたスキャン書類スキャナ装置127を介して紙書類をスキャンすることで、第１書類が捕捉されること；及び（４）印刷書類の表現であるファイルを自動的に又は手動的にMMRコンピュータ112に転送、アップロード又はダウンロードすることで、第１書類が捕捉されること。捕捉ステップは印刷書類のほとんど又は全てを捕捉するように説明されているが、捕捉ステップ5210は、印刷書類の最少部分だけについて実行されもよいことが理解されるべきである。更に、書類は1つの書類を捕捉する観点から説明されているが、このステップは、多数の書類を捕捉し、第1書類のライブラリを作成するように実行されてもよい。
【０３０５】
いったん捕捉ステップ5210が実行されると、本方法5200は第１書類についてインデックス処理を実行する(5212)。インデックス処理は、書類の関連する電子表現と関連する第２メディアタイプとを確認し、捕捉された第１書類又はその一部に一致する入力を探すことを可能にする。一実施例でのこのステップでは、書類インデックス処理は、PDインデックス322を生成するPD捕捉モジュール318により実行される。インデックス処理の具体例は、以下の（１）〜（６）を含む：（１）印刷書類のキャラクタのｘ−ｙ座標が索引付けされること、（２）印刷書類のワードのｘ−ｙ座標が索引付けされること、（３）印刷書類のイメージの又はイメージの一部のｘ−ｙ座標が索引付けされること、（４）OCR画像処理が実行され、キャラクタ及び／又はワードのｘ−ｙ座標がそれに応じて索引付けされること、（５）表現されたページの画像から特徴抽出が実行され、その特徴のｘ−ｙ座標が索引付けされること、及び（６）ページのシンボリックバージョンで特徴抽出が実行され、その特徴のｘ−ｙ座標が索引付けされること。索引付け処理は、本発明のアプリケーションに依存して上記のインデックス処理の何れか又はグループを包含してよい。
【０３０６】
本方法5200は第２書類を捕捉する(5214)。このステップ5214では、捕捉される第２書類は、書類全体でもよいし、第２書類の一部分(パッチ)だけでもよい。第２書類を捕捉する方法の具体例は、以下の（１）〜（８）を含む：（１）捕捉装置106の１つ以上の初速手段230を用いてテキストのパッチをスキャンすること；（２）捕捉装置106の1つ以上の捕捉手段230を用いてテキストのパッチをスキャンし、その後に、意図される特徴記述が適切に取り出される尤度を決めるように画像を処理すること。例えば、インデックスがOCRに基づいている場合、画像がテキストの複数行を含んでいるか否か及び画像の鮮明さが良好なOCR処理に十分か否かをシステムが決めてもよい。その判定が否定的であった場合、テキストの別のパッチがスキャンされる；（３）スキャンされる書類を特定するマシン読み取り可能な識別子(例えば、国際標準書籍番号(ISBN)又はユニバーサルプロデュースコード(UPC))をスキャンすること；（４）表現される書類又は一群の書類を特定するデータ(例えば、スポーツ写真マガジンの2003年版)を入力し、その後に、テキストのパッチが本方法の（１）又は（２）によりスキャンされること；（５）添付された第２書類と共に電子メールを受信すること；（６）第２書類をファイルトランスファで受信すること；（７）捕捉装置106の１つ以上の捕捉手段230で画像の一部分をスキャンすること；及び（８）入力装置166と共に第２書類を入力すること。
【０３０７】
ステップ5210及び5214がいったん実行されると、本方法は、第１書類及び第２書類間で書類照合又はパターン照合を実行する(5216)。一実施例では、第１書類と第２書類のドキュメントフィンガープリント照合を実行することでそれが実行される。ドキュメントフィンガープリント照合は、第２メディア書類についてPDインデックス322を問い合わせることで実行される。ドキュメントフィンガープリント照合の具体例は、ステップ5214で捕捉した画像から特徴量を抽出し、それらの特徴量から記述子を構成し、ある割合の記述子を含む書類及びパッチを探すことである。データベースが多数の書類を格納する場合、各書類につき一度、ライブラリ又はデータベース中の何らかの書類が第２書類に合致しているか否かを確認するために、このパターン照合ステップが、複数回実行されてもよいことが理解されるべきである。或いは、索引付けステップ5212は書類5210にインデックスを加え、そのインデックスは、書類のコレクションを及びパターン照合ステップが一度行われたことを表す。
【０３０８】
最終的に本方法5200は、ステップ5216の結果に基づいて及びユーザ入力に選択的に基づいて或るアクションを時国交する(5218)。一実施例では、本方法5200は所定のアクションを探し、そのアクションは、所与の書類パッチに関連し、例えばステップ5216で照合しているように発見されたホットスポット506に関連する第2メディア504に格納される。所定のアクションの具体例は、以下の（１）〜（６）を含む：（１）ドキュメントイベントデータベース320、インターネット等から情報を取得すること；（２）システムの出力を受ける準備の整ったMMRシステム100bにより確認された場所に情報を書き込むこと；（３）情報を探すこと；（４）捕捉装置106のようなクライアント装置で情報を表示し、ユーザと双方向の対話を行うこと；（５）後の実行に備えて、方法ステップ5216で決定したアクション及びデータをキューに入れること(ユーザの介入は選択的でもよい)；及び（６）方法ステップ5216で決定したデータ及びアクションを速やかに実行すること。本方法ステップの結果の具体例は、情報の抽出、修正された書類、他のアクションの実行()、セットトップボックス126のようなケーブルTVボックスに送られるコマンドの入力等を含み、ケーブルTVボックスは、ビデオをケーブルTVボックスに流すケーブルTVサーバ(例えば、サービスプロバイダサーバ122)に結合される。ステップ5218が一旦実行されると、本方法5200は完了し、終了する。
【０３０９】
図５３は、本発明の一実施例によるMMRシステム100bに関連する一群のビジネスエンティティ例5300のブロック図を示す。一群のビジネスエンティティ5300は、MMRサービスプロバイダ5310、MMRコンシューマ5312、マルチメディア企業5314、プリンタユーザ5316、携帯電話サービスプロバイダ5318、ハードウエア製造業者5320、ハードウエア小売業者5322、金融機関5324、クレジットカード処理者5326、書類出版者5328、書類印刷者5330、フルフィルメントハウス5332、ケーブルTVプロバイダ5334、サービスプロバイダ5336、ソフトウエアプロバイダ5338、広告企業5340及びビジネスネットワーク5370を含む。
【０３１０】
MMRサービスプロバイダ5310は、図１Ａ乃至５及び５２を参照しながら説明したMMRシステム100の所有者及び／又は管理者である。MMRコンシューマ5312は、図１Ｂを参照しながら以前に説明された何らかのMMRユーザ110を表す。
【０３１１】
マルチメディア企業5314はディジタルマルチメディア製品の何らかのプロバイダであり、例えば、ディジタルムービー及びビデオゲームを提供するブロックブラスターインコーポレーション(テキサス州ダラス)や、ディジタルミュージック、映画及びTV番組を提供するソニーコーポレーションオブアメリカ(ニューヨーク州ニューヨーク)等である。
【０３１２】
プリンタユーザ5316は、印刷された紙書類を作成するために何らかの種類の何らかのプリンタを使用する何らかの個人又は組織(エンティティ)である。例えば、MMRコンシューマ5312は、プリンタユーザ5316や書類印刷者5330になってもよい。
【０３１３】
携帯電話サービスプロバイダ5318は何らかの携帯電話サービスプロバイダであり、例えば、ベリゾンワイヤレス(ニュージャージー州ベッドミンスター)、シンギュラーワイヤレス(ジョージア州アトランタ)、TモバイルUSA(ワシントン州ベレブ)及びスプリントネクステル(バージニア州レストン)等である。
【０３１４】
ハードウエア製造業者5320はハードウエア装置の何らかの製造業者であり、例えば、プリンタ、携帯電話又はPDAの製造業者である。ハードウエア製造業者の具体例は、例えば、ヒューレットパッカード(テキサス州ヒューストン)、モトローラインコーポレーテッド(イリノイ州シカゴ)及びソニーコーポレーションオブアメリカ(ニューヨーク州ニューヨーク)等である。ハードウエア小売業者5322は、プリンタ、携帯電話又はPDAの小売業者のような、ハードウエアの何からの小売業者である。ハードウエア小売業者の具体例は、限定ではないが、ラジオショックコーポレーション(テキサス州フォートワース)、サーキットシティストアインコーポレーテッド(バージニア州リッチモンド)、ウォルマート(アーカンサス州ベントンビル)及びベストバイコーポレーション(ミネソタ州リッチフィールド)等を含む。
【０３１５】
金融機関5324は何らかの銀行又はクレジット組合のような何らかの金融機関であり、銀行口座の管理、他銀行又は金融機関へ及びそこからの資金のやりとりを処理する。クレジットカード処理者5326は何らかのクレジットカード機関であり、クレジットカード認証を管理し、購買処理のプロセスを承認する。クレジットカードプロセッサの具体例は、限定ではないが、クリックバンクを含み、それは、クリックセールスインコーポレーテッド(アイダホ州ボイシ)、シャレイトインコーポレーテッド(ミネソタ州プレーリー)及びシーシーナウ(CCNow)インコーポレーテッド(ミネソタ州エデンプレーリー)のサービスである。
【０３１６】
書類出版者5328は何らかの書類発行会社であり、限定ではないが、グリゲス(Gregath)出版社(オクラホマ州ワイアンドット)、プレンティスホール(ニュージャージー州アッパーサドルリバー)及びペリカン出版社(ルイジアナ州グレトナ)等である。書類印刷者5330は何らかの書類印刷会社であり、限定ではないが、PSプリントLLC(カリフォルニア州オークランド)、プリントリザードインコーポレーテッド(ニュージャージー州バッファロ)及びミネオインコーポレーテッド(ニューヨーク州ニューヨーク)等である。他の例では、書類出版者5328及び／又は書類印刷者5330は、新聞又は雑誌を作成及び配布する何らかの者(エンティティ)である。
【０３１７】
フルフィルメントハウス(fulfillment  house)5332は、周知のように注文の調達に特化した何らかの第三者物流ウェアハウスである。フルフィルメントハウスの具体例は、限定ではないが、コーポレートディスクカンパニー(イリノイ州マックヘンリー)、オーダーモーションインコーポレーテッド(ニューヨーク州ニューヨーク)及びシップワイヤドットコム(カリフォルニア州ロスアンゼルス)等である。
【０３１８】
ケーブルTVプロバイダ5334は何らかのケーブルTVサービスプロバイダであり、限定ではないが、コムキャストコーポレーション(ペンシルバニア州フィラデルフィア)及びアデルフィアコミュニケーションズ(コロラド州グリーンウッドビレッジ)等である。サービスプロバイダ5336は、何らかのサービスを提供する何らかのエンティティを表現する。
【０３１９】
ソフトウエアプロバイダ5338は何らかのソフトウエア開発会社であり、限定ではないが、アートアンドロジックインコーポレーテッド(カリフォルニア州パサデナ)、ジグソーデータコーポレーション(カリフォルニア州サンマテオ)、データミラーコーポレーション(ニューヨーク州ニューヨーク)及びデータバンクIMX,LCC(メリーランド州ベルツビル)等である。
【０３２０】
広告企業5340は何らかの広告会社又は代理店であり、限定ではないが、DアンドBマーケティング(イリノイ州エルハースト)、ブラックシープマーケティング(マサチューセッツ州ボストン)及びゴータムダイレクトインコーポレーテッド(ニューヨーク州ニューヨーク)等である。
【０３２１】
ビジネスネットワーク5370は、それにより取引関係が設定及び／又は支援される何らかの仕組みを表す。
【０３２２】
図５４は、本発明の一実施例によるMMRシステム100bを利用することで促される一般化されたビジネス方法5400を示す。少なくとも２つのエンティティの間で或る関係を設定すること、可能性のある取引関係を決定すること、少なくとも１つの取引を実行すること及び取引に関する製品又はサービスを配達／提供することを方法5400は含む。
【０３２３】
先ず、少なくとも２つのビジネスエンティティ5300の間で或る関係が設定される(5410)。ビジネスエンティティ5300は、例えば(1)MMRクリエータ、(2)MMRディストリビュータ、(3)MMRユーザ及び(4)その他のような４つの大まかなカテゴリに揃えられ、ビジネスエンティティは１つより多くのカテゴリに該当する。この例によれば、ビジネスエンティティ5300は次のように分類される：
●MMRクリエータは、MMRサービスプロバイダ5310、マルチメディア会社5314、書類発行者5328、書類印刷者5330、ソフトウエアプロバイダ5338及び広告会社5340などである。
【０３２４】
●MMRディストリビュータは、MMRサービスプロバイダ5310、マルチメディア会社5314、携帯電話サービスプロバイダ5318、ハードウエア製造業者5320、ハードウエア小売業者5322、書類発行者5328、書類印刷者5330、フルフィルメントハウス5332、ケーブルTVプロバイダ5334、サービスプロバイダ5336及び広告会社5340等である。
【０３２５】
●MMRユーザは、MMRコンシューマ5312、プリンタユーザ5316及び書類印刷社5330等である。
【０３２６】
●その他は、金融機関5324及びクレジットカード処理者5326等である。
【０３２７】
例えば本方法のステップでは、MMRクリエータであるMMRサービスプロバイダ5310、MMRユーザであるMMRコンシューマ5312、MMRディストリビュータである携帯電話サービスプロバイダ及びハードウエア小売業者の間で取引関係が設定される。更に、ハードウエア製造業者5320は、ハードウエア小売業者5322との取引関係を有し、双方ともMMRディストリビュータである。
【０３２８】
次に、方法5400はステップ5410で設定された関係を有する者の間で可能性のある取引を決定する。特に、何らかの２以上のビジネスエンティティ5300の間で様々な取引がなされる。取引の具体例は次のようなものを含む：情報を購入すること；物理的な商品を購入すること；サービスを購入すること；帯域幅を購入すること；電子ストレージを購入すること；広告を購入すること；広告統計資料を購入すること；商品を発送すること；情報を販売すること；物理的な商品を販売すること；サービスを販売すること；帯域幅を販売すること；電子ストレージを販売すること；広告を販売すること；広告統計資料を販売すること；貸与／リースを行うこと；意見／格付け／投票を集めること等々。
【０３２９】
方法5400が各人間の可能な取引を決定すると、少なくとも１つの取引で合意に至るようにMMRシステム100が使用される(5414)。特に、取引結果をもたらす何らかの２以上のビジネスエンティティ5300の間で様々なアクションが起こるかもしれない。アクションの具体例は次のようなものを含む：情報を購入すること；注文を受けること；より多くの情報を求めてクリックすること；スペースを用意すること；ローカルの／リモートのアクセスを行うこと；ホスティングを行うこと；発送すること；取引を発生させること；プライベート情報を格納すること；他者に情報を伝送すること；コンテンツを付加すること；及びポッドキャストすること等々。
【０３３０】
方法5400でその取引について合意に至ると、例えばMMRコンシューマ5312に取引に係る製品又はサービスを配布／提供するためにMMRシステム100が使用される(5416)。特に、方法ステップ5414でビジネス取引が合意に達したことで、様々なコンテンツが何らかの２以上のビジネスエンティティ5300の間で取引される。コンテンツの具体例は、テキスト、ウェブリンク、ソフトウエア、静止画写真、ビデオ、オーディオ及びそれらの何らかの組み合わせ等を含む。更に、取引を促すために、何らかの２以上のビジネスエンティティ5300の間で様々な拡布手段が使用されてよい。拡布手段の具体例は、用紙、パーソナルコンピュータ、ネットワークコンピュータ、キャプチャー装置106、パーソナルビデオ装置、パーソナルオーディオ装置及びそれらの何らかの組み合わせ等を含む。
【０３３１】
上記実施例で説明及び請求される発明に加えて、以下の実施例も開示される。
【０３３２】
図５５は、混合メディア書類にアクセスする本発明の一実施例による方法のフローチャートを示す。第１書類が取得される(5510)。例えば、図２Ｅを参照しながら説明済みの捕捉手段の何れかを用いて第１書類の表現を捕捉することで、第１書類が捕捉される(5510)。様々な実施例に応じて、第1書類は全体的に取得されてもよいし(5510)、第1書類の一部分が取得されてもよい(5510)。図５２を参照しながら説明済みの書類を捕捉する方法(5214)を用いて第１書類が捕捉可能である。
【０３３３】
第２書類が検索される(5512)。例えば第２書類は中央リポジトリから抽出可能である(5512)。本発明の一実施例によれば、第２書類は、図５を参照しながら説明済みのMMR書類500のようなMMR書類である。第２書類はPDインデックス322のような第１書類及びインデックスに基づいて抽出可能である(5512)。
【０３３４】
第１及び第２書類が比較される(5514)。第1及び第２書類の比較(5514)は、例えば、第１及び第２書類を分析し、それらが十分に似ているか否かを確認することを含む。一実施例ではそれは、第１書類に対する第２書類のフィンガープリント照合を実行することでなされる。ある実施例では、第２書類の抽出(5512)及び第１，第２書類の比較(5514)が書類照合ステップに統合可能であることが理解されるべきである。例えば、書類フィンガープリント照合処理は、PDインデックス322を問い合わせることで第１書類に関して実行されてもよい。他の例として、書類フィンガープリント照合処理は、MMRデータベース3400のMMRインデックス3404を問い合わせることで第１書類に関して実行されてもよい。書類フィンガープリント照合の具体例は、ステップ5510で捕捉された画像から特徴量を抽出し、それらの特徴量から記述子を構築し、ある割合の記述子を含む書類及びパッチを探すことである。そして、合致する書類が抽出される(5512)。データベースが多数の書類を格納している場合、ライブラリ又はデータベース中の何らかの書類が第１書類に一致するか否かを確認するために、このパターンマッチングステップが、各書類につき一度、複数回行われてもよいことが理解されるべきである。
【０３３５】
比較結果に基づいて或るアクションが実行される(5516)。実行されるアクション(5516)は、比較結果に依存するかもしれない。例えば、一実施例では、比較結果(5514)が書類の一致を示す場合に第１アクションが実行され、比較結果(5514)が書類の不一致を示す場合に第２アクションが実行される。別の実施例では、実行されるアクション(5516)は、どの第２書類が第１書類に一致するかに依存してもよい。例えば、第２書類が所定のアクションに関連付けられ、所定のアクションが実行されてもよい(5516)。実行されるアクション5516はユーザの選択に応じてもよい。実行可能な様々なタイプのアクションの具体例は、本発明の様々な実施例に従って、図５６Ａ−Ｃを参照しながら説明される。
【０３３６】
図５６Ａは、混合メディア書類にアクセスする方法の第１の例を示す。書類5604が取得される(5510)。書類5614はセントラルリポジトリ5610から取り出される(5512)。一実施例では、セントラルリポジトリ5610は書類イベントデータベース320である。別の実施例では、セントラルリポジトリ5610はMMRデータベースである。更に別の実施例では、セントラルリポジトリ5610は、書類の電子表現を格納可能な何らかのデータベースとして実現可能である。
【０３３７】
図示の例では、アクション又はメディア5618は、書類5614に関連付けられる。例えば、書類5614はMMR書類500として実現され、その書類5614はアクション又はだい２メディア504を含んでよい。
【０３３８】
書類5604及び書類5614が比較される(5514)。一実施例では、その比較に基づいて、書類5614に関連するアクション5618が実行される(5620)。別の実施例では、比較に基づいて、書類5614に関連するメディア5618が表示される(5620)。
【０３３９】
有用なことに、第１及び第２書類の比較に基づいてアクションを実行することは、印刷書類に、情報に関する追加的なディメンジョンを含めることを可能にする。例えば、書類5604が観光旅行案内書の一部分であったとする。多くの旅行目的地の急速な経済発展の下で、旅行案内書は店頭に届いた時点では時期外れになってしまうことが間々ある。ユーザは(本発明の)MMRシステムを利用して、旅行案内書に付随する補足情報(追加情報)を取得でき、或いは旅行案内書の特定の部分(例えば、特定の記事)を取得することができる。
【０３４０】
旅行案内書の一部分(あるセクション)は、例えば、ユーザの携帯電話に統合されているカメラで捕捉される(5510)。関心のあるセクションに合致するフィンガープリントを伴うMMR書類5614が抽出(5512)及び比較される(5514)。MMR書類5614は、旅行案内書の捕捉した部分5510に関する補足情報5618を含む。例えば、補足情報5618は、その記事の更新された電子表現、特定の地域に関する健康に関する勧告又は広告等でもよい。この補足情報5618はユーザに表示される(5620)。有利なことに、更新された又は追加的な情報がユーザに利用可能になる。
【０３４１】
補足情報は如何なる種類のメディアファイルとして実現されてもよい。第１及び第２書類の比較に基づいてアクションを実行することは、紙書類に付随するメディアファイルを表示するのに使用可能である。例えば、書類5604はスポーツ雑誌のページでもよい。その書類5604に合致するフィンガープリントを伴うMMR書類5614が抽出(5512)及び比較される(5514)。書類5614は、雑誌の捕捉したページ5510にあるスポーツの話に関するメディア5618(例えば、その記事が記述している決勝ゴールのビデオクリップ)を含む。メディア5618はユーザに表示される(5620)。有利なことに、紙書類に関連するメディアファイルがユーザに利用可能になる。
【０３４２】
補足情報はユーザ固有にもなり得る。第１及び第２書類の比較に基づくアクションを実行することは、ユーザ固有の情報を取得及び表示することを含み得る。例えば、書類5604は株式会社の新聞記事であってもよい。書類5604に合致するフィンガープリントを伴うMMR書類5614が抽出(5512)及び比較される(5514)。書類5614はその記事の話題を特定するメタデータ5618を含む。ユーザ固有の情報は、例えば、メタデータ5618に基づいて取り出される。例えば、その記事で言及されている会社に関するユーザの株所有情報が、株式オンライン仲介業者から取得可能である。ユーザ固有の情報はユーザに表示される。有利なことに、紙書類に関連するユーザ固有の情報が、ユーザに利用可能になる。
【０３４３】
図５６Ｂは、MMR書類にアクセスする方法の第２の例を示す。書類5604が取得され(5510)、書類5614がセントラルリポジトリ5610から検索される(5512)。書類5604及び書類5614は比較され(5514)、ユーザ入力5628が受け付けられる。比較結果5514及びユーザ入力5628に応じて、アクションが実行される(5630)。
【０３４４】
一実施例では書類5614はMMR書類500である。MMR書類は複数の第２メディア504を含む。複数の第２メディア504は選択に備えてユーザに提示され、ユーザ入力5628は所望の第２メディア504を示す。例えば、第２メディア504はオーディオファイル、ビデオファイル、テキストファイル、アプリケーションファイル等でもよい。選択された第2メディア504が表示される(5630)。別の例として、MMR書類は複数の関連するアクション504を含み得る。例えば、関連するアクションは、情報を抽出すること、あるロケーションに情報を書き込むこと、情報を求めてサーチを実行すること、クライアント装置で情報を表示すること、インタラクティブな対話を案内すること、後の実行に備えてアクションを延期すること、書類を修正すること、製品を購入すること、他システムにコマンドを入力すること等にすることができる。複数の関連するアクション504が選択に備えてユーザに提示され、ユーザ入力5628は所望の関連するアクション504を示す。選択された関連するアクション504が実行される(5360)。更に別の例として、MMR書類は第２メディア及び関連するアクション504の組み合わせを含み、第２メディアが表示されるべきか否か(5630)或いは関連するアクションが実行されるべきか否か(5630)をユーザ入力5628が示してもよい。ユーザ入力5628を受信することで、有利なことに、実行されるアクション5630はユーザの好みに特化可能になる。
【０３４５】
別の実施例では、書類5614は複数のホットスポット506(即ち、書類5604内の複数のロケーション)を含むMMR書類500である。ユーザ入力5628は所望のホットスポットを示すことができる。ある場合には、所望のホットスポットが複数のアクション及び／又は第２メディア504に関連付けられ、ユーザ入力5628は、どのアクションが実行されるべきか或いはどのメディアが表示されるべきかを更に示すことができる。有利なことに、ユーザ入力5628を受け付けることで、特定のホットスポットがユーザにより選択可能になり、実行されるアクション5630はユーザの好みに更に適合させることが可能になる。
【０３４６】
図５６Ｃは、MMR書類にアクセスする方法の第３の例を示す。書類5604が取得され(5510)、書類5614がセントラルリポジトリ5610から検索される(5512)。書類5604及び書類5614が比較される(5514)。書類5604は、例えば、ユーザがメディアファイルに関連付けたいと思っている紙書類でもよい。
【０３４７】
メディア5624が捕捉される(5622）。メディア5624は、例えば、ビデオファイル、オーディオファイル又はアプリケーションファイル(例えば、スプレッドシート、ワードプロセッサ書類等)等でもよい。メディア5624の他の例は、本発明の範囲から逸脱せずに当業者に明らかであろう。例えば、カメラ、マイクロフォン、ネットワーク、コンピュータ読み取り可能な媒体等からメディアが取得される(5622)。
【０３４８】
メディア5624は書類5614に関連付けられる(5626)。例えば、書類5614への将来のアクセスに基づいてアクセス可能になる方法で、メディア5624は格納される。本発明の一実施例によれば、メディア5624はセントラルリポジトリ5610に格納される。本発明の他の実施例によれば、メディア5624は書類5614と別々に格納される。
【０３４９】
一実施例では、書類5614はMMR書類500であり、メディア5624は第２メディア504として格納される。メディア5624は書類5614の１つ以上のホットスポットに関連付けられてもよい。一実施例では、ユーザ入力が受信される(5625)。ユーザ入力5625は、例えば、どのホットスポットをメディア5624に関連付けるかを示すことができる。別の例では、書類5614は様々なエンティティを含むことができ、ユーザ入力5625はどのエンティティをメディア5624に関連付けるかを示すことができる。ユーザ選択に利用可能なエンティティは、例えば、通常の印刷処理中にプリンタドライバから取得可能である。プリンタドライバからエンティティを取得する様々な方法例は、図３７−４３及び関連する説明箇所で説明されている。
【０３５０】
MMR書類にメディアを関連付けることは、有用なことに、ユーザが紙書類を捕捉することを許容する。例えば、旅行の準備をしているユーザが、携帯性及び置換の低コスト性に有利なように紙書類を持って行き、そして移動プラットフォーム(携帯電話等)から補足内容と共に書類の電子バージョンを更新してもよい。
【０３５１】
紙書類の捕捉した表現に基づいてMMR書類を取り出すことは、有利なことに、紙書類に追加的なディメンジョンを導入する。追加的なディメンジョンは、外的な書類空間と考えることができ、その書類空間の中でコンテンツ又は広告を提供可能である。例えば、新しい映画の新聞広告は、その映画の批評(レビュー)に「リンク」するこができ、これは、新聞広告を捕捉すると、その結果、批評のような補足情報の表示になることを意味する。別の例として、雑誌の中の映画の批評が、映画館の広告にリンクしてもよい。コンテンツが他のコンテンツにリンクすることができ、広告が他の広告にリンクすることができる。特定のMMR書類を取り出すことは、(例えば、広告を見ることと引き換えに)ユーザに対するクレジット又は支払になってもよいし、(例えば、高価なコンテンツを視聴することと引き換えに)ユーザに対する貸し付け又は請求になってもよい。このように本発明の様々な方法は、広告主、コンテンツプロバイダ、ユーザ等にとって有用になり得る。
【０３５２】
一実施例では、MMR書類は紙書類の認識に基づいて取り出される。紙書類の表現が取得され、MMR書類のフィンガープリントと比較される。一致しているMMR書類は、メディアを含んでもよいし、特定のアクションに関連付けられてもよい。紙書類及び仮想的なマルチメディア書類の比較結果に応じて、アクションが実行される。例えば、一致しているMMR書類のメディアが表示されてもよいし、或いは一致しているMMR書類に関連するアクションが実行されてもよい。紙書類の認識に基づいてMMR書類を取り出すことは、有利なことに、紙書類のユーザが、その紙書類に付随する情報から恩恵を受けることを可能にする。更に、紙書類の認識に基づいて仮想的なマルチメディア書類を取り出すことは、有利なことに、紙書類のユーザが仮想的なマルチメディア書類を修正すること又はコンテンツを仮想的なマルチメディア書類に付け加えることを可能にする。
【０３５３】
一実施例では、MMR書類からのデータは、ユーザ固有の情報と共に組み合わせられ、そのユーザにとっての個人的な情報をもたらす。別の実施例では、MMR書類に関連する複数のアクションのどれが実行されるべきかを確認するために、ユーザ入力が求められる。
【０３５４】
一実施例では、MMR書類は、紙書類の認識に基づいて取り出される。紙書類及び仮想的なマルチメディア書類の比較結果に応じて、アクションが実行される。例えば、一致しているMMR書類のメディアが表示されてもよいし、或いは、一致しているMMR書類に関連するアクションが実行されてもよい。
【０３５５】
他の実施例が以下に説明される。
【０３５６】
図５７は、混合メディア書類にアクセスする本発明の一実施例による方法を示す。
【０３５７】
第１書類が取得される(5710)。例えば、図２Ｅを参照しながら説明済みの捕捉手段230の何れかを用いて、第１書類の表現を捕捉することで第１書類は捕捉可能である(5710)。様々な実施例に応じて、第１書類は全体的に取得されてもよいし(5710)、或いは第1書類の一部分が取得されてもよい(5710)。第１書類は図５２を参照しながら説明済みの書類捕捉方法(5214)を用いて捕捉可能である。
【０３５８】
第２書類が検索される(5712)。例えば第２書類はセントラルリポジトリから抽出可能である(5712)。本発明の一実施例によれば、第２書類は、図５を参照しながら説明済みのMMR書類500のようなMMR書類である。第２書類はPDインデックス322のような第１書類及びインデックスに基づいて抽出可能である(5712)。
【０３５９】
第１及び第２書類が比較される(5714)。第1及び第２書類の比較(5714)は、例えば、第１及び第２書類を分析し、それらが十分に似ているか否かを確認することを含んでよい。一実施例ではそれは、第１書類に対して第２書類を照合する書類フィンガープリント照合を実行することでなされる。
【０３６０】
ある実施例では、第２書類の抽出(5712)及び第１，第２書類の比較(5714)が書類照合ステップに統合可能であることが理解されるべきである。例えば、書類フィンガープリント照合処理は、PDインデックス322を問い合わせることで第１書類に関して実行されてもよい。書類フィンガープリント照合の具体例は、ステップ5710で捕捉された画像から特徴量を抽出し、それらの特徴量から記述子を構築し、ある割合の記述子を含む書類及びパッチを探すことである。そして、合致する書類が抽出される(5712)。データベースが多数の書類を格納している場合、ライブラリ又はデータベース中の何らかの書類が第１書類に一致するか否かを確認するために、このパターンマッチングステップが、各書類につき一度、複数回行われてもよいことが理解されるべきである。
【０３６１】
比較に基づいてアクションがユーザに表示される(5716)。表示されるアクション(5716)は、比較結果に依存するかもしれない。例えば、一実施例では、比較結果5714が書類は一致していることを示す場合、第１群のアクションが表示され(5716)、比較結果5714が書類は一致してないことを示す場合、第２群のアクションが表示される(5716)。別の実施例では、表示される一群のアクション(5716)は、第１書類にどの第２書類が一致するかに依存する。例えば、第２書類が所定の第２群のアクションに関連付けられ、所定のアクション群が表示されてもよい(5716)。ユーザに表示可能なアクションの具体例は、様々な実施例に応じて、図５８を参照しながら説明される。
【０３６２】
選択的に、ユーザの選択したアクションが実行されてもよい(5718)。リスト上のアクションの1つをユーザが選択したことに応じて、ユーザの選択したアクションが実行されてもよい。ユーザの選択に応じて実行可能なアクションの具体例は、様々な実施例に応じて、図５８を参照しながら説明される。
【０３６３】
図５８は、本発明の一実施例により混合メディア書類にアクセスするためのユーザインターフェースを示す。図５８は捕捉装置106のディスプレイ212におけるユーザアクションの表示例を示す。
【０３６４】
図示の例では、メニュー5801がディスプレイ212に表示される。メニュー5801は取り出された書類5712に関連する書類情報5802を含む。例えば、書類情報5802は、取り出された書類5712のタイトルを含んでもよい。別の例として、書類情報5802は、タイトル、ページ、著者、公表日、ISBN番号を含んでもよいし、或いは抽出若しくは捕捉書類(5712，5710)又はその一部分に関連する何らかの他の情報を含んでもよい。これらの具体例は、例示であり、限定するものではない。メニュー5801に表示可能な書類情報5802の他の具体例は、本発明の範囲から逸脱せずに当業者に明らかであろう。
【０３６５】
メニュー5801は複数のアクションを含んでもよい。メニュー5801に表示されるアクション5804は、捕捉された(5710)及び取り出された書類(5712)の比較に応じてもよい。例えば、第１書類が捕捉された場合(5710)、第１群のアクション5804がメニュー5801に含まれる。第２書類が捕捉された場合(5712)、第２群のアクション5804がメニュー5801に含まれる。第２群のアクション5804は、第１群のアクション5804に含まれていないアクションを含んでもよい。
【０３６６】
メニュー5801に表示されるアクション5804は、特定の領域に又は捕捉した書類のロケーション(5710)に基づいてもよい。例えば、書類の第１ロケーション(又はホットスポット)が取得された場合、所定のアクション5804が表示され、同じ書類の第２ロケーション(又はホットスポット)が取得された場合、別のアクション5804が表示される。本発明の一実施例によれば、書類中の複数のホットスポットが選択に備えてユーザに表示される。ユーザの選択したホットスポットに関連するアクション5804は、メニュー5801に表示される。
【０３６７】
図示の例では、メニュー5801は書類を「取得する(グラブ)」アクション5804Aを含む。ユーザがグラブアクションを選択したことに応じて、取得される書類(5712)の識別子が、書類の表示の直後に又は後に、捕捉装置106に又は他の装置に格納される。本発明の一実施例によれば、グラブアクションをユーザが選択したことに応じて、取り出される書類(5712)は捕捉装置106に格納される。書類の識別子又は書類自体を格納することは、有用なことに、その書類をユーザが将来参照することを可能にする。取り出される書類は様々なフォーマット(例えば、マイクロソフトワード、アドビPDF、マイクロソフトXMLペーパー仕様(XPS)、ポストスクリプト、PCL等)の内の1つであってよい。
【０３６８】
例えば、歯医者の診療室で雑誌を読んでいる際、ユーザが関心のある記事に出くわしたとする。ユーザはその書類を捕捉し、書類を取得するアクションを選択する。書類は認識され、書類の識別子が捕捉装置に格納される。書類は後の時点でユーザの娯楽に利用可能になる。
【０３６９】
図示の例では、メニュー5801は予約を予定するアクション5804B(スケジュール)を含む。例えば、書類(又は書類中のロケーション)が特定の日時で生じる活動(例えば、医者の予約、コンサート等)に関連付けることができる。スケジュールアクションをユーザが選択したことに応じて、スケジューリング情報が捕捉装置106に又は他の装置に格納される。一実施例では、捕捉装置106はディジタルカレンダアプリケーションを含み、ユーザがスケジュールアクションを選択したことに応じて、書類に関連する日時の予約がディジタルカレンダで予定される。別の実施例では、遠隔サーバが予約データを格納し、スケジュールアクションをユーザが選択したことに応じて、書類に関連する予約データが遠隔サーバに格納される。更に別の実施例では、別のコンピュータ装置がディジタルカレンダアプリケーションを有し、スケジュールアクションをユーザが選択したことに応じて、その書類に関連する日時の予約がディジタルカレンダに予定される。例えば、ある予約はユーザのマイクロソフト(登録商標)アウトルックカレンダ上で予定可能である。スケジューリング情報を格納することは、有用なことに、書類に基づいて便利で効率的な予約計画を可能にする。
【０３７０】
例えば、ユーザが、彼の興味に合致するテレビジョンの広告を見たとする。ユーザは書類を捕捉し、その書類に基づいて予約を予定するアクションを選択する。ユーザの選択に応じて、予約がユーザのカレンダ(日時、イベントの説明等を含む)に加えられる。様々な実施例に応じて、予約は付加的に又は代替的に他のカレンダに加えられてもよい。例えば、第１ユーザはスケジュール機能を利用して、書類に関連するイベントを第２ユーザに「推奨し」、その予約が第２ユーザのカレンダに加えられる。別の例として、ユーザはスケジュール機能を利用して、(ディジタルビデオレコーダ(DVR)、オンラインカーシェア(相乗り)サービス(シティシェアカー又はジップカー等)等のような)電子装置のカレンダにイベントを加える。テレビジョン広告の例の場合、テレビジョン番組の記録がユーザのDVRに予定される。医者の予約の例の場合、医者の予約近辺の時間枠の間に、共用される車が予約される。
【０３７１】
予定を立てるのに使用される予約データは、様々な方法で取得可能である。例えば、予約データは取得した書類(5712)に関連付けられてもよい。予約データは、書類の印刷の結果として書類分析モジュール326により特定されてもよい。別の例では、予約データは、取得した書類(5710)について光文字認識(OCR)を行うことで取得されてもよい。説明、時間及び日等のような予約データは、認識された文字から分析可能である。一実施例では、指定されたエンティティ認識により、認識された文字から日時が抽出される。更に別の例として、予約データは、関連付けられ及び／又は取得されたデータと、ユーザから入力されたデータとの組み合わせを含む。例えば、取得された書類(5712)が予約の説明に関連付けられ、ユーザは日時のような付加的な予約データを入力してもよい。
【０３７２】
図示の例では、メニュー5801は購入を行うためのアクション5804Cを含む。例えば、書類(又は書類中のロケーション)は、売り物の商品又はサービス(例えば、書類、メディアファイル、チケット、雑誌の定期購読申込等)に関連付けられてもよい。購入アクションをユーザが選択したことに応答して、商品又はサービスの注文が入る。購入アクションをユーザが選択したことに応じて、ユーザの口座に請求がなされてもよい。一実施例では、購入アクションをユーザが選択したことに応じて、購入品の配送予定が立てられる。速やかに又は後の時点で、購入品は捕捉装置106に又は他の装置に転送可能である。例えば、購入品は、ビデオ機能付きの携帯装置へ、次回その携帯装置を同期させる際に転送するよう計画されてもよい。購入品は、書類自体の(電子的な又は物理的な)コピー、書類に関連する品目、又は書類ベースで示唆されるアイテムでもよい。例えば、取得した書類5710がテレビの新番組のレビューであり、購入アクションの選択に応じて、その番組のエピソードが購入され、ビデオ機能付きの携帯装置へダウンロード可能にさせてもよい。ユーザの選択に応じて商品又はサービスを注文することは、有用なことに、ユーザが紙ベースの書類を使って便利に購入できるようにする。
【０３７３】
購入アクションは、商品及びサービスの支払に使用されてもよい。例えば、取得した書類(5710)がレストランのレシートであり、購入アクションの選択に応じて、ユーザの口座からレストランの又はレストランの代理業者の口座へ資金が転送され、ユーザのデビット(付け)をレストランへ支払うようにしてもよい。
【０３７４】
図５９は、本発明の一実施例によりメディアファイルにラベルを付ける方法を示す。ラベルの付されるメディアファイルは、例えば、画像、オーディオ、ビデオ、テキスト、手持ちの書類、プレゼンテーション等にすることができる。メディアファイルは、例えば、捕捉装置106のカメラ若しくはマイクロフォン、ローカル若しくはリモートロケーションからのファイル転送等により取得されてもよい。
【０３７５】
名前のリストが取得される(5910)。例えば、名前のリストはソースファイル310から取得されてもよい(5910)。別の例として、名前のリストは、何らかの書類(例えば、ワード書類、ウェブページ、エクセルスプレッドシート、PDFファイル、紙書類等)から取得されてもよい。名前のリストは様々な方法で取得可能である。一実施例によれば、名前のリストは、書類の印刷に応じて、PD捕捉モジュール318又は書類分析モジュール326により取得される(5910)。別の例として、名前のリストは、書類を閲覧、複製又は編集したことに応じて、イベント捕捉モジュール324により取得される(5910)。更に別の実施例では、名前のリストが、書類をスキャンしてOCRを実行することで取得される(5910)。
【０３７６】
名前のリストを取得することは、ソースファイル310(又は他の書類)を分析し、「名付けられるエンティティ(存在又は対象)」又は他の関心のある情報の位置を特定することを含んでもよい(この機能は、マルチメディア注釈インターフェースに常駐してもよい。)。名付けられるエンティティは、例えば、後にマルチメディアに貼り付け可能なラベルである。例えば、タイトル、作者、時間又は場所が書類の中で検出され、そして、名前のリストが捕捉される(5910)。
【０３７７】
図６０を参照するに、ソースファイル310のサンプルが示されている。図示の例では、「サンフランシスコウォーキングツアー」の予定を示す書類又はウェブページが示されている。図示されているように、ソースファイル310は複数の名前(例えば、固有名称、タイトル、場所等)を含み、それらは捕捉可能である。例えば、ソースファイル310の印刷に応じて又はその一部に応じて、「サンフランシスコ(San  Francisco)」、「シティホール(City  Hall)」、「ローズガーデン(Rose  Garden)」、「マコーリフ(McAuliff)公園」、「ベイショア(Bayshore)」及び「ロビンウイリアムズ(Robin  Williams)」の名称が、例えば、PD捕捉モジュール318により捕捉可能である。別の例として、ソースファイル310はウェブページでもよく、ソースファイル310の閲覧に応じて、「9am」、「10am」、「正午(noon)」、「1pm」及び「2pm」の時間が捕捉されてもよい。ソース書類310のような書類から捕捉可能な名前の他の例は、本発明の範囲から逸脱せずに当業者には明らかであろう。
【０３７８】
名前のリストはユーザに表示される(5912)。名前のリストは如何なる装置(例えば、MMRコンピュータ112又は捕捉装置106)に表示されてもよい(5912)。名前のリストを表示する装置(5912)は、名前のリストを捕捉する装置(5910)と同じ装置であってもなくてもよい。例えば、本発明の一実施例によれば、名前のリスト5910は第１装置で捕捉され、第２装置で電子的に変換される。第２装置は名前のリストをユーザに表示する(5912)。
【０３７９】
図60を参照するに、メニュー6001がディスプレイ212に表示される。メニュー6001は、複数の名前6004をユーザの選択肢として含んでいる。ユーザに表示(5912)される名前6004は、捕捉された名前のリスト5910の少なくとも一部分を含む。図示の例では、書類310から捕捉された名前(5910)は、「シティホール(City  Hall)」、「ロビンウイリアムズ(Robin  Williams)」、「マコーリフ(McAuliff)公園」、「ローズガーデン(Rose  Garden)」及び「ベイショア(Bayshore)」の名前が、ユーザの選択肢として与えられている。表示されている名前(5912)は、様々な書類から捕捉可能である(5910)。本発明の一実施例によれば、表示される名前(5912)の順序は、その名前が捕捉(5910)された際の順序と異なる。例えば、その名前が選択された頻度()、名前を捕捉した(5910)抽出元書類の著名度、名前を捕捉した(5910)抽出元書類の重要度又は著名度等に基づいて、表示される名前(5912)が並べ替えられてもよい。更に、表示(5912)されるより多くの名前が捕捉される場合、同様なメトリック(基準)を用いて、名前が表示(5912)されるべきであるかを決定してもよい。
【０３８０】
捕捉した名前のリスト(5910)に基づいて名前のリストを表示すること(5912)は、有利なことに、ユーザにある選択肢を与え、その選択肢は、例えばユーザが最近に印刷又は閲覧した書類に基づくユーザの活動に関連する。このように、便利でインテリジェントなユーザインターフェースが提供される。
【０３８１】
メニュー6001は、タイトル6002を含んでもよい。例えば、タイトル6002は、ラベルの付されるメディアファイルの説明を含んでもよい。タイトル6002は、時間及び／又はソース（そのソースからメディアファイルが取得される）と、そのメディアファイルに過去に適用された何らかのラベルとを含んでもよい。
【０３８２】
ユーザはメニュー6001に表示されている(5912)名前の１つを選択する。ユーザの選択に応じて、メディアファイルは、ユーザの選択した名前に関連付けられる(5914)。メディアファイルは、ユーザの選択した名前に様々な方法で関連付けられてよい。例えば、メディアファイルは１つ以上のメタデータフィールドを含み、ユーザの選択した名前は或るメタデータフィールドに格納されてもよい。別の例として、ユーザの選択した名前はメディアファイルとは別個に格納され、ポインタ又は他の関連付けるものが、ユーザの選択した名前をそのメディアファイルに関連付けてもよい。別の例として、ユーザの選択した名前は、メディアファイルのファイル名として使用されてもよい。更に別の例として、ユーザの選択した名前は、メディアファイルが格納されるフォルダ名として使用されてもよい。これらの例は説明目的のために与えられているに過ぎず、限定しようとするものではない。ユーザの選択した名前にメディアファイルを関連付ける方法の他の例は、本発明の範囲から逸脱せずに当業者には明らかであろう。
【０３８３】
図６０を参照するに、メディアファイルとユーザの選択した名前との関連付け(対応関係)が示されている。図示の例では、メディアファイルはイメージファイル6005であり、画像データ6008の形式で画像を格納する。ユーザの選択に応じて、ユーザの選択した名前(この例では、「ローズガーデン」)は、画像ファイル6005内のメタデータ6006として格納される(5914)。ラベル「ローズガーデン」がメディアファイルに関連付けられる。有利なことに、ユーザの選択した名前は、組織化、サーチ及び／又はメディアファイルの表示等のような将来的な利用に備えることができる。
【０３８４】
一実施例では、MMR書類は紙書類の認識に基づいて取り出される。紙書類の表現が取得され、MMR書類のフィンガープリントと比較される。紙書類及び仮想的なマルチメディア書類の比較に応じて、一群のアクションがユーザに表示される。ユーザの選択に応じて、ユーザの選択したアクションが実行される。例えば、認識された書類(又はその識別子)が検索され、後の閲覧に備えて格納されてもよい。別の例として、ある予約が予定されてもよい。更に別の例として、製品が購入されてもよい。
【０３８５】
別の実施例では、メディアファイルにラベルを付けるユーザを支援するために、名前の捕捉リストが使用される。例えば、名前のリストが書類から捕捉される。名前のそのリストはユーザに表示される。ユーザの選択に応じて、メディアファイルがユーザの選択した名前に関連付けられる。
【０３８６】
一実施例では、MMR書類は紙書類の認識に基づいて取得される。紙書類及び仮想的なマルチメディア書類の比較に応じて、一群のアクションがユーザに表示される。ユーザの選択に応じて、ユーザの選択したアクションが実行される。別の実施例では、メディアファイルにラベルを付けるユーザを支援するために、名前の捕捉リストが使用される。
【０３８７】
別の実施例が以下に説明される。
【０３８８】
広告の作成
図６１Ａは、MMR書類500及びMMRシステム100bを用いる本発明の一実施例による方法のフローチャートを示す。本方法は、あるアクションを画像に関連付ける方法をユーザに提供するよう設計されている。
【０３８９】
方法6100は、画像又は画像の表現及びアクションを捕捉(特定)することから始まる(6102)。一実施例では、アクションは画像に関連付けられるように設定される。画像は印刷書類又はウェブページに含まれていてもよい。画像はマシン読み取り可能なマーキングを含み、そのマーキングは、捕捉装置106のビデオカメラ232やスチルカメラ234にとっては検出可能であるが、人間にとっては目に見えない又は非常にかすかなものである。画像の具体例は、トレードマーク及びロゴタイプの画像を含む。画像は、TIFF、BMP、GIF及びJPEG等のような様々な規格の何れかにおけるものでよい。アクションの具体例は、以下の（１）〜（４）を含む：（１）書類イベントデータベース320(ある特定の実施例では、書類イベントデータベース320()は、図３４Ａに示されるようなデータベースシステム3400として実現される)、インターネット又はそれ以外の場所から、情報を取り出すこと(例えば、映画の予告編を捕捉装置106に又はiPodビデオのように別個のビデオディスプレイ装置にダウンロードする)；（２）システムの出力を受ける準備の整ったMMRシステム100bで確認済みのロケーションに情報を書き込むこと；（３）情報を探すこと(例えば、ローカルの／グローバルのサーチを行う)；及び（４）捕捉装置106のようなクライアント装置に情報を表示し、ユーザとインタラクティブな対話を行うこと(例えば、調査を行う。)。しかしながら、画像が複数のアクションに関連付けられてもよいことは、本開示により当業者に明らかであろう。
【０３９０】
一実施例では画像は、MMRユーザ110により作成され、後にMMRシステム100bによって捕捉される(6102)。MMRサービスプロバイダ5310により又は第三者ソフトウエアプロバイダにより用意されるソフトウエアアプリケーション(例えば、マイクロソフトのペイント、アドビのフォトショット)を用いて、ユーザは画像を作成することができる。画像は様々な方法を用いて捕捉可能である。画像を捕捉する方法の具体例は、以下の（１）〜（５）を含んでよい：（１）MMRコンピュータ112のオペレーティングシステム内で、PD捕捉モジュール318を介して、画像書類のレイアウトを自動的に捕捉することで、画像が捕捉されること；（２）MMRコンピュータ112のプリンタドライバ316内で印刷書類のレイアウトを自動的に捕捉することで、画像が捕捉されること；（３）例えばMMRコンピュータ112に接続された標準的な書類スキャナ装置127を介して紙書類をスキャンすることで、画像が捕捉されること；（４）図２Ｅに示される捕捉手段230を含む画像捕捉装置106と共に画像が捕捉されること；及び（５）画像の表現であるファイルを自動的に又は手動的にMMRコンピュータ112へ転送、アップロード又はダウンロードすることで、画像が捕捉されること。別の実施例では、画像を捕捉(6102)する代わりに、本方法6100はユーザ入力(テキスト及び画像等)を使って画像を作成してもよい。アクションは、画像に関するものと同様な様々な方法で把握可能である。
【０３９１】
例えば、コカコーラのロゴタイプやコカコーラ株式会社の商標を、コカコーラ株式会社の公式ウェブサイト(www.cocacola.com)に至るアクションに関連付けるように、MMRユーザ110が計画する。ロゴタイプの印刷表現は、PD捕捉モジュール318により取得される。MM330のプリンタドライバにより生成されたユーザインターフェース(ＵＩ）を介してユーザはMMRコンピュータ112にアクション(www.cocacola.comを訪れること)を入力する。或いは、書類スキャナ127又は画像捕捉装置106を用いて、ユーザはそのロゴタイプの印刷されたコピーをスキャンし、図５０Ａに関連して説明されるようなユーザインターフェース(UI)と共にユーザがアクションを入力する。
【０３９２】
捕捉ステップ6102が実行されると、本方法6100は、その画像について索引付け処理を実行する(6104)。索引付け処理は、捕捉した画像に合致する入力に対して、画像及び関連するアクションの対応する電子表現の同定を可能にする。一実施例のステップ6104では、索引付け(インデキシング)は、２段階で行われる。第１段階では、画像コンテンツベースの抽出部414が、その画像と、書類イベントデータベース320に既に格納済みの画像表現との比較を実行する。高い信頼度と共に画像が少なくとも１つの格納済みの画像と一致していることを抽出部414が確認すると、本方法6100は、その画像が固有のものでないことを確認し、その旨をMMRユーザ110に通知し、本方法6100は終了する。ユーザは画像を修正し、プロセスを再開することができる。
【０３９３】
画像が十分に固有のものであったことが確認されたとすると、索引付け処理の第２段階(画像及び関連するアクションを書類イベントデータベース320に加えること)が実行される。一実施例では、図３５に関して説明されたように、PDインデックス322(或いは、等価的にMMRインデックステーブル3404でもよい)が更新される。そのようなインデックステーブルに追加可能な特徴量の具体例は、以下の（１）〜（５）を含んでよい：（１）画像中のキャラクタのｘ−ｙ座標；（２）画像中のワードのｘ−ｙ座標；（３）画像の一部のｘ−ｙ座標；（４）OCR画像処理が実行され、キャラクタ及び／又はワードのｘ−ｙ座標がそれに応じて索引付けされること；及び（５）その画像からの特徴抽出が実行され、その特徴量のｘ−ｙ座標が索引付けされること。特徴抽出の具体例は、領域分割、色分析、エッジ検出、顔検出、文字分析等を含み、コンテンツベースの検索アルゴリズムで特徴抽出に一般的に使用されている何らかの方法も含む。索引付け処理6104は、本発明の用途に依存して、上記の何れか又は上記の一群の索引付け処理を含んでもよい。書類イベントデータベース320は、MMR書類500の第１メディア部分内の画像、第２メディア部分内のアクションを、(アクションを画像に関連付ける)索引付け処理の結果と共に格納する。
【０３９４】
コカコーラの上記の例に関し、画像コンテンツベースの抽出部414は、Coca・Colaのロゴタイプと書類イベントデータベース320に格納済みの画像との画像比較を実行する。抽出部414はそのロゴタイプが固有であることを確認する。次に、PD捕捉モジュール318は、そのロゴタイプに備えてPDインデックス322(又は、等価的にMMRインデックステーブルモジュール3404若しくはインデックスを更新する他の何らかの専用モジュール)を更新し、そのアクションは図５３に関して説明されたようにその画像に関連付けられる。ロゴタイプのスキャン画像が入力されると、(図３５に関して説明されたように)同様な一群のステップが実行される。いずれにせよ、MMR書類500はデータベース320で生成され、ロゴタイプの画像処理された(印刷された又はスキャンされた)表現は第1媒体になり、そのアクションは第２媒体になる。
【０３９５】
方法6100は書類も取得する(6106)。このステップ6106では、取得される書類は書類全体でもよいし、書類の一部分だけでもよい。捕捉装置106の１つ以上の捕捉手段230と共に、書類の一部分をスキャンすることで書類が捕捉されてもよい。捕捉される書類は、必ずしも印刷された形式である必要はなく、ビデオディスプレイ装置(例えば、出力装置164)に電子的に表示可能である。
【０３９６】
上記のCoca  Colaの例に関し、書類は飲料容器に付けるラベルでもよい。ラベルはCoca・Colaのロゴタイプの画像を含む。MMRユーザ110は、カメラ付き携帯電話を使ってラベルの画像を撮影し、ロゴタイプの画像を取得する。
【０３９７】
捕捉ステップ6106が実行されると、本方法は、書類画像とデータベース320に格納済みの画像とのパターン照合を実行し(6108)、その書類画像が何らかのデータベース画像を含んでいるか否かを確認する。一実施例では、このパターン照合ステップ6108は、書類フィンガープリント照合モジュール226で実行される。書類画像はデータベース320に格納された複数のサブ画像を含んでもよいので、何らかのサブ画像がデータベースに含まれているか否かを確認するために、書類画像中の各サブ画像につき一度、そのパターン照合ステップは複数回実行されてもよいことが理解されるべきである。別の例では、このパターン照合ステップ6108は、画像コンテンツベースの抽出部414により実行される。書類画像又はそのサブ画像の何れかは、その関連する信頼度が所定の閾値を越えた場合、データベース内にあるように決定される。
【０３９８】
別の実施例では、本方法は、捕捉した画像と書類イベントデータベース320に記憶済みの書類との間で書類パターン照合を実行する。これは、データベース320に格納済みの書類に対して、取得した書類の書類フィンガープリント照合を実行することで行うことができる。
【０３９９】
上記のCoca  Colaの例に関し、本方法は、飲料容器のラベルとCoca・Colaのロゴタイプとの間でパターン照合を実行し、そのラベルがそのロゴタイプを含んでいることを確認する。
【０４００】
最終的に、ステップ6108の結果に基づいて及び選択的にユーザ入力にも基づいて、本方法6100は取得ステップ6102で取得したアクションを実行する(6110)。書類が画像を含んでいることをステップ6108が確認すると、本方法6100はそのアクションを実行する(6110)。パターン照合ステップ6108は、その書類がデータベース320に格納済みの他の画像を含んでいることを確認してもよいことが、理解されるべきである。従って本方法6100は複数のアクションを実行し、各アクションは書類に含まれている画像に関連したものである。ステップ6110が実行されると、本方法6100は完了し、終了する。
【０４０１】
上記のCoca・Colaの例の場合、ステップ6108は、その書類がCoca・Colaのロゴタイプを含んでいることを確認するので、本方法6100は、関連するアクション(コカコーラ株式会社の公式ウェブサイトを訪れること)を実行する(6110)。その結果、カメラ付き携帯電話はインターネットを介してそのウェブサイト(www.cocacola.com)からウェブページを取り出す。
【０４０２】
混合メディアリアリティ書類を使った協同的な注釈
図６１Ｂは、MMR書類500及びMMRシステム100bを用いる本発明の一実施例による方法6120のフローチャートを示す。本方法6120は、複数のMMRユーザ110に協同で注釈を付ける方法をもたらすように設計され、その注釈は、他のMMRユーザに容易に利用可能なものである。
【０４０３】
本方法6120は、第１書類又は第１書類の表現を捕捉することから始まる(6122)。第１書類は、MMRユーザ110が注釈を付けるつもりでいる作品である。第１書類は、図６１Ａを参照しながら説明済みの取得ステップ6102と同様な方法を利用して取得可能であり、従ってその説明はここでは繰り返さない。例えば、書籍(ハリーポッターと賢者の石(Harry  Potter  and  the  Sorcerer’s  Stone))の出版社が、書類スキャナ127を使ってその書籍をスキャンし、その書籍の印刷表現を捕捉する(6122)。
【０４０４】
捕捉ステップ6122が実行されると、本方法6120は、第１書類について索引付け処理を実行する(6124)。（図６に関して更に説明済みの書類フィンガープリント照合モジュール226を用いて）第１書類の対応する電子表現と、第１書類に又はその一部に「マッチする」入力による関連する第２メディアタイプとの同定を、索引付け処理6124は可能にする。一実施例でのこのステップは、書類索引付け処理は、PDインデックス322を生成するPD捕捉モジュール318により実行される。等価的に、索引付け処理は、図３５に関して説明されたように実行されてもよい。索引付け処理6124は、本発明の用途に依存して、図６１Ａを参照しながら索引付けステップ6104で説明された何らかの索引付け処理を含んでいてもよい。本システムは、索引付けステップ6124の結果(例えば、PDインデックス322又は等価的にMMRインデックステーブル3404)と共に、書類イベントデータベース320に第1書類(MMR書類500の第１メディア部分中の第１書類)を格納する。
【０４０５】
一実施例では、本システム100bは、第１書類の異なる版がデータベースに既に格納されているか否かを確認する。例えば、第１書類がペーパーバックコピーであった場合、システム100bは同じ書類のハードカバーコピーを過去に取得しているかもしれない。或いは、データベース320は、第１書類に関する１つ以上の異なる版を所有してもよい。第１書類の様々な版がデータベース320に格納されていることをシステム100bが確認した場合、協同的な書類レビュー部422は、それらの版の間に中間的なリンクレイヤを作成することができる。中間的なリンクレイヤは、異なる版の中の同じセクションを一緒に関連付ける。MMRユーザ110が第１書類の１つの版にアクセスしている際、中間的なリンクレイヤがその場で作成可能である。或いは、異なる版が取得された場合に、中間的なリンクレイヤが作成されてもよい。従って、MMRユーザ110が第１書類の或る版の或るセクション(例えば、ハリーポッターと賢者の石のペーパーバックコピーの序文の第１パラグラフ)にアクセスすると、書類レビュー部422は、他の版の対応するセクション(例えば、ハリーポッターと賢者の石のハードカバーコピーの序文の第１パラグラフ)を特定することができる。
【０４０６】
上記のハリーポッターの例の場合、PD捕捉モジュール318はペーパーバック版のPDインデックス322を生成する。等価的に、索引付け処理は図３５に関して説明されたように実行可能である。データベース320は、書籍の印刷表現を、PDインデックス322と共にMMR書類500の第１メディア部に格納する。ハリーポッターと賢者の石のハードカバーに関連するMMR書類500も、データベース320内に格納されていたとすると、中間的なリンクレイヤが、その２つの版の間で作成され、データベース320に格納される。
【０４０７】
本方法6120は関連データを捕捉し(6126)、それらを第１書類に関連付ける。関連データは、第１書類又はその一部分に関するコメント又は注釈でもよい。関連データは１人以上のMMRユーザ110によって作成可能である。一実施例では、関連データはインターネットを介してアクセス可能なコンテンツである。例えば、ハリーポッターに指定されているブログ(BLOG)からのエントリは、関連データの一部になってもよい。その本を議論する協同ウェブサイト内でユーザが提供したコンテンツも、関連データの一部になってよい。例えば、MMRユーザ110が、関心を寄せているハリーポッターと賢者の石の序文についてのコメントを発見したとする。序文を含むホットスポット506を作成し、そのホットスポットにコメントを関連付けることで、ユーザはその本の序文とそのコメントを関連付けることができる。或いは、ユーザは、その本の中のキャラクタに関する彼のコメントを入力し、その入力と本の関連セクションとを関連付けてもよい。ユーザは、書類オーサリング部442を使って関連性(対応関係)を作成できる。或いは、ユーザはマルチメディア注釈ソフトウエア410を使って注釈を作成することができる。これらの注釈及び関連データは、第１書類用について作成されたMMR書類500に格納可能である。データのソースの複数個が第１書類の同じセクションに関連付けられてもよいし、複数のMMRユーザ110が１つの注釈を作成してもよいことに留意を要する。データベース320内に第１書類の複数の版が存在する場合、MMRユーザ110は何れかの版に至る関連性を形成することを選択してもよい。
【０４０８】
捕捉ステップ6126が実行されると、本方法6120は第２書類を捕捉する(6128)。このステップ6128では、捕捉される第２書類は書類全体でもよいし、第２書類の一部分だけでもよい。第２書類は図６１Ａを参照しながら説明済みの捕捉ステップ6106と同様な方法を利用して捕捉することができ、その説明はここでは繰り返されない。例えば、書籍(ハリーポッターと賢者の石)の序文に関する他者の意見を知ることに関心のあるMMRユーザは、自身のカメラ付き携帯電話をその書籍の所で指示し、序文の映像を撮る。その結果、カメラ付き携帯電話は、序文の印刷表現の一部を含む画像を取得する。
【０４０９】
ステップ6128が一旦実行されると、本方法6120は、第１書類及び第２書類の間で書類又はパターン照合を実行する(6130)。このステップは、図６１Ａを参照しながら説明済みのパターン照合ステップ6108と同様な方法で実行可能であり、その説明はここでは繰り返されない。本方法6120は、第２書類の捕捉部分に合致する第１書類のセクションを特定する。
【０４１０】
ハリーポッターと賢者の石の例の場合、書類フィンガープリント照合モジュール226は、第２書類の捕捉部分に関する特徴記述を生成し、合致する書類を求めてデータベース320内を探し(具体例は図３４Ａに示されている)、第１書類が第２書類に合致することを確認する。モジュール226は、捕捉した第２書類の一部分がその本の序文であることを更に確認する。
【０４１１】
最終的に、方法6120は、ステップ6130の結果に基づいて及び選択的にユーザ入力に基づいて、第２書類に合致するMMR書類500の第２メディア部分に格納されているデータを取り出す(6132)。一実施例では、本方法6120は、ステップ6128で捕捉した第１書類のそのセクション内のホットスポットを特定し、特定したホットスポットに関連する第２メディアタイプのデータを取り出す。ユーザ入力に基づいて、本方法6120は1つ以上のホットスポットに関連するデータを表示することができる。第２書類に複数の版が存在していた場合、協同書類レビュー部422は、捕捉した第２書類のその部分に対応する各版のホットスポットに関連するデータを取り出し、ユーザがそれらをレビューする準備を行う。例えば、方法6120は、ハリーポッターと賢者の石のペーパーバックコピーの序文中の及びハードカバーコピーの序文中のホットスポットに関連する注釈を取り出す。本方法6120は、ユーザがどのホトスポットに興味があるかを示すよう促し、それに応じて注釈を表示する。
【０４１２】
別の実施例では、第２メディア部分に格納されているデータを取り出す代わりに、方法6120はステップ6130の結果に基づいて或るアクションを実行する。例えば、方法6120はブラウザを起動し、ステップ6128で捕捉される第２書類の部分に関連するコメントを含むウェブページを訪れる。或いは、方法6120は、MMRユーザがその部分に関する彼のコメントを入力可能にするアプリケーションを起動し、そのコメントをその部分に関連付け、MMR書類500の第２メディア部分にそのコメントを格納する。ステップ6132が行われると、方法6120は完了し、終了する。
【０４１３】
中間リンク
図６１Ｃは、MMR書類500及びMMRシステム100bを用いる本発明の一実施例による方法6140のフローチャートを示す。本方法6140は、関連書類を相互参照するツールをMMRユーザ110にもたらすよう設計されている。
【０４１４】
本方法6140は、第１書類(又は第１書類の表現)及び第２書類(又は第２書類の表現)を捕捉することから始まる(6124)。第１及び第２書類は互いに関連している。例えば、第１書類はウイリアムシェークスピアの書いたハムレットであり、第２書類は、クリフノート(Cliff  Note)：ハムレットの要約本、モナークノート(Monarch  Note-Hamlet)、ハムレットの要約版、ハムレットに関する研究等であってよい。
【０４１５】
２つの書類は図６１Ａを参照しながら説明済みの捕捉ステップ６１０２と同様の方法を用いて捕捉可能であり、その説明はここでは繰り返されない。例えば、クリフノート：ハムレット要約本の出版社は、書籍のハムレット及び関連するクリフノートを書類スキャナ127を使ってスキャンし、２つの書類の印刷表現を取得する。
【０４１６】
捕捉ステップ6412が実行されると、本方法6140は２つの書類について索引付け処理を実行する(6144)。書類の対応する電子表現と、その書類又はその一部分に合致する入力の関連する第２メディアタイプとの同定を、索引付け処理は可能にする。索引付け処理6144は、本発明の用途に依存して、図６１Ａを参照しながら索引付け処理6104で説明済みの何らかの索引付け処理を含んでよい。索引付け処理6144は、２つの書類の関連するセクションにホットスポット506を作成し、他方の書類中の対応するセクションへのリファレンスにホットスポット506を関連付ける。
【０４１７】
例えば、方法6140は、ハムレットの幕Ｉ：シーン４を要約本の対応するシーンを指すリファレンスに関連付け、ハムレットの印刷表現と共に、MMR書類500の第２メディア部分にそのリファレンスを保存してもよい。方法6140は要約本からハムレットに戻す関連するリファレンスも作成できる。或いは、本方法6140は、ハムレットの或るキャラクタ(例えば、クラウジウス)の登場場面の各々を、要約本の中の対応するキャラクタ分析に関連付けてもよい。索引付け処理6144は、自動的に又は人の介在と共に実行されてよい。例えば、要約本の出版社は、ハムレットと要約本の間の相互参照情報を用意することができる。或いは、方法6140は或るソフトウエアアプリケーションを使用して、その２つの書類の相互参照情報を自動的に生成してもよい。しかしながら、例えば、クイズ本、教育者指導書、及び同一テーマに関する教科書等のような互いに関連する複数の書類が存在し得ることは当業者に明らかであろう。
【０４１８】
別の実施例では、関連付け処理6144は同じ書類の中に複数のリファレンスを作成できる。例えば、或るキャラクタが初めて登場するセクションに関するリファレンスが、同じ書類の中でそのキャラクタの以後の登場場面各々に関連付けられてもよい。これは、データベース3400に格納された書類テキスト上のキャラクタ名を求めるテキストサーチと共に及び相互参照を実現するリンクをデータベースに挿入することと共に実行可能である。
【０４１９】
索引付けステップ6144が実行されると、本方法6140は第３の書類を捕捉する(6146)。このステップ6146で捕捉される第３の書類は、書類全体でもよいし、第３書類の一部分でもよい。第３書類は、図６１Ａを参照しながら説明済みの捕捉ステップ6106と同様の方法を用いて捕捉可能であり、その説明はここでは繰り返されない。例えば、ハムレットの或るセクションの理解に悩む者であって、クリフノート又はモナークノートがそのセクションをどのように解釈しているかを知りたい者であるMMRユーザ110は、自身のカメラ付き携帯電話のカメラをそのセクションの所で指示し、その写真を撮る。その結果、カメラ付き携帯電話は、そのセクションの印刷表現を含む画像を取得する。
【０４２０】
ステップ6146が実行されると、方法6140は、第３書類とステップ6142で捕捉した書類との間で書類又はパターン照合を実行する(6148)。このステップは、図６１Ａを参照しながら説明済みのパターン照合ステップ6108と同様に実行可能であり、その説明はここでは繰り返されない。合致する書類が発見されたとすると、本方法6140は、第３書類の捕捉部分に合致するその書類のセクションを特定する。
【０４２１】
上記のハムレットの具体例の場合、書類フィンガープリント照合モジュール226は、ハムレットの捕捉部分の特徴表現を生成し、書類イベントデータベースの中で合致する書類を問い求め、ワシントンスクエアプレス2003年版のウイリアウムシェークスピアのハムレットが第３書類であることを確認する。モジュール226は、捕捉した第３書類の一部分が、幕Ｉ：シーン４の部分(ハムレットが彼の父の亡霊に会う場面)であることを更に確認する。
【０４２２】
最終的に、方法6140は、ステップ6148の結果に基づいて及び選択的にユーザ入力に基づいて、合致する書類のMMR書類500の第２メディア部分に格納されているデータを取り出す(6150)。一実施例では、本方法6140は、ステップ6146で捕捉した合致書類の部分の中でホットスポットを特定し、そのホットスポットに関連する第２メディアタイプのデータを取り出す。ユーザ入力に基づいて、本方法6140は1つ以上のホットスポットに関連するデータを表示することができる。例えば、方法6140は、ハムレットが彼の父の亡霊に会う場面のホットスポットに関連するリファレンス情報を取り出す。本方法6140は、ユーザが興味を持っている話題(例えば、歴史的背景、その場面が示唆するもの、関連するシーン、又は専門的なコメント)を示すように促し、ユーザの入力に基づいて要約本及び他の関連書類を指すリファレンスを表示する。ステップ6150が行われると、方法6140は完了し、終了する。
【０４２３】
別の実施例では、第２メディア部分に格納されているリファレンスを取り出す代わりに、方法6140は、リファレンスが指し示すテキストを取り出し、そのテキストをユーザに表示する。
【０４２４】
オンザフライ書類オーサリング
図６１Ｄは、MMR書類500及びMMRシステム100bを用いる本発明の一実施例による方法6160のフローチャートを示す。本方法6160は、コンテンツが捕捉されたその場で(オンザフライで)マルチメディア書類を作成するツールをMMRユーザ110にもたらすよう設計されている。
【０４２５】
本方法6160は第１書類を作成することから始まる(6162)。第１書類は、MMRユーザ110がコンテンツに更に加えることを意図している書類である。第１書類は如何なるフォーマットによるものでもよい(例えば、パワーポイント書類、ウインドウズ書類、PDF書類等でもよい。)。第１書類はMMRコンピュータ112で作成されてもよいし、ネットワーク化されているメディアサーバ114で作成されてもよい。第1書類は捕捉装置106へ後で転送されてもよい。或いは、MMRユーザ110は捕捉装置106で第１書類を作成してもよい。
【０４２６】
例えば、MMRユーザ110は会議に出席し、その間会議に関するパワーポイント書類を作成し、そのパワーポイント書類を使ってプレゼンテーションを行うことを予定する。MMRユーザ110は、会議室へ向かう前に、MMRコンピュータ112でパワーポイント書類を作成する。書類は空でもよいし、或いは会議の手短なイントロダクションを含む。有線又は無線の手段を介してMMRユーザ110は捕捉装置106のストレージ装置216へ書類を押し出す。
【０４２７】
方法6120は、第２書類又は第２書類の表現に関する補足処理を実行する(6164)。第２書類はユーザが第１書類を作成するのを支援するように意図されている。例えば、第２書類は、会議のスケジュール、車の長旅の計画等でもよい。第２書類は、図６１Ａを参照しながら説明済みの捕捉ステップ6102と同様な方法を用いて取得可能であり、その説明はここでは繰り返されない。例えば、MMRユーザ110は、プリンタ116を使って会議のスケジュールを含むウェブページを印刷してもよい。PD捕捉モジュール318は、コンピュータ112のオペレーティングシステムで会議のスケジュールのテキストレイアウトを捕捉する。
【０４２８】
捕捉ステップ6164が実行されると、選択的に本方法は指定されたエンティティを確認するように第２書類を処理してもよい(指定されたエンティティを認識すること自体は良く知られた技術であることに留意を要する。)。例えば、書類分析モジュール326は第２書類を分析し、講義タイトル(例えば、「不都合な真実」)、基調講演者名(例えば、「アルゴア(Al  Gore)」)、場所(例えば、「センタービルディング」)等のような組み込まれたエンティティを特定してもよい。指定されたエンティティは、捕捉したコンテンツを説明するためにユーザにより後で選択されてもよい。書類分析モジュール326は、スケジュール上の各イベントの時間及び期間等のその他の関連情報を分析してもよい。特定されたエンティティ名は捕捉装置106のストレージ装置216に格納可能である。
【０４２９】
本方法6160は、捕捉された第２書類について索引付け処理を実行する(6166)。索引付け処理は、第２書類の対応する電子表現と捕捉した第２書類又はその一部に合致する入力の関連する第２メディアタイプとの同定を可能にする。索引付け処理6166は、本発明のアプリケーションに依存して、図６１Ａを参照しながら索引付け処理6104で説明済みのような如何なる索引付け処理を含んでもよい。
【０４３０】
索引付け処理6166が実行されると、本方法6160はコンテンツを取得する(6168)。これらのコンテンツは捕捉装置106の何らかの捕捉手段230により取得可能である。例えば、会議のレクチャーの間座ったまま、MMRユーザ110はビデオカメラ232を使って話者(スピーカ)のビデオクリップを撮影し、ビデオレコーダ236を用いてレクチャーの一部を記録する或いはキーパッド214を使ってそのレクチャーに関するユーザのコメントを入力してもよい。
【０４３１】
捕捉ステップ6168が実行されると、本方法6160は、ステップ6168で捕捉されたコンテンツをラベル付けし、ラベル付けされたコンテンツを第２書類を用いて追加することで第１書類を修正する(6170)。例えば、ユーザがレクチャーのビデオクリップを捕捉した後に、第２書類よりも先に特定されているエンティティ名を選択することを、捕捉装置はユーザに促してもよい。ユーザは「不都合な真実」及び「アルゴア」のような語句(フレーズ)を選択することができる。その結果、「不都合な事実、アルゴア」のようなコメントと共に、過去に作成されたパワーポイント書類にビデオクリップが挿入されてもよい。一実施例では、本方法6160は、現在のイベントを判定するために、第２書類にリストされている時間及びプロセッサのマシンタイムを利用することができる。例えば、午前１０時に始まり午前１１時に終了する大学の起源に関する講義を第２書類がリストに含んでおり、ユーザが午前10:30にオーディオクリップを使用したとすると、本方法6160は「大学の起源に関するレクチャーのオーディオクリップ」というラベルをオーディオクリップに自動的に付けすることができる。或いは、ユーザは、捕捉したコンテンツに注釈を加えたりラベルをタイプするのにキーパッド214を利用してもよいし、或いはボイスレコーダ236を用いてコンテンツに関する彼の口頭のコメントを記録してもよい。
【０４３２】
別の実施例では、本方法6160は、図６１Ａを参照しながら説明済みの捕捉ステップ6106と同様の方法で第２書類の一部を捕捉することができる。例えば、MMRユーザ110は、彼のカメラ付き携帯電話のカメラを、印刷された会議予定のセクションの所で指示し、その画像を撮影してもよい。カメラ付き携帯電話は、その結果、会議予定のセクションの印刷表現を含む画像を捕捉することができる。本方法6160は、捕捉された印刷表現と第２書類とのパターン照合を(書類フィンガープリント照合モジュール226を使って)実行し、第２書類のそのセクションの内容を確認し、そのセクションの内容を使って、捕捉したコンテンツにラベルを付ける。
【０４３３】
最終的に、本方法6160はMMRユーザ110に対して修正された書類を利用する。従ってユーザは別の編集内容と共に又はそれなしにその書類を利用することができる。例えば、会議の後で、修正されたパワーポイント書類を使って（別の編集なしに）、ユーザはその表現を用意することができる。従ってパワーポイント書類は、ユーザがその書類に関する内容を捕捉している際、少なくとも部分的にその場で作成される。
【０４３４】
別の実施例では、その場で書類を作成する代わりに、リアルタイム通知部424は捕捉したコンテンツ及びコメントをウェブページ(例えば、ブログ)にリアルタイムで通知することができる。
【０４３５】
本発明の別の実施例では、方法6160は、必ずしも第１書類を作成(6162)しなくてよいし、データを捕捉(6168)しなくてよいし、或いは第１書類を修正(6170)しなくてもよい。その代わりに、本方法6160は、第２書類を捕捉及び索引付けし、そして第２書類の一部を捕捉し、捕捉した部分の内容を判定するために書類フィンガープリント照合を実行し、ユーザによる更なる使用に備えてコンテンツを格納する。例えば、ハムレットに関するエッセイを書いているMMRユーザ110は、本を同じフィールドでスキャンするかもしれない。ユーザが本を後で読む場合、彼が何らかの有用なパラグラフを発見したときはいつでも、彼は自信のカメラ付き携帯電話を使ってそのセクションの画像を撮影することができる。カメラ付き携帯電話は、本の中のそのセクションの場所を特定するようにパターン照合を行い、そのセクションのコンテンツを取り出すことが可能である。彼が本を読み終えると、テキストのその部分を使って彼自身のエッセイを書くことができる。
【０４３６】
本発明の１つ以上の実施例の内の少なくとも１つの形態は、ユーザがあるアクションに関連付けることの可能な固有の画像を生成する方法をもたらす。本方法は、画像を取得し、その画像が一意的であるか否かを確認し、その画像に関するインデックスを生成する。画像が索引付けされた後で、本方法は書類を捕捉し、書類及び索引付けされた書類間でパターンマッチングを実行する。捕捉された書類が索引付けされた画像と一致するように本方法が確認すると、本方法は関連付けのアクションを実行する。
【０４３７】
本発明の１つ以上の実施例の内の少なくとも１つの形態は、協同作業による注釈を促す方法をもたらす。先ず本方法は書類を捕捉及び索引付けする。書類の一部に関連する注釈情報を各ユーザは協同的に用意する。そして本方法は書類の一部を捕捉し、捕捉した部分を特定し、その部分に関連する注釈情報を用意する。
【０４３８】
本発明の１つ以上の実施例の内の少なくとも１つの形態は、書類間のリンクを用意する方法をもたらす。本方法は２つの関連する書類を捕捉し、関連する部分を一緒に関連付ける。本方法が或る書類の一部を捕捉すると、本方法は、捕捉した部分を確認し、他の書類の関連部分を用意する。
【０４３９】
本発明の１つ以上の実施例の内の少なくとも１つの形態は、書類をその場で(オンザフライで)作成する方法をもたらす。本方法は書類を捕捉し、書類のコンテンツを特定し、捕捉した書類を索引付けする。本方法は後にデータを捕捉し、書類のコンテンツを使って捕捉したデータに注釈を付け、注釈の付いたデータを使って書類を作成する。
【０４４０】
一実施例では、MMRシステムは関連書類を関連付ける方法をもたらす。本方法は、2つの関連する書類を捕捉し、関連部分を一緒に関連付ける。本方法が或る書類の一部を捕捉する際、本方法は捕捉したその部分を確認し、他の書類の関連部分を用意する。
【０４４１】
以下、別の実施例が説明される。
【０４４２】
幾何学的位置特定アルゴリズム
図６２は、MMR書類500及びMMRシステム100bを用いる本発明の一実施例による方法6200のフローチャートを示す。
【０４４３】
本方法6200は書類又は書類の表現を捕捉することから始まる(6210)。書類は或る地理的な(幾何学的な)位置情報を含んでいる。書類の具体例は例えば以下のものを含む：（１）HTMLファイル(例えば、グーグルマップのウェブサイト)；（２）ロケーションのアドレス又は名称を含む書類(例えば、自然史博物館への道路説明を含むPDFファイル等)；及び（３）特定の地理的領域に関する印刷書類(例えば、ロンリープラネット社により出版されているローマ市ガイド等)。
【０４４４】
書類は様々な方法で取得可能である。書類を捕捉する方法の具体例は以下の（１）〜（４）等を含む：（１）PD捕捉モジュール318（又は等価的に、図３７−４７に関して説明済みのMMR印刷アーキテクチャ等）を介して、MMRコンピュータ112のオペレーティングシステム内で印刷所類のテキストレイアウトを自動的に捕捉することによって、書類が取得されること；（２）MMRコンピュータ112の印刷ドライバ316内で印刷所類のテキストレイアウトを自動的に捕捉することで、書類が取得されること；（３）例えば、MMRコンピュータ112に接続されている標準的な書類スキャナ装置127を介して紙書類をスキャンすることで、書類が取得されること；及び（４）印刷書類の表現であるファイルをMMRコンピュータ112に、自動的に又は手動的に、転送、アップロード又はダウンロードすることで、書類が取得されること。捕捉ステップは印刷所類の全部又はほとんどを取得するように説明されているが、捕捉ステップ6210は印刷書類の最少部分だけについて実行されてもよいことが理解されるべきである。更に、本方法はこのステップで1つの書類を捕捉する観点から説明されているが、このステップは多数の書類を捕捉し、書類のライブラリを形成するように実行されてもよいことを当業者は認識するであろう。
【０４４５】
例えば、MMRユーザ110は、あるレストランで夕食をとる予定があり、MMRコンピュータ112及びユーザのプリンタ116を利用し、レストランのメニューを含むHTMLファイルを印刷する。PD捕捉モジュール318は、印刷されたメニューのテキストレイアウトを捕捉することで、そのHTMLファイルの印刷表現を捕捉する(6120)。
【０４４６】
捕捉ステップ6120が実行されると、本方法6200はその書類について索引付け処理を実行する(6212)。索引付け処理は、書類の対応する電子表現と、捕捉された第１書類又はその一部に一致する入力の関連する第２メディアタイプとの同定を可能にする。位置実施例でのこのステップでは、書類索引付け処理は、PDインデックス322を生成するPD捕捉モジュール318により実行される。索引付け処理の具体例は、以下の（１）〜（６）等を含む：（１）印刷書類のキャラクタのｘ−ｙ座標が索引付けされること；（２）印刷書類のワードのｘ−ｙ座標が索引付けされること；（３）印刷書類中の画像又は画像の一部のｘ−ｙ座標が索引付けされること；（４）OCR画像処理が実行され、それに応じてキャラクタ及び/又はワードのｘ−ｙ座標が索引付けされること；（５）表現されたページの画像の中で特徴抽出が実行され、その特徴量のｘ−ｙ座標が索引付けされること及び（６）あるページのシンボリックバージョンについて特徴抽出がシミュレートされ、その特徴量のｘ−ｙ座標が索引付けされること。索引付け処理6212は、本発明のアプリケーションに依存して、上記何れかの又は一群の索引付け処理を含んでよい。書類イベントデータベース320は、索引付け処理の結果と共に書類(又は書類の表現)を格納する。
【０４４７】
上記のレストランの例に関し、メニューを含むHTMLファイルが印刷されると、PD捕捉モジュール318は、HTMLファイルの印刷表現について索引付け処理を実行し(6212)、その印刷表現についてPDインデックス322を生成する。メニューの印刷表現及びPDインデックス322の双方が、書類イベントデータベース320に格納される。
【０４４８】
捕捉ステップ6210が実行されると、本方法6200は、関連する地理的位置を確認するためにその書類について抽出処理を実行する。一実施例における抽出ステップ6214では、書類分析モジュール326は、書類を分析し、組み込まれている地理的な関連情報(例えば、ハリデービルディングのような位置を表現するエンティティ名や住所等)を特定する。住所(アドレス)は必ずしも郵送の住所の形式でなくてよく、交差する通りや都市名だけでもよい。書類分析モジュール326は、特定したエンティティ名に対して、エンティティ名判定プロセスを適用し、そのエンティティの住所又は緯度及び経度の指標を確認する。書類分析モジュール326は、グーグルアース(Google  Earth)で使用されているような商用データベースを用いてエンティティ名判定プロセスを行ってもよい。
【０４４９】
位置関連情報は地理的な場所に変換可能である。例えば、住所及びロケーション名は、グーグルアースで使用されているような地理データベースを使ってそれらの対応する経度及び緯度の指標に変換されてもよい。書類分析モジュール326は、地理的なロケーションをMMRユーザ110の捕捉装置106に送信可能である。地理的なロケーションは、捕捉装置106のストレージ装置216に格納可能である。
【０４５０】
抽出ステップの他の実施例では、地理的なロケーションがMMRユーザ110によって用意されてもよい。例えば、ロンリープラネット出版社が、旅行案内書中の場所及び地図の経度及び緯度の座標及び／又は住所を含む地理的なロケーションを用意してもよい。ロンリープラネット出版社は、書類オーサリング部442を使って、旅行案内書各々のMMR書類500を作成し、旅行案内書中の場所や地図についてホットスポットを作成し、地理的なロケーション情報をMMR書類の第２媒体の部分に加え、その地理的なロケーションを対応するホットスポット506に関連付ける。MMRユーザ110が旅行本のページで装置106を捕捉すると、書類フィンガープリント照合モジュール226はパターンマッチングを実行し、そのページについてのホットスポット506と共に旅行案内書のMMR書類500を確認し、ロンリープラネット出版社により用意されている関連する地理的ロケーションを抽出する。書類フィンガープリント照合モジュール226は、地理的な位置情報を捕捉装置106に転送してもよい。
【０４５１】
更に別の実施例の抽出ステップでは、地理的なロケーションが、書類のメタデータで用意されてもよい。例えば、HTMLファイルの場合、地理的なロケーション情報は、スパンタグ(SPAN  tag)のようなHTMLタグで用意されてもよい。ある属性“EXECUTE_WHEN_PRINTED”を伴うスパンタグは、コマンド及びパラメータを含む引用された文字列(ストリング)を示すことができる。スパンタグ等を含む書類が印刷される場合、そのタグは印刷される書類上で必ずしも表示される必要はない。しかしながら、コマンド及びそのパラメータ(例えば、属性“EXECUTE_WHEN_PRINTED”と共にスパンタグによって表現される)は、書類分析モジュール326で分析され、HTMLファイルのMMR書類の第２媒体部分に格納され、印刷所類のタグ付けされたセクションに関連付けされる。ロケーション依存性のタグは、関連するセクションについて地理的位置情報を指定し、選択的にアクション(捕捉装置106のロケーションに基づいて引き起こされてもよい)を用意してもよい。
【０４５２】
例えば、以下はロケーション依存性のタグを伴わないHTMLファイルのコンテンツである：
<HTML>
<BODY>
メイン及びチェリー通りのコーナーレストランには、特別なハバネロブリトー料理がある
（The  Corner  Restaurant  at  Main  and  Cherry
Has  a  special  habanero  burrito.）
</BODY>
</HTML>。
【０４５３】
ロケーション依存性のタグを挿入した後、HTMLファイルのコンテンツは次のようになる：
【０４５４】
【数５】
2009506395.tif 000007
書類分析モジュール326は、コマンド(“SEND_TO_PHONE”)と、その書類から送信されるべきコンテンツ
(“COMMAN=PROVIDE_GUIDANCE  LAT=24:36:21  ;PMG=56:45:06  THRESH=1km  OUTPUT=audio”)とを抽出することができる。書類分析モジュール326は、MMRユーザ110の捕捉装置106にその書類を送信することもできる。この場合、書類はロケーション依存性のタグであり、ユーザがコーナーレストランから１キロメートルの範囲内にいた場合、そのタグはレストランに至る音声案内を起動する。
【０４５５】
HTMLで用意されるコマンドが、方法6200で説明されているような地理的ロケーション用途以外の用途を持っていてもよいことを当業者は認識するであろう。例えば、コマンドは、HTMLタグで(又は書類中の他の場所で)指定されている予約を追加することで、ユーザのカレンダを更新するよう構成されてもよい。コマンドは、コンタクト情報と共にコンタクトマネジャを更新し、ユーザ及び指定された者に(例えば、電子メール及び／又はボイスメールで)通知を送信し、書類が印刷されたこと及びシュレッダに書けるべきことを助言する。
【０４５６】
上記のレストランのメニューの例の場合、書類分析モジュール326は、HTMLファイル中のスパンタグから地理的なロケーション情報を取り出し、MMRユーザ110のカメラ付き携帯電話にその情報を送信する。或いは、書類分析モジュール326は、メニューの画像表現をカメラ付き携帯電話に送信してもよい。代替実施例では、スパンタグは、図３７−４７に関して説明済みのMMR印刷アーキテクチャにより抽出され、データベース3750(等価的に、MMRデータベース34A)に保存され、書類の印刷に応答して無意識的なアップロード部446により捕捉装置106に送信されてもよい。
【０４５７】
抽出ステップ6214が実行されると、本方法6200は確認処理を実行し(6216)、捕捉装置106の地理的なロケーションを特定する。図２Ｅで説明されたように、捕捉装置106のGPS装置242は、捕捉装置の地理的なロケーションを三角測量法でリアルタイムで判定してもよい。地理的位置を特定する代替法は、図１Ｂの142に関して言及されており、捕捉装置142にGPS装置は必須でない。
【０４５８】
上記のレストランのメニューの場合、MMRユーザ110は、カメラ付き携帯電話及び印刷されたメニューと共にレストランまでドライブする。カメラ付き携帯電話のGPS装置242(又は、地理的位置を特定する代替例)は、MMRユーザ110がレストランに近づくにつれてその電話の位置をリアルタイムで確認する。MMRユーザ110は印刷されたメニューを必ずしも携えなくてよいことに留意を要する。なぜなら、そのカメラ付き携帯電話は、書類分析モジュール326により前もって受信したメニューの画像表現のコピーを持っているからである。
【０４５９】
最終的に、抽出した地理的な位置及び捕捉装置106の地理的な位置に基づいて並びに選択的にユーザ入力に基づいて、方法6200はあるアクションを実行する(6128)。一実施例では、本方法6200は、抽出した地理的な位置に関連するアクションを探し、例えばそのアクションは、関連する地理的な位置と共に捕捉装置106のストレージ装置216に格納されている。アクションは、書類分析モジュール326により、その地理的位置と共に捕捉装置106に送信可能である。或いは、そのアクションは予め決められているアクションでもよい。所定のアクションの具体例は、次の（１）〜（３）等を含む：（１）関連する地理的な場所にいたる方角情報を用意すること；（２）書類イベントデータベース320、インターネット又はそれ以外の場所から情報を取り出すこと；及び（３）その地理的な場所に関連するアクションを実行すること。ステップ6218が実行されると、本方法は完了し、終了する。
【０４６０】
一実施例では、本方法6200は、抽出した地理的ロケーションを、ストリートナビゲーション機能を有する第三者ソフトウエアに送信することでアクションを実行する(6218)。第三者ソフトウエアモジュール228は、GPS装置242により用意される位置データに基づいて、抽出した地理的ロケーションまでMMRユーザ110を案内することができる。或いは、捕捉装置106は、抽出した地理的ロケーションを外部装置(例えば、MMRユーザの車の中のGPSシステム)へ、Wi-Fi技術134又はブルートゥース(登録商標)技術と共に、無線通信リンク218を介して伝送することができる、或いはその外部装置に至る有線コネクションによって伝送することができる。
【０４６１】
捕捉装置106は、以前に使用した地理的ロケーションを利用して、MMRユーザが近くにいる場合にMMRユーザ110に注意を喚起することができる。或いは、MMRユーザ110がMMRナビゲーションサービスを用いて地下鉄のレストランを以前に訪れたことがあった場合、捕捉装置106は、ユーザの位置に基づいて、地下鉄のレストラン近辺のロケーション情報をユーザに与えることができ、そのロケーション情報の中に、以前に訪れたその地下鉄のレストランが含まれていなかった場合でさえ与えることができる。抽出済みの適用可能なロケーションが複数存在していた場合、捕捉装置106はディスプレイ212を介して１つを選択するようにMMRユーザ110を促すことができる。
【０４６２】
別の実施例では、方法6200は、捕捉装置106のディスプレイ212でMMRユーザ110に狭く標的を絞り込んだ広告を提供することでアクションを実行する。例えば、方法6200は、抽出した義理的ロケーション近辺に地理的に位置する会社の広告を用意し、提供されるサービス及び製品の意識をMMRユーザ110に与える。方法6200は、抽出した地理的な場所と、MMRユーザ110の現在位置との間に位置する会社の広告を提供してもよい。
【０４６３】
本方法6200は、更に、MMRユーザ110の好みによって表示されるように広告を特化してもよい。本方法6200は、ユーザが過去に印刷した書類によって、MMRユーザ110の好みを決定してもよい。本方法6200は、これらの書類を書類イベントデータベース320から抽出し、それらを処理し、書類の主題(例えば、書類のキーワードや題材)を特定してもよい。例えば、MMRユーザ110は、サンフランシスコ地域のいくつかの歴史上有名な場所を列挙する旅行地図を印刷していたとする。近くの普通のレストランの広告を表示する代わりに、本方法6200は、歴史上有名なレストランの広告を表示してもよい。そのような広告は、タイミング情報(例えば、映画館のスケジュール)及び販売促進情報(例えば、電子クーポン)を含んでもよい。そのような広告は、ローカルセルタワーを介して携帯電話サービスプロバイダにより、又は広告会社740により提供可能である。
【０４６４】
別の実施例では、捕捉装置106に伝送される地理的なロケーション情報は、地理的な場所を表すエンティティ名を含む。例えば、MMRユーザ110が、イエローストーン、ゴールデンゲート及びグランドキャニオンを含む旅行計画を印刷したとする。３箇所の経度及び緯度の座標に加えて、書類分析モジュール326は、関連するエンティティ名(「イエローストーン」、「ゴールデンゲート」及び「グランドキャニオン」)を捕捉装置106に送信する。そして、エンティティ名がこれらの場所で捕捉されたデータを注釈するのに使用されてもよい。例えば、捕捉装置106のスチルカメラ234、ボイスレコーダ236及びビデオカメラ232をそれぞれ使って、ユーザがグランドキャニオンで何枚かの写真を撮り、イエローストーンでのウォルフグローリング音を記録し、ゴールデンゲートでサンフランシスコダウンタウンのビデオを撮影したとする。捕捉装置106はGPS装置242を介して(或いは、地理的な位置を特定する代替法で)リアルタイムで位置を確認可能であるので、グランドキャニオンで写真が撮られ、イエローストーンでのオーディオクリップ及びゴールデンゲートでのビデオクリップ並びにそれらを注釈及び／又は指定することが続くことを捕捉装置は判定可能である。捕捉装置106は、写真、オーディオ／ビデオクリップをそれらが捕捉された際に捕捉装置106の地理的なロケーションと共に注釈を付け、注釈の付された地理的なロケーション情報を用いてそれらを地理的なアプリケーション(例えば、グーグルアース)に対応付ける(マッピングする)。
【０４６５】
上記のレストランのメニューの例の場合、カメラ付き携帯電話は音声ガイダンスを使ってレストランへMMRユーザ110を指図する。カメラ付き携帯電話は、近隣のレストランの広告を表示してもよい。
【０４６６】
本発明の１つ以上の実施例の少なくとも１つの形態は、ユーザの位置に関連する情報をユーザに与える方法をもたらす。本方法は、書類を取得し、その書類からロケーション関連情報を抽出し、ユーザの位置を確認し、確認した位置及び抽出した情報に基づいてユーザに情報を提供する。
【０４６７】
ある特定の実施例では、MMRシステムはユーザの位置に関連する情報をユーザにもたらす。本システムは、書類を取得し、その書類からロケーション関連情報を抽出し、ユーザの位置を確認し、確認した位置及び抽出した情報に基づいてユーザに情報を提供する。
【０４６８】
以下、別の実施例が説明される。
【０４６９】
MMR情報装置を備えたMMRシステム
図６３は、光学的捕捉を行わないMMR情報装置を含むMMRシステム例6300の機能ブロック図を示す。図６４は、図６３のMMRシステムのMMR情報装置におけるMMR書類500のメニューに関するユーザインターフェースを示す。図６５は、MMR情報装置6301に表示されるMMR書類500及びホットスポット情報に関するユーザインターフェースを示す。
【０４７０】
本実施例では、光学的捕捉及びパターン認識機能を備えた捕捉装置106をユーザは持っていない。その代わり、MMR情報装置6301は、書類中のホットスポットをユーザに指示し、ホットスポット情報をユーザに提供する。代替実施例では、MMR情報装置6301はMMR書類500及びMMR書類500中のホットスポットを格納及び表示する。MMR情報装置6301は、上記の捕捉装置106と同様な方法でMMRシステム100と通信してもよい。
【０４７１】
MMR書類500のテキスト及び画像、MMR書類500中のホットスポット識別子、並びにMMR書類500のホットスポット情報を含むMMR情報をMMR情報装置6301は格納する。ホットスポット識別子は例えばアイコン又はリンクでもよい。MMR情報装置6301でユーザは書類中のホットスポットをユーザインターフェースを使って選択する。ユーザの選択に応じて、文字、画像、音又はビデオのようなホットスポット情報をMMR情報装置6301はユーザに提供する。例えば、ユーザは図６４のユーザインターフェースを眺め、「小泉首相がグレースランドを訪問」というタイトルの記事を選択してもよい。ユーザの選択に応じて、MMR情報装置6301は、小泉首相がグレースランドを訪れているビデオやテキストを表示したり、オーディオを再生したりしてよい。
【０４７２】
ネットワークメディアサーバ114又はMMRメディアストレージ162からネットワーク128を介して、MMR情報及びホットスポット情報をダウンロードするシステムインターフェース6310をMMR情報装置6301は含んでいる。MMR情報は、テキスト、イメージ、オーディオ、ビデオ又はそれらの何らかの組み合わせ等を含んでよく、ポッドキャストの形式であってもよい。ホットスポット情報は、ホットスポットに関連する製品又はサービスを購入する他の情報を提供してもよい。MMR情報及びホットスポット情報は、MMRデータベース320としてフォーマットされてもよい。
【０４７３】
MMR情報装置6301は、ユーザインターフェース6311を使ってMMR情報及びホットスポット情報をユーザの検索に備えて蓄える。一実施例では、MMR情報装置6301はカタログ、雑誌、新聞及び定期刊行物(ユーザが加入しているもの)に関するMMR情報及びホットスポット情報をダウンロードする。ユーザは、MMR情報装置6301に又はMMRコンピュータ112を介してダウンロードする情報を選択してもよい。MMR情報装置6301は、ユーザが情報を選択する際その情報をダウンロードしてもよいし、或いはその情報を後で(あたかもMMR情報装置6301がMMRコンピュータ112に接続されているかのように)ダウンロードしてもよい。
【０４７４】
MMR情報装置6301は、ホットスポットに対応するメニュー項目をユーザが選択したことに応じて、ホットスポット情報のテキストおよびMMR書類500の選択可能な部分のメニューを表示するディスプレイ6312を含む。図６４に示される一実施例では、メニューはホットスポットを含む新聞中の記事を含む。選択可能な部分は、MMR書類500全部の又は一部のテキストを含み、且つこれらの部分の中にホットスポットのインジケータを含んでもよい。図６５は、MMR書類中の記事のテキスト全体及びホットスポット6501を表示するユーザインターフェースを示し、そのホットスポットは書類中の(例えば、図５の)ホットスポット506のようなものである。ユーザは、ホットスポットを選択し、関連するホットスポット情報を取り出してもよい。上側のホットスポットは、記念館見学のパラグラフに関連し、そのホットスポットを選択すると、首相がエスコートされながらグレースランドを訪問した部分の音声又は映像を再生することを、MMR情報装置6301が引き起こす。下側のホットスポットは、首相が歌ったことのパラグラフに関連し、そのホットスポットを選択すると、首相の歌の音声又は映像を再生することをMMR情報装置6301が引き起こす。
【０４７５】
一実施例では、ユーザインターフェース6311及びディスプレイ6312は同じ装置である。
【０４７６】
MMR情報装置6301は、例えば、オーディオプレーヤ6315、ビデオプレーヤ6316又は双方を含んでもよい。
【０４７７】
一実施例では、オーディオプレーヤ6315は、ホットスポットに対応するメニュー項目をユーザが選択したことに応じて、そのホットスポット情報の音声を再生する。例えば、MMR書類500は、博物館や映画等のようなエンターテイメントを含み、ホットスポット情報は、開館時間、説明又は電話番号等の音声でもよい。一実施例では、ビデオプレーヤ6316は、ホットスポットに対応するメニュー項目をユーザが選択したことに応じて、そのホットスポット情報の映像を再生する。例えば、MMR書類500は映画リストを含み、ホットスポット情報は選択された映画の予告でもよい。
【０４７８】
一実施例では、MMR情報装置6301はオーディオディジタル変換器6317を含み、マイクロフォン6318を介してユーザから受信した音声コマンドをユーザコマンドに変換する。MMR情報装置6301は、変換されたユーザコマンドに応答して、MMR書類の一部又はメニュー項目の選択を制御する。ユーザはMMR情報500からテキストを読み取る。MMR情報装置6301はその音声をテキストに変換し、そのテキストを格納済みのMMR情報と比較する。
【０４７９】
図６６は、MMR情報装置6301の処理に関するフローチャートを示す。MMR情報及びホットスポット情報はメモリ6313に格納されている(6602)。プロセッサ6314は、図６５に示されるように、ディスプレイ6312に示されるホットスポットと共に、MMR書類500の一部を表示する(6604)。ユーザインターフェース6311でのユーザの選択(6606)に応答して、プロセッサ6314は、ディスプレイ6312にテキストやビデオのようなホットスポット情報を、又はオーディオのようなホットスポット情報を提供する。
【０４８０】
図６７は、光学的捕捉を行わないMMR情報装置6301及び捕捉装置106を含むMMRシステム例の機能ブロック図を示す。
【０４８１】
MMRシステム6700はMMRシステム6300と類似しているが、捕捉装置106を更に含んでおり、捕捉装置はMMR情報装置6301から情報を受信し、MMR書類500中のホットスポットの位置を特定する際ユーザを支援する。
【０４８２】
捕捉装置106及びMMR情報装置6301は、無線通信、赤外線通信又は聞き取れないオーディオ等により互いに直接的に通信する。
【０４８３】
代替実施例では、捕捉装置106及びMMR情報装置6301の一方のみがMMRシステム100と通信し、情報を他の装置に転送する。
【０４８４】
代替実施例では、捕捉装置106及びMMR情報装置6301が統合された装置として形成される。
【０４８５】
一実施例では、捕捉装置106はホットスポットを検出し、装置6301が関連するホットスポット情報を抽出することに備えてコマンドをMMR情報装置6301に送信する。一実施例では、MMR情報装置6301は、図６３に関連して説明済みのホットスポット情報を提供してもよい。代替実施例では、MMR情報装置6301はユーザに提供するためにホットスポット情報を捕捉装置106に送信してもよい。代替実施例では、MMR情報装置6301は、MMRシステム100と通信するまで、ホットスポットから導出されたコマンド(例えば、MMR書類500に示されている製品を購入するコマンド)の実行を遅らせてもよい。
【０４８６】
捕捉装置106は、MMR書類500を特定し、ホットスポット情報を求めるリクエストをMMR情報装置6301に送る。MMR情報装置6301は情報を捕捉装置106に送信し、MMR書類500中のホットスポットを特定するユーザを支援する。その情報は、(例えば、赤い透明なオーバーレイのような)ホットスポットのロケーションを表す図形を選択的に含む書類の図形画像を含んでもよい。ホットスポットのロケーション及びコンテンツのテキスト表現が用意されてもよい。
【０４８７】
別の実施例では、MMR情報装置6301及び捕捉装置106の間でメモリが区分けされ、MMR書類及びホットスポット情報を格納する。
【０４８８】
一実施例では、MMR書類情報及びホットスポット情報を表示するディスプレイを、捕捉装置106又はMMR情報装置6301は含まない。装置106，6301は表示する情報を用意するために互いに通信する。
【０４８９】
図６８は、MMRシステム6700の処理に関するフローチャートを示す。ダウンロードの一部として、プロセッサ6314はMMR情報及びホットスポット情報をメモリ6313に格納する(6802)。MMR情報装置6301はホットスポットのロケーションを捕捉装置106に与える(6804)。捕捉装置106はホットスポットを検出する。ユーザが捕捉装置106でホットスポットを選択すると(6806)、捕捉装置106は、要求されるホットスポット情報の検索を求める検索信号をMMR情報装置6301に伝送する。MMR情報装置6301は、テキスト、イメージ又はビデオのようなホットスポット情報をディスプレイで、又はオーディオのようなホットスポット情報を提供し(6810)、或いはそのホットスポット情報を捕捉装置106に伝達する。
【０４９０】
本発明の１以上の実施例の少なくとも１つの形態は、混合メディアリアリティ(MMR)システム及び関連方法をもたらす。本発明のMMRシステムは少なくとも２種類のメディアを含む混合メディア書類を形成する手段を提供し、そのメディアは、印刷される用紙を第１メディアとし、電子形式のテキストやデータ、ディジタルピクチャ、ディジタルフォトグラフ、ディジタルオーディオファイル又はウェブリンクを第２メディアとしてよい。更に、本発明のMMRシステムは、携帯可能な電子装置(ポータブルビデオ又はオーディオプレーヤ等)と紙書類との組み合わせを考慮したビジネス方法を促す。本発明のMMRシステムは、MMRプロセッサ、捕捉装置、通信手段及びMMRソフトウエアを含むメモリを有する。MMRプロセッサは、メディアタイプのストレージ又はソース、入力装置及び出力装置に結合されていてもよい。MMRソフトウエアはMMRプロセッサにより実行可能なルーチンを含み、付加的なディジタルコンテンツと共にMMR書類にアクセスし、MMR書類を作成又は修正し、その書類を用いて商取引、データ問い合わせ、報告等のような他の処理を実行する。MMRシステムはMMR情報装置を含み、MMR情報装置に入力された又は捕捉装置から与えられたユーザの選択に応じて、MMR書類に関連するダウンロードされたMMR情報を検索に備えて格納する。
【０４９１】
混合メディアリアリティ(MMR)システムは、少なくとも２種類のメディアを含む混合メディア書類(例えば、印刷された用紙を第１メディアとし、ディジタルコンテンツ及び／又はウェブリンクを第２メディアとする)を作成する手段を提供する。MMRシステムは少なくとも２種類のメディアを含む混合メディア書類を作成する手段を提供し、混合メディア書類は、例えば、印刷された用紙を第１メディアとして、ディジタルフォトグラフ、ディジタルムービー、ディジタルオーディオファイル又はウェブリンクを第２メディアとして含む。更に、MMRシステムは或るビジネス方法を促し、その方法は、携帯用ビデオプレーヤ又は携帯用オーディオプレーヤのような携帯用電子装置と、その携帯用電子装置に情報を提供するための紙書類との組み合わせを利用する。
【０４９２】
以下、他の実施例が説明される。
【０４９３】
ボイスメール
図６９は、ホットスポット情報を処理するボイスメールサーバ6902を含むMMRシステム6900のブロック図を示す。
【０４９４】
ボイスメールサーバ6902は、MMR書類500に関連するホットスポット情報を、ボイスメールの形式でユーザに提供する。MMRシステム100はボイスメールコンテンツをボイスメールサーバ6902に提供する。ユーザはホットスポット情報を更新するためにボイスメールコンテンツを用意してもよい。図６９−７４に示される例では、MMRシステム100はMMRシステム100a又は100bでもよい。
【０４９５】
図示の例では、レストラン、美術館又はフィルム等のようなホットスポットの特定のアイテムについて、ユーザは、賞賛又は不満のようなコメントを残してもよい。MMRシステム6900は、ボイスメールにメッセージを残す手数料をユーザに請求してもよい。
【０４９６】
一実施例では、MMR書類500は、ある個人的な広告(ボイスメールボックスに至るホットスポットリンクを与えるが、電話番号を含んではいない広告)でもよい。これは、ユーザが彼らの電話番号を公表せずに個人的な広告を設け、応答者がボイスメールを残すことを可能にする。
【０４９７】
別の実施例では、MMR書類500は注文をとるホットスポットを有する広告を含んでもよい。ユーザは、注文の詳細をボイスメール及び広告をおいているエンティティ(注文を処理するためにメッセージを取り出すことの可能なエンティティ)に残す。
【０４９８】
MMRシステム6900は、ユーザの用意したボイスメールを使ってホットスポット情報の更新を管理する。ボイスメールサーバ6902は、MMR書類500に関連するホットスポット情報をボイスメールサーバ6904に格納する。一実施例では、各ホットスポットは関連するボイスメールボックスを有する。ボイスメールサーバ6902は、ボイスメールをユーザのボイスメールボックスに用意してもよい。
【０４９９】
MMRシステム100は、ボイスメールを録音し、その録音を更新されたホットスポット情報として格納してもよい。録音には様々な技術が使用されてよく、その技術は、IBMビアボイスシステム(IBM  Via  Voice  System)のような自動音声認識ソフトウエア、人による手作業の録音、自動的な方法及び手動的な方法の組み合わせ等を含む。
【０５００】
図７０は、MMRシステム6900でホットスポット情報を更新する方法のフローチャートを示す。MMRシステム6900は、MMR書類500でユーザによるホットスポットの選択を受ける(7002)。MMRシステム6900は、ユーザリクエストを受信し、捕捉装置106からボイスメールサーバ6902へのホットスポット情報を更新する。MMRシステム6900は、ボイスメールサーバ6902とのコネクションを使って(7006)、ユーザがボイスメールサーバ6902にボイスメールを残すことを促す(7008)。ホットスポットの使用及び催促により、電話番号又はボイスメールボックス番号なしに、ユーザはボイスメールボックスにアクセスする。MMRシステム6900は、ボイスメールを分類することをユーザに促す。例えば、映画批評の場合、MMRシステム6900は、ユーザが或るコードを捕捉装置106に入力することを促し、その批評が、好ましい、好ましくない又はどちらでもないかを示すようにしてもよい。
【０５０１】
MMRシステム6900は、ボイスメールを残すための手数料を承認するようユーザに促してもよい。承認の後に、MMRシステム6900はボイスメールを受け付ける。この特徴量は、個人的な広告のような使用に応じた支払を行う用途に特に有用である。この特徴量は、ボイスメールの軽率な又は有害な利用を思いとどまらせる点でも有用である。
【０５０２】
MMRシステム6900は、捕捉装置106を介してユーザからのボイスメールを受信し(7010)、そのボイスメールをボイスメールサーバ6902に与え、ホットスポット情報を更新する(7012)。MMRシステム6900は関連するホットスポットのインデックス情報を更新する(7014)。
【０５０３】
図７１は、MMRシステム6900でホットスポット情報を検索する方法のフローチャートを示す。
【０５０４】
システム100はボイスメールホットスポット情報のユーザ検索を制御する。MMRシステム100はMMR書類500上のホットスポットのユーザ選択を受け付ける(7102)。MMRシステム100は、捕捉装置106にボイスメールホットスポットのメニューを与える。メニューは、捕捉装置106で表示されてもよし、或いはオーディオメニューでもよい。メニューはカテゴリ毎のボイスメール(例えば、好ましいコメントのカテゴリ)を含んでもよい。MMRシステム100は、メニューからホットスポットの１つをユーザが選択したことに応答して、ホットスポットに対応するボイスメールを検索し(7106)、ボイスメールを聴くユーザのためにそれを捕捉装置106に用意する。代替実施例では、MMRシステム6900はボイスメールを選択し、ユーザに提供する。
【０５０５】
MMRシステム6900は、ボイスメールを受け付ける手数料をユーザが承認することを促す。承認の後、MMRシステム6900はボイスメールのメニューを提供する。
【０５０６】
図示の例では、映画を列挙している新聞であるMMR書類500をユーザが呼んでいてもよい。ユーザは捕捉装置106と共に映画ホットスポットを選択し、その映画の批評を要求する（ボイスメッセージとして提供されてもよい。）。批評を聴いた後、ユーザは映画を鑑賞するように決心する。映画の後、ボイスメールを残すことでホットスポット情報を更新することをユーザが希望したとする。ユーザは映画を列挙している新聞を再び利用して、ホットスポットにアクセスするが、今回、ユーザはホットスポット更新リクエストを送信し、映画の批評を残す。
【０５０７】
電子メール１
図７２は、ホットスポット情報を処理する電子メールメッセージサーバ7204を含むMMRシステム7200のブロック図を示す。
【０５０８】
電子メールメッセージサーバ7204はホットスポット情報を電子メール形式でユーザに提供し、その電子メールは捕捉装置106に又はユーザコンピュータ7206にリアルタイムで配布され、或いはユーザコンピュータ7206に非同期に配布されてもよい。一実施例では、MMRシステム100及び電子メールの配信サイト間の通信チャネルは、MMRシステム100及び捕捉装置106間の通信チャネルと異なる。MMRシステム100は、電子メールのメッセージコンテンツを電子メールメッセージサーバ7204に提供してもよい。ユーザは電子メールのメッセージコンテンツを使ってホットスポット情報を更新してもよい。
【０５０９】
MMRシステム7200は、ユーザに送信された電子メールメッセージを使ってホットスポット情報のダウンロードを制御する。電子メールメッセージサーバ7204は、MMR書類500に関連するホットスポット情報を格納する。
【０５１０】
例えば、電話機、ユーザの選択した電子アカウント(個人的な又は業務用の電子メールアドレス)、(ディジタルビデオレコーダに記録するため)ケーブルテレビジョン又は衛星テレビジョン等へ電子メールメッセージサーバ7204は電子メールを送信してもよい。
【０５１１】
MMRシステム100は、通常のサーチツールを用いて問い合わせに応じてサーチを行うために電子メールを索引付けしてもよい。
【０５１２】
図示の例のように、ユーザは旅行案内書を読んでおり、より多くの情報を要求する。ユーザはホットスポットを選択し、ホットスポット情報を受ける。ホットスポット情報のサイズが大きかった場合、ユーザはホットスポット情報を電子メールで受信することを選択し、大きな画面を備えたコンピュータで又は読む書類を印刷することで、後で読むことにしてもよい。
【０５１３】
図７３は、MMRシステム7200でホットスポット情報を検索する方法のフローチャートを示す。
【０５１４】
MMRシステム7200は、MMR書類500中のホットスポットに関するユーザの選択を受け付ける(7302)。MMRシステム7200は、電子メールメッセージサーバ7204に接続し(7304)、その電子メールメッセージサーバ7204からの電子メールの宛先を選択することをユーザに促す(7306)。この催促により、ユーザは電子メールを捕捉装置106に又はユーザコンピュータ7206に方向付けてもよい。電子メールがユーザコンピュータ7206に又は捕捉装置106以外の宛先に送信されるようにユーザが選択していた場合、MMRシステム7200は、要求されたアドレスへ電子メールを送信し(7308)、確認の電子メールを捕捉装置106へ送信する(7310)。
【０５１５】
一実施例ではMMRシステム7200は電子メールに高優先度のフラグを設定できる。
【０５１６】
一実施例では、捕捉装置106はMMRシステム7200から一時的に分離されてもよい。分離されている間、捕捉装置106は後の伝送に備えてホットスポット選択内容を格納しておく。捕捉装置106がMMRシステム7200に再接続されると、捕捉装置106はMMRシステム7200に処理を求めるリクエストを送信する。
【０５１７】
図７４は、書類データベース7404を含むMMRシステムのブロック図を示す。MMRシステム7400は、MMRシステム7200と似ているが、更に書類データベース7400を含んでいる。書類データベース7404は、ユーザによって読み取られるMMR書類500を格納し、ユーザによって選択されるホットスポット情報を格納する。書類データベース7404は、ユーザにより索引付けされ及び探索可能になる。書類データベース7404はユーザにとっての見解を格納する。
【０５１８】
図７５は、書類出荷データベース7404を含むMMRシステム7500のブロック図を示す。
【０５１９】
MMRシステム7500は、MMRシステム7200と似ているが、書類出荷データベース7504を含んでいる。書類出荷データベース7504は、製品又はサービスの売り主のMMR情報を格納している。この実施例では、MMRシステム100は、書類出荷データベース7504へのユーザアクセスを用意する。書類データベースは、MMR対応の旅行案内書のデータベースを提供する旅行案内出版社でもよい。書類出荷データベース7504から書類を取り出すようにユーザはMMRシステム100に要求し、その書類は、非同期に送信されてユーザに提供されてもよい。書類のプロバイダはホットスポット情報を電子メールでユーザに送信してもよい。
【０５２０】
一実施例では、書類出荷データベース7504は、インターネットやインターネットサーチエンジンによってはアクセスされない。その書類出荷データベース7504はMMRシステム100を介してアクセスされる。
【０５２１】
別の実施例では、書類は固有の電子製品コード(EPC:  Electric  Product  Code)又は同様なコードを利用して、各ページを一意に区別し、書類を区別し、書類出荷データベース7504中の書類を見つける。
【０５２２】
別の実施例では、印刷所類のページ全体又はその一部分が、印刷書類に固有の識別子を作成するのに使用される。要求されたホットスポット情報を特定するために、固有の識別子は、画像の代わりに書類出荷データベース7504に送信される。
【０５２３】
代替実施例では、MMRシステム7200，7400，7500はボイスメールサーバ6902を更に含み、電子メールだけでなく音声メールとしてホットスポット情報を処理する。
【０５２４】
本発明のMMRシステムは少なくとも２種類のメディアを含む混合メディア書類を形成する手段を提供し、そのメディアは、印刷される用紙を第１メディアとし、電子形式のテキストやデータ、ディジタルピクチャ、ディジタルフォトグラフ、ディジタルムービー、ディジタルオーディオファイル又はウェブリンクを第２メディアとしてよい。更に、本発明のMMRシステムはビジネス方法を促し、その方法は、カメラ付き携帯電話のような携帯用電子装置と紙書類との結合を利用する。本発明のMMRシステムは、MMRプロセッサ、捕捉装置、通信手段及び(MMRソフトウエアを含む)メモリを有する。MMRプロセッサは、メディアタイプのストレージやソース、入力装置及び出力装置に結合されてもよい。MMRソフトウエアはMMRプロセッサで実行可能なルーチンを含み、追加的なディジタルコンテンツと共にMMR書類にアクセスし、商取引、データ問い合わせ、報告等のような他の処理を書類を使って実行する。MMRシステムはボイスメールサーバ又は電子メールサーバを含み、ボイスメール又は電子メールをそれぞれ使って、印刷書類に関連する情報を提供する。
【０５２５】
混合メディアリアリティ(MMR)システムは、MMRユーザ、MMRコンピュータ、印刷された書類を作成するユーザプリンタ、ネットワーク化されたメディアサーバ、オフィスポータル、サービスプロバイダサーバ、セットトップボックスに電気的に接続された電子ディスプレイ、書類スキャナ、ネットワーク、捕捉装置、セルラインフラストラクチャ、ワイヤレスフィデリティ(Wi-Fi)テクノロジ、ブルートゥース(登録商標)テクノロジ、赤外線(IR)テクノロジ、有線テクノロジ及びジオロケーション手段を含む。MMRシステムは、少なくとも２種類のメディアを含む混合メディア書類を形成する手段を提供し、そのメディアは、印刷される用紙を第１メディアとし、ディジタルフォトグラフ、ディジタルムービー、ディジタルオーディオファイル又はウェブリンクを第２メディアとしてよい。更に、MMRシステムはビジネス方法を促し、その方法は、携帯用電子装置、ボイスメール又は電子メール、及び紙書類の結合を利用する。
【０５２６】
以下、別の実施例が説明される。
【０５２７】
図７６は、個人別のMMR書類を用いて商品又はサービスを注文するのに使用する本発明によるMMRシステム例の機能ブロック図を示す。商用に印刷された個人別のMMR書類を使って、フルフィルメントハウス(fulfillment  house)(通信販売会社)により商品又はサービスの注文をとって処理するように、MMRシステム7600は構築される。図７６は商品又はサービスを注文するためにMMRシステム7600と共に個人別MMR書類7601を利用する例を示すが、個人別のMMR書類7601は他の如何なるタイプの商取引に使用されてもよいことに留意を要する。MMRシステム7600は、図１Ａに示されているMMRシステム100aと概ね同じであるが、個人別のMMR印刷書類7601と共に使用するフルフィルメントハウス7602及びオーダー処理データベース(DB)7604を更に含む点で異なる。
【０５２８】
個人別のMMR印刷書類7601は、例えば図１Ａ，１Ｂ，４及び５２等に図示されているMMRシステム及び方法に応じて印刷されるMMR書類である。MMR書類7601は、書類の1つ以上のホットスポット又はその一部分を含み、書類を特定する他のホットスポットに加えて、書類のユーザを又は各人を一意に識別する。ホットスポットは上述した他のMMR書類と同様にPDインデックス322(又は、等価的にMMRデータベース3400)で索引付けされそこに格納される。一実施例では、MMR書類7601は、商品又はサービス(本、雑貨、パック旅行、家屋修理サービス等)を注文するための印刷されたカタログであり、そのカタログに関連する一人以上のユーザ又は個人を識別するホットスポットだけでなく、書類(カタログ)を識別するホットスポットのテキストやイメージを含む。
【０５２９】
ホットスポットがテキスト又はイメージの識別子を含み、その識別子は書類に関連する一人以上のユーザ又は個人を識別するという意味において、MMR書類7601は「個別化」されている。例えば、書類7601は書類7601の受領者の名前及びアドレスを含み、それらはユーザの身元に関するホットスポットとして認識可能である。例えば別の例として、書類7601はバーコードその他の識別番号又は画像を含み、それらがユーザの身元に関するホットスポットとして認識されてもよい。特定の実施例では、ユーザの識別情報は、書類上のメーリングラベルとして表れてもよい。ラベルのOCR(光文字認識)により又は郵送のバーコード(合衆国でポストネットバーコードとして知られている)を認識することにより、ユーザが識別されてもよい。メーリングラベルは、バーコードその他の情報(例えば、印刷されたテキスト)を含むことが可能であり、カタログの特定の版(例えば、サンフランシスコ湾岸地域のビクトリアシークレット社のカタログ−2006年11月号)を区別する。こうして、メーリングラベルは、データベースで個人ユーザ(カタログの宛先)及びカタログ自体を識別する情報を含む。これは、ユーザの識別情報及びカタログ内のホットスポットのリストを取り出すのに十分である。ホットスポットデータは、カタログ中の品目の識別子、品目が表れるページ、その品目を注文するのに必要な情報を含む。捕捉装置106上のユーザインターフェースは、この情報を使って、商品又はサービスを注文する機能を提供する。或いは、ホットスポット情報が画像特徴に関する情報を含み、その画像特徴は、MMR認識システムによる以後の比較ステップで使用されるホットスポット各々に対応するようにしてもよい。
【０５３０】
更に別の例の場合、書類7601はユーザの身元に関する別個のテキストやイメージを含まないが、書類のオリジナルのテキストに表れるマイナーな差異(例えば、書類7601に元々含まれているテキスト及びイメージの形状、フォントサイズ、向き、色等)を含み、その差異がユーザの身元に関するホットスポットとして認識可能である。具体例は、見栄え、形状、フォントサイズ、向き、色等におけるマイナーな差異を含むように、カタログ内の品目の説明を用意することであり、ユーザは、その個別化されたMMR書類7601における相違を容易には認識できないが、MMRシステム7600は、書類のフィンガープリントとホットスポットを照合することでユーザを認識できる。一実施例では、フォント及び色等のような画像特性の組み合わせが、データベース7622でユーザ識別情報に関連付けられる。例えば、カタログはOCR-Aフォントで青色の#86Aインクでホットスポットと共に印刷されてもよい。フォントと色の組み合わせは、関連するカタログの送付先であるユーザにデータベース7622内で関連付けられる。MMR認識ソフトウエアは、フォントと色の組み合わせについて全画像を予め処理し、そのフォントと色の識別子をオーダー処理データベース7604に送信し、そのデータベースは、フォントと色の組み合わせを使って、ユーザの識別情報を探す。画像特徴の固有の組み合わせが、各ユーザに割り当てられてもよい。これは、カタログの受領予定者を各ホットスポットが一意に識別できるという利点を有する。キャラクタ又はワードの位置を縦に又は横に僅かな量だけずらすことで、同様な識別機能を用意することもできる。シフト量は、ディジタル情報(例えば、ユーザの身元及びホットスポット)をテキストにエンコードし、読者にはほとんど感知できないが、認識アルゴリズムによって容易にデコードできるようにする。代替実施例では、限られた群の中から画像特徴量の組み合わせが選択され、データベース7622の中で各ユーザに割り当てられる。MMR認識ソフトウエアは、それらの画像特徴量の存否を認識し、それらの身元をオーダー処理データベースに送信する(例えば、ソフトウエアは、青色の#F86AのOCR-Aフォント、或いは何らかのキャラクタ若しくはワードの位置のずれを入力画像の中で発見してもよい。)。しかしながら、ソフトウエアは、装置に格納されたプロファイルから決定されるような、装置の登録所有者、電話番号、携帯電話サービスプロバイダ5318により用意される装置の登録所有者、サービスプロバイダ5336、ケーブルTVプロバイダ5334又はMMR関連サービスの他のプロバイダのような二次的なユーザ識別情報をMMR装置106から送信する。オーダー処理データベース7604は、MMR認識システムで認識されたそれらの画像特徴量が、二次的なユーザ識別情報に対応することを確認する。捕捉装置106は、図１Ａ、１Ｂ及び２Ａ−２Ｅに示される何らかの捕捉装置にすることができる。図示の便宜上、図７６及び７７に記載されているアプリケションでの捕捉装置106はカメラ付き電話機であり、携帯電話の機能に加えて、ディジタルカメラの機能も共に含んでいる。捕捉装置106で動作する第三者ソフトウエアモジュール228は、様々なスケジュールを追跡するためのマイクロソフトアウトルック(商標)に含まれているようなカレンダアプリケーションを含���ことに留意を要する。ユーザは、個人別MMR書類7601上のホットスポット上で捕捉装置106を指示し、そのホットスポット画像をスキャンするようにする。例えば、MMR書類7601は、カタログ送付予定のユーザに対する様々な本が載っている本のカタログである。本のカタログ自体を識別するMMRホットスポットは、そのカタログに含まれている。更に、ユーザを一意に識別するホットスポットもそのカタログに含まれている。
【０５３１】
捕捉装置106の(又は代替的にMMRコンピュータ112上の)書類フィンガープリント照合モジュール226は、捕捉したホットスポット画像からホットスポット特徴量を抽出する。書類フィンガープリント照合モジュール226は、図６−３３に関して説明されているように、書類イベントデータベース320に格納されている書類指標(インデックス)にアクセスし、捕捉画像の抽出された特徴量及びインデックスを照合し、書類に関連するユーザ又は個人だけでなく、書類のデータベースから特別な個人別MMR書類7601を確認する。言い換えれば、書類(カタログ)7601の身元及び書類に関連するユーザが確認される。
【０５３２】
フルフィルメントハウスソフトウエア7602は、フルフィルメントハウスのコンピュータで実行されるソフトウエアアプリケーションを含む。例えば、個人別のMMR書類7601が本のカタログであり、フルフィルメントハウス5332はその本のカタログを使って本を販売する出版社である。フルフィルメントハウスソフトウエア7602は、注文処理ソフトウエア7610及びカレンダ同期ソフトウエア7612を含む。
【０５３３】
書類及び関連するユーザが確認されると、注文処理ソフトウエア7610はユーザ情報データベース7622にアクセスし、識別されたユーザに関するユーザ情報を取り出す。ユーザ名、住所、電話番号、クレジットカード情報その他の情報(個々のユーザに関連付けることの可能な情報)等をユーザ情報は含んでよい。
【０５３４】
オーダー処理ソフトウエア7610は、遠隔的に通信手段104を介して、捕捉装置106のディスプレイ212に注文書(図示せず)が表示されるようにする。注文書は既存の技術を用いて表示され、その技術は、例えばジャバ(Java)アプレットを使って、通信手段104を介してアプリケーションが遠隔装置上で動作するようにする。捕捉装置106は、既知の無線通信技術(例えば、捕捉装置106のカメラ付き携帯電話の電話番号)を使ってアクセス可能である。オーダー処理ソフトウエア7610は、ユーザ情報DB7622から取り出されたユーザ情報が注文書に事前に記載されているようにし、注文を完了するためにユーザがそのユーザ情報を入力しなくて済むようにする。これは、顧客にとって非常に迅速でいっそう便利な購買を体験させる。
【０５３５】
注文が完了すると、商品又はサービスの何らかのオンライン注文で一般的であるように、購入の注文が処理される。典型的には、注文処理情報(予想される又は実際の出荷日、及び予想される又は実際の配送日)が出荷情報データベースに格納される。注文処理情報は、識別されたユーザと共に出荷情報データベース7624に格納される。カレンダ同期ソフトウエア7612は、出荷情報データベース7624にアクセスし、注文処理情報を取り出す。カレンダ同期ソフトウエア7612は、捕捉装置106上で動作しているカレンダアプリケーションに、注文処理情報が加えられることを引き起こす。(例えば、出荷予定日や配送予定日のような)注文処理情報の中に何らかの変更が生じた場合、カレンダ同期ソフトウエア7612は、カレンダアプリケーション228が更新されること及びその変更を反映することを引き起こす。このように、ユーザは彼の注文の処理及び出荷をリアルタイムで効率的に追跡できる。
【０５３６】
図７７は、個人別のMMR書類を用いて商品又はサービスを注文する方法7700のフローチャートを示し、製品またはサービスカタログには、書類及びその書類のユーザを区別するホットスポット画像が組み込まれている。図７６及び７７双方を参照するに、捕捉装置106は、個人別のMMR書類7601のホットスポット画像を捕捉する(7702)。ホットスポット画像を使って、MMRシステム7600は、特定の書類及びその書類に関連するユーザを識別する(7704)。ステップ7704で取得されたユーザ識別情報に基づいて抽出されたユーザ情報で予め記入済みの注文書と共に、オーダー処理ソフトウエア7610は、通信手段104を介して捕捉装置106上で商品又はサービスの注文書が表示されることを引き起こす(7706)。
【０５３７】
ユーザは注文書を記入し、注文処理を完了させる(7708)。カレンダ同期ソフトウエア7612は、(例えば、予定されている及び実際の出荷日、又は予定されている及び実際の配送日等のような)注文の処理を追跡し(7710)、特定されたユーザの捕捉装置106で動作しているカレンダアプリケーション228にそのような処理日の追加又は変更を行い、カレンダアプリケーション228の情報が、出荷情報DB7624に格納済みの注文処理情報に同期するようにする。
【０５３８】
図７６及び７７は、商品又はサービスを購入する観点からの個人別MMR書類の利用を示すが、個人別MMR書類は他の目的に使用されてもよい。例えば、著作物の不正拡布を規制することを希望する出版社は、著作物を正当に購入した承認されたユーザの情報(例えば、ステノグラフィックコード)を印刷されたMMR書類に埋め込んでもよい。埋め込まれたユーザ情報は、承認されているユーザを識別するのに使用されてもよく、それらの書類がどのように使用されるかを出版社が追跡することを可能にし、許可なく著作物を不正に配布又は複製する者を出版社が識別可能にする。
【０５３９】
本発明の一実施例では、混合メディアリアリティ書類はホットスポット画像と共に組み込まれ、そのホットスポット画像は、書類を識別するホットスポットだけでなく、書類に関連するユーザをも一意に識別する。そのような「個人別MMR」書類は、書類に関連するユーザを識別するのに使用され、ユーザの身元に関連するユーザ情報を取り出すのに使用される。
【０５４０】
個人別MMR書類の１つの適用例は、商品又はサービスを注文することである。ホットスポットは、ユーザを識別し、識別されたユーザに関連するユーザ情報を抽出するのに使用可能である。ユーザの捕捉装置に表示されるオンライン注文書は、取り出されたユーザ情報と共に事前に処理されてもよい。更に、注文に関する情報処理が追跡され、特定されたユーザの捕捉装置上で動作しているカレンダアプリケーションが、その注文に対応する最新の処理情報を含むように更新されてもよい。
【０５４１】
ある特定の実施例では、混合メディア書類は、その混合メディア書類に関連するユーザを一意に識別するホットスポット画像を含んでもよい。製品又はサービスの注文がMMRシステムを介して混合メディア書類を使ってなされる場合、そのような個人別の混合メディア書類は、混合メディア書類のユーザを識別するのに使用される。
【０５４２】
以下、別の実施例が説明される。
【０５４３】
アクションに関するMMRユニバーサルトリガ
図５を参照しながら説明したように、MMR書類500は、一実施例では、印刷書類118の一部の表現502に加えて、関連するアクション又は第２メディア504、インデックス又はホットスポット506、及び書類全体118の電子表現508を含む。MMR書類500のこれらの構成要素502,504,506,508は、図５を参照しながら説明済みであり、従ってその説明は簡明化のため繰り返されない。MMR書類500の構造は特に有利である。なぜなら、異なるMMR書類500について異なるアクションを指定する能力は、如何なるメディアででも特定のロケーションについてMMR書類500をいくつでも生成できる機能と相俟って、MMRアーキテクチャが、追加的な処理に関するユニバーサルトリガ又はイニシエータとして機能できるようにする。言い換えれば、追加的な処理又はアクションは、MMR認識に基づいて引き起こされる又は開始されることが可能である。その追加的な処理は、有利なことに、以下の事項を考慮してカスタマイズすることができる：１）MMR認識により特定された書類，２）MMR認識により特定されたページ，３）MMR認識により特定されたページ上のロケーション，４）地理的なロケーションを含む、捕捉装置106の利用状況，５）MMRシステムに既知の又はデータベース3400に格納された外部要因，６）ユーザにより過去に行われた実行履歴，７）MMRシステム構成要素の状態又は利用可能性，８）第三者システム及びリソースの状態又は利用可能性，９）現在のユーザの識別子及び１０）応答指令を受けた又は所与のクエリに合うMMRデータベースの識別子及びロケーション。
【０５４４】
図７８を参照するに、ユニバーサルトリガとして使用するMMRシステムアーキテクチャの一例が示されている。このアーキテクチャの説明は、MMR認定がユニバーサルトリガとして使用され、ユニバーサルトリガとしてMMRの処理の一般原理を伝えるように、本発明の動作状況例としてなされる。様々な他のMMRアーキテクチャ及びコンフィギュレーションでユニバーサルトリガとしてMMR認定が使用可能なことを、当業者は以下の説明から認識するであろう。
【０５４５】
図７８に示されているように、MMRシステムアーキテクチャ例7800は、表現された書類118、ユーザ110、捕捉装置106、データベース3400、認識モジュール若しくはソフトウエア226,610及びアクションプロセッサ7802を含む。
【０５４６】
表現された書類118及びユーザ110は、上記で説明済みであり、この状況でも同様である。表現された書類118は与えられているものとする。これは、紙出力でもよいし、PC画面や電子書籍に表示されるような電子的に表現されたバージョンのものでもよい。ユーザは捕捉装置106を用いてMMRシステム7800と相互作用し、捕捉装置106は、図７８の波線で示されるように、表現された書類118から画像を生成する。捕捉装置106の多くの具体例は、既に説明済みであり、それらの何れかがこの例で使用されてよい。理解の簡明化を図るため、捕捉装置106はカメラ付きの電話機であるとする。捕捉装置106は、MMR認識モジュール226/610と通信するように及びアクションプロセッサ7802と通信するようにそれぞれ信号線7808,7804で結合される。
【０５４７】
データベース3400は、図３４Ａ−３６に関して上記で説明済みのものと同様である。データベース3400は、信号線7806によりMMR認識モジュール226と、信号線7814によりアクションプロセッサ7802と通信するように結合される。この例では、アクションプロセッサ7802は、データベース3400と別々に分離して示されている。別の実施例では、アクションプロセッサ7802は、図３４Ａに示されるようなデータベース3400の一部分でもよい。データベース3400は、図７９を参照しながら以下で更に詳細に説明される。
【０５４８】
MMR認識ソフトウエア226/610は書類118からテキストのパッチの画像を受信し、MMR認識ソフトウエア226/610は、書類(doc.i)、書類中のページ(ページｊ)及びそのページ内でパッチが現れるｘ−ｙ座標を含むMMR書類500を識別する。MMR認識ソフトウエア226/610の様々な例が説明済みであり、それらの内どれが使用されてもよい。MMR認識ソフトウエア226/610は、MMRデータベース3400と通信し、MMRデータベースは、それらのパッチに付随する「アクション」に加えて、イメージ及びテキストパッチの間の関連性(対応関係)を記憶する。
【０５４９】
アクションプロセッサ7802は、信号線7810によりMMR認識ソフトウエア226/610に、信号線7804により捕捉装置106に、及び信号線78142よりデータベース3400に結合される。アクションプロセッサ7802は或る機能を有し、その機能は、アクションプロセッサ3413を参照しながら上記で説明済みであり、図８０−８５を参照しながら以下でも言及される。アクションプロセッサ7802は、ユーザインターフェースの生成に備えてデータ及びコマンドを送信及び受信する捕捉装置106に結合され、そのユーザインターフェースは、アクションがどのように実行されるかを制御するMMRシステム7800とやり取りすること、アクションで生成されたデータを受信すること及びアクションに必要なデータを入力することをユーザ110に許可する。そのようなユーザインターフェースは、或るアクション仕様からの情報を含む。アクション仕様は、好ましくは、１つ以上のコマンド及び関連するパラメータ(アクションの実行を完了するのに必要な下位区分(サブパート)又はタスク)である。ユーザ110は、そのアクションの実行を可能にするデータを入力することができる。アクションの結果に関する情報は、MMRデータベース3400に格納され、ユーザ110に提示される。一実施例では、MMRシステム7800は、アクションに関する履歴情報(例えば、テキストブロック中のｘ−ｙ座標と共に過去に実行された時点)を格納する。
【０５５０】
MMRシステムアーキテクチャ7800は有利である。なぜなら、捕捉装置106やカメラ付き電話機を、テキストのブロックの所で指示することで、アクションが実行可能だからである。例えば、アクションは、書類のウェブバージョン中のテキスト部分に至るリンクを手動でクリックし、XML形式でテキストを捕捉装置106に取り込むことである。別の実施例では、アクションは、アクション用の或る仕様を抽出するためのリンクを手動でクリックし、そのアクションに関する仕様を取り出すことである。更に、アクションプロセッサ7802は有利である。なぜなら、データベース3400に又は他のストレージ装置にアクションに関する履歴情報を格納するからである。アクションに関する履歴情報は、テキストのブロック及び書類やページ中のｘ−ｙ座標に関連して格納される。この情報は、後に同じテキストのブロックが捕捉された場合に抽出、探索及び分析に使用されてもよい。
【０５５１】
図７９を参照するに、アクションのパフォーマンスに関連するMMRデータベース3400の部分ブロック図が詳細に示されている。図３４Ａを参照しながら説明されたように、MMRデータベース3400は、書類画像7902、アクション7904、書類画像及びアクションの(換言すれば、MMR書類500の)ｘ−ｙ座標間の関係7906を格納する。MMRデータベース3400は、動的に更新可能であり、ユーザアプリケーションはその場でアクションを追加可能であるようにしている。MMRデータベース3400は、テキストパッセージ内の任意のｘ−ｙ座標にアクションの付加を許容する。MMRデータベース3400内のエントリは、アクションにリンクしたページで構成される。リンクの「ページサイド」は特定のｘ−ｙ座標に登録される。「アクションサイド」は、データ又はやり取りのほぼ任意的な記述で構成される。MMRデータベース3400はインデックステーブル7908を含み、インデックステーブルは、MMR特徴量を書類中のそれらのｘ−ｙ座標7906に対応付ける。これは、MMR認識ソフトウエア226/610が、画像中で検出する特徴量を入力すること、それらの特徴量が表れる書類中のｘ−ｙ座標を示す出力を受信することを可能にする。そのようなデータ構造例は、図３４Ａを参照しながら上記で説明済みである。上述したように、MMRシステム7800は、複数のデータベース3400a,3400bを含んでもよい。例えば、MMRシステム7800は少なくとも２つのデータベース(共有データベース及び個人データベース)を含む。共有データベースは、アクセス権を有するユーザ全てにとってアクセス可能な情報を含む。個人データベースは、個人的なユーザにとってアクセス可能であり、所有者が他の誰とも共有することを希望しない書類のページのｘ−ｙ座標にリンクしたプライベート情報を含む。ユーザグループ間でアドホックベースで共有される他のデータベースがあってもよいことを当業者は理解するであろう。概してMMRデータベース3400は１つのデータベースとして示されているが、これらのデータベースは同一データベースの複数の部分になっていいてもよいし、全体的に分離したデータベースになっていてもよい(図示せず)。
【０５５２】
図８０は、MMR書類500のアクションを実行する本発明の一実施例による方法のフローチャートを示す。本プロセスは表現された書類118の画像を捕捉装置106と共に捕捉することから始まる(8002)。本プロセスは、特定の画像を捕捉することから始まるように説明されているが、本プロセスは捕捉装置106又は他の装置を使ってユーザ110が何らかの情報を入力することから始まってもよいこと、及び画像の捕捉は単なる例示として与えられているに過ぎないことを、当業者は理解するであろう。MMRシステム7800は、ステップ8002でシステム7800により受信した入力について認識処理を実行する(8004)。MMR認識プロセスが一致する書類を返したか否か、及び一致する書類が実行されるべきアクションを含んでいるか否かを、MMRシステム7800は確認する。MMRシステム7800がアクションを実行するには、MMRシステム7800は、ユーザが指定した実行するアクションを特定しなければならない。これは、書類及びアクション(書類中の又は書類に関連する)双方をMMRシステム7800が特定することを要する。ステップ8002で捕捉した画像と一致する書類が発見されなかったことを本方法がステップ8006で確認した場合、本システム7800は、如何なる一致も発見されなかったことを示すメッセージを作成し(8008)、例えば画像捕捉装置106のディスプレイ上で、メッセージをユーザ110に表示する。同様に、一致する書類が存在するが、その一致する書類に関連するアクションがなかったことを本方法がステップ8006で確認した場合、本システム7800は、一致する書類に関連するアクションはないことを示すメッセージを作成し(8008)、それをユーザ110に表示する。当業者は、これらのメッセージングステップ(8008)が選択的であることを認識するであろう。ステップ8008を終えると、本方法は別の画像を捕捉する本方法の始めに戻る。一方、MMR認識プロセスが、実行されるべき関連するアクションを伴うMMR書類500を生成していた場合、本方法はステップ8006からステップ8010へ進む。ステップ8010では、本方法は、アクションが自動的に実行されるべきか否かを確認する。一実施例では、MMRシステム7800に格納される各アクションは、多数の関連する設定を有するかもしれない。そのような関連する設定は、アクションが付加的ななユーザ入力なしに実行されるか否か、或いは「自動的に」実行されるか否かを特定してもよい。本方法は、実行されるアクションについての設定が、自動的な実行に設定されているか否かを確認する(8010)。アクションが自動的に実行されるべき場合、本方法はステップ8010から直接的にステップ8010に続く。しかしながら、アクションが自動的に実行されるものでなかった場合、本方法はステップ8012に進む。本方法7800は、捕捉装置106で表示するメッセージを作成し、MMRシステム7800でアクションが実行されつつあることをユーザに通知する(8012)。本方法はユーザから情報を受信する(8014)。ユーザから追加的な入力を一切要しなかった場合、メッセージはユーザにアクションの実行を通知するだけである。場合によっては、MMRシステム7800で特定のアクションを実行することは、ユーザから追加的な入力（例えば、確認）を必要としてもよい。そのような場合、MMRシステム7800は、ユーザ110に表示するメッセージを捕捉装置106に送信し、捕捉装置106は、MMRシステム7800に入力される追加情報をユーザから受信する。そのような情報は、アクションの実行に使用される様々なパラメータの確認又は選択、或いはアクションの実行に必要なデータの入力でもよい。ユーザ110及びMMRシステム7800間の相互作用は、上記で説明済みであり、そのプロセスは対話的に使用可能であり、本発明のGUIを使ってアクションの実行に必要な追加的な情報をユーザが入力することを可能にする。MMRシステム7800とのやり取りをユーザ110が完了すると、そのアクションが実行されるべきことを確認するようにユーザに尋ねる最終メッセージが、ユーザへの提示に備えてシステム7800により捕捉装置106に送信される。
【０５５３】
次に、アクションが実行されるべきことをユーザ110が確認したか否かを本方法は確認する(8016)。ユーザがアクションを実行しないように選択した場合、本方法は完了し、終了する。アクションを実行するようにユーザ110が選択した場合、本方法はステップ8018に進み、MMR書類5002より指定されるアクションを特定する(8018)。本方法は、MMR書類500で指定されるアクションを実行する(8020)。上述したように、MMR書類500は1つ以上のアクションを含み、その各々は１つ以上のコマンド及びパラメータを有する。これらのコマンド及びパラメータの具体例は、図８２Ａ及び８２Ｂを参照しながら以下で説明される。MMR書類500は、コマンドに実行に必要な1つ以上のパラメータを含み、或いはそのパラメータはユーザにより直接的に入力され、ステップ8014で本方法により受信されてもよい。MMR書類500はいくつかのコマンドを含んでよいことに留意すべきである。当業者に理解されるように、これはMMRプログラミング言語をもたらし、複雑な処理及びユーザ相互作用はMMRシステム7800により実行される(実行に対するトリガであるMMR認識だけと共に実行される。)。そのような複雑な処理及びユーザ相互作用の具体例が以下に説明される。アクションの実行が完了すると、MMRシステム7800は、そのアクションに関する履歴情報を格納する(8022)。例えば、アクションに関する履歴情報は、以下のものを含んでよい：各コマンドに関する日時、パラメータ及びコマンドの終了状態(成功、失敗、部分的な成功の様々な度合いを含む)に加えて、アクションを実行したユーザ、アクションが実行された時間、アクションを実行するのに使用したMMRシステム構成要素、アクションが実行されたコンテンツ(捕捉装置106の地理的なロケーションを含む)、アクションを実行するのに使用された外部リソース(ビジネスエンティティ5300を含む)、実行されたコマンドを含むアクションの実行履歴等を含んでよい。履歴情報がMMRシステム7800に格納されると、本方法は終了する。
【０５５４】
本発明の１つの注目に値する特徴量は、テキストの一節(パッセージ)又はテキストのブロックと共に利用することである。テキストパッセージに基づいてアクショントリガを作成するためにMMRシステム7800を利用するのに概して２つの方法がある。第１の方法では、ユーザ110が紙書類118のテキストのパッセージに所で捕捉装置106を指示し、そのテキストパッセージに以前に関連付けられていたアクションが抽出及び実行されることである。第２の方法では、携帯電話のような捕捉装置106を使ってユーザ110が或るアクションを作成し、電子書類の印刷された紙の中でテキストのそのパッセージの所で捕捉装置106を指示することで、そのアクションと電子書類中のテキストのパッセージとをリンクさせることである。アクションプロセッサ7802が入力パラメータを利用して指定されたコマンドを実行する場合、アクションは静的なものであってもよいし、或いは、アクションは、動的であってもよく、一連のステップを行うように指示したユーザ110と共に一連のコマンドを含み且つ成果が未知であってもよい。例えば、選択肢及び各選択肢に付随する結果と共に一群のリンクしたメニューが、ユーザ110に提示されてもよい。ある書類の所で捕捉装置106を指示することは、その捕捉装置106の取得する画像が、MMRシステム7800により認識されることを意味する。これは書類中のページ内でのｘ−ｙ座標(捕捉装置106が指示されている場所の座標)を特定する。書類中のテキストは、その書類を特定するようには含まれていないことに留意すべきである。MMR認識装置はテキストの構成(コンフィギュレーション)から特徴量を導出し、このことは我々が書類を特定することを可能にするが、これはパッチ照合について詳述したような印刷ページ上の２次元レイアウトの副産物のようなものである。これは、MMR認識を、バーコード認識又はシリアル番号認識(バーコード又は番号が、書類を特定するように明示的に含まれている)と区別する。このように本発明は特に有利である。なぜなら、印刷書類に対する追加的なマーキングは一切付加されず、また、そのような追加的なマーキングは、MMRシステムが書類中のロケーションを特定及び認識できるようにするためには一切必要とされない。
【０５５５】
本発明の別の注目に値する特徴量は、テキスト書類だけでなく非書類画像についてもアクショントリガが用意されることである。これは拡張現実(augmented  reality)に類似し、拡張現実では、捕捉された画像と、同じ場面のディジタル又は電子バージョンとが結合される。MMRアーキテクチャ7800と共に、シーン全体が一部の画像から特定可能であり、或いは或る方法と同様に何らかの本質的な又は重要な部分(視覚的に異なる又は一意の配列部分)からシーンが特定されてもよく、その或る方法は、MMRはどのテキストパッチからでも書類を特定するが、書類中のブランク領域や画像からは特定しない方法である。例えば、車の画像の場合、MMRアーキテクチャ7800は、ナンバープレートや車体番号タグからその固有の車を特定できる。テキスト書類と同様に考察すると、これは、書類に付いたバーコードから書類を特定するようなものである。MMRアーキテクチャ7800は、タイヤの溝の消耗パターンの画像から固有の車を特定してもよい。更に、１つのアプリケーションは人々を彼らの画像から特定することである。非書類入力のMMR分析は、オーディオだけでなくビデオを含んでもよい。人々の指紋の画像、人々の顔の画像、人々の髪のDNA、人々の歯の配列の画像、歩行中の歩き方の画像等を比較することで、人々はMMRアーキテクチャ7800により特定可能である。MMRアーキテクチャ7800は、個々のアクションを特定の指に割り当てることもできる。例えば、右の人差し指の画像であった場合、システム7800は、その指でダイヤルした電話番号のリストを抽出してもよい。同様に、音楽その他の音の場合、一連の音符からリスナーが歌を識別できるのと同様な方法で、一群の音符がMMR書類500を特定するために使用されてもよい。
【０５５６】
非書類画像のMMR認識により引き起こされるアクションを実行する方法は、オブジェクトの画像及びそのオブジェクト中のｘ−ｙ座標をアクションに関連付けるデータベース3400を作成又は用意することから始まる。或いは、音楽又は音の場合、データベース3400は、音の波形やその波形における時間をアクションに関連付ける。何れの場合もデータベース3400は、動的に更新可能であり、アクションがその場で加えられる。次に、ストレージ及び選択的な通信チャネルを含む捕捉装置106が用意される。捕捉装置106は、静止画像、ビデオクリップ又は音の記録を捕捉するように使用される。捕捉されたオブジェクトは、捕捉装置106で又はMMRプロセッサ102で分析される。次に、MMRオブジェクト及びそのオブジェクト中の位置(ポジション)が特定される。１つの画像の場合ポジションはその画像中の場所であり、ビデオクリップの場合ポジションはフレームの一部分であり、録音の場合ポジションはサンプルである。一致するMMRオブジェクトに関し、一致するポジションとともにアクションが取り出される。(アクションの)実行は、画像データの捕捉に同期してもよいし、非同期でもよい。同期したアクションの実行例は、旅行案内書から美術館の開館時間を取り出すことである。非同期の場合の実行例は、ユーザがオフィスに戻り、データをPCにアップロードした後に、会議の案内に画像を付けることである。
【０５５７】
図８１を参照するに、アクションに関する履歴情報を閲覧する本発明の一実施例による方法が示されている。本方法は、捕捉装置106と共に画像を取得し(8002)、MMR認定を実行し(8004)、書類及びロケーションを確認することから始まる。これらのステップは図８０及び他の様々な図を参照しながら説明済みであり、従って説明はここでは繰り返されない。次に、本方法は、そのロケーションに関連するアクションについての情報を求めてデータベース3400を探索する(8106)。認定プロセスの出力は、書類及びその書類中のロケーションである。この出力はデータベース3400を探索するためのクエリを生成する際の基礎として使用される。上述したように、特定のMMR書類に関連する特定のアクションが実行された時点に関連する履歴データを、データベース3400は含んでいる。更にデータベース3400は、他の情報やメタデータを格納し、限定ではないが、アクションが実行された時間、アクションが実行された回数、アクションを実行したユーザ、アクションを実行するのに使用されたリソース等を格納してよい。ステップ8106で実行されたデータベース3400のクエリに関する結果は分析され、そのアクションに関して格納された履歴情報にういての或る結論を下す。場合によっては、クエリの結果を表示に備えて捕捉装置106に単に送信するアクションプロセッサ7802と共に、このステップは省略されてもよい。最終的に、ステップ8110では、MMRシステム7800は、そのロケーションに関連するアクションについての履歴情報をユーザ110に提示し、本方法は完了し、終了する。
【０５５８】
図８２Ａ及び８２Ｂを参照するに、アクションに関するコマンドを実行する本発明の一実施例が示されている。一群のコマンド及びパラメータの例は、図３４Ａ−３６を参照しながら説明済みである。図８２Ａ及び８２Ｂに関連して説明される複数のコマンドは、同様な機能を有するので、より一般的な形式で説明される。この例では、書類の識別子、書類中のページ、及び書類中のｘ−ｙ座標を含むコマンド及びパラメータを或るアクションが指定する。特定のコマンドに依存して指定されるパラメータ、及び全てのパラメータは、必ずしも全てのコマンドにとって適してはいない。一般に、アクションに関連するコマンドを実行する本方法は、ステップ8202,8204,8206,8208,8210,8212,8250及び8252で実行されるアクションのタイプを確認し、その後にそのコマンドに特有のステップを実行することから始まる。
【０５５９】
本方法はアクションが「抽出(RETRIEVE)」コマンドであるか否かを確認することから始まる(8202)。「抽出」コマンドは、書類と共に認識されたｘ−ｙ座標にリンクしたデータを取り出す。そのデータはあるメニューを含み、メニューは、捕捉装置106で実行される以後のステップを指定する。メニューは、捕捉装置106で表示される静的なデータでもよい。その場合、本方法はMMR書類500又は他のソースからデータを取り出す(8214)。一実施例では、抽出データはMMR書類500の一部として格納される。別の実施例では、抽出データはデータベース3400に格納され、MMR書類500は、データが格納されているMMRデータベース3400内でのロケーションを指すリファレンスを含む。更に別の実施例では、抽出データはMMRシステム7800外部の離れた場所に格納され、アクションプロセッサ7802は、その離れた場所からデータを取り出すのに必要なステップを実行する。例えば、その離れた場所は、MMRシステム500外部のウェブサーバに格納されたウェブページでもよいし、ネットワークコネクション、VPNコネクション又はセキュアウェブインターフェースのような通常の通信手段を介してMMRシステム7800と相互接続可能な他の私有システム(図示せず)中のロケーションでもよい。アクションプロセッサ7802は、メニューを提示するのに必要なステップを実行し、データを受信し、ユーザ110と相互作用する。本方法は、抽出したデータを捕捉装置106に送信し、ユーザ110に提示する。ステップ8216の後に、本方法はステップ8242に移行し、これについては後述される。
【０５６０】
アクションが「抽出」コマンドでなかたことを本方法がステップ8202で確認した場合、本方法は、そのアクションが「挿入(Insert_To)」コマンドであるか否かを確認する。Insert_Toコマンドは、画像パッチで指定されたｘ−ｙ座標にデータを挿入する。会議案内は一例であり、ユーザは、捕捉装置106で捕捉したJPEGファイルのような画像ファイルを、紙書類についての電子的なオリジナル書類中のｘ−ｙ座標に付け加える。挿入コマンドであった場合、本方法はそのコマンドに関するデータを確認する(8218)。例えば、挿入されるデータは、捕捉装置106を使って入力されたテキストでもよいし、捕捉装置で取得された画像やビデオクリップでもよい。そして、本方法は、受信したデータが挿入されるべきロケーションを特定する(8220)。受信したデータが挿入されるべきロケーションは、MMR書類500の中に、MMRシステム7800のデータベース3400内のようなロケーションに、或いはMMRシステム7800に結合されたシステムから離れたロケーションにあってもよいことに留意すべきである。ステップ8220で確認されたロケーションにデータは挿入される(8222)。ステップ8222の後、本方法は後述されるステップ8242に移行する。
【０５６１】
アクションが「Insert_To」コマンドであったことをステップ8204で本方法が確認した場合、本方法は、そのアクションが「挿入(Insert_from)」コマンドであるか否かを確認する(8206)。「Insert_from」コマンドは、画像パッチで特定されたｘ−ｙ座標からのデータを、別の書類に挿入する。例えば、ユーザは、印刷出力のテキストフレーズを選択し、それらをパワーポイントファイルに付け加える。アクションが「Insert_from」コマンドであった場合、本方法はそのコマンド用のデータソースを特定する(8218)。上記の抽出ステップと同様に、データソースは、MMR書類500内に、MMRシステム7800内のロケーションに、或いはMMRシステム7800外部にあってもよい。データソースが確認される場合、このステップは、確認されたデータを抽出するステップを含んでもよい。これは上記のステップ8214に似ている。ステップ8224では、本方法はステップ8220,8222に続き、データが挿入されるべきロケーションを特定し、その挿入をそれぞれ実行する。再び、データが挿入されるべきロケーションは、MMR書類500内に、MMRシステム7800内のロケーションに、或いはMMRシステム7800に結合されたシステムにおける離れたロケーションにあってもよい。ステップ8222の後に、本方法は後述のステップ8242に移行する。
【０５６２】
アクションが「Insert_From」コマンドでなかったことをステップ8206で本方法が確認した場合、本方法は、そのアクションが「転送(TRANSFER)」コマンドであるか否かを確認する(8208)。「転送」コマンドは、ｘ−ｙ座標にリンクしたデータをソースから宛先へ転送する。ソース又は宛先はMMRクライアント装置でもよい。具体例は書類取得アプリケーションであり、所与の紙書類のPDFが取り出され、捕捉装置106に転送される。アクションが「TRANSFER」コマンドであった場合、本方法は転送のためのデータ及び/又はソースを確認し(8226)、そのデータの宛先を確認する(8228)。これらの確認ステップ8226,8228は、上記の他の確認ステップ8218,8220,8224と同様である。本方法はそのデータを宛先へ送る(8230)。ステップ8230でのデータ転送は、限定ではないが、サーバ間の伝送を介する、ファイル転送プロトコルを介する又は電子メールを介するような様々な方法の何れかにより実行されてよい。ステップ8230の後、本方法は後述のステップ8242に移行する。
【０５６３】
アクションが「TRANSFER」コマンドでなかったことをステップ8208で本方法が確認した場合、本方法は、そのアクションが「購入(PURCHASE)」コマンドであるか否かを確認する(8210)。「PURCHASE」コマンドは、書類中のｘ−ｙ座標にリンクした商品の購入を実行する。アクションが「PURCHASE」コマンドであった場合、本方法は購入される品目及び販売者を確認する(8226)。一実施例では、購入者及び品目が指定されている或いはそのアクションに対するパラメータとして符号化されている場合、このステップは必須でなくてよい。言い換えれば、特定の販売者から特定の品目を購入するアクションが予め決められていてもよい。これは、MMRシステム7800の中で異なるコマンドの数を増やすが、ユーザが捕捉装置106を使って、MMRシステム7800との相互作用の一部のように、商品及び販売者を指定する場合、ステップ5032が実行される必要がある。例えば、ワールドワイドウェブを介するオンライン取引等を用いて、本方法は、販売者から商品を購入する。MMRシステム7800は、銀行、セルラサービスプロバイダ、宅配業者等のような既存の様々なエンティティとの結合を有し、何らかの方法（従来の小売業者だけでなくオンライン小売業者をも結合する方法）で処理を完了するためにそのようなエンティティシステムと接続してよいことを、当業者は認識するであろう。処理が完了すると、本方法は後述のステップ8242に続く。
【０５６４】
アクションが「PURCHASE」コマンドでなかったことをステップ8210で本方法が確認した場合、本方法は、そのアクションが「著作(AUTHOR)」コマンドであるか否かを確認する(8212)。「AUTHOR」コマンドは、新たなアクションを作成し、画像パッチで指定されているｘ−ｙ座標にそのアクションを加える。例えば、ユーザは音声の注釈を作成し、書類中の任意のｘ−ｙ座標にそれを加える。アクションが「AUTHOR」コマンドであった場合、本方法は現在のMMR書類500を確認する(8236)。ユーザが新たなMMR書類500を作成しつつある場合、この確認ステップは、MMR書類500を作成するステップと置換される。捕捉装置106を介してユーザ110から受信した入力を使って、MMRシステム7800は、新たなアクション及びその新たなアクションについてのパラメータを確認する。このステップは１つのステップであるように示されているが、このステップは、ユーザ110への提示、反復的に捕捉装置106を介した情報のユーザ110からの受領を含んでよいことを、当業者は認識するであろう。MMRシステム7800は、特定のMMR書類500に関連するアクションをその場で修正又は作成する機能をユーザにもたらす。MMR書類500、アクション及びパラメータが特定されると、書類が既存のMMR書類500であっても或いはこの処理で作成されたものであっても、アクションが作成されてMMR書類500に加えられる。一実施例では、このステップは、新たなアクション及びパラメータをデータベース3400に格納し、データベース3400に格納されたMMR書類500にそのアクションをリンクさせることで達成される。ステップ8240の後、本方法は後述のステップ8242に移行する。
【０５６５】
アクションが「AUTHOR」コマンドでなかったことをステップ8212で本方法が確認した場合、本方法は、そのアクションが「当初パッチ(PRISTINE_PATCH)」コマンドであるか否かを確認する(8250)。「PRISTINE_PATCH」コマンドは、指定された書類の電子表現を検索し、所定の半径でｘ−ｙ座標に中心のある画像パッチを抽出する。アクションが「PRISTINE_PATCH」コマンドであった場合、本方法はMMR書類500を確認する(8254)。MMR書類500は、書類の電子表現又はそれを指すリファレンスなので、MMR書類500からの情報を使用して、書類の電子表現を検索し、電子表現から直接的に生成された画像パッチを抽出する(8256)。ステップ8256の後、本方法は後述のステップ8242に移行する。
【０５６６】
アクションが「PRISTINE_PATCH」コマンドでなかったことをステップ8250で本方法が確認した場合、本方法は、そのアクションが「アクセスデータベース(ACCESS_DATABASE)」コマンドであるか否かを確認する(8252)。「ACCESS_DATABASE」コマンドは、所与の何らかのデータベースへのアクセス制御を修正し、ユーザの捕捉装置106を使ってユーザ110がデータベースへアクセスすることを可能にする。アクションが「ACCESS_DATABASE」コマンドであった場合、本方法は、アクセスが許可されているデータベースを確認し(8259)、MMRシステム7800は、確認されたデータベースに対するアクセス権を修正し、そのユーザがデータベースにアクセスできるようにする。ステップ8258の後、本方法は後述のステップ8242に移行する。
【０５６７】
最終的に、本方法は、MMR書類500に関連する追加的なアクション又はコマンドの有無を確認する(8242)。上述したように、MMR書類500はアクション、コマンド及びパラメータをいくつ含んでもよい。コンピュータプログラミングの場合と同様に、アクションはサブルーチンと考えられてもよく、コマンドは個々の命令として考えられてもよく、パラメータは命令で使用される変数やデータとして考えられてもよい。ステップ8242では、一致しているMMR書類について何らかの追加的なアクション又は追加的なコマンドが有るか否かを本方法は確認する。無ければ本方法は完了し、終了する。一方、MMR書類500が何らかの追加的なアクション又はコマンドを含んでいた場合、本方法は次のコマンド及びそのパラメータを取り出し(8244)、ステップ8202に戻り、次のコマンドを処理する。
【０５６８】
アクションプロセッサ7802又はMMRサーバ8302(図８３参照)は、アクションの実行を順に並べるMMRアクション実行キューを含むことに留意すべきである。MMRシステム7800でのアクションの実行は、並べられたキューによって管理される。キューにアクションが入力される場合、アクションには優先度及びリソース(アクションを時候するのに必要なリソース)が関連付けられる。キューオーダリング機能は、キューを反復的に検査し、実行を待機している最優先のアクション(必要な全てのリソースが利用可能なアクション)を特定する。適切な期間内にリソースが利用可能にならなかった場合、キューの中のアクションは、期限切れになってもよい。
【０５６９】
アクションの具体例は、ユーザインターフェースアプリケーションから発行されたRETRIEVEコマンドであり、株式マーケットリストのページからのテキスト画像にリンクした株価についての最新情報を用意する。MMRアーキテクチャ7800はこれを中程度の優先度と共にアクション実行キューに挿入してもよい。現在の株価に至るリンクが利用可能ならば、このアクションは株価が受信されると直ぐに実行される。現在の株価へのリンクが利用可能でなかったならば、このアクションはタイムアウト値と共にキューの中に挿入されてもよい。株価と同様に移り変わるものに関し、タイムアウト値は３０秒程度に短くてもよい。必要なリソースがその時間内に利用可能でなかったならば、アクションは期限切れになってしまう(即ち、決して実行されない)。
【０５７０】
アクション実行キューを順序付ける別の具体例はアクションを追加することであり、テキストのパッチの画像により特定される電子書類のｘ−ｙ座標にビデオクリップを挿入する。これにはWHEN_CONNECTED(必要とするデータベースの使用を含んでもよい)の優先度が割り当てられてよい。これはユーザのPCにおけるMMRデータベースでもよく、PCは或る将来の時点で捕捉装置106に接続されるだけでもよい。タイムアウト値は無制限でもよい。なぜなら、５分後にアクションを実行するのと同様に、将来何年も後にアクションを実行することが有効であってもよいからである。
【０５７１】
MMRアクション実行アーキテクチャに特有の形態は、図６，７に示されるようなMMR書類フィンガープリント照合システムによって一時停止させられる機能である。制御構造714は、品質割当モジュール712からの入力を定常的にモニタする。制御構造が認識可能なビデオフレームを検出した場合(例えば、機械で印刷された文字に見える画像を含んでいた場合)、中断信号をプロセッサ210に送信し、現在実行中のMMRアクションを中断する。これが実行されると、書類フィンガープリント照合システムに利用可能な演算リソースは最大化するようになる。過去に中断したMMRアクションは後に再開可能である。
【０５７２】
コマンドの用途及びそれらがMMRアーキテクチャ7800に様々なアプリケーション又は用途をどのように与えるが、以下に説明される。以下の列挙は網羅的なものではなく、むしろ、達成結果、ユーザ110による捕捉装置106の利用、コマンド及びパラメータ（アクションを実行又は引き起こすのに使用される）を例示する具体例に過ぎない。
【０５７３】
会議案内：
この用途では、ユーザ110は電話106を使ってビデオクリップのようなマルチメディアファイルを捕捉し、会議案内のテキストパッチの所で指示することで、書類のオリジナル電子書類にマルチメディアファイルを付ける。テキストパッチにマルチメディアを付けるアクションは、INSERTコマンドを使って実行され、対応するMMR書類500のテキストパッチのそのロケーションにデータ及びマルチメディアファイルを加える。
【０５７４】
旅行案内書：
この用途では、ユーザ110はテキストのパッセージの所で指示することでマルチメディアファイルを取り出す。例えば、マルチメディアファイルは、テキストで記述される特定の場所における新しい展示品についてのビデオクリップでもよいし、或いは、マルチメディアファイルは、ある施設の開館及び閉館時間を示す最新のテキストでもよい。パッチにリンクしたマルチメディアファイルを取り出すアクションは、対応するMMR書類500中のテキストのパッチ位置の所でRETRIEVEコマンドを使って実行されてもよい。
【０５７５】
株式相場表：
この用途では、新聞の株のページで指示することで、ユーザ110は株視についての最新情報を取り出す。MMR書類500中のデータは、そのユーザについての個人別情報(ユーザの株式取引口座及び持ち株を含む)を指す。これは、ユーザのデスクトップPC、MMRコンピュータ112上の他のアプリケーション(例えば、Quicken(登録商標))から導出される。データ抽出(持ち株)及び金融処理(株式購入)のアクションは、より多くの株式情報を含む共有データベース中のテキストのパッチのロケーションでRETRIEVEコマンドにより開始又はトリガされる。
【０５７６】
印刷書類で商業広告と統合されたMMR
この用途での広告は、その広告に関連する製品にリンクしたMMRである。例えば、印刷された雑誌中の映画広告が、チケットを購入可能なファンダンゴ(Fandango)のウェブサイトにリンクされている。アクションは、広告にリンクした情報を取り出し、ユーザ110に課金請求し、便宜を図ることである。MMR書類が映画広告であった場合、このアクションは、対応するMMR書類500中のテキストのパッチの所でRETRIEVEコマンドにより開始又はトリガされてもよい。
【０５７７】
マルチメディアタグ付け：
この用途では、印刷書類から抽出されたフレーズが選択され、新たに捕捉されたマルチメディアに付けられる。アクションは、MMR準備書類からテキストフレーズを選択し、捕捉装置106で捕捉されたマルチメディアにそれらを付けることである。アクションはINSERT_FROMコマンドにより引き起こされ、そのコマンドは、捕捉装置106で捕捉されたマルチメディアと共にMMR書類500の中に、テキストのパッチの所のデータを挿入する。
【０５７８】
MMR書類取得：
この用途では、ユーザ110がMMRアーキテクチャ7800を利用して、書類を選択し、それを捕捉装置106に転送する。アクションは、書類の電子バージョンを確認し、サーバ114から捕捉装置106に転送することである。アクションはTRANSFERコマンドと共に実行され、そのコマンドは、サーバ114から捕捉装置106上のMMRクライアントへ、テキストのパッチの所のデータを送信する。
【０５７９】
スケジューリングアプリケーション用のMMRフロントエンド：
この用途では、ユーザは日付を捕捉し、それをMMR準備書類から選択し、その日付をカレンダ管理アプリケーションに加える。アクションは、MMR準備書類から「日付」を選択し、捕捉装置106上の別のソフトウエアアプリケーションに日付を挿入することである。アクションはINSERT_FROMコマンドにより開始され、捕捉装置106のカレンダ管理アプリケーションに、テキストのパッチのロケーションの所の日付を加える。
【０５８０】
メディアファイルを購入するユーザインターフェース(ＵＩ）としてのMMR：
この用途では、「ピープルマガジン」のような雑誌中の「デスパレートな妻たち(Desperrate  Housewives)のようなテレビ番組についてのストーリーをスキャンすることが、ユーザ110にそのシリーズのエピソードを購入するように選択肢を提示することを引き起こす。アクションは、エピソードを購入すること及びユーザのアカウント(TiVo、iPOD又はオンラインiTuneアカウント等)にダウンロードすることである。テキストのパッチのロケーションにおけるデータについてのPURCHASEコマンド及びTRANSFERコマンドによりアクションは実行され、購入ファイルはそれらのソースからユーザのアカウントへ又はディジタルビデオレコーダへ転送される。
【０５８１】
MMRによる独自性評価：
この用途では、ロゴ又は他の図形が提示され、所与のMMRデータベース中のデータに対する識別性が測定される。ロゴのデザイナーにはそのロゴの一意性に関するフィードバックが与えられる。これの一例は、アクションが再帰的であって、MMRアクションが別のMMRアクションを引き起こす場合である。これについてのトリガは、RETRIEVEコマンドであり、(テキストのパッチのロケーションにおけるデータに近い)MMR書類の数を確認し、識別度合い(識別力)を決定するために別の分析が実行される。
【０５８２】
MMRに関する協同注釈：
この用途では、複数のユーザ110が所与の書類又は書籍についてのブログに注釈を付ける(例えば、子供がハリーポッターのセクションに関する彼らの論評を交換する。)。テストの問題と答えを共有するために同じ仕組みが使用可能である。章末の練習問題が、それらの答えにリンクされる。答えは他者により与えられてもよいし、或いはその他者は本の著者による正式な回答者でもよい。アクションは、マルチメディアを抽出すること及び／又はマルチメディアを公表に備えて共有MMRデータベース3400に加えることである。このアクションを実行するのに使用されるコマンドは、データを取り出すRETRIEVEコマンド、及びテキストのパッチのロケーションにデータを置くINSERT_TOコマンドである。
【０５８３】
仲介リンク：
この用途では、モナークノート(Monarch  Note)又はクリフノート(Cliff  Note)が、シェークスピアの一節に(又は逆向きに)リンクされている。これは、作品又はセオリに関する様々な版や重要なコメントを比較するのに使用されてもよい。アクションは、様々な出版物のページ中のｘ−ｙ座標を指すポインタを取り出すことである。クリフノート中のテキストパッチのロケーションにおけるデータを求めてRETRIEVEコマンドを利用し、オリジナルの作品(スコラスティックプレス社により印刷されているシェークスピアのロミオとジュリエット等)中のテキストパッチを指すポインタを作成し、アクションは実行される。
【０５８４】
オンザフライ書類オーサリング用のMMR：
この用途では、MMR準備書類からのフレーズが選択され、ドラフトされている別の書類(例えば、パワーポイント書類)にその場で加えられる。アクションは、別書類にデータを追加すること(追加は、データを使ってINSERT_FROMコマンドと共に達成される)、及びパワーポイントファイル中のパッチのロケーションに格納することである。
【０５８５】
位置検出アプリケーション用のMMR：
この用途では、レストランチェーン店の広告をスキャンすることで、ユーザのロケーションに近いレストランのリストが提供される。アクションは、MMRの恩恵及び捕捉装置106の場所に基づいて情報を抽出することである。アクションは、テキストパッチに合致し且つ捕捉装置106の現在位置に近いデータを求めるRETRIEVEコマンドにより引き起こされる。
【０５８６】
MP3プレーヤ用のMMR：
MMRユーザが自信の捕捉装置106を書類の所で指示すると、関連するMP3プレーヤは、MP3プレーヤに以前に蓄えられていた記録を再生する。捕捉装置106は、ブルートゥースにより無線でMP3と共に通信する。アクションは、他の装置(捕捉装置106でもなく、MMRアーキテクチャ7800の一部でもない装置)でのアクションを開始することである。これを達成するためにコマンドは、RETRIEVEコマンドである。
【０５８７】
MMR(プラス)ボイスメール：
ボイスメールはMMRにより提供されるデータに関するサーバの基礎的な機能である。捕捉装置106又は他のMMRクライアント装置は、ボイスメールボックスをダイヤルし、底に格納されているメッセージを再生することでマルチメディアを取り出す。これは有利である。なぜなら、別個のサーバーのインフラストラクチャはMMRにとって不要であり、既に利用可能な他の演算リソースを多くの企業に利用できるからである。アクションは、ボイスメールシステムとの自動化されたやり取りであり、ダイヤルインを行い、ホットスポットに関連するマルチメディアを取り出す。ユーザ110はオーディオをボイスメールボックスに加えることもできる。これを行うのに使用されるコマンドは、AUTHORコマンドである。
【０５８８】
電子メールと共に統合されたMMR：
(この場合)MMRアクションの結果は、電子メールをユーザの電子メールアドレスに送付することを引き起こす起動ステップである。アクションは、電子メールメッセージを送付することになるステップを始めることである。
【０５８９】
カレンダアプリケーションと統合されたMMR：
(この場合)ユーザ110は捕捉し、システム7800は広告及び注文商品を非MMRデータベースエンティティから認識する。これは終了予定に関するリマインダをもたらし、処理がユーザのカレンダに入力される。アクションは、時間依存情報をユーザのカレンダアプリケーションに挿入することである。アクションは、PURCHASEコマンドによって起動され或いは引き起こされてもよい(その後、ユーザにとって不可視の追加的な処理がなされる。)。
【０５９０】
商用に印刷される書類で広告を個別化すること：
カタログの例の場合、個別的な広告は、個人情報(例えば、クレジットカード番号等)が広告の中で埋込にエンコードされる方法で印刷される。別の例では、刊行物の同定がなされる(例えば、カタログの番号が使用される。)。MMRプロセスによりデータが抽出され、捕捉装置106に与えられているようなユーザのidと共にサーバに伝達される。これは、MMRリクエストがそのユーザからものもであり、カタログはそのユーザ用に印刷されたものであることを保証する。アクションは、身元の確認及び処理(カタログの商品を購入すること)であり、PURCHASEコマンドにより引き起こされる。
【０５９１】
図８３を参照するに、本発明の一実施例による分散的なMMRシステムの例が示されている。分散的なMMRシステムアーキテクチャ8300は、図７８に関連して説明済みのものと同じ機能を備えた同じ構成要素をいくつか含んでいる。説明及び理解の簡明化を図るため、同様な用語及び参照番号が、図７８で説明済みのものと同様な装置を表すのに使用される。分散MMRシステム8300は、表現された書類118、ユーザ110、捕捉装置106、データベース3400、MMR認識モジュール又はソフトウエア226/610、及びアクションプロセッサ7802(MMRサーバ8302の一部分として用意されている)を含む。図示されているように、分散MMRシステム8300の構成要素106,3400,7802は、ソフトウエア群222a−cを含み、全ての機能は説明済みのものと同様である。ソフトウエア群222a-cの各インスタンスは、全ての機能と共にソフトウエア群222の完全なバージョンでもよいし、特定の構成要素で実行可能な処理に関連したソフトウエア群222の一部分だけでもよいし、それらの内の何らかの一部分でもよいことを、当業者は認識するであろう。
【０５９２】
MMRサーバ8302は、上述したような何らかのサーバの1つであり、それらの機能の全部又は任意の一部を含んでよい。MMRサーバ8302は、上述したように、追加的なロジック及び機能を含み、他のシステムと結合してやり取りしてもよい。例えば、図示していないが、MMRサーバ8302は、セルラインフラストラクチャ132、ワイヤレスフィデリティ(Wi-Fi)テクノロジ134、ブルートゥーステクノロジ136及び／又は赤外線(IR)テクノロジ138に結合されてもよい。これら及びネットワーク128等を介する他の結合は、図８３では他装置への直接的な線で示され、一般的に信号線8304として示されている。より具体的には、MMRサーバ8302は、ユーザコンピュータ112、メディアサーバ114、サービスプロバイダ122、セットトップボックス126、オフィスポータル120、第１の(１番目の)第三者(TP)サーバ8306及びｎ番目の第三者サーバ8308に結合されている。分散MMRシステム8300の構成要素のように、ユーザコンピュータ112、メディアサーバ114、サービスプロバイダ122、セットトップボックス126、オフィスポータル120、１番目の第三者(TP)サーバ8306及びｎ番目の第三者サーバ8308の各々は、MMRソフトウエア群222d-nを含む。再び、ソフトウエア群222d-nの各インスタンスは、全ての機能と共にソフトウエア群222の完全なバージョンでもよいし、特定の構成要素で実行可能な処理に関連したソフトウエア群222の一部分だけでもよい。ユーザコンピュータ112、メディアサーバ114、サービスプロバイダ122、セットトップボックス126、オフィスポータル120、１番目の第三者(TP)サーバ8306及びｎ番目の第三者サーバ8308の各々は、説明済みものと同様な機能を有する。１番目の第三者(TP)サーバ8306乃至ｎ番目の第三者サーバ8308は他のシステムを表現し、そのシステムにMMRシステム8300は相互運用可能に結合されてよいことに留意すべきである。例えば、第三者サーバ8306,8308は、銀行のシステム、ケーブル会社、法人等でもよい。
【０５９３】
分散MMRシステム8300は、多くの理由で特に有利である。第１に、ソフトウエア群222を含む多くの構成要素と共に、分散されたアーキテクチャは、MMR処理をMMRシステム8300にわたって様々な方法で分散することを許容し、MMR処理負担を他のシステム112,114,122,126,120,8306及び8308に分散できる。全ての装置又はシステム106,3400,8302,112,114,122,126,120，8306，8308はソフトウエア群222を用いてやり取りし、ユーザがMMRシステム8300とやり取りするときはいつでも、１つの首尾一貫したユーザインターフェース群が使用される。第３に、分散MMRシステム8300は、他システム114,122,126,120,8306,8308の機能をアクション及びコマンドを実行するのに使用可能にし、そのアクション及びコマンドは、分散MMRシステム8300が単独では実行できないものである。第４に、MMR照合がプロセスを始める契機として使用可能であり、そのプロセスは、他システム114,122,126,120,8306,8308で実行される。
【０５９４】
この分散アーキテクチャの１つのアプリケーションは、捕捉装置106で更に多くの演算機能を実行することである。例えば、例えば書類が複合機(多機能プリンタ)のようなサーバでコピーされた場合に、書類を自動的に翻訳し、複製された書類を捕捉装置に蓄える。同様に、何らかの1つのMMRサーバが、複製された書類にテキストトゥスピーチ(text-to-speech)を適用してもよい。これはコピー機での支援技術用の出力とすることができ、人々は使用中にコピー機の前に立っていなくてよい。コピー機のユーザインターフェースは、取り外されてもよいし、捕捉装置106に表示されてもよい。ハンデを負っているユーザは、彼らの電話ハンドセットをプラグイン接続し、それを使ってコピー機とやり取りしてもよい。音声による催促、ビープ音及び振動と共に応答がなされてもよい。ユーザは、コピー機の前に立つ前に、カメラ付き電話機でコピー機を使って練習してもよい。
【０５９５】
図８４は、他の第三者システム8306,8308の入力制御及び出力装置としてMMRシステム8300を使用する本発明の一実施例による方法のフローチャートを示す。本方法は上述したように画像を取得し(8002)、MMR認識を実行する(8004)ことから始まる。次に、本方法はMMRシステム8300の中で、特に、アクションプロセッサ7802及び第三者サーバ8306間でコネクションを設定する(8402)。次に、本方法はデータをユーザに提示する(8404)。一実施例では、これは捕捉装置106のGUIにデータを送ることで実行される。別の例では、これは、第三者サーバ8306によりユーザにデータを提示させることで行われる。例えば、第三者サーバ8306がケーブルテレビジョンインフラストラクチャであった場合、第三者サーバ8306がセットトップボックス126にデータを送信し、電子ディスプレイ124でユーザに提示するようにすることで、ユーザに提示されてもよい。これは、第三者サーバ8306がデータをユーザにどのように提示するかについての単なる一例に過ぎないことを当業者は認識するであろう。第三者サーバ8306により提供される機能及び性能に依存して、ユーザにデータを提示するのに使用可能な様々な他の手段が存在する。次に、MMRシステム8300は捕捉装置106で入力を受ける(8406)。MMRシステム8300は、プロセスを受け付け、その入力を第三者サーバ8306へ伝達する。第三者システム8306は、MMRシステム8300から入力を受信し、その入力に関するタスクを実行する(8408)。次に、第三者システム8306とのやり取りが完了したか否かを本方法は確認する(8410)。完了していれば、本方法は完結し、終了する。一方、第三者サーバ8306とのやり取りが未だ済んでいなかったならば、本方法はステップ8404に戻り、データをユーザに提示し、或いはリクエストをユーザに提示する。ケーブルテレビジョンインフラストラクチャと共にMMRを利用する例は、カメラを備えた携帯電話が、ケーブルTVシステムの装置を制御可能にする。例えば、捕捉装置106からMMRシステム8300へ、そして第三者システム8306(ケーブルテレビジョンインフラストラクチャ)へデータが入力されてもよい。第三者システム8306は、インフラストラクチャであるセットトップボックスを使って、ユーザ110と通信してもよいし、或いはMMRシステム8300及び捕捉装置106を介して通信してもよい。こうして、スクリーンの画面を捕捉し、捕捉装置106上のキーパッドを使うことで、ユーザ110は、テレビジョンに示されている商品を注文したり、セットトップボックスの動作を制御したり、請求金額を支払ったり、銀行取引を行ったり、映画を注文したり、その他様々な処理を行うことができる。これは、捕捉装置106、MMRシステム8300及び第三者サーバ8306を利用するだけである。複数の第三者システム8306,8308あがMMRシステム8300で一緒に使用される可能性のあることも、当業者は理解するであろう。
【０５９６】
図８５を参照するに、オフィス環境でMMRシステム8300を用いる方法が説明され、システム8300は第三者システム8306とやり取りを行う。本方法はMMRシステム8300に入力されるリクエストと共に始まる(8502)。このリクエストは、MMRシステム8300で用意されているオフィス環境機能へのアクセスを求める。MMRシステム8300はMMRコンピュータ112及びオフィスポータル120に結合されているので、このような状況で用意される書類に関する追加的な情報及び書類を用意することができる。更に、表現される書類が使用されるオフィス環境に関連する追加的なアクションが開始されてもよい。次に、MMRシステム8300は、そのシステム8300で利用可能なMMR書類処理の選択肢をユーザ110に提示する(8504)。そのような選択肢は、限定ではないが、以下の１）〜１３）を含んでよい：１）MMRと共にオリジナルの編集可能な形式の書類(例えば、ワードファイル)を取り出すこと；２）編集可能な形式の書類に至るパスを取り出すこと；３）書類の編集履歴を取り出すこと；４）編集可能な形式の書類と同じディレクトリ内の他の書類を取り出すこと；５）オリジナルの編集可能な形式の書類に音声注釈を加えること；６）オフィスポータルで捕捉されるような書類に関連する「イベント」を見ること；７）所与の書類の他のバージョンの物理的位置を特定すること；８）その書類が机の上にあった時になされた会話を聞くこと；９）所与の書類又はそのバージョンを印刷した他者を特定すること；１０）オンラインで又はオフラインで書類の所与のセクションを読んだ者を特定すること；１１）書類の所与のセクションを最近読んだ他者と通信すること；１２）協同で書類批評を行うこと；又は１３）他の特定の処理。
【０５９７】
本方法は次にユーザ110からの入力を受ける(8506)。本方法は、書類の履歴を取得するリクエストをユーザ110が入力したか否かを判定するステップに続く(8508)。ユーザ110が書類の履歴を要求していたならば、本方法は、その書類履歴を発見し、それをユーザ110に提示する(8510)。例えば、書類のあるセクションで指示することで、その書類を何時何処で誰が作成又は修正したかの表示をユーザ110は捕捉装置106で又は他のシステム8300で見ることができる。ユーザ110はMMRと共にオリジナルの編集可能な形式の書類(例えば、ワードファイル)を取り出してもよい。他の履歴情報及び処理は、以下のものを含んでよい：編集可能な形式の書類と同じディレクトリ内の他の書類を取り出すこと；書類に関連する「イベント」を見ること(例えば、書類が印刷された時にユーザのPC112近辺でなされていた会話−−これらのイベントは、書類を印刷した者とは異なる他の装置(例えば、オフィスポータル120)によって捕捉されてもよい)；PCイベントを含む書類を作成する履歴を見ること。そのPCイベントは、ウェブページが閲覧された時、ビデオが鑑賞された時等のような書類がオープンにされた時に生じたものである；目下の書類に物理的に近くにあった他の書類をある時点で見ること（何らかの他の装置を使って、デスクトップの画像を捕捉する又は書類を特定することを含む−RFIDを利用し、それらの画像にMMR認識を適用してもよい。）。取出(検索)システムは、それらの付随する履歴、イベント及び書類の画像を提供する。このように、書類の物理的なライフサイクルのグラフが生成可能になる。そして、本方法はステップ8524に続く。
【０５９８】
ユーザ110が履歴リクエストの取得を入力しなかった場合、本方法は、ユーザ110が書類に注釈を付けるリクエストを持っているか否かを確認するステップ8512に続く。書類に注釈を付けるリクエストをユーザ110が持っていた場合、本方法は、その注釈を捕捉し(8514)、それをMMR書類500に加える。例えば、ユーザ110は、音声の注釈、画像又はビデオクリップを、オリジナルの編集可能な形式の書類に加えてもよい。そして、本方法はステップ8524に続く。
【０５９９】
ユーザ110が注釈を付けるリクエストを入力しなかった場合、本方法は、ユーザ110が他者とコンタクトするリクエストを選択したか否かを確認するステップ8516に続く。ユーザが他者とコンタクトするリクエストを入力した場合、本方法は、MMR書類500にアクセスした者を確認し、彼らと連絡をとり、書類の所与のセクションを最近読んだ他者とユーザ110が通信できるようにする(8518)。例えば、あるパラグラフの箇所で捕捉装置106を指示することで、ユーザ110は、MMR書類500のそのセクションを最近読んだ人々のリストを取得し、彼らとの会話を速やかに始めることができる。これは、携帯電話呼出でトリガ(契機)を与えることで、或いはリスト上の選択された人とIMセッションを開始することでなされてもよい。或いは、MMR書類が或るアクションを含み、特定の書類が読まれた又はアクセスされた時に、リアルタイムで他者に通知されるようにしてもよい。そして、本方法はステップ8524に続く。
【０６００】
ユーザ110が他者とコンタクトするリクエストを入力していなかった場合、本方法は、実行されるべき特定の処理をユーザ110が選択しているか否かを確認するステップ8520に続く。実行される特定の処理をユーザ110が選択していた場合、本方法はその特定の処理を進めて実行する(8522)。MMRシステム8300は、オフィス環境で有用な多数の特定の処理を実行することができる。MMRシステム8300の機能を説明するために、いくつかの具体例がここで例示的に示される。例えば、第１の特定の処理は、所与の書類の別バージョンの位置を物理的に特定することである。上述したように、この処理は、PTZカメラのような別個の画像捕捉システムを利用して、他のユーザのデスクトップを眺め、それが捕捉した画像にMMR認識プロセスを適用する。書類の存在は共有データベースシステムに記録される。第２の特定の処理は、書類がユーザの机上にあった時点でなされた会話を聞くことである。この処理は、カメラを使った書類トラッカーとオーディオ取得システムとを利用し、カメラが捕捉した書類に録音(レコーディング)を付ける。第３の特定の処理は、所与の書類又はそのバージョンを印刷した他者、彼らがそれを印刷した時間、及びどのプリンタが使用されたか等を特定することである。これは、或るロジックと共に、共有データベース及びバージョン照合プログラムを利用し、そのロジックは、書類が互いにどの程度似ているかを判定する。第４の特定の処理は、オンラインで種類の所与のセクションを読んだ者を特定する。この処理は画像モニタリングソフトウエアを使用し、PC画面に記載されているテキストとデータベースとを実行中に照合する。照合プロセスは、MMR認識アルゴリズム又はテキストベースの照合法を利用してよい。或いは、印刷書類を捕捉するために現在使用中のGDIエンジンからスクリーンテキストが捕捉されてもよい。なぜならそのGDIエンジンは、画面に示されているテキストをしばしば生成しているからである。第５の特定の処理は、オフラインで書類のあるセクションを読んだ者を特定する。この処理は、ユーザ110が読んだものの画像を捕捉するデスクトップビデオモニタリングシステムを使用する。MMR認識アルゴリズムは、書類及び書類中のセクションを特定し、その情報を共有データベースに格納する。第６の特定の処理は、書類の読み取り履歴を(オンラインで又はオフラインで)メタデータとしてウェブブラウザに加えることである。これは、そのデータを格納及び表現する、ウインドウズアプリケーションに依存しない方法をもたらす。第７の特定の処理は、誰かの読み取り履歴を(オンライン及びオフラインの双方で)時間軸の観点から生成する。最後に、第８の特定の処理は協同的な書類レビューであり、同じ紙書類の様々なバージョンの一人より多くの読者が、その書類の何らかのセクションの所で彼らの捕捉装置を指示することで、彼らにより追加されたコメントをレビューする。注釈は、書類画像サムネイル上でオーバーレイとして表示される。上述したように、MMRシステム8300が実行可能な特定の処理のいくつかのサンプルだけが示されたに過ぎない。
【０６０１】
ステップ8522又はステップ8520の後に、本方法は、第三者サーバとのやり取りが完了したか否かを確認する(8524)。やり取りが済んでいなかったならば、本方法はステップ8506に戻り、ユーザから別の入力を受ける。けれどもやり取りが完了していたならば、本方法は終了し、プロセスは終わる。
【０６０２】
MMRシステム8300の更に別のアプリケーションは、パーソナルコンピュータ112又は他のコンピュータ環境とやり取りする固有の方法を提供する。そのパーソナルコンピュータ112で実行される動作を引き起こす又は開始させる手段として、MMR認識法が使用される。例えば、MMR認識法は、パーソナルコンピュータ112におけるビデオ再生を開始させるのに使用されてもよい。紙書類の或るセクションの場所で捕捉装置106を指示することで、ユーザ110にはビデオクリップが示され、そのビデオクリップは、そのセクションが見えている間パーソナルコンピュータ112のディスプレイで変化を示す。これは、デスクトップビデオの捕捉と画面に表示されるテキストの索引付けとを結合する。第２の例では、MMR認識法がウェブページリマインダとして使用される。書類上でビデオカメラをパンすることで、ユーザ110には表示されるウェブページのトレースが提示される一方、書類の対応するセクションはパーソナルコンピュータ112のディスプレイに示される。ウェブページはブラウザで示されてもよいし、カメラ付き電話機の画面でオーバーレイされてもよいし、他の方法で示されてもよい。第３の例では、MMR認識法を利用して、注文書がどのように記入されたかを再確認する。ブランクの注文書の所で指示することで、ユーザには、過去にその注文書に入力された全ての履歴が示される。これは、ウェブブラウザで表示されるオンラインフォームと共に使用されてもよい。そのような書類に入力されたデータの履歴は、我々のスクリーン捕捉システムと共に捕捉可能である。最後の例では、MMR認識法が、時間に依存しない書類のバージョンを検索するのに使用される。MMRを利用して、書類の過去の又は将来の(書類を手にした後に印刷される)印刷表現及びソースファイルを取り出す。これらの例は、パーソナルコンピュータ112とやり取りする際にMMRを利用するほんのいくつかの例に過ぎず、MMRがパーソナルコンピュータ112とやり取りする際に、それがいかに強力なツールであるかを当業者は認識するであろう。
【０６０３】
本発明の一実施例では、MMRシステムは、アクションプロセッサ及び方法、並びに関連するアクションを伴うMMR書類を含む。どのメディアの特定のロケーションについてもMMR書類をいくつでも作成できる機能と相俟って、様々なMMR書類について様々なアクションを指定できる機能は、MMRアーキテクチャが、追加的なプロセスに関する一般的なトリガ(ユニバーサルトリガ又はイニシエータ)として機能できることに起因して、MMR書類構造は特に有用である。言い換えれば、追加的な処理又はアクションは、MMR認識に基づいて引き起こされる又は開始されるようにすることができる。アクションプロセッサは、MMR認識プロセスの出力を受信し、少なくとも1つのアクションを含むMMR書類を生成する。アクションプロセッサは、MMRシステム又はMMRシステムに結合された他のシステムに対する様々なコマンドを含むアクションを実行する。テキストのブロック(文字群)の所で捕捉装置を指示することでアクションが実行可能であり、そのアクションが実行されることに起因して、MMRシステムアーキテクチャは特に有利である。例えば、そのアクションは、電子形式のテキストを捕捉装置で抽出すること、アクションについての仕様(詳細)を抽出すること、データをMMR書類に挿入すること、書類間でデータを転送すること、品目を購入すること、オーサリングアクション、又はアクションに関する履歴情報を再検討すること等でもよい。アクションプロセッサは、アクションについての履歴情報をデータベースに格納する。アクションに関する履歴情報は、テキストのブロックのｘ−ｙ座標、書類及びページに関連付けて格納される。テキストの同じブロックが捕捉された場合、この情報が後に取り出され、探索され、分析されてもよい。
【０６０４】
混合メディアリアリティ(MMR)システム及び関連技術は、少なくとも２種類のメディアを含む混合メディア書類を作成する仕組みを提供する(例えば、印刷用紙を第１メディアとし、ディジタルコンテンツ及び／又はウェブリンクを第２メディアとしてよい。)。MMRシステムは、アクションプロセッサ及び方法並びに関連するアクションを伴うMMR書類を含む。MMRシステムは、様々なMMR書類について様々なアクションを指定し、どのメディアの特定のロケーションについてもMMR書類をいくつでも作成してよく、それにより、MMRアーキテクチャが、追加的な処理についてのユニバーサルトリガ又はイニシエータとして機能できるようにする。アクションプロセッサは、少なくとも１つのアクションを含むMMR書類を生成するMMR認識プロセスの出力を受ける。アクションプロセッサは、MMRシステム又はMMRシステムに結合された他システムに対して様々なコマンドを含むアクションを実行する。MMRシステムアーキテクチャはアクションを実行することができ、そのアクションは、電子形式の書類を捕捉装置で抽出すること、アクションについての仕様(詳細)を抽出すること、データをMMR書類に挿入すること、書類間でデータを転送すること、品目を購入すること、オーサリングアクション、又はアクションに関する履歴情報を再検討すること等でもよい。
【０６０５】
本発明の一実施例では、MMRシステムは、アクションプロセッサ及び方法、関連するアクションを伴うMMR書類を含む。どのメディアの特定のロケーションについてもMMR書類をいくつでも作成できる機能と相俟って、様々なMMR書類について様々なアクションを指定できる機能は、MMRアーキテクチャが、追加的なプロセスに関する一般的なトリガ(ユニバーサルトリガ又はイニシエータ)として機能できることに起因して、MMR書類構造は特に有用である。言い換えれば、追加的な処理又はアクションは、MMR認識に基づいて引き起こされる又は開始されるようにすることができる。アクションプロセッサは、MMR認識プロセスの出力を受信し、少なくとも1つのアクションを含むMMR書類を生成する。アクションプロセッサは、MMRシステム又はMMRシステムに結合された他のシステムに対する様々なコマンドを含むアクションを実行する。テキストのブロック(文字群)の所で捕捉装置を指示することでアクションが実行可能であり、そのアクションが実行されることに起因して、MMRシステムアーキテクチャは特に有利である。例えば、そのアクションは、電子形式のテキストを捕捉装置で抽出すること、アクションについての仕様(詳細)を抽出すること、データをMMR書類に挿入すること、書類間でデータを転送すること、品目を購入すること、オーサリングアクション、又はアクションに関する履歴情報を再検討すること等でもよい。MMRシステムは、テキストパッチのMMR認識により開始させられる様々なユーザアプリケーション(１つ以上のアクション)を含んでもよく、そのアプリケーションは、旅行案内書、株式相場表又は広告からの情報抽出；会議からのコンテンツを記録すること、書類に関連するマルチメディアを記録及び格納すること、カレンダについての情報を捕捉すること及びその場でオーサリングすること等のような情報捕捉；MMR書類の何らかの部分に格納するメディアファイルを購入すること等でもよい。
【０６０６】
本発明の一実施例では、MMRシステムは、アクションプロセッサ及び方法、並びに関連するアクションを伴うMMR書類を含む。どのメディアの特定のロケーションについてもMMR書類をいくつでも作成できる機能と相俟って、様々なMMR書類について様々なアクションを指定できる機能は、MMRアーキテクチャが、追加的なプロセスに関する一般的なトリガ(ユニバーサルトリガ又はイニシエータ)として機能できることに起因して、MMR書類構造は特に有用である。言い換えれば、追加的な処理又はアクションは、MMR認識に基づいて引き起こされる又は開始されるようにすることができる。アクションプロセッサは、MMR認識プロセスの出力を受信し、少なくとも1つのアクションを含むMMR書類を生成する。アクションプロセッサは、MMRシステム又はMMRシステムに結合された他のシステムに対する様々なコマンドを含むアクションを実行する。テキストのブロック(文字群)の所で捕捉装置を指示することでアクションが実行可能であり、そのアクションが実行されることに起因して、MMRシステムアーキテクチャは特に有利である。例えば、そのアクションは、電子形式のテキストを捕捉装置で抽出すること、アクションについての仕様(詳細)を抽出すること、データをMMR書類に挿入すること、書類間でデータを転送すること、品目を購入すること、オーサリングアクション、又はアクションに関する履歴情報を再検討すること等でもよい。MMRシステムは、テキストパッチのMMR認識により開始させられる様々なユーザアプリケーション(１つ以上のアクション)を含んでもよく、そのアプリケーションは、旅行案内書、株式相場表又は広告からの情報抽出；会議からのコンテンツを記録すること、書類に関連するマルチメディアを記録及び格納すること、カレンダについての情報を捕捉すること及びその場でオーサリングすること等のような情報捕捉；MMR書類の何らかの部分に格納するメディアファイルを購入すること等でもよい。
【０６０７】
本発明の一実施例では、MMRシステムは、アクションプロセッサ及び方法、並びに関連するアクションを伴うMMR書類を含む。どのメディアの特定のロケーションについてもMMR書類をいくつでも作成できる機能と相俟って、様々なMMR書類について様々なアクションを指定できる機能は、MMRアーキテクチャが、追加的なプロセスに関する一般的なトリガ(ユニバーサルトリガ又はイニシエータ)として機能できることに起因して、MMR書類構造は特に有用である。言い換えれば、追加的な処理又はアクションは、MMR認識に基づいて引き起こされる又は開始されるようにすることができる。アクションプロセッサは、MMR認識プロセスの出力を受信し、少なくとも1つのアクションを含むMMR書類を生成する。アクションプロセッサは、MMRシステム又はMMRシステムに結合された他のシステムに対する様々なコマンドを含むアクションを実行する。表現された書類の所で捕捉装置を指示することでアクションが実行可能であり、そのアクションが実行されることに起因して、MMRシステムアーキテクチャは特に有利である。例えば、そのアクションは、電子形式表現の書類を抽出すること、アクションについての仕様(詳細)を抽出すること、データをMMR書類に挿入すること、書類間でデータを転送すること、品目を購入すること、オーサリングアクション、又はアクションに関する履歴情報を再検討すること等でもよい。MMRシステムは、他システムを使ってアクションを実行してもよく、MMRソフトウエアは、MMRシステム及び他システムの中で分散されてもよい。他の実施例では、MMRシステムは、特に捕捉装置の入力／出力機能及びMMR認識機能は、第三者システムの制御手段として使用される。
【０６０８】
本発明の一実施例では、MMRシステムは、アクションプロセッサ及び方法、並びに関連するアクションを伴うMMR書類を含む。どのメディアの特定のロケーションについてもMMR書類をいくつでも作成できる機能と相俟って、MMR書類構造は、様々なMMR書類について様々なアクションを指定することができ、MMRアーキテクチャが、追加的なプロセスに関する一般的なトリガ(ユニバーサルトリガ又はイニシエータ)として機能できるようにする。アクションプロセッサは、MMR認識プロセスの出力を受信し、少なくとも1つのアクションを含むMMR書類を生成する。アクションプロセッサは、MMRシステム又はMMRシステムに結合された他のシステムに対する様々なコマンドを含むアクションを実行する。表現された書類の所で捕捉装置を指示することでアクションが実行可能であり、そのアクションが実行されることに起因して、MMRシステムアーキテクチャは特に有利である。例えば、そのアクションは、電子形式表現の書類を抽出すること、アクションについての仕様(詳細)を抽出すること、データをMMR書類に挿入すること、書類間でデータを転送すること、品目を購入すること、オーサリングアクション、又はアクションに関する履歴情報を再検討すること等でもよい。他の実施例では、MMRシステムは、特に捕捉装置の入力／出力機能及びMMR認識機能は、第三者システムの制御手段として使用される。
【０６０９】
ここで提示されるアルゴリズムは、何らかの特定のコンピュータ又は他の装置に固有に関連付けられない。様々な汎用の及び／又は専用のシステムが、本発明の実施例に応じてプログラムされ又は構築されてもよい。本開示から明らかにされるように、様々なプログラミング言語及び／又は構造が、そのような様々なシステムを実現するのに使用可能である。更に、本発明の実施例は、情報システム又はネットワーク上で動作してもよいし或いはその中で機能してもよい。例えば、本発明はスタンドアローンの複合機プリンタで動作してもよいし、或いはコンフィギュレーションに依存して変化する機能と共にネットワーク化されたプリンタ上で動作してもよい。ここで説明された全機能の内最少の機能と共に、本発明は何らかの情報システムと共に動作することも可能である。
【０６１０】
本発明の実施例に関する上記の説明は、例示及び説明を意図してなされている。開示された厳密な形式に本発明を限定すること又は開示内容が限定的であることは意図されていない。多くの修正及び変形が上記の教示から可能である。本発明の範囲はこの詳細な説明に限定されず、本願の特許請求の範囲によってのみ限定されることが意図される。当業者に理解されるように、本発明の精神又は本質的特徴から逸脱せずに、本発明は他の形態に組み込まれてもよい。同様に、モジュール、ルーチン、特徴量、属性、方法その他の形態の特定の区分け法及びネーミングは、必須でもなく重要でもない。本発明又は本発明の特長を実現する手段(メカニズム)は様々な名称、区分け法及び／又はフォーマットを備えていてよい。更に、関連する技術分野の当業者に明らかなように、モジュール、ルーチン、特徴量、属性、方法等の本発明の他の形態は、ソフトウエアで、ハードウエアで、ミドルウエアで又はそれらの何らかの組み合わせで実現可能である。本発明のコンポーネント(一例としてそれはモジュールである)はソフトウエアとして実現され、コンポーネントは、スタンドアローンプログラムとして、静的に又は動的にリンクしたライブラリとして、カーネルローダブルモジュールとして、デバイスドライバとして実現可能であり、及び／又はコンピュータプログラミングの当業者にとって現在既知の又は将来既知になる何らかの方法で実現される。更に、本発明は如何なる特定のプログラミング言語で実現することにも限定されず、如何なる特定のオペレーティングシステムにも環境にも限定されない。従って、本発明の開示内容は例示的なものであり、添付の特許請求の範囲に記載される本発明の範囲を限定するものではない。
【０６１１】
本願は、2006年7月31日付出願の米国優先権主張出願第11/461,017号、2006年7月31日付出願の米国出願第11/461,024号、2006年7月31日付出願の米国出願第11/461,032号、2006年7月31日付出願の米国出願第11/461,049号、2006年7月31日付出願の米国出願第11/461,064号、2006年7月31日付出願の米国出願第11/461,075号、2006年7月31日付出願の米国出願第11/461,090号、2006年7月31日付出願の米国出願第11/461,126号、2006年7月31日付出願の米国出願第11/461,143号、2006年7月31日付出願の米国出願第11/461,268号、2006年7月31日付出願の米国出願第11/461,272号、2005年8月23日付出願の米国出願第60/710,767号、2006年4月17日付出願の米国出願第60/792,912号、2006年7月18日付出願の米国出願第60/807,654号に基づくものであり、その全内容が本願のリファレンスに組み込まれる。
【図面の簡単な説明】
【０６１２】
【図１Ａ】本発明の一実施例により構築された混合メディアリアリティ(MMR)システムの機能ブロック図を示す。
【図１Ｂ】本発明の別の実施例により構築されたMMRシステムの機能ブロック図を示す。
【図２Ａ】本発明の一実施例による捕捉装置を示す図である。
【図２Ｂ】本発明の一実施例による捕捉装置を示す図である。
【図２Ｃ】本発明の一実施例による捕捉装置を示す図である。
【図２Ｄ】本発明の一実施例による捕捉装置を示す図である。
【図２Ｅ】本発明の一実施例により構築された捕捉装置の機能ブロック図である。
【図３】本発明の一実施例により構築されたMMRコンピュータの機能ブロック図を示す。
【図４】本発明の一実施例により適切に構築されたMMRソフトウエアに含まれるソフトウエアコンポーネント群を示す図である。
【図５】本発明の一実施例により構築されたMMRドキュメントの例を表す図を示す。
【図６】本発明の一実施例による書類のフィンガープリント照合法を説明するための図である。
【図７】本発明の一実施例により構築された書類のフィンガープリント照合システムを表す図を示す。
【図８】本発明の一実施例によるテキスト／非テキストを区別するフローチャートを表す図を示す。
【図９】本発明の一実施例によるテキスト／非テキストを区別する具体例を表す図を示す。
【図１０】本発明の一実施例による画像パッチ中のテキストのポイントサイズを推定するフローチャートを表す図を示す。
【図１１】本発明の別の実施例による書類のフィンガープリント照合法を説明するための図である。
【図１２】本発明の別の実施例による書類のフィンガープリント照合法を説明するための図である。
【図１３】本発明の一実施例によるインタラクティブ画像分析の例を示す図である。
【図１４】本発明の別の実施例による書類のフィンガープリント照合法を説明するための図である。
【図１５】本発明の一実施例によるワード境界ボックス判定例を示す図である。
【図１６】本発明の一実施例による特徴抽出法を示す図である。
【図１７】本発明の別の実施例による特徴抽出法を示す図である。
【図１８】本発明の別の実施例による特徴抽出法を示す図である。
【図１９】本発明の別の実施例による特徴抽出法を示す図である。
【図２０】本発明の別の実施例による書類のフィンガープリント照合法を説明するための図である。
【図２１】本発明の一実施例による書類のフィンガープリント照合用のマルチ分類子特徴抽出例を示す図である。
【図２２】本発明の一実施例による書類のフィンガープリント照合例を示す図である。
【図２３】本発明の一実施例による書類のフィンガープリント照合例を示す図である。
【図２４】本発明の別の実施例による書類のフィンガープリント照合例を示す図である。
【図２５】本発明の一実施例によるデータベースドリブンフィードバックのフローチャートを示す。
【図２６】本発明の別の実施例による書類のフィンガープリント照合例を示す図である。
【図２７】本発明の一実施例によるデータベースドリブンクラシフィケーションのフローチャートを示す。
【図２８】本発明の別の実施例による書類のフィンガープリント照合例を示す図である。
【図２９】本発明の一実施例によるデータベースドリブン多重分類のフローチャートを示す。
【図３０】本発明の別の実施例による書類のフィンガープリント照合例を示す図である。
【図３１】本発明の別の実施例による書類のフィンガープリント照合例を示す図である。
【図３２】本発明の別の実施例による書類のフィンガープリント照合例を示す図である。
【図３３】本発明の一実施例によるマルチティア認識のフローチャートを示す。
【図３４Ａ】本発明の一実施例により構築されたMMRデータベースシステムの機能ブロック図を示す。
【図３４Ｂ】本発明の一実施例によるOCRベース方式のMMR特徴抽出例を示す図である。
【図３４Ｃ】本発明の一実施例によるインデックステーブル組織例を示す図である。
【図３５】本発明の一実施例によるMMRインデックステーブルを生成する方法を示す図である。
【図３６】ターゲット書類のランク付けされた一群の書類、ページ及びロケーション仮説を算出する本発明の一実施例による方法を示す図である。
【図３７Ａ】本発明の別の実施例により構築されたMMRコンポーネントの機能ブロック図を示す。
【図３７Ｂ】MMR印刷ソフトウエアに含まれている本発明の一実施例による一群のソフトウエアコンポーネントを示す図である。
【図３８】書類にホットスポットを埋め込む本発明の一実施例による方法を示すフローチャートである。
【図３９Ａ】本発明の一実施例によるHTMLファイル例を示す図である。
【図３９Ｂ】図３９ＡのHTMLファイルのマークアップバージョンの例を示す図である。
【図４０Ａ】本発明の一実施例によりブラウザに表示される図３９ＡのHTMLファイル例を示す図である。
【図４０Ｂ】本発明の一実施例による図４０ＡのHTMLファイルの印刷バージョンの例を示す図である。
【図４１】本発明の一実施例によるシンボリックホットスポット記述を示す図である。
【図４２Ａ】本発明の一実施例による図３９ＡのHTMLファイルに関するpage_desc.xmlファイル例を示す図である。
【図４２Ｂ】本発明の一実施例による図３９ＡのHTMLファイルに関するpage_desc.xmlファイル例を示す図である。
【図４３】本発明の一実施例による図４１，４２Ａ及び４２Ｂに対応するhotspot.xmlファイルを示す図である。
【図４４】フォワーディングDLLで使用される本発明の一実施例によるプロセスのフローチャートを示す図である。
【図４５】書類中のホットスポットに対応するキャラクタを変換する本発明の一実施例による方法を示すフローチャートである。
【図４６】本発明の一実施例による書類の電子バージョン例を示す図である。
【図４７】本発明の一実施例による印刷された修正済みの書類例を示す図である。
【図４８】本発明の一実施例により共有される書類注釈法のフローチャートを示す。
【図４９Ａ】本発明の一実施例によるブラウザ中のソースウェブページサンプルを示す図である。
【図４９Ｂ】本発明の一実施例によるブラウザ中の修正ウェブページサンプルを示す図である。
【図４９Ｃ】本発明の一実施例による印刷されたウェブページサンプルを示す図である。
【図５０Ａ】ホットスポットを画像処理書類に付加する本発明の一実施例による方法を示すフローチャートである。
【図５０Ｂ】イメージ書類に追加するホットスポットを決める本発明の一実施例による方法を示すフローチャートである。
【図５１Ａ】一実施例でスキャンされた新聞のページの一部を示すユーザインターフェース例を示す図である。
【図５１Ｂ】選択されたホットスポットに関連付けるデータ又は操作を決めるユーザインターフェース例を示す図である。
【図５１Ｃ】本発明の一実施例による挿入ボックスを含む図５１Ｂのユーザインターフェース例を示す図である。
【図５１Ｄ】本発明の一実施例による書類内のホットスポットを表示するユーザインターフェースを示す図である。
【図５２】MMRドキュメント及びMMRシステムを使用する本発明の一実施例による方法を示すフローチャートである。
【図５３】本発明の一実施例によるMMRシステムに関連する一群のビジネスエンティティ例のブロック図を示す。
【図５４】本発明の一実施例によるMMRシステムを利用することで促される一般化されたビジネス方法のフローチャートを示す。
【図５５】混合メディア書類にアクセスする本発明の一実施例による方法のフローチャートを示す。
【図５６Ａ】混合メディア書類にアクセスするのに使用する本発明の様々な実施例による方法例を示す図である。
【図５６Ｂ】混合メディア書類にアクセスするのに使用する本発明の様々な実施例による方法例を示す図である。
【図５６Ｃ】混合メディア書類にアクセスするのに使用する本発明の様々な実施例による方法例を示す図である。
【図５７】混合メディア書類にアクセスする本発明の一実施例による方法のフローチャートを示す。
【図５８】本発明の一実施例により混合メディア書類にアクセスするためのユーザインターフェースを示す図である。
【図５９】本発明の一実施例によりメディアファイルにラベルを付ける方法を示す図である。
【図６０】本発明の一実施例によりメディアファイルにラベルを付けるためのユーザインターフェースを示す図である。
【図６１Ａ】MMR書類及びMMRシステムを用いる本発明の一実施例による方法のフローチャートを示す。
【図６１Ｂ】MMR書類及びMMRシステムを用いる本発明の一実施例による方法のフローチャートを示す。
【図６１Ｃ】MMR書類及びMMRシステムを用いる本発明の一実施例による方法のフローチャートを示す。
【図６１Ｄ】MMR書類及びMMRシステムを用いる本発明の一実施例による方法のフローチャートを示す。
【図６２】MMR書類及びMMRシステムを用いる本発明の一実施例による方法のフローチャートを示す。
【図６３】光学的捕捉を行わないMMR情報装置を含むMMRシステム例の機能ブロック図を示す。
【図６４】図６３のMMRシステムのMMR情報装置におけるMMR書類のメニューに関するユーザインターフェースを示す図である。
【図６５】MMR情報装置に表示されるMMR書類及びホットスポット情報に関するユーザインターフェースを示す図である。
【図６６】図６３のMMR情報装置の処理に関するフローチャートを示す。
【図６７】光学的捕捉を行わないMMR情報装置及び捕捉装置を含むMMRシステム例の機能ブロック図を示す。
【図６８】図６７のMMR情報装置の処理に関するフローチャートを示す。
【図６９】ホットスポット情報を処理するボイスメールサーバを含むMMRシステムのブロック図を示す。
【図７０】図６９のMMRシステムでホットスポット情報を更新する方法のフローチャートを示す。
【図７１】図６９のMMRシステムでホットスポット情報を検索する方法のフローチャートを示す。
【図７２】ホットスポット情報を処理する電子メールメッセージサーバを含むMMRシステムのブロック図を示す。
【図７３】図７２のMMRシステムでホットスポット情報を検索する方法のフローチャートを示す。
【図７４】書類データベースを含むMMRシステムのブロック図を示す。
【図７５】出荷データベースを含むMMRシステムのブロック図を示す。
【図７６】個人別のMMR書類を用いて商品又はサービスを注文するのに使用する本発明によるMMRシステム例の機能ブロック図を示す。
【図７７】個人別のMMR書類を用いて商品又はサービスを注文する方法のフローチャートを示す。
【図７８】MMR書類のアクションを実行する本発明の別の実施例によるMMRシステムアーキテクチャのブロック図を示す。
【図７９】本発明の一実施例によるアクションのパフォーマンスに関連するデータベースの部分ブロック図を示す。
【図８０】MMR書類のアクションを実行する本発明の一実施例による方法のフローチャートを示す。
【図８１】アクションに関する履歴情報を閲覧する本発明の一実施例による方法のフローチャートを示す。
【図８２Ａ】アクションに関するコマンドを実行する本発明の一実施例による方法のフローチャートを示す。
【図８２Ｂ】アクションに関するコマンドを実行する本発明の一実施例による方法のフローチャートを示す。
【図８３】本発明の一実施例による分散的なMMRシステムのブロック図を示す。
【図８４】第三者システムの入力制御及び出力装置としてMMRシステムを使用する本発明の一実施例による方法のフローチャートを示す。
【図８５】オフィス環境でMMRシステムを用いる本発明の一実施例による方法のフローチャートを示す。
【符号の説明】
【０６１３】
100a,100b  MMR(ミックスド・メディア・リアリティ)システム
102  MMRプロセッサ
104  通信手段
106  捕捉装置
108  MMRソフトウエア
110  ユーザ
112  MMRコンピュータ
114  ネットワークメディアサーバ
116  プリンタ
118  印刷書類
120  オフィスポータル
122  サービスプロバイダサーバ
124  電子ディスプレイ
126  セットトップボックス
127  書類スキャナ
160  ベースメディアストレージ
162  MMRメディアストレージ
164  出力装置
166  入力装置
168  携帯入力装置
170  携帯出力装置
210  プロセッサ
212  ディスプレイ
214  キーパッド
216  ストレージデバイス
218  無線通信リンク
220  有線通信リンク
222  MMRソフトウエア
224  捕捉装置ユーザインターフェース(UI)
226  書類フィンガープリント照合モジュール
228  第三者ソフトウエアモジュール
230  捕捉手段
232  ビデオカメラ
234  スチルカメラ
236  ボイスレコーダ
238  電子ハイライター(電子蛍光ペン)
240  レーザ
242  GPS装置
244  RFIDリーダ
310  ソースファイル
312  第１ソース書類(SD)ブラウザ
314  第２SDブラウザ
316  プリンタ装置
318  印刷書類(PD)捕捉モジュール
320  ドキュメントイベントデータベース
322  PDインデックス
324  イベント捕捉モジュール
326  書類分析モジュール
328  マルチメディア(MM)クリップブラウザ／エディタモジュール
330  MMのプリンタドライバ
332  書類ビデオ分析(DVP)印刷システム
334  ビデオペーパー
410  マルチメディア注釈ソフトウエア
412  テキストコンテンツベースの抽出コンポーネント
414  画像コンテンツベースの抽出コンポーネント
416  埋込修正コンポーネント
418  ペーパー読み取り履歴ログ
420  オンライン読み取り履歴ログ
422  互換性書類確認コンポーネント
424  リアルタイム通知コンポーネント
426  マルチメディア取得コンポーネント
428  デスクトップビデオリマインダコンポーネント
430  ウェブページリマインダコンポーネント
432  物理履歴ログ
434  記入済フォーム確認コンポーネント
436  時間伝搬コンポーネント
438  位置確認コンポーネント
440  PC初期化コンポーネント
442  書類オーサリングコンポーネント
444  捕捉装置オーサリングコンポーネント
446  無意識的(自動)アップロードコンポーネント
448  書類バージョン取得コンポーネント
450  PC書類メタデータコンポーネント
452  捕捉装置ユーザインターフェース(ＵＩ）コンポーネント
454  ドメイン固有コンポーネント
610  ドキュメントフィンガープリント照合システム
712  品質評価モジュール
3400データベースシステム
3402  MMR特徴抽出モジュール
3404  MMRインデックステーブルモジュール
3406  証拠蓄積モジュール
3408  リレーショナルデータベース
3414  書類変換アプリケーションモジュール
3416  サブイメージ抽出モジュール
3418  フィードバック指向の特徴サーチモジュール
3705  コンピュータ
3710  ソースファイル
3715  ブラウザ
3720  プラグイン
3725  シンボリックホットスポット記述
3730  修正されたファイル
3735  捕捉モジュール
3740  page_desc.xml
3745  hotspot.xml
3750  データストア
3755  SDAサーバ
3760  MMR印刷ソフトウエア
3765  変換モジュール
3768  組込モジュール
3770  分析モジュール
3775  変換モジュール
3778  特徴抽出モジュール
3780  注釈モジュール
3785  ホットスポットモジュール
3790  表現／表示モジュール
3795  ストレージモジュール
5300  ビジネスエンティティ
5310  MMRサービスプロバイダ
5312  MMRコンシューマ
5314  マルチメディア企業
5316  プリンタユーザ
5318  携帯電話サービスプロバイダ
5320  ハードウエア製造業者
5322  ハードウエア小売業者
5324  金融機関
5326  クレジットカード処理者
5328  書類出版者
5330  書類印刷者
5332  フルフィルメントハウス
5334  ケーブルTVプロバイダ
5336  サービスプロバイダ
5338  ソフトウエアプロバイダ
5340  広告企業
5370  ビジネスネットワーク
【図１Ａ】
2009506395.tif 000008
【図１Ｂ】
2009506395.tif 000009
【図２Ａ】
2009506395.tif 000010
【図２Ｂ】
2009506395.tif 000011
【図２Ｃ】
2009506395.tif 000012
【図２Ｄ】
2009506395.tif 000013
【図２Ｅ】
2009506395.tif 000014
【図３】
2009506395.tif 000015
【図４】
2009506395.tif 000016
【図５】
2009506395.tif 000017
【図６】
2009506395.tif 000018
【図７】
2009506395.tif 000019
【図８】
2009506395.tif 000020
【図９】
2009506395.tif 000021
【図１０】
2009506395.tif 000022
【図１１】
2009506395.tif 000023
【図１２】
2009506395.tif 000024
【図１３】
2009506395.tif 000025
【図１４】
2009506395.tif 000026
【図１５】
2009506395.tif 000027
【図１６】
2009506395.tif 000028
【図１７】
2009506395.tif 000029
【図１８】
2009506395.tif 000030
【図１９】
2009506395.tif 000031
【図２０】
2009506395.tif 000032
【図２１】
2009506395.tif 000033
【図２２】
2009506395.tif 000034
【図２３】
2009506395.tif 000035
【図２４】
2009506395.tif 000036
【図２５】
2009506395.tif 000037
【図２６】
2009506395.tif 000038
【図２７】
2009506395.tif 000039
【図２８】
2009506395.tif 000040
【図２９】
2009506395.tif 000041
【図３０】
2009506395.tif 000042
【図３１】
2009506395.tif 000043
【図３２】
2009506395.tif 000044
【図３３】
2009506395.tif 000045
【図３４Ａ】
2009506395.tif 000046
【図３４Ｂ】
2009506395.tif 000047
【図３４Ｃ】
2009506395.tif 000048
【図３５】
2009506395.tif 000049
【図３６】
2009506395.tif 000050
【図３７Ａ】
2009506395.tif 000051
【図３７Ｂ】
2009506395.tif 000052
【図３８】
2009506395.tif 000053
【図３９Ａ】
2009506395.tif 000054
【図３９Ｂ】
2009506395.tif 000055
【図４０Ａ】
2009506395.tif 000056
【図４０Ｂ】
2009506395.tif 000057
【図４１】
2009506395.tif 000058
【図４２Ａ】
2009506395.tif 000059
【図４２Ｂ】
2009506395.tif 000060
【図４３】
2009506395.tif 000061
【図４４】
2009506395.tif 000062
【図４５】
2009506395.tif 000063
【図４６】
2009506395.tif 000064
【図４７】
2009506395.tif 000065
【図４８】
2009506395.tif 000066
【図４９Ａ】
2009506395.tif 000067
【図４９Ｂ】
2009506395.tif 000068
【図４９Ｃ】
2009506395.tif 000069
【図５０Ａ】
2009506395.tif 000070
【図５０Ｂ】
2009506395.tif 000071
【図５１Ａ】
2009506395.tif 000072
【図５１Ｂ】
2009506395.tif 000073
【図５１Ｃ】
2009506395.tif 000074
【図５１Ｄ】
2009506395.tif 000075
【図５２】
2009506395.tif 000076
【図５３】
2009506395.tif 000077
【図５４】
2009506395.tif 000078
【図５５】
2009506395.tif 000079
【図５６Ａ】
2009506395.tif 000080
【図５６Ｂ】
2009506395.tif 000081
【図５６Ｃ】
2009506395.tif 000082
【図５７】
2009506395.tif 000083
【図５８】
2009506395.tif 000084
【図５９】
2009506395.tif 000085
【図６０】
2009506395.tif 000086
【図６１Ａ】
2009506395.tif 000087
【図６１Ｂ】
2009506395.tif 000088
【図６１Ｃ】
2009506395.tif 000089
【図６１Ｄ】
2009506395.tif 000090
【図６２】
2009506395.tif 000091
【図６３】
2009506395.tif 000092
【図６４】
2009506395.tif 000093
【図６５】
2009506395.tif 000094
【図６６】
2009506395.tif 000095
【図６７】
2009506395.tif 000096
【図６８】
2009506395.tif 000097
【図６９】
2009506395.tif 000098
【図７０】
2009506395.tif 000099
【図７１】
2009506395.tif 000100
【図７２】
2009506395.tif 000101
【図７３】
2009506395.tif 000102
【図７４】
2009506395.tif 000103
【図７５】
2009506395.tif 000104
【図７６】
2009506395.tif 000105
【図７７】
2009506395.tif 000106
【図７８】
2009506395.tif 000107
【図７９】
2009506395.tif 000108
【図８０】
2009506395.tif 000109
【図８１】
2009506395.tif 000110
【図８２Ａ】
2009506395.tif 000111
【図８２Ｂ】
2009506395.tif 000112
【図８３】
2009506395.tif 000113
【図８４】
2009506395.tif 000114
【図８５】
2009506395.tif 000115
【国際調査報告】
2009506395.tif 000116