(57)【要約】【課題】印刷媒体及び仮想媒体双方の恩恵を享受可能にする技術をもたらすこと。【解決手段】混合メディアリアリティ(MMR)システム及び関連方法が説明される。MMRシステムは混合メディア文書を作成する仕組みをもたらし、混合メディア文書はスｋ無くとも２種類のメディアを含む(例えば、印刷された紙を第１メディアとし、ディジタルコンテンツ及び／又はウェブリンクを第２メディアとする。)。本発明は、索引付けされてない文書に注釈を付けるシステム、方法及びコンピュータ関連製品をもたらす。未知の紙文書又は一部分の(ユーザに関連する)捕捉ディジタル画像は、注釈と共に受信される。捕捉されたディジタル画像から特徴量が抽出され、捕捉されたディジタル画像及び注釈と共にそれらは保存される。【選択図】図１Ａ
2009245440.tif 000002
【特許請求の範囲】
【請求項１】
索引付けされていない文書に注釈を付ける方法であって、
ユーザに関連して捕捉された、保存済み文書のインデックスには含まれていない未知の文書のディジタル画像を受信するステップと、
前記未知の文書に関する注釈を前記ユーザから受信するステップと、
前記捕捉されたディジタル画像から特徴量を抽出するステップと、
前記捕捉されたディジタル画像、前記抽出された特徴量及び前記注釈を保存するステップと、
を有する方法。
【請求項２】
前記注釈は、ビデオ、オーディオ及びスチル画像を含む群から選択されたメディアクリップを有する請求項１記載の方法。
【請求項３】
前記注釈は、テキストである請求項１記載の方法。
【請求項４】
前記注釈は、関心度のスコアである請求項１記載の方法。
【請求項５】
前記捕捉されたディジタル画像を、前記抽出された特徴量及び前記注釈の保存に先立って送信する請求項１記載の方法。
【請求項６】
ディジタル画像を他ユーザが捕捉した場合、注釈の付いた捕捉されたディジタル画像を、他ユーザに利用可能にするステップを更に有し、前記ディジタル画像は、前記ユーザに関連する捕捉されたディジタル画像と同様である、請求項１記載の方法。
【請求項７】
前記ユーザによる注釈を保存するステップを更に有する請求項１記載の方法。
【請求項８】
前記ユーザに関連する捕捉の時間及び捕捉の場所を確認するステップと、
前記ユーザに関連する捕捉の時間及び捕捉の場所を保存するステップと、
を更に有する請求項１記載の方法。
【請求項９】
索引付けされている紙の文書に応じて、該索引付けされている文書に注釈の付いた画像を関連付けるステップを更に有する、請求項１記載の方法。
【請求項１０】
索引付けされていない共用の文書に注釈を付けるためのコンピュータプログラムであって、コンピュータ読取可能な記憶媒体に格納され、或る方法をコンピュータに実行させ、該方法は、
ユーザに関連付けられた文書の捕捉されたディジタル画像を受信するステップであって、前記文書は、保存済み文書のインデックスには含まれていない未知の文書である、ステップと、
前記未知の文書に関する注釈を前記ユーザから受信するステップと、
前記捕捉されたディジタル画像から特徴量を抽出するステップと、
前記捕捉されたディジタル画像、前記抽出された特徴量及び前記注釈を保存するステップと、
を有する、コンピュータプログラム。
【請求項１１】
索引付けされている紙の文書に応じて、該索引付けされている文書に注釈の付いた画像を関連付けるステップを前記方法が更に有する、請求項１０記載のコンピュータプログラム。
【請求項１２】
索引付けされていない共用の文書に注釈を付けるシステムであって、
ユーザに関連して捕捉された、保存済み文書のインデックスには含まれていない未知のディジタル画像を受信するとともに、前記未知の文書に関する注釈を前記ユーザから受信する、捕捉装置と、
前記捕捉されたディジタル画像から特徴量を抽出する文書照合モジュールと、
前記捕捉されたディジタル画像、前記抽出された特徴量及び前記注釈を保存するデータベースと、
を有するシステム。
【請求項１３】
ディジタル画像を他のユーザが捕捉した場合、注釈の付いた捕捉されたディジタル画像を、他のユーザに利用可能にする表示部を更に有し、前記ディジタル画像は、前記ユー残関連する捕捉されたディジタル画像と同様である、請求項１２記載のシステム。
【請求項１４】
前記注釈は、テキストまたは関心度スコアである請求項１２記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも２種類のメディアから形成される混合メディア文書を使用する技術に関連し、特に、電子メディアと共に印刷メディアを使って索引付けされてない文書に注釈を付ける混合メディアリアリティ(MMR:  Mixed  Media  Reality)システムに関連する。
【背景技術】
【０００２】
文書を印刷及び複写する技術は長年にわたって多くの状況で使用されている。例えばプリンタや複写機は、プライベートな及び業務用のオフィス環境で、あるいは家庭環境ではパーソナルコンピュータと共に、さらには文書印刷及び出版サービス環境等において使用されている。しかしながら、印刷及び複写技術は、静的な印刷媒体(即ち、紙の書類)と双方向性の「仮想世界(virtual  world)」との間のギャップを橋渡しする手段としては従来考えられていなかった。双方向性の仮想世界は、ディジタル通信、ネットワーキング、情報提供、宣伝広告、娯楽及び電子商取引等を含む。
【０００３】
印刷媒体は、何世紀もの間ニュースや広告情報等のような情報を通知する一次ソースであった。ここ数年における、パーソナルディジタルアシスタント(PDA)装置や携帯電話(例えば、カメラ付き携帯電話)等のようなパーソナル電子機器及びパーソナルコンピュータの出現及び普及は、印刷媒体を電子的に読み取り可能で検索可能な形式にすることによって及び双方向性のマルチメディア機能を導入することによって、印刷媒体の概念を拡張した。これらは従来の印刷媒体に類を見ない。
【０００４】
残念なことに、電子的にアクセス可能な仮想的なマルチメディアベースの世界と、印刷媒体の物理的な世界との間には或る隔たり(ギャップ)がある。例えば、先進国のほとんど誰もが印刷媒体及び電子情報に日常的にアクセスするが、印刷媒体及びパーソナル電子機器のユーザは、その両者２つの間のリンクを形成するのに必要な(即ち、混合メディア文書の作成を促す)ツール及び技術を持っていない。
【０００５】
更に、通常の印刷媒体には、触れる感覚があること、電力を要しないこと、構造的に及び保存に関して永続性等をもたらすという特に優れた性質があり、これらは仮想的な又はディジタル媒体には備わっていない。一方、通常のディジタル媒体には、携帯性(例えば、携帯電話やラップトップのストレージで運べること)や伝送の容易性(例えば、電子メール)等のような特に優れた性質がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
これらの理由から、本発明の課題は、印刷媒体及び仮想媒体双方の恩恵を享受可能にする技術をもたらすことである。
【課題を解決するための手段】
【０００７】
本発明の少なくとも一形態は、混合メディアリアリティ(MMR)システム及び関連する方法をもたらす。本発明によるMMRシステムは、少なくとも２種類のメディアを含む混合メディア文書を作成する仕組みを提供し、例えば２種類のメディアは、印刷された紙を第１メディアとして含み、電子形式の文字やデータ、ディジタル画像、ディジタル写真、ディジタル映画、ディジタルオーディオファイル又はウェブリンクを第２メディアとして含む。更に、本発明のMMRシステムは、カメラ付き携帯電話のような携帯電子機器と紙の書類との組み合わせを活用したビジネス方法を促す。本発明のMMRシステムは、MMRプロセッサ、捕捉装置、通信手段及びメモリ(MMRソフトウエアを含む)を含む。MMRプロセッサは、メディアタイプに関するストレージやソース、入力装置及び出力装置にも結合される。MMRソフトウエアはMMRプロセッサにより実行可能なルーチンを含み、MMRプロセッサは、付随的なディジタルコンテンツを伴うMMR文書にアクセスし、MMR文書を作成又は修正し、その文書を使って、商取引、データ問い合わせ又は報告等のような他の処理を実行する。
【０００８】
本発明は、索引付けされていない文書に注釈(annotation)を付けるシステム、方法及びコンピュータプログラムを提供する。ユーザに関連する部分又は未知の書類のディジタル画像(捕捉された画像)は、注釈と共に受信される。特徴量は、捕捉されたディジタル画像から抽出され、捕捉されたディジタル画像及び注釈と共に保存される。
【０００９】
本発明の１つ以上の実施例の少なくとも一形態は、命令がエンコードされているコンピュータ読取可能な記憶媒体(例えば、１つ以上の、コンパクトディスク、ディスケット、サーバ、メモリスティック若しくはハードドライブ、ROM、RAMその他の電子命令を格納可能な適切な何らかのタイプの媒体)を提供し、その命令が１つ以上のプロセッサにより実行されると、命令は、混合メディア文書システムの情報にアクセスする処理をプロセッサが実行することを引き起こす。その処理は、例えば、本願で説明されるのと同様な方法又はその変形例でもよい。
【００１０】
本願で説明される特徴量及び利点は網羅的なものではなく、特に、多くの追加的な特徴量及び利点が、図面及び本説明により当業者に明らかになるであろう。更に、本明細書で使用されている言葉は主に読みやすさや説明の観点から選択されており、本発明の範囲を限定するものではないことに留意を要する。
【図面の簡単な説明】
【００１１】
【図１Ａ】本発明の一実施例により構築された混合メディアリアリティ(MMR)システムの機能ブロック図を示す。
【図１Ｂ】本発明の別の実施例により構築されたMMRシステムの機能ブロック図を示す。
【図２Ａ】本発明の一実施例による捕捉装置を示す図である。
【図２Ｂ】本発明の一実施例による捕捉装置を示す図である。
【図２Ｃ】本発明の一実施例による捕捉装置を示す図である。
【図２Ｄ】本発明の一実施例による捕捉装置を示す図である。
【図２Ｅ】本発明の一実施例により構築された捕捉装置の機能ブロック図である。
【図３】本発明の一実施例により構築されたMMRコンピュータの機能ブロック図を示す。
【図３Ａ】本発明の一実施例によるインデックスを示す機能ブロック図である。
【図４】本発明の一実施例により適切に構築されたMMRソフトウエアに含まれるソフトウエアコンポーネント群を示す図である。
【図５】本発明の一実施例により構築されたMMR文書例を表現する図を示す。
【図６】本発明の一実施例による文書照合法を説明するための図である。
【図７】本発明の一実施例により構築された文書照合システムを示す図である。
【図８】本発明の一実施例による多段認識法のフローチャートを示す。
【図９】本発明の一実施例によるシステムを示す図である。
【図１０】同様な文書認識特性を伴うユーザ捕捉文書間でアドホック関係を構築するフローチャート例を示す。
【図１１】本発明の一実施例による図９のシステムの利用例を示す図である。
【図１２】本発明の一実施例による標準的なネットワークを示す図である。
【図１３】本発明の一実施例による図９のシステムの利用例を示す図である。
【図１４】本発明の一実施例による図９のシステムの利用例を示す図である。
【図１５】捕捉文書を利用する既存ネットワークのメンバ間の連携強度を修正する本発明の一実施例によるフローチャート例を示す。
【図１６】共用文書を修正する本発明の一実施例によるフローチャート例を示す。
【図１７】本発明の一実施例により、文書に付けられたオーディオクリップ形式の注釈を文書の指定された場所に付ける例を示す図である。
【図１８】索引付けされていない共用文書に注釈を付ける本発明の一実施例によるフローチャート例を示す。
【図１９】共有文書を共同で議論する本発明の一実施例によるフローチャート例を示す。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例が添付図面と共に非限定的に説明され、図中同様な要素を指すのに同様な参照番号が使用される。
【実施例１】
【００１３】
以下、混合メディアリアリティ(MMR)システム及び関連する方法が説明される。MMRシステムは少なくとも２種類のメディアを含む混合メディア文書を作成する仕組みをもたらし、例えば第１媒体として印刷用紙を使用し、第２媒体としてディジタル写真、ディジタル映画、ディジタルオーディオファイル、ディジタルテキストファイル又はウェブリンク等を使用する。更にMMRシステム及び／又は技術は、携帯用電子装置(例えば、PDA又はカメラ付き携帯電話)と紙の書類の組み合わせを活用した様々なビジネスモデルの実現を容易にし、これによって混合メディア文書を提供する。
【００１４】
ある特定の実施例では、MMRシステムはコンテンツベースの検索データベースを含み、そのデータベースは、テキストベースの索引付け(インデックス)を利用して検索を可能にする方法で、印刷文書から抽出されたオブジェクト間の幾何学的な２次元的位置関係を表す。証拠蓄積技術(evidence  accumulation)は、特徴量の出現頻度と２次元領域内での場所の尤度とを結合する。文書認識特徴量又は単に「特徴量」は、コンテンツベース(例えば、文字に基づいてもよいし、画像に基づいてもよい)でもよいし、フォーマットベース(例えば、用紙の光沢やタイプフォント)でもよい。そのような一実施例では、MMRデータベースシステムはインデックステーブルを含み、MMR特徴量抽出アルゴリズムで算出された記述を受信する。インデックステーブルは、特徴量の各々が出現するページ内でのｘ−ｙ座標、ページ及び文書を特定する。証拠蓄積アルゴリズムは、インデックステーブルからのデータの元での仮定的な位置、ページ及び文書のランキングされた群を算出する。リレーショナルデータベース(又は他の適切なストレージ装置)は、文書、ページ及び場所の各々について追加的な特徴量を必要に応じて格納するよう使用することができる。
【００１５】
MMRデータベースシステムは他のコンポーネントを含んでもよく、例えば、MMRプロセッサ、捕捉装置、通信手段及びメモリ(MMRソフトウエアを含む)等を含んでもよい。MMRプロセッサは、メディアタイプのストレージ又はソース、入力装置及び出力装置に結合されてもよい。そのような例では、MMRソフトウエアはMMRプロセッサで実行可能なルーチンを含み、MMRプロセッサは、追加的なディジタルコンテンツと共にMMR文書にアクセスし、MMR文書を作成又は修正し、その文書を用いて他の処理(商取引、データ検索、報告等)を実行する。
【００１６】
MMRシステムの概要
図１Ａを参照するに、本発明の一実施例による混合メディアリアリティ(MMR)システム100aが示されている。MMRシステム100aは、MMRプロセッサ102、通信手段104、携帯入力装置168及び携帯出力装置170を有する捕捉装置106、MMRソフトウエアを含むメモリ108、ベースメディアストレージ160、MMRメディアストレージ162、出力装置164及び入力装置166を有する。MMRシステム100aは、既存の印刷文書(第1メディアタイプ)からの情報を、第２メディアタイプ(例えば、オーディオ、ビデオ、テキスト、更新情報及びサービス等)のインデックスとして利用する方法を提供することで、混合メディア環境を作り出す。
【００１７】
捕捉装置106は、印刷文書の或る表現物(例えば、画像、図形その他の表現)を生成することができ、その表現は、MMRプロセッサ102に送信される。MMRシステム100aはその表現をMMRドキュメント及び他の第２メディアタイプと照合する。合致していれば、MMR文書及び第２メディアタイプが合致又は類似していることを示す。MMRシステム100aは、入力に応答する動作及び表現物の認識に関する責務を負う。MMRシステム100aにより行われる動作は、如何なるタイプのものでもよく、例えば、情報を抽出すること、ある順序に並べること、ビデオ又は音を抽出すること、情報を格納すること、新たな文書を作成すること、文書を印刷すること、文書や画像を表示すること等を含んでもよい。本願で説明されるコンテンツベースの検索データベース技術を利用することで、MMRシステム100aは印刷されたテキストをダイナミックなメディアに変える仕組みをもたらし、関心のあるサービスの電子コンテンツや値に対する入力点をユーザにもたらす。
【００１８】
MMRプロセッサ102は、データ信号を処理し、様々な演算アーキテクチャを含んでもよく、演算アーキテクチャは、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、又は組み合わせによる命令セットを実行するアーキテクチャ等を含む。ある特定の実施例では、MMRプロセッサ102は、演算論理部、マイクロプロセッサ、汎用コンピュータ、その他の情報機器等を有し、これらは本発明による動作を実行するように備えられるものである。他の実施例では、MMRプロセッサ102はグラフィカルユーザインターフェースを有する汎用コンピュータを構成し、例えば、ウインドウズ(登録商標)やユニックス(登録商標)ベースのオペレーティングシステム等のようなオペレーティングシステム上で動作するジャバ(Java(登録商標))で書かれたプログラムによって生成されてもよい。図１Ａでは１つのプロセッサしか描かれていないが、複数のプロセッサが含まれてもよい。プロセッサはMMR108に結合され、そこに格納されている命令を実行する。
【００１９】
通信手段104は、捕捉装置106をMMRプロセッサ102に結合する何らかの装置又はシステムである。例えば、通信手段104は、ネットワーク(例えば、WAN及び／又はLAN)、有線リンク(例えば、USB、RS232又はイーサーネット)、無線リンク(例えば、赤外線、ブルートゥース又は802.11)、移動体通信リンク(例えば、GPRS又はGSM)、公衆交換電話網(PSTN)リンク又はこれらの何らかの組み合わせを用いて実現されてもよい。様々な通信アーキテクチャ及びプロトコルがここで使用可能である。
【００２０】
捕捉装置106は、通信手段104とインターフェースをとるトランシーバのような手段を含み、入力装置168を介して画像又はデータをディジタル的に捕捉することが可能な如何なる装置でもよい。捕捉装置106は場合によっては出力装置170を含んでもよく、或いは携帯可能であってもよい。例えば、捕捉装置106は、一般的なカメラ付き携帯電話、PDA装置、ディジタルカメラ、バーコードリーダ、無線周波数識別(RFID)リーダ、標準的なウェブカム(standard  webcam)のようなコンピュータ周辺機器、又はPCのビデオカードのような組込型装置等でもよい。捕捉装置106のいくつかの具体例は図2A-2Dを参照しながらそれぞれ詳細に説明される。更に、捕捉装置106はソフトウエアアプリケーションでもよく、ソフトウエアアプリケーションは、コンテンツベースの検索を可能にし、MMRシステム100a/100bのインフラストラクチャと捕捉装置106とを結び付ける。捕捉装置106の更に詳細な機能は、図２Eを参照しながら説明される。一般的な及びカスタマイズされた様々な捕捉装置106、及びそれらの機能やアーキテクチャは、本願により明らかになるであろう。
【００２１】
メモリ108は、MMRプロセッサ102で実行される命令及び/又はデータを格納する。命令及び／又はデータは、上記の技術の何れか及び／又は全てを実行するコードで構築される。メモリ108はダイナミックランダムアクセスメモリ(DRAM)装置、スタティックランダムアクセスメモリ(SRAM)装置でもよいし、或いは適切な如何なる他のメモリ装置でもよい。メモリ108は図４を参照しながら以下で更に詳細に説明される。ある特定の実施例では、メモリ108はMMRソフトウエア一式、オペレーティングシステム及び他のアプリケーションプログラム(例えば、ワードプロセシングアプリケーション、電子メールアプリケーション、財務アプリケーション及びウェブブラウザアプリケーション)を含む。
【００２２】
ベースメディアストレージ160は、第２メディアタイプをそれら当初の形式で格納するためのものであり、MMRメディアストレージ162はMMRドキュメント、データベース及び他の情報（MMR環境を作り出すための詳細な情報）を格納するためのものである。図中、別々に示されているが、他の実施例では、ベースメディアストレージ160及びMMRメディアストレージ162は、同じストレージ装置の一部でもよいし、或いは統合されてもよい。データストレージ160，162は、MMRプロセッサ102の命令及びデータを格納し、（ハードディスクドライブ、フロッピディスクドライブ、CD-ROM装置、DVD-ROM装置、DVD-RAM装置、DVD-RW装置、フラッシュメモリ装置又は適切な他の何らかの大容量記憶装置等のような）1つ以上の装置を含んでもよい。
【００２３】
出力装置164は、MMRプロセッサ102と結合されることで、データを出力するように装備された何らかの装置(表示する、音を出す、或いはコンテンツを提示する装置)機能を持つ機器になる。例えば、出力装置164は、プリンタ、表示装置及び／又はスピーカ等のような様々なタイプの内のどれでもよい。例示的な表示出力装置164は、陰極線管(CRT)、液晶表示装置(LCD)、同様に備わる何らかの表示装置、スクリーン又はモニタ等を含む。一実施例では、出力装置164はタッチスクリーンに備わり、そのタッチスクリーンでは、接触感知方式の透明パネルが出力装置164の画面を覆っている。
【００２４】
入力装置166はMMRプロセッサ102に動作可能に結合され、キーボード、カーソルコントローラ、スキャナ、複合機、スチルカメラ、ビデオカメラ、キーパッド、タッチスクリーン、ディテクタ、RFIDタグリーダ、スイッチその他の何らかの手段等のような様々なタイプの内のどれでもよい（何らかの手段は、ユーザがシステム100aとやり取りすることを可能にするものである。）。一実施例では、入力装置166はキーパッド及びカーソルコントローラである。カーソルコントローラは、例えば、マウス、トラックボール、スタイラス、ペン、タッチスクリーン、パッド、カーソル方向キー、又はカーソルを動かす他の手段を含む。他の実施例では、入力装置166は、汎用コンピュータシステム、アナログディジタル変換器及びディジタル信号プロセッサ内で使用されることで、音声認識及び／又はオーディオ処理を促すように設計されたマイクロフォン、オーディオ挿入／拡張カードである。
【００２５】
図１Ｂは、本発明の別の実施例により構築されたMMRシステム100bの機能ブロック図を示す。この実施例では、MMRシステム100bは、MMRコンピュータ112(ユーザ110により操作される)、ネットワークメディアサーバ114及び印刷文書118を生成するプリンタ116を含む。更にMMRシステム100bは、オフィスポータル120、サービスプロバイダサーバ122、電子ディスプレイ124を含み、電子ディスプレイはセットトップボックス126及び文書スキャナ127に電子的に接続されている。MMRコンピュータ112、ネットワークメディアサーバ114、プリンタ116、オフィスポータル120、サービスプロバイダサーバ122、セットトップボックス126及び文書スキャナ127の間の通信リンクは、ネットワーク128により用意され、ネットワークは、LAN(例えば、オフィス又はホームネットワーク)、WAN(例えば、インターネット、企業ネットワーク)、LAN／WANの組み合わせ他の適切な何らかのデータパスであってよく、それらを介して複数の演算装置が通信してよい。
【００２６】
更にMMRシステム100bは捕捉装置106を含み、捕捉装置は、ネットワークメディアサーバ114、ユーザプリンタ116、オフィスポータル120、サービスプロバイダサーバ122、電子ディスプレイ124、セットトップボックス126及び文書スキャナ127の1つ以上との間で、携帯インフラスクトラクチャ132、ワイヤレスフィデリティ(Wi-Fi)技術134、ブルートゥース技術136及び／又は赤外線(IR)技術138等を介して無線で通信することができる。代替的に又は追加的に、捕捉装置106は、MMRコンピュータ112、ネットワークメディアサーバ114、プリンタ116、オフィスポータル120、サービスプロバイダサーバ122、電子ディスプレイ124、セットトップボックス126及び文書スキャナ127と有線技術140を介して有線形式で通信することができる。Wi-Fi技術134、ブルートゥース技術136、IR技術138及び有線技術140は、図1Bでは別々の要素のように示されているが、そのような技術は、(例えば、MMRコンピュータ112、ネットワークメディアサーバ114、捕捉装置106等のような)処理環境内で統合されてもよい。MMR100bは更にジオ(Geo)ロケーション手段142を含み、無線で又は有線でサービスプロバイダサーバ122又はネットワーク128と通信する。ジオロケーション手段は捕捉装置106に統合されてもよい。
【００２７】
MMRユーザ110は、MMRシステム100bを利用している任意の個人である。MMRコンピュータ112は何らかのデスクトップ、ラップトップ、ネットワークコンピュータその他の処理環境である。ユーザプリンタ116は印刷文書を作成可能な何らかのホーム、オフィス又は業務用プリンタであり、印刷文書は、1以上の印刷ページを含む文書である。
【００２８】
ネットワークメディアサーバ114はネットワークコンピュータであり、ネットワーク128を介してMMRシステム100bのユーザによりアクセスされる情報及び／又はアプリケーションを有する。ある特定の実施例では、ネットワークメディアサーバ114は、セントラル化されたコンピュータであり、そのコンピュータ上で、テキストソースファイル、ウェブページ、オーディオ及び／又はビデオファイル、画像ファイル（例えば、静止画写真）等のような様々なメディアファイルが格納されている。ネットワークメディアサーバ114は、例えば、コムキャスト社のコムキャストビデオオンデマンドサービス、リコーイノベーションズ(登録商標)インコーポレーテッドのリコードキュメントモール(登録商標)又はグーグルインコーポレーテッドのビデオサーバである。概して、ネットワークメディアサーバ114は、アタッチされた、統合された或いは捕捉装置106により印刷文書118に関連付けられた何らかのデータへのアクセス権を提供する。
【００２９】
オフィスポータル120は、MMRユーザ110の環境の中で生じるイベントを捕捉するためのオプション的な手段であり、例えばMMRユーザ110のオフィスで生じるイベント等を捕捉する。例えばオフィスポータル120はMMRコンピュータ112とは別個のコンピュータでもよい。その場合、オフィスポータル120は、MMRコンピュータ112に直接的に接続されてもよいし、ネットワーク128を介してMMRコンピュータ112に接続されてもよい。或いは、オフィスポータル120はMMRコンピュータ112内に組み込まれてもよい。例えば、オフィスポータル120が通常のパーソナルコンピュータ(PC)で構成され、そして、何らかの関連する捕捉装置106をサポートする適切なハードウエアとともに拡張されてもよい。オフィスポータル120はビデオカメラ及びオーディオレコーダのような捕捉装置を含んでもよい。更に、オフィスポータル120はMMRコンピュータ112からのデータを捕捉及び格納してもよい。例えば、オフィスポータル120はMMRコンピュータ112で生じるイベント及び機能を監視及び受信することができる。その結果、オフィスポータル120はMMRユーザ110の物理的な環境の中でオーディオ及びビデオの全てを記録し、MMRコンピュータ112で生じる全てのイベントを記録することができる。ある特定の実施例では、オフィスポータル120はイベントを検出する−例えば、文書が編集されている最中にMMRコンピュータ112から映像スクリーン捕捉を行う。その際、オフィスポータル120は、どのウェブサイトが閲覧されたか、及び所与の文書が作成された際に他のどの文書が閲覧されたかを検出する。その情報は、彼／彼女のMMRコンピュータ112又は捕捉装置106を介して後にMMRユーザ110にとって利用できるようにしてもよい。更に、オフィスポータル120は、ユーザが彼らの文書に付けるクリップ用のマルチメディアサーバとして使用されてもよい。更に、文書が机の上にある間に生じた会話(例えば、電話やオフィス内の会話)、電話での話し合い及びオフィス内の小規模なミーティング等のような他のオフィスイベントをオフィスポータル120は検出してもよい。オフィスポータル120のビデオカメラ(図示せず)は、捕捉装置106用に開発された同じコンテンツベースの検索技術を利用することで、MMRユーザ110の物理的なデスクトップ上の文書を確認してもよい。
【００３０】
サービスプロバイダサーバ122は情報又はアプリケーションを保持する何らかの商用サーバであり、その情報等はネットワーク128を介してMMRシステム100bのMMRユーザ110によってアクセス可能である。特に、サービスプロバイダサーバ122は、MMRシステム100bに関連する如何なるサービスプロバイダをも表現する。サービスプロバイダサーバ122は、限定ではないが例えば、コムキャストコーポレーション等のようなケーブルTVプロバイダの商用サーバ、ベリゾンワイヤレス等のような携帯電話サービスプロバイダ、アデルフィアコミュニケーションズ等のようなインターネットサービスプロバイダ、ソニーコーポレーション等のようなオンライン音楽サービスプロバイダ等である。
【００３１】
電子ディスプレイ124は何らかの表示装置であり、それらに限られないが例えば、標準的なアナログ又はディジタルテレビジョン(TV)、フラットスクリーンTV、フラットパネルディスプレイ又は投影システム等である。セットトップボックス126は、衛星アンテナ、空中線、ケーブル、ネットワーク又は電話回線等から到来する信号を処理する既知の受信装置である。セットトップボックスの製造者は例えばアドバンストディジタルブロードキャストである。セットトップボックス126は電子ディスプレイ124のビデオ入力に電子的に接続される。
【００３２】
文書スキャナ127は、パナソニックコーポレーションのKV-S2026Cフルカラースキャナ等のような市販の文書スキャナ装置である。文書スキャナ127は、既存の印刷された文書をMMR用文書に変換する際に使用される。
【００３３】
携帯インフラストラクチャ132は、複数のセルタワー及び他の携帯ネットワーク相互接続を表す。特に、携帯インフラストラクチャ132を利用することで、双方向の音声及びデータ通信が、捕捉装置106等のような装置に組み込まれた無線モデムを介して、手持ちの、携帯可能な又は車載の電話で行われる。
【００３４】
Wi-Fi技術134、ブルートゥース技術136及びIR技術138は、電子装置間の無線通信を行うための技術である。Wi-Fi技術134は、802.11規格等に基づく既知の無線ローカルエリアネットワーク(WLAN)に関連する技術である。ブルートゥース技術136は電気通信工業規格仕様で規定され、その規格は携帯電話、コンピュータ及びPDAが短距離無線接続等によりどのように相互接続されるかを記述している。IR技術138は短距離無線信号を通じて電子装置が通信できるようにする。例えば、IR技術138はテレビジョンのリモートコントローラ、ラップトップコンピュータ、PDAその他の装置で使用される見通し線無線通信媒体でもよい。IR技術138は可視光線より下のミッドマイクロ波帯(mid-microwave)のスペクトルを使用する。更に、1つ以上の他の実施例では、IEEE802.15(UWB)及び／又は802.16(WiMAX)規格を用いて無線通信がサポートされてもよい。
【００３５】
有線技術140は標準的なイーサーネット接続又はユニバーサルシリアルバス(USB)接続等のような何らかの有線通信手段である。携帯インフラストラクチャ132、Wi-Fi技術134、ブルートゥース技術136、IR技術138及び／又は有線技術140を利用することで、捕捉装置106はMMRシステム100bの電子装置の何れか又は全てと双方向に通信できる。
【００３６】
ジオロケーション手段142は地理的な位置を確認する適切な何らかの手段である。ジオロケーション手段142は、例えば周知のような、地上のGPS受信装置に位置データを提供するGPS衛星である。図1Bに示される具体例では、位置データはサービスプロバイダサーバ122を介してMMRシステム100bのユーザに与えられ、そのサービスプロバイダサーバはGPS受信機(図示せず)と結合するネットワーク128に接続されている。或いは、ジオロケーション手段142は一群のセルタワー(例えば、携帯インフラストラクチャ132の一部分)であり、三角測量手段、セルタワー身元確認(ID)手段及び／又は (地理的な位置を確認する手段のような) エンハンストサービス911を用意する。或いは、ジオロケーション手段142は、WiFiアクセスポイント又はブルートゥース装置の既知の場所からの信号強度測定により与えられてもよい。
【００３７】
動作の際、捕捉装置106はMMRユーザ110の所有するクライアントとして機能する。そこにはソフトウエアアプリケーションがあり、コンテンツベースの検索処理を実行可能にし、そして、携帯インフラストラクチャ132、Wi-Fi技術134、ブルートゥース技術136、IR技術138及び／又は有線技術140を介して捕捉装置106をMMRシステム100bのインフラストラクチャに結合する。更に、いくつもの動作を可能にするソフトウエアアプリケーションはMMRコンピュータ112にも存在し、限定ではないが例えば、印刷捕捉処理、イベント検出処理(例えば、文書の編集履歴を保存する)、サーバ処理(例えば、他社に対する後のサービスに備えてデータ及びイベントを保存する)、又は印刷管理処理(例えば、プリンタ116は、文書のレイアウト及びマルチメディアクリップ等のようなMMRに必要なデータをキュー(queue)に並べるよう設定されてもよい)等を可能にする。ネットワーク化されたメディアサーバ114は、印刷文書118のような印刷文書に添付されたデータへのアクセス権を与え、印刷文書118はMMRユーザ110に属するMMRコンピュータ112を介して印刷される。その際、ビデオ又はオーディオのような第２の媒体が、文書のような第１の媒体に関連付けられる。第１の媒体に第２の媒体を関連付けるソフトウエアアプリケーション及び／又は手段の更なる詳細は、図２Ｅ，３，４及び５を参照しながら以下で説明される。
【００３８】
捕捉装置
図２Ａ，２Ｂ，２Ｃ及び２Ｄは、本発明の一実施例による捕捉装置106を例示する。より具体的には、図２Ａはカメラ付き携帯電話である捕捉装置106aを示す。図２ＢはPDA装置である捕捉装置106bを示す。図２Ｃはコンピュータ周辺装置である捕捉装置106cを示す。コンピュータ周辺装置の一例は何らかの標準的なウェブカムである。図２Ｄはコンピュータ装置(例えば、MMRコンピュータ112等)に組み込まれている捕捉装置106dを示す。例えば、捕捉装置106dはコンピュータグラフィックスカードである。捕捉装置106の具体的な詳細は、図２Ｅを参照しながら説明される。
【００３９】
捕捉装置106a,106bの場合、捕捉装置106はMMRユーザ110の所有に係るものでもよい。それらの物理的な場所はジオロケーション手段142により又は携帯インフラストラクチャ132内の各セルタワーのID番号により追跡されてもよい。
【００４０】
図２Ｅを参照するに、本発明の一実施例による捕捉装置例106の機能ブロック図が示されている。捕捉装置106は、プロセッサ210、ディスプレイ212、キーパッド214、ストレージデバイス216、無線通信リンク218、有線通信リンク220、MMRソフトエア群222、捕捉装置ユーザインターフェース(UI)224、文書照合モジュール226、第三者ソフトウエアモジュール228、及び様々な捕捉手段230の内の少なくとも１つを含む。捕捉手段230の具体例は、限定ではないが例えば、ビデオカメラ232、スチルカメラ234、ボイスレコーダ236、電子ハイライター238、レーザ240、GPS装置242及びRFIDリーダ244等を含む。
【００４１】
プロセッサ210は中央処理装置(CPU)であり、限定ではないが例えば、インテルコーポレーションにより製造されているペンティアム(登録商標)マイクロプロセッサである。ディスプレイ212は、手持ち式の電子装置で使用されるような何らかの標準的なビデオディスプレイ手段である。より具体的には、ディスプレイ212は例えば何らかのディジタルディスプレイ(液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)ディスプレイ等)である。キーパッド214は何らかの標準的な英数字入力手段であり、例えば、標準的なコンピュータ装置及び携帯式の電子装置(例えば、携帯電話)で使用されるキーパッドである。ストレージデバイス216は揮発性又は不揮発性の何らかのメモリ装置であり、例えば、周知のハードディスクドライブやランダムアクセスメモリ(RAM)装置である。
【００４２】
無線通信リンク218は無線データ通信手段であり、アクセスポイント(図示せず)を介して及びLAN(例えば、IEEE802.11Wi-Fi又はブルートゥース技術)を介して良く知られているように直接的な１対１通信又は無線通信を行う。有線通信リンク220は有線データ通信手段であり、例えば、標準的なイーサーネット及び／又はUSB接続を介して直接的な通信を行う。
【００４３】
MMRソフトエア群222は全体的な管理ソフトウエアであり、あるタイプのメディアを第２のタイプに併合するようなMMR処理を実行する。MMRソフトエア群222の更なる詳細は、図４を参照しながら説明される。
【００４４】
捕捉装置ユーザインターフェース(UI)224は、捕捉装置106を操作するためのユーザインターフェースである。捕捉装置UI224を利用することで、機能の選択肢に関する様々なメニューがMMRユーザ110に提示される。より具体的には、捕捉装置ユーザインターフェース(UI)224のメニューはMMRユーザ110がタスクを管理することを可能にし、限定ではないが例えば、文書と相互作用すること、既存の文書からデータを読み取ること、既存の文書にデータを書き込むこと、それらの文書に関連する拡張されたリアリティとともに閲覧及び相互作用すること、彼／彼女のMMRコンピュータ112に表示された文書に関連する拡張されたリアリティとともに閲覧及び相互作用すること等を可能にする。
【００４５】
文書照合モジュール226は、捕捉装置106の少なくとも１つの捕捉手段230を介して、捕捉したテキスト画像から特徴量を抽出するソフトウエアモジュールである。文書照合モジュール226は、捕捉した画像及び文書データベースの間でパターン照合を実行することもできる。最も基本的なレベルでの一実施例によれば、文書照合モジュール226は大きなページ画像中の画像パッチの一部(小区画)を決定し、その大きなページ画像は文書の多くの集合から選択されたものである。捕捉したデータを受信すること、捕捉したデータから画像の表現を抽出すること、文書中のパッチ判定及びモーション分析を実行すること、判定の合成を実行すること、入力画像が位置付けられるｘ−ｙ座標のリストを出力すること等のルーチン又はプログラムを文書照合モジュール226は含む。例えば、文書照合モジュール226は、テキストの一部の画像から抽出された水平方向の及び垂直方向の(縦横の)特徴量を結合し、その特徴量の抽出元の文書及び文書中のセクションを確認するアルゴリズムでもよい。或いは、特徴量はフォーマットベースの特徴量でもよく、例えばタイプのフォント、タイプのポイント数及び用紙の光沢などのような物理的な文書の特徴量ベクトルが使用されてもよい。いったん特徴量が抽出されると、例えばMMRコンピュータ112又はネットワークメディアサーバ114にある印刷文書インデックス(図示せず)が問い合わせられ、シンボリック(symbolic)文書を確認する。捕捉装置ユーザインターフェース(UI)224の制御の基で、文書照合モジュール226は印刷文書インデックスへのアクセス権を有する。印刷文書インデックスは図３のMMRコンピュータ112を参照しながら更に詳細に説明される。代替実施例では、文書照合モジュール226はMMRコンピュータ112の一部であり且つ捕捉装置106内に設けられないようにしてもよいことに留意を要する。そのような例では、捕捉装置106は未処理の捕捉データをMMRコンピュータ112へ、画像抽出、パターン照合、文書及び位置判定に備えて送信する。更に別の実施例では、文書照合モジュール226は特徴量抽出のみを実行し、抽出された特徴量がパターン照合及び認証に備えてMMRコンピュータ112に送信される。
【００４６】
第三者ソフトウエアモジュール228は、捕捉装置106で生じる何らかの処理を支援する何らかの第三者ソフトウエアモジュールを表す。第三者ソフトウエアの具体例は、セキュリティソフトウエア、画像検出ソフトウエア、画像処理ソフトウエア及びMMRデータベースソフトウエア、ソーシャルネットワーキングソフトウエア、第三者発行ソフトウエアを含む。
【００４７】
上述したように、捕捉装置106は捕捉手段230をいくつでも含んでよく、それらの具体例が以下に説明される。
【００４８】
ビデオカメラ232はディジタルビデオ記録装置であり、標準的なディジタルカメラや携帯電話で見受けられるものでもよい。
【００４９】
スチルカメラ234は、ディジタル画像を捕捉することができる何らかの標準的なディジタルカメラ装置である。
【００５０】
ボイスレコーダ236は、何らかの標準的な記録装置(マイクロフォン及び関連するハードウエア)であり、その記録装置は、オーディオ信号を捕捉し、それをディジタル形式で出力することができる。
【００５１】
電子ハイライター238は、印刷されたテキスト、バーコード及び小さな画像をPC、ラップトップコンピュータ又はPDA装置に対して走査、格納及び転送することができる電子ハイライターである。電子ハイライター238は、例えば、ウィズコムテクノロジーズのクイックリンクペンハンドヘルドスキャナ(Quicklink  Pen  Handheld  Scanner)であり、シリアルポート、赤外線通信又はUSBアダプタを介して情報をペンに格納することや情報をコンピュータアプリケーションに直接的に転送することを可能にする。
【００５２】
レーザ240は良く知られているように誘導放出、コヒーレント、準単色光により光を生成する光源である。例えばレーザ240は標準的なレーザダイオードであり、順方向にバイアスされた場合にコヒーレント光を放出する半導体素子である。レーザ240に関連するもの及び包含されるものは、レーザ240が向けられている画像で反射された光量を測定するディテクタである。
【００５３】
GPS装置242は、例えば緯度及び経度のディジタルデータのような位置データを用意する何らかのポータブルGPS受信装置である。ポータブルGPS受信装置242の具体例は、ソニーコーポレーションのUV-U70ポータブル衛星ナビゲーションシステム、タレスノースアメリカ(Thales  North  America)コーポレーションのマゼランブランドロードメートシリーズGPS装置、メリディアンシリーズ(Meridian  Series)GPS装置及びイクスプロリストシリーズ(eXplorist  Series)GPS装置等である。GPS装置242は、リアルタイムで、或る程度、三角測量により、捕捉装置106の位置を決定する方法を複数のジオロケーション手段142に良く知られているようにもたらす。
【００５４】
RFIDリーダ244は、テキサスインスツルメントで製造されているTI-RFIDシステムのような市販のRFIDタグリーダシステムである。RFIDタグは無線波を利用することで固有の事項(アイテム)を確認するための無線装置である。周知のように、RFIDタグはアンテナに取り付けられたマイクロチップで形成され、そのマイクロチップに固有のディジタル識別番号が格納されている。
【００５５】
ある特定の実施例では、捕捉装置106は、プロセッサ210、ディスプレイ212、キーパッド214、ストレージデバイス216、無線通信リンク218、有線通信リンク220、MMRソフトエア群222、捕捉装置ユーザインターフェース(UI)224、文書照合モジュール226、第三者ソフトウエアモジュール228、及び様々な捕捉手段230の内の少なくとも１つを含む。その場合、捕捉装置106は全機能搭載型装置である。或いは、捕捉装置106はより少ない機能しか備えてなくてもよいし、機能コンポーネントの限定された組しか含んでなくてもよい。例えば、MMRソフトエア群222及び文書照合モジュール226は遠隔的に存在し、例えば、MMRシステム100bのMMRコンピュータ112又はネットワークメディアサーバ114は、無線通信リンク218又は有線通信リンク220を介して捕捉装置106からアクセスされてもよい。
【００５６】
MMRコンピュータ
図３を参照するに、本発明の一実施例により構築されたMMRコンピュータ112が示されている。図示されているように、１つ以上のマルチメディア(MM)ファイル336を含むネットワークメディアサーバ114に、印刷文書118を生成するユーザプリンタ116に、文書スキャナ127に及び捕捉装置106に、MMRコンピュータ112は接続されており、捕捉装置は文書照合モジュール226の第１インスタンス及び捕捉装置UI224を含む。これらのコンポーネント間の通信リンクは、直接的なリンクでもよいし、或いはネットワークを介してもよい。更に、文書スキャナ127は文書フィンガープリント照合モジュール226’の第２インスタンスを含む。
【００５７】
本実施例のMMRコンピュータ112は、1つ以上のソースファイル310、第１ソース文書(SD)ブラウザ312、第２SDブラウザ314、プリンタ装置316、印刷文書(PD)捕捉モジュール318、インデックス322を格納する文書データベース320、イベント捕捉モジュール324、文書分析モジュール326、マルチメディア(MM)クリップブラウザ／エディタモジュール328、MMのプリンタドライバ330、文書ビデオ分析(DVP:  Document-to-Video  Parser)印刷システム332及びビデオペーパー文書334を含む。
【００５８】
ソースファイル310は、文書(又はその一部分)の電子表現である何らかのソースファイルを表す。ソースファイル310の具体例は、ハイパーテキストマークアップ言語(HTML)ファイル、マイクロソフトワードファイル、マイクロソフトパワーポイントファイル、シンプルテキストファイル、ポータブルドキュメントフォーマット(PDF)ファイル等であり、これらはMMRコンピュータ112のハードドライブ(又は他の適切なストレージ)に格納される。
【００５９】
第１SDブラウザ312及び第２SDブラウザ314は、スタンドアローンPCアプリケーション又は既存のPCアプリケーション用のプラグイン(plug-in)であり、ソースファイル310に関連付けられているデータへのアクセスを可能にする。第１及び第２SDブラウザ312,314はオリジナルのHTMLファイル又はMMクリップをMMRコンピュータ112で表示するために抽出する。
【００６０】
プリンタ装置316はプリンタドライバソフトウエアであり、アプリケーションと(何らかの特定のプリンタで使用されている)ページ記述言語又はプリンタ制御言語との間の通信リンクを周知のように制御する。特に、印刷文書118のような文書が印刷されるときはいつでも、印刷装置用にリコーコーポレーションで用意されているもののように、プリンタドライバ316は制御コマンドを正すデータをプリンタ116に供給する。一実施例では、印刷装置316は通常の印刷装置とは異なり、印刷される全ページの全キャラクタのｘ−ｙ座標、フォント及びポイントサイズの表現物を自動的に捕捉する。言い換えれば、印刷装置は印刷される文書全体の内容についての情報を捕捉し、そのデータをPD捕捉モジュール318にフィードバックする。
【００６１】
印刷文書(PD)捕捉モジュール318は文書の印刷表現を捕捉するソフトウエアアプリケーションであり、キャラクタ及び図形の印刷ページでのレイアウトが取り出せるようにする。更に、PD捕捉モジュール318を利用することで、文書の印刷表現は、自動的に、リアルタイムで及び／又は印刷時に捕捉される。より具体的には、PD捕捉モジュール318はあるソフトウエアルーチンであり、印刷ページ上での文字の２次元配置を捕捉し、その情報をPDインデックス322に伝送する。一実施例では、PD捕捉モジュール318は、印刷ページ上の全キャラクタのウインドウズテキストレイアウトコマンドを取得することで処理を行う。そのテキストレイアウトコマンドは、フォントやポイントサイズ等だけでなく印刷ページ上の全キャラクタのｘ−ｙ座標をオペレーティングシステム(OS)に指示する。実際には、PD捕捉モジュール318はプリンタ116に伝送された印刷データを傍受する。図示の例では、PD捕捉モジュール318はデータを捕捉するために第１SDブラウザ312の出力に結合される。代替的に、PD捕捉モジュール318の機能はプリンタドライバ316内で直接的に実行されてもよい。様々なコンフィギュレーションが可能なことが本願の開示により明らかになるであろう。
【００６２】
文書データベース320は、本発明の一実施例により、印刷文書及びイベント間の関係を格納するように修正された何らかの標準的なデータベースである。例えば、文書データベース320は、ソースファイル310(例えば、ワードファイル、HTMLファイル、PDFファイル)から、印刷文書118に関連するイベントへの双方向のリンクを格納する。イベントの例は、ワード文書が印刷された直後に捕捉装置106でマルチメディアクリップを捕捉すること、捕捉装置106のクライアントアプリケーションとともにマルチメディアを文書に加えること、又はマルチメディアクリップに対する注釈等である。更に、ドキュメントイベントデータベース320に格納されてもよいソースファイル310に関連する他のイベントは、所与のソースファイル310が開かれた、閉じられた又は削除されたときのロギング、所与のソースファイル310がMMRコンピュータ112のデスクトップ上でアクティブアプリケーション内にあった場合のロギング、文書「コピー」及び「移動」操作の回数及び宛先のロギング、所与のソースファイル310の編集履歴のロギング等を含む。そのようなイベントは、イベント捕捉モジュール324で捕捉され、文書データベース320に格納される。文書データベース320は、ソースファイル310の出力を、イベント捕捉モジュール324、PD捕捉モジュール318及びスキャナ127の出力を受信するように結合され、クエリ及びデータを受けるように捕捉装置106にも結合され、出力を用意する。
【００６３】
文書データベース320は、１つ以上のインデックス及び／又はモジュール322(「インデックス322」と言及される)も格納する。そのようなインデックスのいくつかの具体例は、図3Aに示されている。一実施例では、文書データベース320はソフトウエアアプリケーションであるPDDインデックス322aを含み、印刷文書の画像から抽出した特徴量を、それらのシンボリック形式(例えば、ワード(Word)に対するスキャン画像)に対応付ける。一実施例の場合、PD捕捉モジュール318は、フォント、ポイントサイズ等に加えて印刷ページ上の全てのキャラクタのx-y座標をPDインデックス322aに与える。PDインデックス322aは、所与の文書が印刷された時点で構築される。しかしながら、全ての印刷データが捕捉され、後の時点で問い合わせできる形式で、PDインデックス322aに保存される。PDインデックス322aは、特徴量を用いた又はテキストを用いた問い合わせをサポートするように組織される。PDインデックス322aのコンテンツ(内容)は、印刷文書の電子表現であり、印刷処理中にPD捕捉モジュール318を利用することで、及び／又はスキャン処理中に文書スキャナ127の文書照合モジュール226’を利用することで生成される。
【００６４】
文書データベース320は、一実施例では文書インデックステーブル322bを含む。文書インデックステーブル322bは、各文書に関する関連情報を含む。或る特定の実施例の場合、この情報はXMLファイル中の文書関連フィールドを含み、印刷解像度、印刷日、用紙サイズ、シャドーファイル名、ページ画像位置等を含む。
【００６５】
一実施例では、文書データベース320は、MMRインデックステーブルモジュール322c、MMRインデックステーブル322d、証拠蓄積モジュール322e及びリレーショナルデータベース322fを含む。インデックステーブルモジュール322cはインデックステーブル322dに問い合わせを行い、インデックステーブルは、特徴量の各々が出現したページ内でのx-y座標、ページ及び文書を特定する。証拠蓄積モジュール322eは、インデックステーブル322d中のデータの下で、文書、ページ及び仮定的な位置のランク付けされた集まり(群)を算出するようにプログラムされる又は構築される。リレーショナルデータベース322fは、各画像パッチについての付加的な特徴量を保存するのに使用可能である。MMRインデックステーブル322dは、逆用語インデックステーブル(inverted  term  index  table)及び文書インデックステーブルを更に含んでもよい。特有の用語又は特徴量各々は、用語インデックステーブル中の或る場所を指し、その場所は、特徴量について或る機能値を有し(例えば、キーｘ)、レコードのリスト(例えば、Rec#1，Rec#2等)を指し、各レコードは文書のページ上での候補領域を特定する。インデックステーブル322dの組織は、画像パッチ内で検出された特徴量をテキスト語に変換し、そのテキスト語は、特徴量自身と、特徴量間の幾何学的関係との両方を表現する。これは、通常のテキスト索引付け及び探索法の利用を許容する。インデックステーブル322dは画像インデックスを効率的に提供するよう機能し、所与の画像問い合わせがなされているオブジェクト内のｘ−ｙ座標及びオブジェクト(例えば、文書ページ)のコンテンツベースの抽出を可能にする。そのような画像インデックス及びリレーショナルデータベースの結合は、画像パッチ及びパッチの特徴量に合うオブジェクトの特定を可能にする(例えば、パッチに付随する「処理(action)」、即ち、スキャン可能なバーコードが、パッチに関連する他のコンテンツの抽出を可能にする。)。
【００６６】
図３を参照するに、イベント捕捉モジュール324は、MMRコンピュータ112でイベントを捕捉するソフトウエアアプリケーションであり、そのイベントは所与の印刷文書118及び／又はソースファイル310に関連付けられる。これらのイベントは所与のソースファイル310のライフサイクルの中で検出され、ドキュメントイベントデータベース320に保存される。特定の実施例では、イベント捕捉モジュール324を用いることで、第１SDブラウザ312のようなコンピュータ112のブラウザの中でアクティブなHTMLファイルに関するイベントが検出される。これらのイベントは、HTMLファイルがMMRコンピュータ112に表示された時点、又はそのHTMLファイルが表示若しくは印刷されている際に同時に開かれていた他の文書のファイル名等を含んでもよい。このイベント情報は、例えば、HTMLファイルが表示又は印刷されている際に彼／彼女が閲覧又は作業していた文書が何であるかを、MMRユーザ110が(後の時点で)知ることを希望した場合に特に有用である。イベント捕捉モジュール324により捕捉されるイベントの具体例は、文書編集履歴、所与のソースファイル310がデスクトップ上にあった近辺の時点でなされたオフィスミーティングの映像(例えば、オフィスポータル120で捕捉される)、及び所与のソースファイル310が開かれた時点で起こった電話呼出(オフィスポータル120で捕捉されてもよい)等を含む。
【００６７】
イベント捕捉モジュール324の具体的な機能は：１）トラッキング−アクティブなファイル及びアプリケーションを追跡すること、２）キーストロークキャプチャリング−キーストローク捕捉及びアクティブアプリケーションとの関連付け、３）フレームバッファキャプチャリング及びインデキシング−各フレームバッファ画像はフレームバッファデータの光文字認識(OCR)の結果と索引付けされることを含み、印刷文書の一部が画面に表示された場合に照合できるようにする。或いは、グラフィカルディスプレイインターフェース(GDI)シャドーdllとともにテキストが捕捉可能であり、PCオペレーティングシステムにより発行されるPCデスクトップについて文字を描くコマンドを追跡する。MMRユーザ110は捕捉装置106をある文書で指示し、それがMMRコンピュータ112のデスクトップでアクティブであった時点を確認してもよい；４）履歴捕捉読取−フレームバッファキャプチャリング及びインデキシング処理のデータは、彼／彼女のMMRコンピュータ112のデスクトップで文書がアクティブであった時点の分析とリンクされ、どの程度長いか、及び特定の文書のどの部分かを追跡するように、MMRユーザ110に表示可能にすることを上記の機能は含む。その際、MMRユーザ110が文書を読んでいたか否かを推察するために、キーストロークやマウスの動きのような他のイベントとの関連性が考慮されてもよい。
【００６８】
文書データベース320、インデックス322及びイベント捕捉モジュール324の組み合わせは、MMRコンピュータ112でローカルに実現されてもよいし、或いは共用データベースとして実現されてもよい。ローカルに実現する場合、共用形式で実現することに比べてセキュリティレベルの低いことが必要とされる。
【００６９】
文書分析モジュール326は、印刷される文書118各自に関連するソースファイル310を分析するソフトウエアアプリケーションであり、そこでの有用なオブジェクト(例えば、ユニフォームリソースロケータ(URL)、アドレス、タイトル、著者、時間又は場所を表す語句(例えば、ハリーディービルディング))を特定する。その際、ソースファイル310の印刷バージョンにおけるこれらのオブジェクトの場所が特定される。文書分析モジュール326の出力は、受信装置により使用可能であり、文書118の提示を追加的な情報とともに拡張し、パターン照合の精度を改善する。更に、受信装置は、例えばURLの場合そのロケーションを使用して、URLに関連するウェブページを取り出す。文書分析モジュール326は、ソースファイル310を受信するよう結合され、文書照合モジュール226に出力を提供する。捕捉装置の文書照合モジュール226に結合されるようにしか示されていないが、文書分析モジュール326の出力は、文書照合モジュール226の全部に又はいくつにでもそれらが位置する何処にでも結合可能である。更に、文書分析モジュール326の出力は、後の利用に備えて文書データベース320に格納されてもよい。
【００７０】
MMクリップブラウザ／エディタモジュール328は、認証(著作)機能を提供するソフトウエアアプリケーションである。MMクリップブラウザ／エディタモジュール328は、スタンドアローンアプリケーションでもよいし、或いは文書ブラウザ上で動作するプラグインでもよい(第２SDブラウザ314に対して波線で表現されている)。MMクリップブラウザ／アプリケーション328はマルチメディアファイルをユーザに表示し、マルチメディアファイル336を受けるようにネットワークメディアサーバに結合される。更に、MMRユーザ110が文書を作成する際(例えば、マルチメディアクリップを文書に付ける際)、MMクリップブラウザ／アプリケーション328はその機能に関するサポートツールになる。MMクリップブラウザ／アプリケーション328は、マルチメディア文書が作成された頃に印刷された文書から分析された情報のようなメタデータを示すアプリケーションである。
【００７１】
MMのプリンタドライバ330はMMRドキュメントを作成する機能を用意する。例えば、MMRユーザ110は、MMのプリンタドライバ330により生成されたテキストをユーザインターフェース(UI)で強調し、マルチメディアデータを取り出すこと又はネットワーク128で若しくはMMRコンピュータ112で他の何らかのプロセスを実行することを含むアクションをそのテキストに付け加えてもよい。MMのプリンタドライバ330及びDVP印刷システム332の組み合わせは、バーコードを利用する代替的な出力をもたらす。このフォーマットは必ずしもコンテンツベースの検索技術を必要としない。MMのプリンタドライバ330は、ビデオペーパーテクノロジ−即ち、ビデオペーパー334をサポートするプリンタドライバである。MMのプリンタドライバ330は、バーコードを含む紙の表現物をマルチメディアにアクセスする手段として作成する。これに対して、プリンタドライバ316は、MMR対応技術を含む紙の表現物をマルチメディアにアクセスする手段として作成する。MMクリップブラウザ／アプリケーション328及びSDブラウザ314の組み合わせに含まれる認証機能は、その同じ出力フォーマットをSDブラウザ312として作成し、コンテンツベースの検索に備えて、MMRドキュメントの作成を可能にする。DVP印刷システム332は、文書に関連するドキュメントイベントデータベース320中の何らかのデータの処理を、その印刷表現に明示的な又は黙示的なバーコードとともに結合する。黙示的なバーコードは、バーコードに使用されるもののようなテキスト属性のパターンに関連する。
【００７２】
ビデオペーパー334は、紙のような印刷可能な媒体でオーディオビジュアル情報を表す技術である。ビデオペーパーでは、コンピュータ内に格納された又はコンピュータ内でアクセス可能な電子コンテンツに対する指標としてバーコードが使用される。ユーザはバーコードをスキャンすると、そのテキストに関連するビデオクリップその他のマルチメディアコンテンツがシステムから出力される。オーディオ又はビデオペーパーを印刷するシステムは存在し、これらのシステムは本質的にはマルチメディア情報について紙ベースのインターフェースをもたらす。
【００７３】
ネットワークメディアサーバ114のMMファイル336は、様々なファイルタイプ及びファイルフォーマットの内のどの集合をも表す。例えば、MMファイル336はテキストソースファイル、ウェブページ、オーディオファイル、ビデオファイル、オーディオ／ビデオファイル及びイメージファイル(例えば、静止画写真)である。
【００７４】
図1Bで述べたように、文書スキャナ127は既存の印刷文書をMMR仕様文書に変換する際に使用される。しかしながら、更に図３を参照するに、文書スキャナ127は、文書照合モジュール226’の特徴量抽出処理を、走査される文書の全ページに適用することで、既存の文書に対してMMR処理を行うことを可能にするために使用される。その後、インデックス322には走査及び特徴量抽出結果が投入され、走査された文書の電子表現がドキュメントイベントデータベース320に格納される。インデックス322の情報は、MMRドキュメントを作成するのに使用可能である。
【００７５】
図３を更に参照するに、MMRコンピュータ112のソフトウエア機能は、MMRコンピュータ112だけに限定されないことに留意を要する。或いは、MMRコンピュータ112、ネットワークメディアサーバ114、サービスプロバイダサーバ122及び捕捉装置106のMMRシステム100bの中でユーザが決めた何らかのコンフィギュレーションの中で図３に示されるソフトウエア機能が分散されてもよい。例えば、ソースファイル310、SDブラウザ312、SDブラウザ314、プリンタ装置316、PD捕捉モジュール318、ドキュメントイベントデータベース320、PDインデックス322、イベント捕捉モジュール324、文書分析モジュール326、MMクリップブラウザ／エディタモジュール328、MMのプリンタドライバ330及びDVP印刷システム332は、捕捉装置106内に完全に備わっていてもよく、それにより、捕捉装置106にとって強化された機能をしてもよい。
【００７６】
MMRソフトウエア群
図４は、本発明の一実施例によるMMRソフトウエア群222に含まれるソフトウエアコンポーネント群を示す。MMRソフトウエア群222の全部又はいくつかは、MMRコンピュータ112、捕捉装置106、ネットワークメディアサーバ114及び他のサーバに含まれてもよいことに留意すべきである。更に、MMRソフトウエア群222の他の例は、図示のコンポーネントを１つ乃至全部に至るまでいくつでも所有してよい。本実施例のMMRソフトウエア群222は、マルチメディア注釈ソフトウエア410(テキストコンテンツ検索部412、画像コンテンツ検索部414及びステガノグラフィック修正部416を含む)と、履歴コンポーネント417(ペーパー読み取り履歴ログ418と、オンライン読み取り履歴ログ420と、物理履歴ログ部4３2とを含む)と、文書修正部421(協同的文書確認部422と、リアルタイム通知部424と、記入済フォーム確認部434と、文書認証部442と、文書バージョン取得部448及び表示部460とを含む)と、デスクトップビデオリマインダ部428と、ウェブページリマインダ部430と、マルチメディア取得部426と、位置確認部438と、無意識的アップロード部446と、PC文書メタデータ部450と、捕捉装置ユーザインターフェースUI部452と、ユーザ関連付け部456と、ネットワーキング部458とを含む。
【００７７】
文書データベース320の構造との組み合わせでマルチメディア注釈ソフトウエア410は、ある特定の実施例によるMMRシステム100bの基礎的な技術を形成する。より具体的には、マルチメディア注釈ソフトウエア410は、紙の文書についてのマルチメディア注釈を管理するためのものである。例えば、MMRユーザ110は、紙文書の何らかの部分で捕捉装置を指示し、捕捉装置106の少なくとも１つの捕捉手段230を用いてその部分に注釈を付ける。特定の例では、契約書のある部分について法律家が注釈を指図する(オーディオファイルを作成する)。そのマルチメディアデータ(オーディオファイル)は、その文書のオリジナルの電子バージョンに自動的に添付される。その文書の以後の印刷は、選択的に、それらの注釈の有無に関する指標を含む。
【００７８】
テキストコンテンツ検索部412は、コンテンツベースの情報をテキストから取り出すソフトウエアアプリケーションである。例えば、テキストコンテンツ検索部412を用いることで、テキストのパッチ(一部)からコンテンツが取得され、オリジナルの文書及び文書中のセクションが確認される、或いはそのパッチにリンクした他の情報が確認される。テキストコンテンツ検索部412はOCRベースの技術を利用してもよい。或いは、テキストからコンテンツベースの抽出を実行するために非OCRベースの技術は、テキストのパッチ内でのワード長の２次元配列を含む。テキストコンテンツ検索部412の一例はあるアルゴリズムであり、そのアルゴリズムは、テキストの一部の画像から抽出された水平方向の及び垂直方向の(縦横の)特徴量を結合し、文書及びその文書中の抽出されたセクションを確認する。水平方向の及び垂直方向の特徴量は、連続的に、並列的に或いは同時に使用されてもよい。そのような非OCRベースの特徴量群を使用すると、高速な実現手段をもたらし、ノイズのある環境でのロバスト性をもたらす。
【００７９】
画像コンテンツ検索部414は、コンテンツベースの情報を画像から取り出すソフトウエアである。画像コンテンツ検索部414は、捕捉した画像及びデータベース320中の画像間の画像比較を実行し、可能な画像照合のリスト及び関連する信頼度（類似度）を生成する。更に、一致画像の各々は、ユーザ入力に応じて実行される関連動作及び関連データを有してもよい。一例では、画像コンテンツ検索部414は、例えば、画像をベクトル表現に変換することで、ラスタ画像(例えば、マップ)に基づいてコンテンツを抽出し、そのベクトル表現は、特徴量の配列の同じ画像を求めて画像データベースに問い合わせるのに使用可能である。代替実施例は、カラーコンテンツの画像又は画像内のオブジェクトの幾何学的配置を利用して、データベースの中で一致する画像を探す。
【００８０】
ステガノグラフィック又はステガノグラフィ(steganographic)修正部416は、印刷に先立ってステガノグラフィック的な修正を実行するソフトウエアアプリケーションである。MMRアプリケーションをより良好にイネーブルにするため、テキスト及びイメージが印刷される前にテキスト及びイメージにディジタル情報が加えられる。代替実施例では、ステガノグラフィック修正部416はMMRドキュメントを生成及び格納し、MMRドキュメントは、１）テキスト、オーディオ又はビデオ情報のようなオリジナルベースのコンテンツ、２）テキスト、オーディオ、ビデオ、アプレット、ハイパーテキストリンク等のような何らかの形式の追加的なコンテンツを含む。ステガノグラフィック修正は、カラーの又はグレースケールの画像中にウォーターマークを、文書の背景にドットパターンの印刷を、印刷されたキャラクタの輪郭の僅かな修正を埋め込み、ディジタル情報をエンコードすることを含む。
【００８１】
履歴コンポーネント417は、様々な形態の表示履歴及び紙と電子文書の物理的な類似性の記録(ログ)をとる。履歴コンポーネント417は、ログに含まれている様々な情報を特定するためにMMRユーザ110によって探索可能である。履歴コンポーネントは、ペーパー読み取り履歴ログ418と、オンライン読み取り履歴ログ420と、物理履歴ログ部422とを含む。
【００８２】
ペーパー読み取り履歴ログ418は、紙文書の読み取り履歴ログである。ペーパー読み取り履歴ログ418は、例えば、文書データベース320の中にある。ペーパー読み取り履歴ログ418は、リコーイノベーションズ(登録商標)により開発された、ビデオによる文書認証技術(document  identification-from-video  technology)に基づいてもよい。ペーパー読み取り履歴ログ418は、例えば、MMRユーザ110に文書を読み取ることを及び／又は何らかの関連するイベントをリマインドする際に特に有用である。
【００８３】
オンライン読み取り履歴ログ420は、オンライン文書の読み取り履歴ログである。オンライン読み取り履歴ログ420は、オペレーティングシステムイベントの分析に基づき、ドキュメントイベントデータベース320の中にある。オンライン読み取り履歴ログ420は、MMRユーザ110により読み取られたオンライン文書の記録であり、その文書の一部分が読み取られる。オンライン読み取り履歴ログ420のエントリは、以後のすべての印刷においてさまざまな方法で印刷されてもよい。例えば、各部分を読み取るのに費やした時間に基づいて、各ページの下にメモを用意することで又は異なる色でテキストを強調することで印刷されてよい。更に、マルチメディア注釈ソフトウエア410はPDインデックス322でこのデータを指示してもよい。或いは、オンライン読み取り履歴ログ420は、MMRコンピュータ112をモニタする顔検出システムのような装置に備わるMMRコンピュータ112により支援されてもよい。
【００８４】
物理履歴ログ432は、例えばドキュメントイベントデータベース320の中にある。物理履歴ログ432は紙文書の物理履歴ログである。例えば、MMRユーザ110は彼／彼女の捕捉装置106を紙文書に向け、物理履歴ログ432に格納されている情報を利用することで、何らかの過去の時点で関心を寄せた文書に隣接する他の文書が決定される。この処理は、RFIDのようなトラッキングシステムによって支援される。その場合、捕捉装置106はRFIDリーダ244を含む。
【００８５】
文書修正部421は、認証、注釈、編集、翻訳及びバージョン抽出等のような様々な文書変更を可能にする。文書修正部421は、協同的文書確認部422と、リアルタイム通知部424と、記入済みフォーム確認部434と、文書認証部442と、文書バージョン取得部448及び表示部460とを含む。
【００８６】
協同的文書確認部422はあるソフトウエアアプリケーションであり、同じ紙文書の異なるバージョンの1人より多くのリーダが、他のリーダにより適用されたコメントを、(彼／彼女の捕捉装置106を文書の何らかのセクションで指示することによって)確認できるようにする。例えば、文書サムネイルのトップにおけるオーバーレイとして、注釈が捕捉装置106で表示されてもよい。協同的文書確認部422は、既存の如何なるタイプの協同的なソフトウエアとともに実現される又は協同してもよい。
【００８７】
リアルタイム通知部424は、読み取られる文書のリアルタイムの通知を実行するソフトウエアアプリケーションである。例えば、MMRユーザ110は文書を読み取るがその一方で、彼／彼女の読み取った跡(トレース)は、ブログに又はオンライン掲示板に掲示される。その結果、同じ話題に興味のある他の人々が、その文書について集まってチャットを行ってもよい。
【００８８】
記入済フォーム確認部434は、あるフォーム(定型様式)を記入するのに使用した過去に取得した情報を抽出するソフトウエアアプリケーションである。例えば、MMRユーザ110は彼／彼女の捕捉装置106を或るブランクフォーム(例えば、ウェブサイトから印刷された請求様式)の所で指示し、過去に入力した情報の履歴を用意する。その後に、記入済文書確認部434により、そのフォームは過去に入力した情報で自動的に記入される。
【００８９】
文書認証部442は、既存の文書に関する認証処理を実行するソフトウエアアプリケーションである。文書認証部442は、例えば個人用エディションとして又は業務用エディションとして実現可能である。個人用エディションの場合、MMRユーザ110は文書をスキャンし、それらをMMRドキュメントデータベースに加える(例えば、ドキュメントイベントデータベース320に加える)。業務用エディションの場合、発行者(又は第三者)がオリジナルの電子ソース(又は、電子ゲラ刷り)からMMRドキュメントを作成する。この機能は、ハイエンド出版パッケージ(例えば、アドビリーダー)に組み込まれ、他のエンティティにより提供されるバックエンドユーザとともにリンクされてもよい。文書に関する修正及び／又は注釈をMMRのユーザ110から受信し、それらを画像及び／又は文書に関連付けることに加えて、修正された及び／又は注釈の付いた画像及び／又は文書が、同様な画像及び文書を捕捉する他のユーザにとって利用可能であるようにする責務を、文書認証部442は有する。
【００９０】
認証はMMRコンピュータ112のような装置で行ってもよいし、或いは捕捉装置106で直接的に行ってもよい。文書認証部442は、マイクロソフトワード、パワーポイント及びウェブページ認証パッケージ等のような既存の認証アプリケーションのプラグインとして与えられる。文書認証部442は、MMRユーザ110が紙文書を準備することを可能にし、その紙文書は、彼／彼女のMMRコンピュータ112からのイベントに対するリンク又は彼／彼女の環境の中でのイベントに対するリンクを含む；(或いは文書認証部442は)リンクを有する紙文書を自動的に生成することを可能にし、印刷される文書が、該文書の生成元のワードファイルに自動的にリンクされるようにする；(或いは文書認証部442は)MMRユーザ110がワードファイルを検索可能にし、他の誰かにそれを付与できるようにする。リンクを含む紙文書は、MMRドキュメントとして言及される。捕捉装置106でのバージョンを使って、MMRユーザ110は、彼／彼女が手に持っている紙文書からキーフレーズ(主要な語句)を取り出し、その場で捕捉した追加的なコンテンツ(内容)とともにそのキーフレーズを格納し、仮のMMRドキュメントを作成する。更に、捕捉装置106を利用することで、MMRユーザ110は、彼／彼女のMMRコンピュータ112に戻り、彼／彼女が作成した仮のMMRドキュメントを既存の文書アプリケーション(例えば、パワーポイント)にダウンロードし、それをMMR文書の最終バージョンに編集してもよいし又は他のアプリケーション用の他の標準的な形式の文書に編集してもよい。その際、イメージ及びテキストが既存の文書のページ中に自動的に挿入される(例えば、パワーポイント文書のページ中に挿入される。)。
【００９１】
文書バージョン取得部448は、所与のソースファイル310又は文書の過去の及び将来的なバージョンを取得し、各バージョンに関連するイベントのリストを抽出及び表示するソフトウエアアプリケーションである。例えば、MMRユーザ110は印刷文書の場所に捕捉装置106を指示し、そして文書バージョン取得部448が現在のソースファイル310(例えば、ワードファイル)、及びソースファイル310の過去及び将来の他のバージョンを特定する。特定の実施例では、この動作はウインドウズファイルトラッキングソフトウエアを利用し、ソースファイル310が複製され及び移された場所を追跡する。他のそのようなファイルトラッキングソフトウエアも使用可能である。例えば、グーグルデスクトップサーチやマイクロソフトウインドウズサーチコンパリゾンは、ソースファイル310から選択されたワードを含む問い合わせと共にファイルの現在のバージョンを見つけることができる。上記の処理は、手元にある印刷文書が、文書に関連するもっとも重要な外的イベント(例えば、打ち合わせやミーティング)の数ヶ月後に作成された文書バージョンから生成されていることを保証する。
【００９２】
文書表示部460は、注釈の付いた文書の公表を可能にするソフトウエアアプリケーションである。MMRユーザ110によって文書に関連付けられた関心度スコア又は他の文書注釈がウェブサイトで公表され、文書や文書の一部分(タイトルやキーワード等)の従来のサーチパラメータと共に、注釈やスコア又は注釈やスコアの数に基づいて検索する機能をウェブサイトは提供できる。以後、MMRユーザ110は、文書やその一部分を取得することで注釈やスコアを検討できる。スコアの無い文書の場合、同様な文書又はその文書中の似たような場所を用いて、近似的なスコアが算出可能である。更に、MMRユーザ110は、他のMMRユーザ110が関心を持ってマークした文書又はその一部分を探すことができ、例えば、MMRユーザ110がその文書についての他者のコメントを求めていた場合にそのようにできる。
【００９３】
デスクトップビデオリマインダ部428は、MMRコンピュータ112で起こるイベントをMMRユーザ110に知らせるソフトウエアアプリケーションである。例えば、紙文書の或るセクションで捕捉装置106を指図することで、MMRユーザ110は、そのセクションが現れた場合に、MMRコンピュータ112のデスクトップにおける変化を示すビデオクリップを見てもよい。更に、デスクトップビデオリマインダ部428は、MMRコンピュータ112により記録された他のマルチメディア(例えば、MMRコンピュータ112の近辺での音響)を取り出すように使用されてもよい。
【００９４】
ウェブページリマインダ部430は、MMRユーザ110に彼／彼女のMMRコンピュータ112で見たウェブページを思い出させるソフトウエアアプリケーションである。例えば、紙文書上で捕捉装置106によるパン撮り(panning)を行うことで、MMRユーザ110は表示されたウェブページのトレースを眺める一方、文書の関連するセクションがMMRコンピュータ112のデスクトップに示される。ウェブページは、SDブラウザ312，314のようなブラウザに示されてもよいし、捕捉装置106のディスプレイ212に示されてもよい。或いは、ウェブページは捕捉装置106のディスプレイ212に又はMMRコンピュータ112にURLそのものとして表示されてもよい。
【００９５】
マルチメディア取得部426は、代替的な紙文書からマルチメディアを取り出すソフトウエアアプリケーションである。例えば、MMRユーザ110は捕捉装置106をその文書位置で指示することで、代替的な紙文書がMMRユーザ110の机に提示されている間に行われる会話をすべて取得することが可能である。これは、マルチメディアデータを捕捉するMMRユーザ110のオフィスの中でオフィスポータル120が(又は他の適切な手段が)存在することを想定している。
【００９６】
位置確認部438は、位置認識(location-aware)文書を管理するソフトウエアアプリケーションである。位置認識文書の管理は、例えば、RFID的なトラッキングシステムによって支援される。例えば、捕捉装置106は、日中のMMRユーザ110の地理的な位置のトレースを捕捉し、文書又は文書を含むフォルダに付いたRFIDタグをスキャンする。RFIDスキャン処理は、捕捉装置106のRFIDリーダ244により実行され、その範囲内で何らかのRFIDを検出する。MMRユーザ110の地理的な位置は、携帯インフラストラクチャ132内の各セルタワーの識別番号によって、或いは捕捉装置106のGPS装置242によって、又はジオロケーション手段142との組み合わせによって追跡されてもよい。或いは、文書の確認は、捕捉装置106のビデオカメラ232又は「オールウェイズオンビデオ(always-on-video)」−常にビデオ撮りされている機能−とともに達成されてもよい。ロケーションデータは、「ジオリファレンス(geo-referenced)」文書を用意し、一日中、文書が位置する場所を示す地図形式のインターフェースを可能にする。アプリケーションは、遠く離れたクライアントを訪問する際にファイルを持ち運ぶ法律家である。代替例では、文書118はそれらに取り付けられた検出手段を含み、文書が動かされた場合にそれを検知でき、ある基本的な顔検出処理を実行する。この検知機能は、文書に付けられたジャイロスコープ又は同様な装置一式を介してなされてもよい。位置情報に基づいて、MMRシステム100bは、所有者の携帯電話を「呼び出す」際に、文書が動いていることを彼／彼女に知らせる。携帯電話は、その文書を仮想的なブリーフケースに加える。更に、これは「不可視」のバーコードの概念であり、それは、捕捉装置106のビデオカメラ232又はスチルカメラ234には見えるマシン読み取り可能なマーキングであるが、人間にとっては見えない又は非常に微妙である。様々なインク及びステガノグラフィ処理又は印刷された画像ウォーターマーキング技術(捕捉装置106でデコードされてもよい)は、位置を確認するのに考慮されてもよい。
【００９７】
無意識的アップロード部446は、印刷文書を無意識的に(自動的に、ユーザの介在なしに)捕捉装置106にアップロードするソフトウエアアプリケーションである。MMRユーザ110が彼／彼女のMMRコンピュータ112の所に居る場合も含めて、捕捉装置106はほとんどの時点でMMRユーザ110に所有されているので、文書をプリンタ116に送信することに加えてプリンタドライバ316は、それらの同じ文書を捕捉装置106のストレージ装置216へ、捕捉装置106の無線通信リンク218を介して、Wi-Fi技術134又はブルートゥース技術136とともに又は捕捉装置106がMMRコンピュータ112に結合されているならば有線接続により、送り出してもよい。その場合、MMRユーザ110は文書が印刷された後文書を取ることを決して忘れない。なぜなら文書は捕捉装置106に自動的にアップロードされるからである。
【００９８】
PC文書メタデータ部450は、文書のメタデータを取得するソフトウエアアプリケーションである。例えば、MMRユーザ110は捕捉装置106を印刷文書の所に指示し、そしてPC文書メタデータ部450は、誰がその文書を印刷したか、いつその文書が印刷されたか、どこでその文書が印刷されたか及び印刷時の所与のソースファイルのファイルパス等を確認する。
【００９９】
捕捉装置UI部452によってユーザは、捕捉装置106のUIの動作を管理するソフトウエアアプリケーションであり、MMRユーザ110が紙文書と相互作用できるようになる。捕捉装置ユーザインターフェース(UI)部452及び捕捉装置ユーザインターフェース(UI)224を組み合わせることで、MMRユーザ110は既存の文書からデータを読み取ること及びデータを既存の文書に書き込むこと、その文書に関連する拡張されたリアリティとともに閲覧及び相互作用すること（即ち、捕捉装置106を介して、何が起こったか、何時文書が作成されたか又は何時文書が編集されたかをMMRユーザ110は知ることができる。）、並びに彼／彼女の捕捉装置106に表示される文書に関連付けて提供される拡張されたリアリティとともに閲覧及び相互作用することができる。
【０１００】
ユーザ関連付け部456は、MMRユーザ110間の関連付けを行うソフトウエアアプリケーションである。例えば、同様な又は同じ文書認識特性(内容に基づく特徴量又はフォーマットに基づく特徴量を含む)を有する文書を取得している第１のMMRユーザ110達の間で、一時的な(臨時的な)関連付けがなされる。一時的な関連付けは、付き合いの輪を広げることに寄与するかもしれないし、或いはネットワーキング部458と共にMMRユーザ110を既存の社交ネットワークに結び付けるかもしれない。ユーザ関連付け部456は、捕捉した文書と(例えば、文書データベース320から)認識した文書とを関連付ける責務をも有する。
【０１０１】
ネットワーキング部458は、既存のネットワークにおけるMMRユーザ110間のネットワーク関係を修正するソフトウエアアプリケーションである。例えば、同様な又は同じ文書認識特性を有する文書を取得している、既存のネットワーク(例えば或る社会的ネットワーク)でつながっているMMRユーザ110達は、取得した文書に基づく強い絆を形成している。ネットワーキング部458は、同様な又は同じ文書を取得した他のメンバを検出する。そしてネットワーキング部458は既存の第三者ネットワークに関連付け、仲間に加える。
【０１０２】
図３及び図４を更に参照するに、MMRソフトウエア群222のソフトウエアコンポーネントは、１つ以上のMMRコンピュータ112、ネットワークメディアサーバ114、サービスプロバイダサーバ122及び捕捉装置106のMMRシステム100b内に完全に又は部分的に存在してよいことに留意すべきである。言い換えれば、MMRソフトウエア群222で実行されるようなMMRシステム100bの処理は、MMRコンピュータ112、ネットワークメディアサーバ114、サービスプロバイダサーバ122及び捕捉装置106の間のユーザの決めた何らかのコンフィギュレーションの中で分散されてもよい(又はシステム100bに含まれるそのような他の処理環境の中で分散されてもよい）。
【０１０３】
MMRシステム100a/100bの基本的な機能は、MMRソフトウエア群222のソフトウエアコンポーネントの或る組み合わせとともに実行可能であることは、本開示により明らかになるであろう。例えば、MMRシステム100a/100bの一例による基本機能は、以下を含む：
●第１メディア部分及び第２メディア部分を含むMMR文書を作成及び付加すること。
【０１０４】
●MMR文書の第１メディア部分(例えば、紙文書)を利用して、第２メディア部分の情報にアクセスすること。
【０１０５】
●MMR文書の第１メディア部分(例えば、紙文書)を利用して、電子ドメインでの処理を引き起こす(トリガをかける)又は開始すること。
【０１０６】
●MMR文書の第１メディア部分(例えば、紙文書)を利用して、第２メディア部分を作成又は付加すること。
【０１０７】
●MMR文書の第２メディア部分を利用して、第１メディア部分を作成又は付加すること。
【０１０８】
●MMR文書の第２メディア部分を利用して、電子ドメイン内での処理を引き起こす若しくは開始する又は第１メディア部分に関連付けること。
【０１０９】
MMR文書
図５は、本発明の一実施例によるMMR文書500を示す。より具体的には、図５のMMR文書500は、印刷文書118の一部の表現502、アクション又は第２メディア504、インデックス又はホットスポット506、及び文書118全体の電子表現508を含む。MMR文書500は典型的には文書イベントデータベース320に格納されているが、捕捉装置に又はネットワーク128に結合された何らかの他の装置に格納されてもよい。一実施例では、複数のMMR文書500が１つの印刷文書に対応してもよい。別の実施例では、図５に示される構造が複製され、１つの印刷文書の中に複数のホットスポット506を作成してもよい。ある特定の実施例では、MMR文書500は、ページに関する表現502及びホットスポット506並びにページ内の場所を含み、第２メディア504及び電子表現508は選択的であり、波線で示されるように線引きされている。第２メディア504及び電子表現508は、望まれるならば、MMR文書が作成された後に後で付加されてもよいことに留意を要する。この基礎的な実施例は、その表現に関連する文書を見つける又は文書中の特定の場所を見つけるために使用されてもよい。
【０１１０】
印刷文書118の一部の表現502は、パターンを照合し、文書中の少なくとも１つのロケーションを特定するのに利用可能な如何なる形式(画像、ベクトル、画素、文字、コード等)でもよい。表現502は印刷文書の中で或る場所を一意に特定することが好ましい。一実施例では、表現502は図５に示されるようなテキストフィンガープリントである。テキストフィンガープリントは、PD捕捉モジュール318を介して自動的に捕捉され、印刷処理中にPDインデックス322に格納される。或いは、テキストフィンガープリント502は、文書スキャナ127の文書照合モジュール226’を介して自動的に捕捉され、スキャン処理中にPDインデックス322に格納されてもよい。代替的に表現502は文書全体、テキストの一部、１つのワード(そのワードが文書中の固有のインスタンスであるならば)、イメージの一部分、固有の属性又は文書の照合可能な部分の他の如何なる表現でもよい。
【０１１１】
アクション又は第２メディア504は、ディジタルファイル又は何らかのタイプのデータ構造であることが好ましい。ほとんどの基本的な実施例における第２メディア504は、提示されるテキスト又は実行される１以上のコマンドである。第２メディアタイプ504はより一般的にはテキストファイル、オーディオファイル又はビデオファイルであり、それらは表現502により特定される文書の一部分に関連するものである。第２メディアタイプ504は、複数の異なるメディアタイプや、同一タイプの複数のファイルを参照又は包含するデータ構造又はファイルでもよい。例えば、第２メディア504は、テキスト、コマンド、イメージ、PDFファイル、ビデオファイル、オーディオファイル、アプリケーションファイル(例えば、スプレッドシートやワードプロセシング文書)等にすることができる。
【０１１２】
インデックス又はホットスポット506は、表現502とアクション又は第２メディア504との間のリンクである。ホットスポット506は、表現502及び第２メディア504を関連付ける。一実施例では、インデックス又はホットスポット506は、文書中のｘ及びｙ座標のような位置情報を含む。ホットスポット506は或る点(ポイント)でもよいし、或る領域でもよいし、文書全体でさえよい。一実施例では、ホットスポットは表現502を指すポインタ、第２メディア504を指すポインタ及び文書中のロケーションを備えたデータ構造を有する。MMR文書500は複数のホットスポット506を含むことができ、その場合、データ構造は、複数の表現、複数の第２メディアファイル、及び印刷文書118内の複数のロケーションの間のリンクを形成することが理解されるべきである。
【０１１３】
代替実施例では、MMR文書500は文書全体118の電子表現508を含む。この電子表現は、ホットスポット506の位置を特定すること、ユーザインターフェースを用いて捕捉装置106又はMMRコンピュータ112に文書を表示することに使用可能である。
【０１１４】
MMR文書500の利用例は、以下のとおりである。テキストフィンガープリント又は表現502を分析することで、捕捉された画像パッチが、捕捉装置106の文書照合モジュール226により確認される。或いは、文書全体の電子表現が取得されてもよい。例えば、MMRユーザ110は、彼／彼女の捕捉装置106のビデオカメラ232又はスチルカメラ234を印刷文書118の所に指図し、画像を捕捉する。次に、文書照合モジュール226は、捕捉した画像を分析し、インデックス322内に関連するエントリが有るか否かを確認する。合致した場合、ホットスポット506の存在が、彼／彼女の捕捉装置106のディスプレイ212上でMMRユーザ110に対して強調される。例えば、図５に示されるようなワード又はフレーズが強調される。印刷文書118内の各ホットスポット506は、他のユーザの決めた又は所定のデータ(例えば、ネットワークメディアサーバ114にあるMMファイル336の１つ)に対するリンクとして機能する。インデックス322内に格納されている表現502にアクセスすることは、文書中の如何なるMMR文書500にも又は如何なるホットスポット506にも電子データを付加することを可能にする。図４を参照しながら説明したように、少なくとも１つのホットスポット506(例えば、リンク)を含む紙文書は、MMR文書500として参照される。
【０１１５】
代替実施例
MMRシステム100(100a又は100b)は、図１Ａ−１Ｂ、２Ａ−２Ｄ及び３−５に示される態様に限定されない。MMRソフトウエアは、捕捉装置106及びMMRコンピュータ112の間の全体にわたって又は一部分に分散されてもよいし、図３，４に関して説明したモジュール全てよりもかなり少ないものしか要しない。可能な複数の態様は、以下の代替例を含む。
【０１１６】
第１の代替例によるMMRシステム100は、捕捉装置106及び捕捉装置ソフトウエアを含む。捕捉装置ソフトウエアは、捕捉装置UI224及び文書照合モジュール226(例えば、図３に示されるようなもの)である。捕捉装置ソフトウエアは捕捉装置106で実行されてもよいし、或いは、捕捉装置106にとってアクセス可能なネットワークメディアサーバ114やサービスプロバイダサーバ122のような外部サーバで実行されてもよい。この代替例では、刊行物にリンクされたデータを供給するネットワークサービスが利用可能である。ある階層判定法が使用されてもよい。その方法では、刊行物が先ず確認され、その刊行物内のページ及びセクションが確認される。
【０１１７】
第２の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア及び文書利用ソフトウエアを含む。第２の代替例は、図４を参照しながら図示及び説明されたようなソフトウエアを含み、印刷文書を捕捉及び索引付けし、文書の編集履歴のような基本的な文書イベントを結び付ける。これはMMRユーザ110が彼／彼女の捕捉装置106を何らかの印刷文書の所に指示し、印刷の時間及び場所に加えて、文書を生成したソースファイルの名称及び場所も確認することを可能にする。
【０１１８】
第３の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア、文書利用ソフトウエア及びイベント捕捉モジュール324を含む。イベント捕捉モジュール324が、イベントを検出するMMRコンピュータ112に加えられ、そのイベントは、文書がMMRコンピュータ112のデスクトップ上で見えるようになった時間(GDIキャラクタジェネレータを監視することで確認される)、文書が開かれた際にアクセスされたURL、又は文書が開かれた際にキーボードにタイプされたキャラクタ等のような、文書に関連するイベントである。
【０１１９】
第４の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア及びプリンタ116を含む。第４の代替例では、プリンタ116がブルートゥーストランシーバ又は同様な通信リンクとともに装備され、近接している何らかのMMRユーザ110の捕捉装置106と通信する。何らかのMMRユーザ110がプリンタ116から文書を取り出すときはいつでも、プリンタ116はMMRデータ(文書レイアウト及びマルチメディアクリップ)をそのユーザの捕捉装置106に差し出す。ユーザプリンタ116はキーパッドを含み、そのキーパッドによりユーザはログインしてコードを入力し、特定の文書に関連するマルチメディアデータを取得する。文書のフッターに、プリンタドライバ316により挿入されたコードの印刷表現が含まれていてもよい。
【０１２０】
第５の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア及びオフィスポータル120を含む。オフィスポータル120は好ましくは個人使用のオフィスポータル120である。オフィスポータル120は、会話、会議／電話及びミーティング等のようなオフィス内のイベントを検出する。オフィスポータル120は物理的なデスクトップ上で特定の紙文書を確認及び追跡する。更にオフィスポータル120は文書確認ソフトウエア(即ち、文書照合モジュール226及びホスト文書イベントデータベース320)を実行する。第５の代替例は、MMRコンピュータ112から演算負担を分散するように機能し、顧客装置のようなMMRシステム100bを一体化する(パッケージする)便利な方法をもたらす(例えば、MMRシステム100bは、アップルコンピュータインコーポレーテッドのマックミニコンピュータで実行されるハードウエア及びソフトウエアプロダクトとして販売される。)。
【０１２１】
第６の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア及びネットワークメディアサーバ114を含む。この代替例では、マルチメディアデータは、例えばカムキャストビデオオンデマンドサーバのようなネットワークメディアサーバ114にある。MMRユーザ110が彼／彼女の捕捉装置106のユーザにより文書テキストの一部をスキャンする場合、その結果のルックアップコマンドは、(無線で、インターネットを介して、或いは電話回線でセットトップボックス126を呼び出すことで) MMRユーザ110のケーブルTVに関連するセットトップボックス126に、又はコムキャストサーバに伝えられる。何れの場合にも、マルチメディアはコムキャストサーバからセットトップボックス126へストリーム伝送される。システム100はデータを送る場所を知っている。なぜなら、MMRユーザ110は彼／彼女の電話を過去に登録しているからである。従って、捕捉装置106はセットトップボックス126に対するアクセス及び制御に使用可能になる。
【０１２２】
第７の代替例によるMMRシステム100は、捕捉装置106、捕捉装置ソフトウエア、ネットワークメディアサーバ114及びロケーションサービスを含む。この代替例では、ロケーション認識サービスが、コムキャストシステム(又は適切な他の通信システム)からの出力に関する複数の宛先を識別する。この機能は、携帯電話タワーIDを自動的に識別することにより、又はデータが表示されるロケーションをMMRユーザ110に選択させるキーパッドインターフェースにより実行される。従って、他のロケーションがケーブルアクセスを有する限り、他のロケーションを訪れている際に、ケーブルオペレータにより提供されるケーブルTV上映作品及び番組にユーザはアクセスできる。
【０１２３】
文書照合(画像に基づくパッチ判定)
上述したように、文書照合は、MMR文書の一部分、即ち「パッチ」を固有に判定することを含む。図６を参照するに、文書照合モジュール／システム610は、捕捉した画像612を受信する。文書照合システム610は、文書データベース320のページの集まりを求める問い合わせを行い、捕捉画像612が含まれているページ及び文書のリストを返す。コンテンツベースの特徴量の場合、結果の各々は、捕捉された入力画像612が現れるｘ−ｙロケーションである。フォーマットベースの特徴量の場合、結果の各々は、合致する捕捉文書画像である。(例えば、図６に示されるように)データベース320は文書照合モジュール610の外にあるが、文書照合モジュール610の中にあってもよいことを当業者は理解するであろう。
【０１２４】
図７は、本発明の一実施例による文書照合システム610のブロック図を示す。捕捉装置106は画像を捕捉する。捕捉された画像は品質評価モジュール712に伝送され、ダウンストリーム処理の必要性及び能力に基づいて、捕捉した画像内容について予備的な判定を効果的に行う。例えば、捕捉された画像が、文書照合システム610でダウンストリーム処理できない程悪い品質であった場合、品質評価モジュール712は、捕捉装置106が、より高い解像度で画像を取得し直すようにする。更に、品質評価モジュール712は捕捉画像の他の多くの関連属性を検出してもよい−例えば、捕捉画像に含まれているテキストの鮮明さ(sharpness)を検出してもよい(鮮明さは捕捉画像に照準が合っているか否かの指標になる。)。更に、品質評価モジュール712は、捕捉画像がその文書の一部になり得る何かを含んでいるか否かを確認してもよい。例えば、文書画像でないもの(例えば、机、外の情景)を含む画像パッチは、ユーザが捕捉装置106の視界を他の文書に移しつつあることを示す。
【０１２５】
更に、１つ以上の実施例では、品質評価モジュール712はテキスト／非テキスト判定を実行し、認識可能なテキストを含む傾向のある画像のみを通過させる。
【０１２６】
更に、図７を更に具体的に参照するに、１つ以上の実施例では、捕捉装置106への品質評価モジュール712のフィードバックが、捕捉装置106のユーザインターフェース(UI)に向けられてもよい。例えば、そのフィードバックは、音又は振動の形式の指示を含み、その指示は、捕捉した画像がテキストのように見える何かを含んでいるが、それは不鮮明であること、そしてユーザは捕捉装置106を適確にすべきであることを指示してもよい。フィードバックは或るコマンドを含み、そのコマンドは、捕捉装置106の光学パラメータを変更して捕捉画像の品質を改善してもよい。例えば、焦点、F絞り及び／又は露出時間が調整され、捕捉画像の品質が改善されるようにしてもよい。例えば、コンテンツベースの特徴量の場合、ページの光沢のようなフォーマットベースの特徴量の場合よりも低い品質が要求されてもよい。
【０１２７】
更に、捕捉装置106への品質評価モジュール712のフィードバックは、使用される特定の特徴量抽出アルゴリズムのニーズに応じて特化されてもよい。後述されるように、特徴量抽出は画像を象徴的な表現に変換する。(内容に基づく特性のような)ワード長を計算する認識システムでは、捕捉装置106の光学特性について、捕捉画像を不鮮明にすることが望ましいかもしれない。そのような調整は或る画像を形成し、人又は光学文字認識(OCR)プロセスではおそらく認識されないが、その特徴量抽出技法には十分相応しいことを当業者は留意するであろう。品質評価モジュール712は捕捉装置106に指示をフィードバックすることでそれを実行し、捕捉装置106はレンズの焦準をぼやけさせ、ぼけた画像を生成する。これに対して、ページ光沢のようなフォーマットに基づく特徴量を判別する場合、鮮明な画像が必要になる。
【０１２８】
フィードバックプロセスは制御構造714により修正される。一般に、制御構造714はデータ及びシンボリック情報(symbolic  information)を文書照合システム610内の他のコンポーネントから受信する。制御構造714は、文書照合システム610での様々な手順の実行順序を決定し、演算負荷を最適化することができる。制御構造714は受信した画像パッチのｘ−ｙ座標を特定する。より具体的には、制御構造714は、特徴量抽出プロセスの必要性に関する情報と、品質評価モジュール712からの結果と、捕捉装置106のパラメータとを受信し、それらを適切になるように変えることができる。これはフレーム毎に動的に実行可能である。複数の特徴量抽出法を使用するシステムコンフィギュレーションでは、ある者がテキストの大きなパッチの不鮮明な画像を必要とし、別の者が紙の目に鮮明に焦点のあった高い解像度を必要とするかもしれない。その場合、制御構造714は品質評価モジュール712にコマンドを送信し、撮影範囲にテキストを含む場合には適切な画像品質のテキストに調整するように指図する。品質評価モジュール712は捕捉装置106と相互作用し、正しい画像を生成する(例えば、紙の目に鮮明に焦点のあった(高解像度の)M個の画像の後に、N個の不鮮明な画像の大きなパッチが続く。)。制御構造714は、パイプライン処理でそれらの画像処理の進行を追跡し、対応する特徴量抽出および分類が適用されることを保証する。
【０１２９】
画像処理モジュール716は認識システムのニーズに基づいて入力画像の品質を修正する。画像修正の種類の具体例は、鮮明化すること、歪を正すこと(deskewing)及び２値化することである。そのようなアルゴリズムは、マスクサイズ、予測回転量及び閾値などのような調整可能な多くのパラメータを含む。
【０１３０】
図７に示されるように、文書照合システム610は、特徴量抽出及び分類モジュール718，720(後述)からのフィードバックを用いて、画像処理モジュール716のパラメータを動的に修正する。これが機能するのは、ユーザは典型的には彼らの捕捉装置を文書の同じ場所で連続的に何秒かの間に指示するからである。例えば、捕捉装置106が毎秒30フレーム処理する場合、どのシーケンスでも最初の数フレームの処理結果は、後に捕捉されるフレームがどの程度処理されるかに影響する。
【０１３１】
特徴量抽出モジュール718は捕捉した画像をシンボリックな表現に変換する。一実施例では、特徴量抽出モジュール718はワードを特定し、それらを囲むボックスを算出する。別の実施例では、特徴量抽出モジュール718は、つながったコンポーネントを特定し、それらの形状に関する記述を用意する。更に別の例では、ページ光沢のようなフォーマットベースの性質の場合、特徴量ベクトルが算出される。更に、１つ以上の実施例では、文書照合システム610は、特徴量抽出結果に関するメタデータを制御構造714と共有し、そのメタデータを利用して、他のシステムコンポーネントのパラメータを調整する。これは、貧弱な品質データの認識を阻止することで、演算制約をかなり削減し、精度をかなり改善することを当業者は認識するであろう。例えば、ワード包囲ボックスを特定する特徴量抽出モジュール718は、行数及び発見した「ワード」を制御構造714に通知する。ワード数が多すぎた場合(例えば、入力イメージが分割されることを示す場合)、制御構造714は品質評価モジュール712に不鮮明な画像を作成することを指示する。そして品質評価モジュール712は適切な信号を捕捉装置106に送信する。或いは、制御構造714は、画像処理モジュール716にスムージングフィルタを適用するように指示してもよい。
【０１３２】
分類モジュール720は、特徴量抽出モジュール718からの特徴量記述を、文書中の1以上のページの身元及びそれらのページ内のｘ、ｙ座標(入力画像パッチが現れている場所)に変換する。その身元は上述したようにデータベース320からのフィードバックに依存して形成される。更に、1つ以上の実施例では、信頼度の値が各判定に関連付けられてもよい。文書照合システム610は、そのような判断を利用して、システム内の他のコンポーネントのパラメータを決定してもよい。例えば、上位２つの判定の信頼度が互いに近接していた場合、画像処理アルゴリズムのパラメータは変更されるべきことを、制御構造714は決定してもよい。これは、メジアンフィルタの範囲の大きさを増やし、結果のダウンストリームを残りのコンポーネントに運ぶことになる。
【０１３３】
更に、図７に示されるように、分類モジュール720及びデータベース320の間にフィードバックがあってもよい。更に、当業者は図６に示されるようにデータベース320がモジュール610の外部にあってもよいことを思い出すであろう。パッチの身元に関する確認は、同様な外観を有する他のパッチを求めて、データベース320に問い合わせるのに使用可能である。これは、入力画像パッチとデータベース320との照合ではなく、データベース320に格納されているパッチの完全な画像データと、データベース320内の他の画像を比較する。これは、分類モジュール720の判定に関する追加的な確認レベルをもたらし、一致するデータの何らかの予備的処理を可能にする。
【０１３４】
データベース比較は、画像データだけのもの以外のパッチについては、シンボリック表現でも実行可能である。例えば、最良の判定内容は、画像パッチが、12ポイントのアリエル(Arial)フォントで１行置きであったとする。データベース比較は、同様なフォント、行間及びワードレイアウトの他の文書中のパッチを、画像データ比較以外のテキストメタデータだけを用いて特定できる。
【０１３５】
データベース320はいくつかのタイプのコンテンツベースの問い合わせをサポートしてもよい。分類モジュール720はデータベース320に或る特徴量配置を伝達し、その配置が現れるｘ−ｙ座標及び文書のリストを受信してもよい。例えば、特徴量は縦横のワード長の三重文字(trigram)(後述)でもよい。データベース320は問い合わせの何れかのタイプに応じて結果のリストを返すように組織されてもよい。分類モジュール720又は制御構造714は、それらのランキング(格付け)を結合し、１つのソートされた判定リストを生成してもよい。
【０１３６】
更に、データベース320、分類モジュール720及び制御構造714の間にフィードバックが存在してもよい。特徴量ベクトルから位置を特定するのに十分な情報を格納することに加えて、データベース320は、図形成分に関するシンボリック表現だけでなく、文書の当初の画像を含む関連情報を格納してもよい。これは、制御構造714が他のシステムコンポーネントの動作をその場で制御することを可能にする。例えば、所与の画像パッチについてもっともらしい２つの判定があった場合、データベース320は、画像の表示に関して縮小すること及び領域右側を検査することでそれらを明確化するように指示してもよい。制御構造714は、縮小することを指示する適切なメッセージを捕捉装置106に送信する。特徴量抽出モジュール718及び分類モジュール720は、文書に印刷される画像についてその画像の右側を調べる。
【０１３７】
更に、パッチが文書の中に適切に位置している場合、データベース320は画像パッチを包囲するデータについての詳細な情報を格納することに留意を要する。これは、従来では予想されていない更なるハードウエア及びソフトウエア画像分析ステップを引き起こすのに使用されてもよい。その詳細な情報は、一例として、文書の詳細なシンボリック記述を保存するプリント捕捉システムによって用意される。１つ以上の他の実施例では、同様な情報が文書をスキャンすることで取得されてもよい。
【０１３８】
図７を更に参照するに、ポジショントラッキングモジュール724は、制御構造714から画像パッチの身元に関する情報を受信する。ポジショントラッキングモジュール724は、それを用いてデータベース320から文書ページ全体のコピーを取り出す又は文書を記述するデータ構造を取り出す。ポジショントラッキングプロセスの開始に関する最初の場所は、アンカー(anchor)になる。ポジショントラッキングモジュール724は、品質評価モジュール712が捕捉画像はトラッキングに相応しいことを確認した場合、捕捉装置106からイメージデータを受け取る。ポジショントラッキングモジュール724は、最後のフレームが良好に認識されて以来経過した時間の情報も有する。ポジショントラッキングモジュール724は、捕捉装置106が連続的なフレームの間で動かされた場合、文書上で距離を推定するのを可能にする選択的なフロー処理技術を使用する。捕捉装置の所与のサンプリングレートの下で、装置の見るデータがたとえ認識可能でなかったとしても、そのターゲットは推定可能である。捕捉装置106の推定位置は、画像データと、データベース文書から導出された関連する画像データとの比較により確認されてもよい。簡易な例は、捕捉された画像と、データベース320の中の予想される画像との相互相関を計算することである。
【０１３９】
こうして、ポジショントラッキングモジュール724は、データベース画像のインタラクティブな利用法をもたらし、ポジショントラッキングアルゴリズムの進行を案内する。これは、図形及び画像のようなテキストでないオブジェクトに対する電子相互作用のためのアタッチメントを可能にする。更に、１つ以上の他の実施例では、そのようなアタッチメントは、上述の画像比較／確認を行わずに実現されてもよい。言い換えれば、ページに関する捕捉装置106の瞬間的な動きを推定することで、捕捉画像に関係ない視野の中にある電子的なリンクが推定されてもよい。
【０１４０】
文書照合は様々な方法でなされてよい。例えば文書パッチ各々は独立でもよい。特徴量は画像パッチから抽出され、その特徴量は、及びそのパッチが出現した１つ以上のページ及びページ中のｘ−ｙ座標を特定するのに使用される。別の例の場合、先ず入力画像中の不鮮明さが推定され、ページからの距離及び画像テキストのフォントサイズが算出され、そのポイントサイズのフォントの特徴量を使用する画像に基づいて、テンプレート照合がなされてもよい。当業者は、フォントの推定(即ち、パッチ中のテキストのフォントについての候補を同定すること)が既知の技法でなされてよいことを認識するであろう。更に、フォントからの距離を利用する方法のような他の技法が使用されてもよく、その方法は捕捉装置に容易に採用可能である。
【０１４１】
１以上の実施例では、上記の１つ以上の様々な文書照合法が、１つ以上の既存の照合法と組み合わせて使用されてもよい。概して、第１の照合法は、特定の判断基準で一群のページを文書データベースの中から見出すのに使用され、第２の照合法は、そのページ群の中から或るページを一意に特定するのに使用される。
【０１４２】
図８は、本発明の一実施例による多段認識のフローチャートを示す。始めに、ステップ810で捕捉装置106が使用され、関心のある文書から１つ以上の特徴量を捕捉する。その特徴量は、文書データベース内の一群の文書を選択することになる如何なる特徴量でもよい。例えば、特徴量は、数字のみのバーコード(例えば、ユニバーサル製品コード(UPC))、英数字バーコード(例えば、コード39、コード93、コード128)又は２次元バーコード(例えば、QRコード、PDF417、DataMatrix、Maxicode)等でもよい。或いは、特徴量は、例えば、図形、画像、商標(トレードマーク)、ロゴ、特定の色又は色の組み合わせ、キーワード、又は語句(フレーズ)等でもよい。また、特徴量は、１つ以上の何らかのフォーマット形式の特徴量(例えば、タイプフォント、フォントサイズ、用紙の反射率等の関心のある文書の特徴量)でもよい。更に、１つ以上の実施例では、特徴量は、捕捉装置106による認識に相応しい特徴量に制限されてもよい。
【０１４３】
識別する特徴量が一旦ステップ810で捕捉されると、文書データベース内の一群の文書及び／又は文書のページが、捕捉された特徴量に関連して選択される(ステップ820)。例えば、捕捉された特徴量が企業のロゴであった場合、そのロゴを含むように索引付けされているデータベース中の全ての文書が選択される。別の例では、データベースは、捕捉された画像と比較されるトレードマークのライブラリを含んでもよい。ライブラリの中で「ヒット」があった場合、ヒットしたトレードマークに関連する全ての文書が、以下に説明される以後の照合に備えて選択される。更に、１つ以上の実施例では、ステップ820での文書／ページの選択は、走査された文書上で捕捉された特徴量及びその特徴量の場所に依存してよい。例えば、捕捉された特徴量に関連する情報は、画像が、文書の左下隅でなく、文書の右上隅にあるか否かを特定してもよい。
【０１４４】
更に、特定の捕捉画像が識別する特徴量を含んでいることの確認は、捕捉装置106によりなされてもよいし、或いは捕捉装置106から未処理のイメージデータを受信する他の何らかのコンポーネントによりなされてもよいことを、当業者は留意するであろう。例えば、捕捉装置106から伝送された特定の捕捉画像が特徴量を含んでいることを、捕捉した特徴量に関連する文書群をデータベースが選択したことに応答して、データベース自身が判定してもよい。
【０１４５】
文書の特定の群がステップ820で選択された後、捕捉装置106はスキャンし続け、そして関心のある文書の画像を捕捉する(ステップ830)。本願で説明された様々な文書照合法の1つ以上を利用して、文書の捕捉画像は、ステップ820で選択された文書と照合される(ステップ830)。例えば、ステップ810で関心のある文書について靴の図形画像を捕捉したことに基づいて、靴の図形の特徴量を含むように索引付けされた文書群が、ステップ820で選択された後、関心のある文書の以後捕捉された画像は、上述の複数の分類子を利用して選択された文書群と照合される。
【０１４６】
例えば上述した多段認定フロープロセスを実行すると、パッチ認識時間は、以後捕捉される画像と照合されるページ／文書数を始めに削減することで、減らされる。更に、ユーザは、あるロケーション上で文書を先ずスキャンすることでそのように改善された認定時間の恩恵を受けてもよい（そのロケーションには、画像、バーコード、図形その他の選別特徴量が存在する。）。そのような動作を行うことで、以後捕捉される画像と照合される文書数をユーザは速やかに減らしてもよい。
【０１４７】
図９は、本発明の一実施例によるシステム900を示す。システム900は、文書905、文書905のディジタル画像をMMRユーザ110により捕捉する捕捉装置106、MMRソフトエア222を伴うMMRコンピュータ112及び文書データベース320を本発明の一実施例従って含んでいる。構成要素(コンポーネント)は、一実施例で説明されているように通信手段104を介して接続される。或いは、別の実施例の場合、MMRコンピュータ112はシステムの一部分でなくてもよいし、MMRソフトエア222及び文書データベース320は、捕捉装置106の中及び/又はネットワークメディアサーバ114上のような別の場所にあってもよい(図示せず)。或いは、MMRユーザ110は、別のMMRコンピュータ112を捕捉装置として使用してもよい。上記の実施例は、移動電話のような捕捉装置106が、その移動電話に付随するカメラを使って文書905を捕捉することを示す。しかしながら、別の例では、他の捕捉方法及び装置が使用されもよく、例えば、文書は127のようなスキャナによりスキャンされてもよいし、例えば、116のようなプリンタで印刷することに伴ってPD捕捉装置318により捕捉されてもよい。
【０１４８】
図10は、本発明の一実施例により、同様な文書認識特性を伴う文書を取得しているユーザ間で一時的な(臨時的な)関係又はリンクを付けるフローチャート例を示す。フローチャートは、ソフトウエアで、ハードウエア(例えば、ゲートレベルのロジック)で、ファームウエア(例えば、本方法を実行する組込ルーチンと共に構築されたマイクロコントローラ)で、又はそれらの何らかの組み合わせで実現可能である。
【０１４９】
先ず、捕捉された文書画像が受信される(1010)。捕捉したディジタル画像は、MMRユーザ110に関連する紙書類905の少なくとも一部の画像である。図10に示されているように、捕捉装置106を用いて紙書類905のディジタル画像を取得し、例えば捕捉装置106のスチル又はビデオカメラを用いて取得する。捕捉されたディジタル画像は、捕捉装置106で受信され、或いは捕捉装置106からMMRコンピュータ112に送信され、或いは何らかの他の装置又はモジュール(上記の文書照合が可能なもの)で受信される。
【０１５０】
紙文書905は如何なる文書でもよく、例えば、何ページでもよいメモ(例えば、業務関連メモ、個人的な手紙)、製品ラベル(例えば、缶詰品、薬、箱詰めされた電子装置)、製品仕様(例えば、スノーブラウザ、コンピュータシステム、製造システム)、製品ブローシャ又は広告題材(例えば、自動車、ボート、バケーションリゾート)、サービス説明題材(例えば、インターネットサービスプロバイダ、クリーニングサービス)、本、雑誌その他の刊行物中の１ページ以上、ウェブサイトから印刷したページ、手書きメモ、名刺、ホワイトボードから捕捉及び印刷されたメモ、何らかの処理システム (例えば、デスクトップコンピュータ、ポータブルコンピュータ、カメラ、スマートフォン、リモート端末) から印刷されたページ等である。
【０１５１】
図10ではカメラ付き電話機のような捕捉装置106が使用されているが、プロセス1000は、他の捕捉方法及び装置と共に使用されもよく、例えば、文書は127のようなスキャナによりスキャンされてもよいし、例えば、116のようなプリンタで印刷することに伴ってPD捕捉装置318により捕捉されてもよい。
【０１５２】
次に、１つ以上の文書認識特徴量が、捕捉されたディジタル画像から抽出される(1020)。文書認識特徴量は、個々の言葉、文字、画像及び／又はキャラクタのような文書905内の内容に基づく特徴量を、それらのｘ−ｙ座標と共に含んでもよい。文書認識特徴量はフォーマットに基づく文書905の特徴量ベクトルを含み、その特徴量ベクトルは、捕捉したディジタル画像から確定可能であり、例えば、タイプフォント、フォントサイズ及び用紙光沢等の文書905に付随する特徴量である。
【０１５３】
そのような特徴量ベクトルを決める際、捕捉装置106の紙文書905からの距離のような他のデータが必要な場合、そのような計算もなされる。文書認識特徴量抽出プロセスは、捕捉装置106のパラメータを調整することにも使用可能であり、例えば、フレーム毎に動的に調整される。例えば、捕捉装置106は、正しい画像を形成する要求(リクエスト)を受けるかもしれない(例えば、鮮明に紙目に焦点のあったM個の画像の後に、N個の不鮮明な画像の大きなパッチが続くような場合である。)。
【０１５４】
捕捉されたディジタル画像及び／又は抽出された文書認識特徴量は、その後に、例えば文書データベース320に保存される(1030)。文書がデータベース320に知られている場合、捕捉されたディジタル画像及び抽出された文書認識特徴量を用いて文書は特定され、その場合、捕捉されたディジタル画像及び抽出された文書認識特徴量は他の何らかのデータと共に保存され、そのデータは、例えば文書の電子バージョンのように既知の文書に関連付けられるように知られている。例えば、文書の内容が知られているかもしれないし、(例えば、図５で説明されたMMR文書500と共に説明されたように)関連する処理、メディアタイプ又はホットスポットを有するかもしれない。しかしながら、場合によっては文書はデータベース320にとって未知であり、及び／又は未知の内容を含んでいるかもしれない。未知の文書の場合、捕捉されたディジタル画像及び抽出された文書認識特徴量は、他の如何なるデータも伴わずに保存される。未知の捕捉された及び抽出された特徴量を保存することで、その未知の文書が後に索引付けされる場合、索引付けされていない画像は、今索引付けされる文書と合致するようにマークできる。
【０１５５】
次に、(第１の)MMRユーザ110及び１人以上の他のユーザ110の間で一時的な(ad  hoc  association)関連又は「リンク」が付けられ、そのユーザ達は同じ又は同様な文書認識特徴量を伴う文書を取得しており、この場合において、捕捉された文書及び保存されている文書の間で少なくとも１つの一致があると仮定しており、保存されている文書は他の(第２の)ユーザに関連付けられる。ここで及び別の場面でも、例えば105のような捕捉装置の所有者は、捕捉を行っているユーザであることが仮定されている。ステップ1040の一部として、抽出された文書認識特徴量は、保存された文書の文書認識特徴量と比較され、例えばデータベース320又は他のストレージに保存されているものと比較される。或いは、このステップは格納ステップ1030と共になされてもよい。比較は、上記の技法を使用してなされてもよいし、或いは既知の比較法を使用してなされてもよい。
【０１５６】
比較は、一実施例ではペア形式の比較であり、抽出された文書認識特徴量(複数)は、保存済みの文書各々の文書認識特徴量と比較される。捕捉文書905に関するMMRユーザ110の場所、及び保存済み文書に関するMMRユーザ110の場所は、ペア各々についての距離スコアを生成するのに使用され、その距離スコアによって、一時的な関連付け／リンクがパラメータ化される(或いは、定量化される。)。この例の場合、GPS追跡法又は他の既知の方法が、ユーザの位置を決定するのに使用される。或る距離(例えば、直径10マイル)以内のユーザの文書だけが、合致することにしてもよい。或いは距離を考察しなくてもよい。
【０１５７】
ユーザによる文書捕捉の時間を指すタイムスタンプと、保存済み文書の捕捉時間を指す他ユーザ110達のタイムスタンプが、ペアの各々についての時間的スコアを作るように使用され、その時間的スコア(タイミングスコア)によって、一時的な関連付けがパラメータ化されてもよい。例えば、互いに数時間以内に捕捉された文書のみが、合致することにしてもよい。或いは、時間を考察しなくてもよい。
【０１５８】
比較プロセスに付随する部分は、同じ文書の異なるバージョン又は版との関連性を検査することである。即ち、ユーザ110が捕捉した画像をデータベース320内で特定した後、データベース320は、同じ又は同様な内容を伴うが異なるフォーマットで印刷されている文書との間にリンクを用意する。これは、ユーザ間に一時的な関連付け／リンクを作成可能にし、そのユーザ達は、同じ文書の異なるバージョン又は同じ本の異なる版を持っている。
【０１５９】
比較される特徴量が同じ又は同様であるか否かの判断は、例えばハミング(Hamming)距離のような一般的なメトリック(指標)を、抽出したベクトルについて算出することに基づいてもよく、所定の閾値パラメータを持たせてもよい。その判断及びパラメータは、どの特徴量が比較されるかに依存して異なってもよい。例えば、タイプフォントのような二進特徴量ベクトルの場合、厳密に一致する必要があるが、ページ光沢のような段階(scale)のある特徴量ベクトルの場合、パラメータは、値の範囲を示す傾向がある。場合によっては、ユーザに関連する紙文書は、同様な文書認識特徴量を伴う文書と一致している（即ち、文書認識特徴量はまったく同じ）かもしれない。
【０１６０】
一実施例により一時的な関連付け又は「リンク」を作成することは(1040)、或る一時的な社会的ネットワーク又は他のネットワークを形成することであり、そのネットワークにおける新たなリンクは、MMRユーザ110及び１人以上の他のユーザ110間で形成され、そのユーザ達は同じ又は同様な文書認識特徴量を伴う文書を取得している。そのようなリンクを使用すると、同じ又は同様な捕捉文書を有することで表される共通の関心事に基づいて、その同じ又は同様な文書認識特徴量を伴う文書を捕捉した１人以上の他のユーザ達110の身元は、MMRユーザ110と共有可能になる。捕捉した文書の画像を用いて一時的なネットワークを形成することは、既存の社会的なネットワーク内で使用されてもよいし、或いは独立して使用されてもよい。例えば、同じ又は同様な文書認識特徴量を伴う文書を捕捉した１人以上の他のユーザ達110が、ある既存の社会的なネットワークのメンバであった場合、図13に示されるように、作成された一時的な関連付け(1040)は、MMRユーザ110Aをその既存の社会的ネットワーク1200に関連付ける。同じ又は同様な文書認識特徴量を伴う文書を取得したMMRユーザ110A及び１人以上の他のユーザ110Bが、ある既存の社会的ネットワーク又は他のネットワーク1200のメンバであり且つ既存の連携関係で接続されていた場合、作成された一時的な関係は新たなリンク1310を追加し、新たなリンクは、図14に示されるように、ネットワークメンバ110A及び110B間の既存の関係1220Aを強化する。更に、一時的な関係は、例えば文書データベース320に保存されてよい。
【０１６１】
図11は、本発明の一実施例による図９のシステム900の利用状況の一例を示す。MMRユーザ110A及びMMRユーザ110Bは、同じ文書905Aのディジタル画像を捕捉している。そして、MMRユーザ110A及びMMRユーザ110Bは、同じ記事及び／又は文書905Aを捕捉していることで裏付けられる共通の関心事に基づいて、一時的な関連付けによる結合関係1110を彼らの間で現在共有している。同様に、MMRユーザ110C及び110Dは、同じ文書905Bのディジタル画像(但し、文書905Aとは異なる)を取得する。MMRユーザ110C及びMMRユーザ110Dは、同じ記事及び／又は文書905Bを捕捉していることで裏付けられる共通の関心事に基づいて、一時的な関連付けによる結合関係1110を彼らの間で現在共有している。
【０１６２】
この利用状況例は、発行者から供給された新聞、雑誌又は他の文書の一部分である文書905を使用する。MMRユーザ110Aは、例えばカリフォルニア州マウンテンビュー市内の診療所にて、文書905Aの画像を取得している誰かである。或いは、画面で選択することにより、又は文書画像表現の画像を画像捕捉装置106により捕捉することにより、文書905は、コンピュータ画面に表示された象徴的な文書表現フォーマット(例えば、pdf、Word等)及びコンピュータフレームバッファから抽出された画像パッチとすることができる。発行者は、文書905のMMRに備えたバージョンを利用可能にし、捕捉の時点で又は後の利用に備えてMMRユーザ110Aが記事をダウンロードすることを許可してもよい。捕捉の時点において、MMRユーザ110Aの身元(例えば、捕捉装置106Aから得られる)、MMRユーザ110Aの位置(例えば、GPS又は他の技術により得られる)及び捕捉の日時は、保存され、例えば図2Eで説明されたような第三者ソフトウエアモジュール228を介して発行者に提示される。MMRユーザ110Bは、何らかの他の場所及び時点で文書905Aの画像を捕捉する誰かである。MMRユーザ110A,110Bの捕捉に関する場所、日付及び時間のような情報を利用することで、発行者は、その情報を他ユーザ110A,110Bと共有することができ、ユーザ110A,110Bは、同じ文書905を取得した他者に気付くことができる。この情報に或る制約が課されてもよく、例えば、リンクの形成を、既に互いに知り合いの者や共に働く者、地理的に近くの者、時間的に非常に最近その文書を取得した者等のユーザに限定してもよい。このようにして、仲間は、同じ文書905を取得した他ユーザ110に電子メール、IM又はSMSを送ることができるし、或いは(例えば、彼らが同じ建物の中で働く同僚であった場合)その件について直に仲間と会話することもできる。
【０１６３】
追加的に又は代替的に、MMRユーザ110Aは、文書905又はその一部分に対する関心度スコアを提供してもよい。関心度スコアはウェブサイトで公表可能であり、ウェブサイトは、関心度スコア及びスコア数に基づく検索機能を、文書又はその一部分に対する通常の検索パラメータ(例えば、タイトル及びキーワード)と共に提供することができる。ユーザ110は、関し度スコアに加えて注釈を付けることもでき、例えば、その文書905がなぜ興味深いかの話、他の同様な文書や注釈に至るリンク又は他の任意的な電子データを付けることができる。後のユーザ110は、文書905又はその一部分を捕捉することで、関心度スコアを見ることができる。スコアが無かった場合、同様な文書又はその文書中の近くの部分を使って、近似的なスコアが算出されてもよい。例えば、「レーザ印刷技術」の話題に関する３つの文献に対して、ユーザＡが一連の関心度スコアを与えているが、同じ話題に関する同様なテキストを伴う第４の文書について、ユーザＡによる注釈が付けられていなかった場合、スコアの付いた３つの文書の評価が平均化され、その第４の文書に対するユーザＡのスコアを推定する。更に、MMRユーザ110は、他ユーザ110が関心を寄せている文書又はその一部分を探すこともでき、例えばその文書に関する他ユーザのコメントをMMRユーザ110が気に入った場合、それを探すことができる。
【０１６４】
文書データベース320にとって未知の文書905の場合、その文書905はダウンロードによって取得することはできないが、ユーザ110は、文書中の気に入った部分について文書905と類似の他の記事等に注釈を付けることができ、索引付けされていない過去に保存した文書の画像に捕捉画像が一致するか否かの判断の際、注釈は、その文書を取得する以後のユーザ110に提供可能である。これらの注釈は対応する捕捉画像と共に保存され、たとえ前提とする文書が未知であったとしてもそのようになされる。
【０１６５】
これらの例は一例に過ぎず、限定ではない。図13及び14に関して説明された例は、他の例と共に、図11に関する他の利用状況に使用されてもよい。
【０１６６】
図１２は、本発明の一実施例による一般的な社会的ネットワーク又は他のネットワーク1200を示す図である。ネットワーク1200はメンバノード(一般的には、個人又は組織)1210を含む構造を有し、メンバノードは、１つ以上の特定の種類の相互依存性により結び付いている。
【０１６７】
図１３は、本発明の一実施例による図９のシステムの利用例を示す。２人のユーザ110A及び110Bは、同じ又は同様な文書認識特徴量を伴う文書を捕捉している。図13は、MMRユーザ110Aが文書905の画像を捕捉し、MMRユーザ110Bが文書905’の画像を捕捉している様子を示す(プライム符号の表記は、同じ文書の別のインスタンス(instance)であることを示し、例えば、同じ雑誌の同じ記事の２つの独立したコピーである。)。この例の場合、MMRユーザ110Bは、既存の社会的ネットワーク1200のメンバであるが、MMRユーザ110Aはそうでない。既存の社会的ネットワーク1200は、MMRユーザ110Bをメンバノード1210として含むことに加えて、関係1220で接続されたメンバノード1210も含む。MMRユーザ110A及びMMRユーザ110Bの間で、図10及び15に関連して説明されるように、一時的な関係が付けられた場合、その一時的な関係は、ネットワークリンク1310を介してユーザ110Aを既存の社会的ネットワーク1200に関連付ける。
【０１６８】
この利用状況例は、製品に関する修理技術者情報ベースの一部である文書905を利用する。ネットワーク1200は、その製品に関して過去に働いたことのある技術者をメンバノード1210として含み、ある技術者は、図10で説明したように文書905を捕捉し、及び／又は例えば図16で説明したように文書905を修正し、或いはその製品に関する修理技術者情報の何らかの他の特徴量を用いて作業した者である。MMRユーザ110Aは、その製品に関して働く新しい技術者、文書905を始めて取得する技術者、又は文書905と共に始めて作業する技術者でもよい。新たな技術者110Aは文書905を取得し、従って既存のネットワーク1200のメンバ110B(ノード1210)に新たなリンク1310を介して関連付けられ、そのメンバも文書を取得している。新たなリンク1310を用いて、同じ又は同様な文書認識特徴量を伴う文書905を捕捉した者である又はユーザB/メンバ1210に関連付けられる者である１人以上の他ユーザ110C,110Dの身元は、共通の関心事に基づいてMMRユーザ110Aと共に共有され、その共通の関心事は、同じ又は同様な文書905を取得したことで示される(この例の場合、同じ製品について作業することである。)。
【０１６９】
別の利用状況例は、名刺の画像を文書905として捕捉することを含む。名刺(文書905)を捕捉するMMRユーザ110Aは、様々なメモやマルチメディア注釈と共に名刺に注釈を付け、例えば、名刺を出した人が提示したスライド等を注釈に付けてもよい。名刺(文書905)を捕捉することは、MMRユーザ110Aをその人のネットワーク1200に結び付ける。即ち、ある人(名刺に関連するノード1210になる人)を認識した後、MMRユーザ110Aがネットワーク1200のメンバノード1210に参加することを促す案内が、MMRユーザ110Aに、例えば第三者社会的ネットワーク1200アプリケーションによって送信される。
【０１７０】
これらの例は一例に過ぎず、限定ではない。図11及び14に関して説明した例は、他の例と共に、図13の他の利用例に使用されてもよい。
【０１７１】
図１４は、本発明の別の例による図９のシステムの利用例を示す。図14は図13と同様であるが、全てのユーザ110A−Dは、既存の関係1220で接続された既存の社会低ネットワーク1200のメンバノード1210である点が異なる。従って、ユーザ110A,110Bが、同じ又は同様な文書認識特徴量を伴う文書を捕捉した場合、MMRユーザ110A及びMMRユーザ110Bの間に一時的な関係が付けられ又は「リンク」が作成され、ユーザ110AをMMR新たなリンク1310でユーザ110Bに関連付ける。しかしながら、既にユーザ110A,110Bは共に既存の社会的ネットワーク1200のメンバノード1210であり、関係1220Aで接続されているので、その一時的な関係は、図14で太線の関係1220Aで示されるように、関係1220Aを強化する。例えば、新たなリンク1310を使用し、一致する又は類似する文書905に関連する情報を、既存の社会的ネットワークノード1210及び関係1220の構造で使用することで、上記のプロセスフローは、既存の社会的ネットワーク1200及び関連するソフトウエアアプリケーションに対する拡張機能として機能する。
【０１７２】
利用状況の一例は、大学教育課程の教科書の一部(例えば、ページ)である文書905を利用する。ネットワーク1200は、大学教育を受ける学生(メンバノード)1210を含む。MMRユーザ110Aは、文書905の内容に関する質問を有する学生(メンバノード)1210であり、文書905の画像を取得している。MMRユーザ110Bは、例えばその過程の教授の勤務中に訪問して得たその文書905に関する特別な知識を有する学生(メンバノード)1210であり、その情報を共有するために文書905の画像を捕捉している。特別な情報は、宿題の課題、新しい練習問題、テストの質問、問題の解答、テストの質問に対する回答、その他の文書905又は教育課程に関する情報、又はネットワーク1200の他のメンバに関する情報を含んでよい。その特別な情報は、MMRユーザ110Bが文書に関わった結果としてMMRコンピュータ112に保存可能である。MMRユーザ110Aが文書905の画像(MMRユーザ110Bにより既に取得されている)を取得すると、共有される捕捉情報に基づいて新たなリンク1310が彼らの間に形成され、彼らの間の既存の関係が強化される。こうしてMMRユーザ110A及び110Bは、その課程全体の中で更に特定の共通関心事に基づいて、より親密な関係を築き、その関係は、同じ又は類似する文書905(この例の場合、教科書中の同じ部分)を捕捉したことで表現される。新たなリンク1310又は強化された関係1220は、ユーザ110Bにより追加された特別な情報にユーザ110Aがアクセスする権限を表す。即ち、ユーザ110Aが文書905と関わった結果、ユーザ110Bにより追加されたその特別な情報が、MMRコンピュータ112から抽出される。関連するプロセスフローは図19に関して説明される。
【０１７３】
これらの例は一例に過ぎず、限定ではない。図11及び13に関して説明した例は、他の例と共に、図14の他の利用例に使用されてもよい。
【０１７４】
図１５は、 既存のネットワークのメンバ間の関係の強さ(tie  strength)を修正する本発明の一実施例によるフローチャート例を示す。フロープロセス1500は、ソフトウエアで、ハードウエア(例えば、ゲートレベルのロジック)で、ファームウエア(例えば、本方法を実行する組込ルーチンと共に構築されたマイクロコントローラ)で、又はそれらの何らかの組み合わせで実現可能である。
【０１７５】
先ず、MMRユーザ110により捕捉された文書の少なくとも一部分中の捕捉ディジタル画像が受信され(1510)、MMRユーザ110は、関係1220で結び付けられたメンバノード1210である、既存のネットワーク1200中のメンバ(ノード)1210である。図15に示されているように、捕捉装置106は文書905のディジタル画像を捕捉するのに使用され、例えば捕捉装置106のスチルカメラ又はビデオカメラを使って捕捉される。捕捉されたディジタル画像は、捕捉装置106で受信され、或いは捕捉装置106から送信されてMMRコンピュータ112で受信され、或いは他の何らかの装置又はモジュール(上記の文書照合を行い得る装置又はモジュール)で受信される。文書905は、図10で説明したように如何なる文書でもよい。文書は、紙書類でもよいし、電子文書でもよい。電子文書の例の場合、捕捉されるディジタル画像は、文書905の一部のスクリーンキャプチャ機能により受信されてもよい。
【０１７６】
図15の説明では、カメラ付き携帯電話のような捕捉装置106が使用されているが、プロセス1500は他の捕捉方法及び装置と共に使用されてもよく、例えば、文書は127のようなスキャナでスキャンされてもよいし、或いは例えば116のようなプリンタによる印刷と共にPD捕捉モジュール318により取得されてもよい。電子文書の場合、電子文書の上を枠で囲む捕捉方法でその部分が捕捉されてもよい。
【０１７７】
次に、文書を捕捉したMMRユーザ110のメンバノード1210に関し、文書905が認識される(1520）。更に、文書905内で捕捉されたディジタル画像の場所(例えば、テキスト、画像、又は他の画像パッチ部分)も認識されてよい。認識ステップ1520は、保存されている文書のインデックス(例えば、文書データベース320のインデックス322)を使ってなされてもよい。このステップ1520は索引付け処理を含み、索引付け処理は、文書905の対応する電子表現と、捕捉文書又はその一部分に合致する入力用の関連する第２メディアタイプとの同定を可能にし、その方法については、例えば図５のMMR文書500に関して説明されている。索引付けの処理例は次の処理を含む：(1)文書中のキャラクタのｘ−ｙ座標が索引付けられる；(2)文書中の言葉のｘ−ｙ座標が索引付けられる；(3)文書中の画像又は画像の一部分のｘ−ｙ座標が索引付けられる；(4)OCR画像処理が実行され、それに応じてキャラクタ及び／又は言葉のｘ−ｙ座標が索引付けられる：(5)ページ表現中の画像から特徴量抽出が実行され、特徴量のｘ−ｙ座標が索引付けられる；(6)シンボリックバージョンのページで特徴量抽出がシミュレートされ、特徴量のｘ−ｙ座標が索引付けられる。本発明の適用場面に応じて、索引付け処理は、上記の索引付け処理の全部又は一部を含んでよい。こうしてデータベース320のインデックス322は、ステップ1520の一部として何度もアクセスされてよい。
【０１７８】
索引付けは文書中の特徴量各々について実行されてよい。文書認識特徴量又は単に「特徴量」は、コンテンツベースの特徴量(例えば、個々の言葉、文字、画像及び／又はキャラクタ等の文書905中のもの)及びそれらのｘ−ｙ座標でもよいし、捕捉したディジタル文書から特定可能な文書905のフォーマットベースの特徴量ベクトルでもよい(タイプフォント、フォントサイズ、用紙光沢等の文書905に関するもの)。結果的に、捕捉されたディジタル画像は、インデックスの中で、認識された文書と関連付けられる。
【０１７９】
次に、別の又は第２のネットワークメンバが、文書に関連するように決定される(1530)。彼又は彼女もその文書を取得していることに起因して、或いは彼又は彼女が同様な文書を取得していることに起因して、第２メンバはその文書に関連付けられる。インデックス322を使ってネットワークメンバの一部を探し、そのメンバ達は、第１メンバに関する文書と同じ又は類似する文書のディジタル画像を取得しており、この探索処理は、第１ユーザに関する文書と一部のメンバにより取得された文書との間の文書照合又はパターン照合を含む。一実施例の場合、これは、２つの文書間で例えば文書照合モジュール226を使って文書照合を行うことでなされる。上記の技法を使って又は既知の比較技法を使って、照合がなされてもよい。一実施例の場合、照合はペア形式の比較であり、抽出された特徴量は、同様な書類各々について文書特徴量と比較される。文書照合法の一例は、捕捉した画像から特徴量を抽出すること、これらの特徴量から記述子を構築すること、及びその文書と場所(或る程度これらの記述子を含む文書中の場所)とを探索することを含む。このパターン照合ステップは、データベースが多数の文書を保存している場合、複数回(各文書につき一度)実行され、ライブラリ又はデータベース中の何らかの文書が捕捉文書に合致するか否かを判断してよいことが、理解されるべきである。或いは、捕捉文書の索引付けは、あるインデックスを加えてもよく、そのインデックスは、文書の集まりを表し、パターン照合ステップが既に実行されていることを表す。このステップ1530は、合致する文書に関連するネットワークメンバを探すことを含んでもよく、その際例えば、メンバ情報を含む文書データベース320のインデックス322を用いてもよい。
【０１８０】
次に、既存のネットワークのメンバ間の関係が修正される(1540)。合致する又は類似する文書がステップ1530で発見されると、その文書に関連する１人以上のメンバが確認される。この確認に基づいて、ネットワーク中のそのようなメンバ間の既存の関係は、その既存の関係を伴うメンバについて強化され、従来の(その既存の)関係とは別に、そのようなメンバ間で新たな関係が形成される。追加的に又は代替的に、グループ中の第１メンバ及び他の全てのメンバの間の関係は、このステップに従って修正される(1540)。例えば、一実施例では、第1メンバが関係しているネットワーク中の少数のメンバが、同じ文書を取得していなかった場合、それらのメンバに対する関係は弱められてもよい。図10に関して説明されているように、関係の強さは、距離及び／又はタイミングでパラメータ化(定量化)されてもよい。更に、修正されたネットワーク関係情報は、例えば文書データベース320に保存される。そのような修正された関係を使用し、第1メンバに関連する文書に類似する文書のディジタル画像を取得しているネットワークメンバの部分集合の身元(identity)は、同じ又は類似する文書を取得していることで表現される共通関心事に基づく。このプロセスフローに関する利用状況例は、上記の図14に示されている。
【０１８１】
図１６は、共用文書を修正する本発明の一実施例によるフローチャート例1600を示す。フローチャート1600は、ソフトウエアで、ハードウエア(例えば、ゲートレベルのロジック)で、ファームウエア(例えば、本方法を実行する組込ルーチンと共に構築されたマイクロコントローラ)で、又はそれらの何らかの組み合わせで実現可能である。
【０１８２】
先ず、MMRユーザ110により捕捉された文書の少なくとも一部分中の捕捉ディジタル画像が受信される(1610)。図16に示されているように、捕捉装置106は文書905のディジタル画像を捕捉するのに使用され、一例では、例えば捕捉装置106のスチルカメラ又はビデオカメラを使って捕捉される。捕捉されたディジタル画像は、捕捉装置106で受信され、或いは捕捉装置106から送信されてMMRコンピュータ112で受信され、或いは他の何らかの装置又はモジュール(上記の文書照合を行い得る装置又はモジュール)で受信される。
【０１８３】
文書905は、図10で説明したように如何なる文書でもよい。文書は、電子文書でもよく、その場合、捕捉されるディジタル画像は、文書905の一部のスクリーンキャプチャ機能により受信されてもよい。例えば、図17に示されるような文書1710上の領域枠1720のような、枠を電子文書に描くことで、その部分が捕捉されてもよい。
【０１８４】
図16ではカメラ付き電話機のような捕捉装置106が使用されているが、プロセス1600は、本願で説明される他の捕捉方法及び装置と共に使用されもよい。
【０１８５】
第１ユーザに関する文書の少なくとも一部分のディジタル画像を取得した後、ユーザから修正事項が受信され(1620)、その修正は、文書の少なくとも一部分と関連付けられる。その捕捉が文書の最初の捕捉であった場合、受信される修正は、捕捉文書と共に索引付けされる者のみでよい。しかしながら、捕捉された文書が他者により捕捉及び／又は修正された場合、上記の捕捉ステップ1610は、ユーザが修正を希望する文書を単に特定するだけでもよい。同様に、或る文書が或る手段(例えば、捕捉装置106)で取得され、他の手段(例えば、MMRコンピュータ112)により修正されてもよい。このステップ1620は、文書中の修正を行う場所又は領域を特定(同定)することを含んでもよい。そのような同定には、文書パッチ認識、バーコード又はRFIDのような技術を使用してもよい。修正は、特定の実施例に応じて様々な形式をとってよい。それに限られないが例えば、修正は編集、翻訳及び注釈を含んでもよい。注釈は、本願で説明されているようなMMRで使用されるデータ又はやりとりを含み、ビデオ、オーディオ及びスチル画像を含む様々なタイプのメディア及びテキストを含み、及び／又はユーザの作成した様々なタイプの注釈を含む。説明の簡明化のため、実施例では１つの注釈が使用されているが、複数の注釈がなされてもよい。図１７は、本発明の一実施例により、文書1710に付けられたメディア(オーディオ)クリップ形式の注釈1730を指定場所1720(例えば、領域枠)に付ける例を示す。一実施例では、注釈は文書の関心度スコアである。
【０１８６】
様々な実施例において、受け付けられる修正は或る注釈を含んでよく、その注釈は、捕捉文書に付けられるが下地の文書に影響を与えないものでもよいし、或いは下地の文書自身に対する編集となる修正を含んでもよい。
【０１８７】
一実施例の場合、文書905が文書データベース320に通知される。次に文書905が認識される(1630)。一実施例の場合、文書905内の捕捉ディジタル画像の場所も認識され、例えば、文書データベース320のインデックス322のような保存文書のインデックス及び捕捉ディジタル画像を用いて認識されてもよい。
【０１８８】
次に、受け付けた修正が文書に適用される(1640)。このステップ1640は索引付け処理を含み、索引付け処理は、文書905の対応する電子表現と、捕捉文書又はその一部分に合致する入力用の関連する第２メディアタイプとの同定を上述のように可能にする。索引付けは文書中の特徴量各々について実行されてよい。修正された文書は他のユーザにも利用可能になる。
【０１８９】
一例では、修正された文書は、保存され(1650)、例えば文書データベース320内から、格納済み文書のインデックス322を抽出することで受信される。修正された文書を他ユーザに利用可能にすることは、一例では、その文書が他ユーザにより取得された場合に、その修正を表示することを含む。例えば上述したような何らかの文書照合法を使って、修正された文書を特定してもよい。他ユーザにより捕捉された文書は、異なる内容又文書の異なるバージョンであるかもしれない。一例の場合、修正された文書を他ユーザに利用可能にすることは、修正された文書をウェブベースインターフェースに掲示することを含む。この例の場合、ウェブベースインターフェースは、その修正に基づいて、及び／又は他の何らかの一般的な検索機能を伴う探索を行うように構築される。具体的な利用例は、協同の情報／コンテンツ生成(例えば、共同的な書き込み、協同的な編集及び協同的な文書の翻訳等である)、文書に関心度スコアを付けること及び共同注釈を含む。翻訳の適用例の場合、或る言語の文書部分は、別言語への翻訳と共に注釈が付けられてもよい。それらの注釈に関する更なるコメントが適用されてもよい。これらの注釈はマルチメディアデータ(文書中で言及したオブジェクトの写真、言葉の発音のオーディオ記録、口語又はなまりに関するメモ等)を含んでもよい。
【０１９０】
修正された文書は、文書中の他の部分の注釈に至るリンク、及び／又は同じユーザによる注釈の付いた別文書に至るリンクを含んでもよい。例えば、関心度スコアの場合、ユーザが関心をよせる文書の他の部分、及び／又はユーザが興味を持って注釈を付けた別文書等に至るリンクが用意されてもよい。一実施例の場合、ユーザから制限が課されてもよく、そのユーザは、修正文書を検討可能であり及び／又は追加の修正を行い得る者である。例えば、あるチームが共同で文書について作業を行い、修正がなされた際、チームの一部の者はアクセスする権限しかなく、他の者は修正の一切の権限を有し、例えばその権限は文書の所有者又はシステム管理者により決定される。
【０１９１】
図１８は、索引付けされていない共用文書に注釈を付ける本発明の一実施例によるフローチャート例1800を示す。フローチャート1800は、ソフトウエアで、ハードウエア(例えば、ゲートレベルのロジック)で、ファームウエア(例えば、本方法を実行する組込ルーチンと共に構築されたマイクロコントローラ)で、又はそれらの何らかの組み合わせで実現可能である。
【０１９２】
先ず、MMRユーザ110により捕捉された文書905の少なくとも一部について捕捉されたディジタル画像が受信される(1810)。本プロセスは図16で説明したものと同様であるが、文書905が文書データベース320にとって未知である点が異なる。
【０１９３】
第１ユーザに関連する索引付けされていない又は「未知の」文書の少なくとも一部の捕捉ディジタル画像が受信された後(1810)(及び、必要に応じてMMRコンピュータ112への伝送後)、ユーザから注釈を受け取り(1820)、その注釈は、未知の画像の少なくとも一部に関連する。このステップ1820は、文書中の修正を行う場所又は領域を特定することを含む。注釈は、本願で説明されているようなMMRで使用されるデータ又はやりとりを含み、ビデオ、オーディオ及びスチル画像を含む様々なタイプのメディア及びテキストを含み、及び／又はユーザの作成した様々なタイプの注釈を含む。注釈は任意の電子データ又はコンテンツを含んでよい。この例では１つの注釈が使用されているが、複数の注釈がなされてもよい。一例では、注釈は文書の関心度スコアである。
【０１９４】
文書は未知であるので、捕捉したディジタル画像から次の特徴量が抽出される(1830)。文書認識特徴量は、それらのｘ−ｙ座標と共にコンテンツベースの特徴量を含み、その特徴量は、文書中の個々の言葉、文字、画像及び／又はキャラクタ等である。文書認識特徴量は、捕捉画像から特定可能な文書905のフォーマットベースの特徴量ベクトルを含んでもよく、例えば、文書に関連するタイプフォント、フォントサイズ及び用紙光沢等である。
【０１９５】
捕捉装置106から紙書類905までの距離のような他のデータが、特徴量ベクトルを決定するために必要な場合、そのような計算もなされる。文書認識特徴量抽出プロセスは、捕捉装置106のパラメータを(例えば、フレーム毎に動的に)調整することに使用されてもよい。例えば、捕捉装置106は修正された画像を生成するリクエストを受信するかもしれない(例えば、焦点が紙の目に鮮明に合っている(高解像度の)M個の画像の後に、大きなパッチのN個の不鮮明な画像が続いている場合に、リクエストがなされる。)。
【０１９６】
捕捉されたディジタル画像、注釈及び抽出された文書認識特徴量は関連付けられ、例えば文書データベース320に保存される(1840)。未知の捕捉及び抽出特徴量を格納することで、その未知の文書が後に索引付けされる場合、索引付けされていない画像は、新たに索引付けされる文書と合致するようにマークされ得る。例えば、索引付けされている紙書類に応じて、注釈の付いた画像を、索引付けされた文書に関連付けることができる。
【０１９７】
注釈の付いた捕捉文書は、その後、他ユーザに利用可能になる。一例では、注釈の付いた文書が文書データベース320のストレージから抽出される。注釈の付いた文書を他ユーザに利用可能にすることは、一例の場合、その文書が他ユーザにより取得された際に修正事項を表示することを含む。例えば上述したような何らかの照合法を使って、注釈の付いた文書を発見してもよい。
【０１９８】
図１９は、共有文書を共同で議論する本発明の一実施例によるフローチャート例1900を示す。フローチャート1900は、ソフトウエアで、ハードウエア(例えば、ゲートレベルのロジック)で、ファームウエア(例えば、本方法を実行する組込ルーチンと共に構築されたマイクロコントローラ)で、又はそれらの何らかの組み合わせで実現可能である。
【０１９９】
先ず、MMRユーザ110により捕捉された文書905の少なくとも一部について捕捉されたディジタル画像が受信され(1910)、これは図10,15,16,18で説明したものと同様である。
【０２００】
次に、上述の何らかの文書照合法を用いて文書が認識される(1920)。文書自身を認識することに加えて、ホットスポット(例えば、文書全体又は文書の一部分に関連するユニフォームリソースロケータ(URL)に対応するもの)が確認される。例えば、図５のMMR文書500に関して説明されたようなプロセスが使用されてもよい。
【０２０１】
その後MMRユーザ110は例えばクライアント装置又はユーザによりウェブサイトに対して認証される(1930)。認証は当該技術分野で既知の一般的な署名でもよく、例えばユーザ名及びパスワードを含んでもよく、或いは他の確認方法が使用されてもよい。一例の場合、文書が捕捉されると、認証ステップ1920が自動的になされる。ウェブサイト及び／又は協同的なマルチメディアリポジトリにアクセスする他の要求(リクエスト)は、例えばユーザがURLをタイプ入力することで、或いは(「お気に入り」のリストから又は別のウェブサイトからのリンクにより)ウェブサイトにアクセスすることで受信される。彼らがウェブサイトに関する文書を取得していなかった場合、そのような他のリクエストは、一般の認証を求めているかもしれない。認証には、様々なユーザタイプに対する様々なレベルがあり、例えば、或るユーザは閲覧のみのアクセス権しかないが、別のユーザは修正するアクセス権を有するかもしれない。
【０２０２】
一旦認証されると、ウェブサイト及び関連する協同的なマルチメディアリポジトリに対するアクセス権が、そのMMRユーザに与えられる(1940)。ウェブサイトは、その特定の文書及び／又はセクションに関する(例えば、他ユーザ達によりなされた)情報、注釈、文書及び議論の集まりを含み、その情報等は教科書中の或る段落に関する質問等を含む。ユーザはその議論等を検討及び編集できる。更に、集合的マルチメディアリポジトリは、例えば320のようなデータベースに含まれ、特定の文書に関連する。或いは、協同的なマルチメディアリポジトリは、発行された文書又はテキストの特定のバージョン又はリリースに対応する。協同的なマルチメディアリポジトリは、様々なMMRユーザ110によりなされたような、文書に関連する注釈及び修正を含む。
【０２０３】
MMRユーザ110は、他のURL、ビデオ及びオーディオクリップ又は他の注釈を、本の特定の章に結び付ける(リンクする)ことができ、これはウェブサイトを通じて他ユーザと共有可能になる。ユーザ達は彼らの捕捉装置を使って、他ユーザが過去に手を加えた情報を取り出すことができる。
【０２０４】
図19のプロセスに関する利用状況例は、教科書である文書905を利用する。MMRユーザ１１０は例えば、教科書905の任意の箇所に補足装置の焦点を合わせる。クライアント装置又はサーバで動作しているアプリケーションは、捕捉されたディジタル画像を受信し、文書認識を実行する。文書及び／又は特定の章は、それに関するURL(ホットスポットとして規定される)を有する。クライアント又はサーバは、そのURLに関するウェブサイトを開く。ウェブサイトは、ユーザによりアクセス可能な特定の教科書／章に関する情報及び議論の集まりである。教科書の「所有者(オーナー)」(例えば、教師、出版社等)は、ウェブサイトを介してどのユーザがアクセスできるかを制限してもよい。例えば、ユーザが、教科書を所有してはないが、URLをブラウザに直接タイプ入力することでそのURLに辿り着いた場合、そのユーザは議論の掲示板を見ることしかできない。しかしながら、ユーザが教科書のコピーを所有し且つURLが文書認識によって起動された場合、そのユーザはコメントを投稿できる。ユーザが教師の版の本を持っていた場合、ユーザは、議論の掲示板に回答を投稿できる。
【０２０５】
ここで説明されているアルゴリズムは、如何なる特定のコンピュータや他の装置にも本質的に関連付けられるものではない。本発明の実施例に従って様々な汎用及び／又は特定用途システムがプログラムされ或いは構築されてよい。本願の開示内容から明らかなように、様々なプログラミング言語及び／又は構造が、そのような様々なシステムを実現するのに使用可能である。更に、本発明の実施例は、情報システム又はネットワークと共に機能又は動作することができる。例えば、本発明は、構築例に応じて異なる機能を備えたスタンドアローンの複合機やネットワークプリンタで使用可能である。最低限の機能を備えたものから本願で説明された全ての機能をもたらすものに至る如何なる情報システムにおいて、本発明は使用可能である。
【０２０６】
以上、本発明の実施例の説明が理解を促すように与えられた。その説明は余すところのないものであることを意図するものではないし、本発明を開示された詳細な形態に限定しようとするものでもない。多くの修正や変形が上記の教示に照らして可能である。本発明の範囲は詳細な説明に限定されず、本願の特許請求の範囲によって限定されることが意図される。当業者に理解されるように、本発明の精神や本質的特徴量から逸脱せずに、本発明は他の特定の形態で実施されてもよい。同様に、モジュール、ルーチン、特質、属性、方法その他の態様についての特定のネーミングや区分けは、必須でもなく重要でもない。本発明又はその特徴量を実現する手段は、名称、区分け及び／又はフォーマットを別様に持っていてもよい。更に、関連技術分野で通常の知識を有する者に明らかなように、モジュール、ルーチン、特質、属性、方法その他の本発明の形態は、ソフトウエアとして、ハードウエアとして、ファームウエアとして、又はそれらの組み合わせとして実現可能である。本発明のコンポーネント（具体例は、モジュール）がソフトウエアとしてどこで実現される場合、そのコンポーネントは、スタンドアローンプログラムとして、より大きなプログラムの一部として、個々の複数のプログラムとして、静的に又は動的にリンクしたライブラリとして、カーネルローダブルモジュールとして又はデバイスドライバとして実現可能であり、及び／又はコンピュータプログラミングの技術分野で通常の知識を有する者にとって現在既知の又は将来既知になる他の如何なる方法によっても実現可能である。更に本発明はどの特定のプログラミング言語にも限定されず、どの特定のオペレーティングシステムにも環境にも限定されない。従って本発明に関する開示内容は、例示であることが意図されており、特許請求の範囲で規定される本発明の範囲を限定しようとするものではない。
【０２０７】
本発明の１つ以上の実施例の少なくとも一形態は、命令がエンコードされているコンピュータ読取可能な記憶媒体(例えば、１つ以上の、コンパクトディスク、ディスケット、サーバ、メモリスティック若しくはハードドライブ、ROM、RAMその他の電子命令を格納可能な適切な何らかのタイプの媒体)を提供し、その命令が１つ以上のプロセッサにより実行されると、命令は、混合メディア文書システムの情報にアクセスする処理をプロセッサが実行することを引き起こす。その処理は、例えば、本願で説明されるのと同様な方法又はその変形例でもよい。
【０２０８】
＜関連出願＞
本願は35U.S.C§119(e)に基づいて西暦2007年7月11日付けで出願された“Paper-base  Social  networking  with  MMR”と題する米国仮特許出願第60/949,050号の利益を享受し、その出願の内容全体が本願のリファレンスに組み込まれる。
【符号の説明】
【０２０９】
100a,100b   MMR(ミックスド・メディア・リアリティ)システム
102  MMRプロセッサ
104  通信手段
106  捕捉装置
108  MMRソフトウエアを含むメモリ
110  ユーザ
112  MMRコンピュータ
114  ネットワークメディアサーバ
116  プリンタ
118  印刷文書
120  オフィスポータル
122  サービスプロバイダサーバ
124  電子ディスプレイ
126  セットトップボックス
127  文書スキャナ
134  Wi-Fi技術
136  ブルートゥース技術
138  IR技術
140  無線技術
142  ジオロケーション手段
160  ベースメディアストレージ
162  MMRメディアストレージ
164  出力装置
166  入力装置
168  携帯入力装置
170  携帯出力装置
210  プロセッサ
212  ディスプレイ
214  キーパッド
216  ストレージデバイス
218  無線通信リンク
220  有線通信リンク
222  MMRソフトエア
224  捕捉装置ユーザインターフェース(UI)
226  文書照合モジュール
228  第三者ソフトウエアモジュール
230  捕捉手段
232  ビデオカメラ
234  スチルカメラ
236  ボイスレコーダ
238  電子ハイライター
240  レーザ
242  GPS装置
244  RFIDリーダ
310  ソースファイル
312  SDブラウザ
314  SDブラウザ
316  プリンタ装置
318  印刷文書(PD)捕捉モジュール
320  文書データベース
322  インデックス
324  イベント捕捉モジュール
326  文書分析モジュール
328  マルチメディア(MM)クリップブラウザ／エディタモジュール
330  MMのプリンタドライバ
332  文書ビデオ分析(DVP)印刷システム
334  ビデオペーパー
336  MMファイル
410  マルチメディア注釈ソフトウエア
412  テキストコンテンツ検索部
414  画像コンテンツ検索部
416  ステガノグラフィック修正部
418  ペーパー読み取り履歴ログ
420  オンライン読み取り履歴ログ
421  文書修正部
422  協同的文書確認部
424  リアルタイム通知部
426  マルチメディア取得部
428  デスクトップビデオリマインダ部
430  ウェブページリマインダ部
432  物理履歴ログ
434  記入済フォーム確認部
438  位置確認部
442  文書認証部
448  文書バージョン取得部
450  PC文書メタデータ部
452  捕捉装置ユーザインターフェース(UI)
456  ユーザ関連付け部
458  ネットワーキング部
460  表示部
500  MMR文書
502  印刷文書118の一部の表現502、
504  第２メディア504
506  ホットスポット
508  文書118全体の電子表現
610  文書照合システム
612  捕捉画像
712  品質評価モジュール
714  品質評価部
716  画像処理部
718  特徴量抽出部
720  分類部
724  位置追跡部
900  システム
905  文書
1200  ネットワーク
1210  ネットワークノード
1220、1330  関係
1710  文書
1720  領域枠
1730  オーディオクリップ
【図１Ａ】
2009245440.tif 000003
【図１Ｂ】
2009245440.tif 000004
【図２Ａ】
2009245440.tif 000005
【図２Ｂ】
2009245440.tif 000006
【図２Ｃ】
2009245440.tif 000007
【図２Ｄ】
2009245440.tif 000008
【図２Ｅ】
2009245440.tif 000009
【図３】
2009245440.tif 000010
【図３Ａ】
2009245440.tif 000011
【図４】
2009245440.tif 000012
【図６】
2009245440.tif 000013
【図７】
2009245440.tif 000014
【図８】
2009245440.tif 000015
【図１０】
2009245440.tif 000016
【図１２】
2009245440.tif 000017
【図１５】
2009245440.tif 000018
【図１６】
2009245440.tif 000019
【図１８】
2009245440.tif 000020
【図１９】
2009245440.tif 000021
【図５】
2009245440.tif 000022
【図９】
2009245440.tif 000023
【図１１】
2009245440.tif 000024
【図１３】
2009245440.tif 000025
【図１４】
2009245440.tif 000026
【図１７】
2009245440.tif 000027