(57)【要約】  文書管理システムの１つ以上の実施形態は、物理オブジェクトに基づいて、クライアント機器のユーザに素早く、かつ便利にデジタル文書を提供する。特に、文書管理システムは、物理文書および識別子の画像を第１のクライアント機器から受信し、物理文書に合致するデジタル文書を特定し、合致しているデジタル文書を、識別子を表示する第２のクライアント機器に提供することができる。別の実施形態において、文書管理システムは、ユーザがデジタル文書を物理オブジェクトに関連づけ、その後、物理オブジェクトを用いてデジタル文書を復帰させることを可能にする。さらに、文書管理システムは、デジタル文書を物理オブジェクトに関連づけて復帰させる際、クライアント機器上のデジタル文書のレイアウト配置を保存および復帰することができる。
2019508761.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
少なくとも１つのプロセッサにより、第１のクライアント機器で表示するための固有な識別子を提供することと、
第２のクライアント機器から、ユーザが取り込んだ物理文書の画像を受信することと、
前記第２のクライアント機器から、前記ユーザが取り込んだ前記識別子の画像を受信することと、
前記物理文書に関連する１つ以上のデジタル文書を特定するために、前記物理文書の前記画像を解析することと、
前記識別子の前記受信した画像に基づいて、前記１つ以上のデジタル文書を前記第１のクライアント機器に提供することと、を有する方法。
【請求項２】
請求項１に記載の方法であって、さらに、
それぞれが１つ以上の文書ページを有する複数の前記文書を含んだ文書コレクションにアクセスすることと、
前記文書コレクション内の各文書について、前記１つ以上の文書ページのそれぞれについて１つ以上の特徴ベクトルを決定することと、を有する方法。
【請求項３】
請求項２に記載の方法であって、さらに、
前記物理文書の前記画像について、１つ以上の特徴ベクトルを決定することと、
前記物理文書の前記画像の前記１つ以上の特徴ベクトルと、前記文書コレクション内の前記複数の文書の前記１つ以上の文書ページのそれぞれの前記１つ以上の特徴ベクトルと、を比較することと、を有する方法。
【請求項４】
前記１つ以上のデジタル文書のうち、文書ページ画像の前記特徴ベクトルが前記文書画像の前記特徴ベクトルに対して類似距離閾値未満の類似距離を有するデジタル文書を、前記物理文書に関連すると特定することをさらに有する、請求項３に記載の方法。
【請求項５】
前記文書画像について特徴ベクトルを決定するために、ディープニューラルネットワーク機械学習処理を用いることをさらに有する、請求項３に記載の方法。
【請求項６】
前記文書コレクションが、テキストファイル、画像ファイル、および動画ファイルを有する、請求項１に記載の方法。
【請求項７】
前記文書画像がリアルタイムで提供される，請求項１に記載の方法。
【請求項８】
請求項１に記載の方法であって、さらに、
前記第１のクライアント機器から、前記関連文書からの文書の選択を受信することと、
前記第１のクライアント機器に、前記選択された文書を提供することと、を有する方法。
【請求項９】
前記第１のクライアント機器から、前記選択された文書を前記第２のクライアント機器へ送信するようにとの指示を受信することをさらに有する、請求項７に記載の方法。
【請求項１０】
方法であって、
１つ以上のデジタル文書を特定することと、
ユーザが取り込んだ物理オブジェクトの第１の画像を受信することと、
前記１つ以上のデジタル文書を前記物理オブジェクトに関連づけることと、
前記ユーザが取り込んだ前記物理オブジェクトの第２の画像を受信することと、
少なくとも１つのプロセッサにより、前記第２の画像が前記物理オブジェクトを含んでいることを確認することと、
前記第２の画像を受信することに応答して、前記１つ以上のデジタル文書を検索することと、
前記第２の画像が前記物理オブジェクトを含むことを確認することと、前記１つ以上のデジタル文書を前記物理オブジェクトに関連づけることとに基づいて、前記１つ以上のデジタル文書を前記ユーザに提供することと、を有する方法。
【請求項１１】
前記物理オブジェクトの前記第１の画像からの前記特徴ベクトルと、前記物理オブジェクトの前記第２の画像からの前記特徴ベクトルとの間の類似距離が、類似距離閾値未満であることを確認することをさらに有する、請求項１０に記載の方法。
【請求項１２】
前記物理オブジェクトが３次元オブジェクトである、請求項１０に記載の方法。
【請求項１３】
前記第１の画像内で複数の物理オブジェクトを検出することに基づいて、複数のデジタル文書を前記第１の画像に関連づけることをさらに有する、請求項１０に記載の方法。
【請求項１４】
前記１つ以上のデジタル文書をクライアント機器に関連づけることをさらに有し、前記オブジェクトの前記第１の画像に関連づけられた前記１つ以上のデジタル文書が前記クライアント機器に提供される、請求項１０に記載の方法。
【請求項１５】
前記１つ以上のデジタル文書をクライアント機器上の特定の配置に関連づけることをさらに有し、前記オブジェクトの前記第１の画像に関連づけられた前記１つ以上のデジタル文書を提供することが、前記１つ以上のデジタル文書を前記特定の配置で前記クライアント機器に提供することを有する、請求項１０に記載の方法。
【請求項１６】
請求項１０に記載の方法であって、さらに、
それぞれが１つ以上の文書ページを有する複数の前記文書を含んだ文書コレクションにアクセスすることと、
前記文書コレクション内の各文書について、前記１つ以上の文書ページのそれぞれについて１つ以上の特徴ベクトルを決定することと、を有する方法。
【請求項１７】
さらに、クライアント機器から、前記１つ以上のデジタル文書からのデジタル文書の選択を受信することを有する、請求項１０に記載の方法。
【請求項１８】
前記１つ以上のデジタル文書を前記オブジェクトの前記受信した第１の画像に関連づけるように指示する音声コマンドを受信することをさらに有する、請求項１０に記載の方法。
【請求項１９】
前記物理オブジェクトの前記第１の画像および前記物理オブジェクトの前記第２の画像について特徴ベクトルを決定するために、ディープニューラルネットワーク機械学習処理を用いることをさらに有する、請求項１０に記載の方法。
【請求項２０】
システムであって、
少なくとも１つのプロセッサと、
命令を格納する、少なくとも１つの恒久的コンピュータ可読媒体と、を有し、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
第１のクライアント機器で表示するための固有な識別子を提供し、
第２のクライアント機器から、ユーザが取り込んだ物理文書の画像を受信し、
前記第２のクライアント機器から、前記ユーザが取り込んだ前記識別子の画像を受信し、
前記物理文書に関連する１つ以上のデジタル文書を特定するために、前記物理文書の前記画像を解析し、
前記識別子の前記受信した画像に基づいて、前記１つ以上のデジタル文書を前記第１のクライアント機器に提供する、ようにさせる、システム。
【請求項２１】
システムであって、
少なくとも１つのプロセッサと、
命令を格納する、少なくとも１つの恒久的コンピュータ可読媒体と、を有し、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
１つ以上のデジタル文書を特定し、
ユーザが取り込んだ物理オブジェクトの第１の画像を受信し、
前記１つ以上のデジタル文書を前記物理オブジェクトに関連づけ、
前記ユーザが取り込んだ前記物理オブジェクトの第２の画像を受信し、
前記第２の画像が前記物理オブジェクトを含んでいることを確認し、
前記第２の画像を受信することに応答して、前記１つ以上のデジタル文書を検索し、
前記第２の画像が前記物理オブジェクトを含むことを確認することと、前記１つ以上のデジタル文書を前記物理オブジェクトに関連づけることとに基づいて、前記１つ以上のデジタル文書を前記ユーザに提供する、ようにさせる、システム。
【発明の詳細な説明】
【背景技術】
【０００１】
多くのユーザは日々電子的文書および物理的文書を取り扱っている。しかし、コンピュータの進歩および技術の発展に伴い、多くの場合、ユーザは物理空間からデジタル空間に移行しつつある。例えば、写真家は、写真の撮影および編集をほぼデジタル空間でのみで行っている。別の例として、多くのオフィスは、ファイルの紙コピーを保管を不必要とすることにより「ペーパーレス」化を進めている。実際、デジタル文書を用いることで、ユーザは、物理的文書では得られない利便性、協働作業性、および入手容易性を享受できる。その一方で、物理空間からデジタル空間への移行には不都合も生じている。
【０００２】
例えば、人間の思考は、物理世界における空間的なつながり、特に目でわかるつながりを理解することに秀でている。例えば、オフィスに様々なファイルやフォルダの山を有するユーザは、特定のファイルの場所を聞かれると、そのファイルの厳密な位置を、素早くかつ正確に特定することができる。しかし、そういったユーザも、デジタル領域でファイルのデジタルコピーを特定するのには苦労するかもしれない。そのため、ユーザは、しばしば遅かったり信頼性できなかったりすることのあるコンピュータのサーチ機能のような、外部ソースに助けを求めることがある。
【０００３】
別の例として、ユーザは例えば仕事のプロジェクトの一部として、コンピュータ機器で多数のデジタル文書を扱っているかもしれない。このユーザが別のプロジェクトに切り替える必要がある場合、ユーザはしばしば、第１のプロジェクトの文書を閉じてから、もう一方のプロジェクトに関する文書を開くであろう。第１のプロジェクトに戻る際、ユーザは一つ以上の表示機器上で第１のプロジェクトからのファイルを再度特定し、再度開き、またしばしば再配置しなくてはならない。したがって、物理領域での文書の保存、特定、および検索時にユーザはもっとずっと効率的である。
【０００４】
したがって、デジタル文書を用いる際、文書管理および整理において行うべき多数の検討事項が存在する。
【発明の概要】
【０００５】
本開示の実施形態は、デジタル文書を用いる際に、文書管理および整理のためのシステムおよび方法によって、利便性の提供および／または上述したものを含む本技術分野における一つ以上の問題点を解決する。例えば、一つ以上の実施形態は、クライアント機器を用いるユーザによって取り込まれた物理的文書の画像に基づく文書照合(matching)および検索を提供するためのシステムおよび方法を含む。例えば、ユーザは紙文書の画像を取り込むことができ、ここで開示されるシステムおよび方法は、その文書および／または他の類似文書のデジタルコピーをユーザに提供することができる。さらに、得られた文書を、目的の機器／ワークスペースに関連づけられたユーザによって取り込まれた別の画像に基づいて、クライアント機器および／またはデジタルワークスペース通じてクライアントにインテリジェントに提供することができる。
【０００６】
簡単に説明すれば、文書管理システムは、クライアント機器のユーザへの表示のために識別子（例えば固有な画像、固有なＱＲコード）を提供することができる。システムは、識別子をクライアント機器および／またはクライアント機器に提示されるデジタルワークスペースと関連づけることができる。物理的文書（例えば紙文書、プリントされた写真など）のデジタルコピーを見つけたいユーザは、その物理的文書の画像および識別子の画像を取り込むために、モバイル機器の様な第２のクライアント機器を用いる。物理的文書の画像を用いて、文書管理システムは、その物理的文書のデジタル形式の同一物(exact digital match)を潜在的に含む、関連するデジタル文書をサーチすることができる。さらに、識別子の画像を用いて、文書管理システムは、識別子に関連づけられたクライアント機器にデジタル文書サーチの結果を提供することができる（例えば、システムは、デジタルワークスペースの様な、クライアント機器に表示されたユーザインタフェースへの提示のために、サーチ結果を提供することができる）。
【０００７】
本開示の実施形態に加え、文書管理システムはデジタル文書を物理的オブジェクトに関連づけることができる。例えば、ユーザは１つ以上のデジタル文書を特定し、特定したデジタル文書に関連づける物理的オブジェクトの画像を与えることができる。その後、その文書群にアクセスしたくなったら、ユーザは物理的オブジェクトの画像（例えば、モバイル機器を用いて取り込んだ物理的オブジェクトの画像）を与える。それに応答して、文書管理システムは、関連づけられた文書群を特定してユーザに提供するために物理的オブジェクトの画像を用いる。加えて、文書管理システムは、物理的オブジェクトに関連づける際、デジタル文書のレイアウト／配置を保存することができ、後でユーザに提供する際、保存したレイアウト／配置でデジタル文書を提供することができる。
【０００８】
したがって、開示されるシステムおよび方法は、物理空間とデジタル空間との間でシナジーを生成することの利益をユーザが享受することを可能にする。例えば、開示されるシステムおよび方法は、物理的オブジェクトとデジタルオブジェクトとの関係を活用して、デジタルワークスペース内でアクションを実行するための、ユーザによる物理的オブジェクトとの直感的なインタラクションを容易にする。つまり、システムおよび方法は、物理的オブジェクトを取り扱う利点を、デジタル文書にもたらすことができる。
【０００９】
本開示のさらなる特徴および利点は、以下の記述において説明され、またその一部は記述から自明であるか、例示的な実施形態の実践によって理解されるであろう。実施形態の特徴および利点は、特に特許請求の範囲において示される手段および組み合わせによって実現並びに取得されるであろう。これらの、また他の特徴は、以下の記述および特許請求の範囲から一層明確になるか、以下に説明するような例示的な実施形態の実践を通じて理解されるであろう。
【００１０】
本開示の、上述した、また他の利点および特徴を得ることができる手法を説明するため、先に簡単に説明した開示のより具体的な説明が、添付図面に図示された具体的な実施形態を参照して以下に示される。なお、図面は縮尺通りに描かれておらず、総じて同様の構造または機能の要素は例示を目的として全図を通じて同様の参照数字によって表されている。これらの図面は本開示の典型的な実施形態を表しており、したがって本開示の範囲を限定するものとは解されないことを踏まえ、本開示を添付図面を用いて更なる特性および詳細とともに説明する。
【図面の簡単な説明】
【００１１】
【図１】開示される１つ以上の実施形態に係る通信環境の模式図である。
【図２】開示される１つ以上の実施形態に係る文書管理システムの模式図である。
【図３】開示される１つ以上の実施形態にしたがって、デジタル文書を特定および提供するために第１のクライアント機器および第２のクライアント機器とやりとりする文書管理システムを示す流れ図である。
【図４Ａ】開示される１つ以上の実施形態にしたがって文書マッチングが発生しうる例示的なワークスペース環境を示す図である。
【図４Ｂ】開示される１つ以上の実施形態にしたがって文書マッチングが発生しうる例示的なワークスペース環境を示す図である。
【図５】開示される１つ以上の実施形態にしたがって文書マッチングが発生しうる別の例示的なワークスペース環境を示す図である。
【図６】１つ以上の実施形態に係る、物理的オブジェクトに基づいて関連するデジタル文書を提供するための方法における一連の動作のフローチャートである。
【図７】１つ以上の実施形態に係る、デジタル文書を物理的オブジェクトに関連づけるための方法における一連の動作のフローチャートである。
【図８】１つ以上の実施形態に係るコンピュータ機器のブロック図である。
【図９】１つ以上の実施形態に係る、文書管理システムのネットワーク環境を示す図である。
【発明を実施するための形態】
【００１２】
本開示は、文書を賢く特定してユーザに提供する文書管理システムの１つ以上の実施形態を提供する。一例として、文書管理システムは、ユーザによって（例えばモバイル機器を用いて）取り込まれた紙文書の画像に基づいてデジタル文書をユーザに提供することができる。例えば、ユーザは文書のペーパーコピーの画像をスキャンし、文書管理システムはユーザにその文書のデジタルコピーおよび／または他の関連文書を提供する。文書管理システムは、ユーザから受け取った固有な識別子の画像に基づいて、得られたデジタル文書を特定のクライアント機器で、および／または特定のワークスペース内でユーザに提供することができる。別の例において、ユーザは文書管理システムに物理的オブジェクトの画像を与え、文書管理システムはその物理的オブジェクトに前もって関連付けされているデジタル文書群を提供する。
【００１３】
上述した様に、いくつかの実施形態において、文書管理システムは物理的文書のデジタル対応物(digital match)を特定のクライアント機器および／またはデジタルワークスペースにインテリジェントに提供する。特に、文書管理システムは、（例えば第１のクライアント機器に識別子を表示させるために）第１のクライアント機器のユーザに識別子を提供する。第２のクライアント機器を用い、ユーザは所望の物理文書（例えば、印刷された文書、印刷された画像など）の画像ならびに提供された識別子の画像を取り込む。物理文書の画像を用いて、文書管理システムはその物理文書のデジタルコピーおよび／またはその物理文書に類似した他のデジタル文書（例えば、その物理文書に含まれるコンテンツと一致もしくは類似するテキスト、画像、または他のコンテンツを含む文書）を特定する。そして、文書管理システムは、得られたデジタル文書を提供すべき場所（例えばクライアント機器および／またはデジタルワークスペース）を決定するために、識別子の画像を用いる。特に、この例では、文書管理システムは、得られたデジタル文書を第１のクライアント機器に関連づけるとともに提供するために、および／または、得られたデジタル文書を第１のクライアント機器にさせるために、識別子を用いる。
【００１４】
先に述べたように、文書管理システムは、ユーザがデジタル文書を物理的オブジェクトに関連づけることを可能にする。例えば、ユーザは１つ以上のデジタル文書を、マグカップ、ペン、ブックカバー、粘着付箋紙、または他の任意の物理的オブジェクトのような、ある物理的オブジェクトに関連づけることができる。特に、ユーザはその物理的オブジェクトの画像および、どのデジタル文書を関連づけるかの指示(indication)を与え、文書管理システムは、その文書を画像内の物理的オブジェクトに関連づける。その後、ユーザが（例えば保存された画像またはライブストリームの形式で）物理的オブジェクトの画像を与えると、文書管理システムは関連づけられた文書を提供することができる。さらに、文書管理システムは、関連づけられた文書の配置を、物理的オブジェクトに関連づけられたときに表示されたように維持することができる。例えば、ユーザがデスクトップクライアント機器のディスプレイ上に開いて配置された文書を有する場合、ユーザは文書管理システムに、デジタル文書の配置も保存するように要求することができる。その後ユーザがその文書群にアクセスしたくなった際、文書管理システムは、デスクトップクライアント機器での表示のために、保存された配置でデジタル文書を提供する。
【００１５】
上述の通り、開示される文書管理システムおよび対応する処理は、ユーザに様々な利点を提供する。１つの利点として、文書管理システムは、ユーザが物理文書のデジタルコピーを簡単に探すことを可能にする。別の利点として、ユーザは、それぞれに文書群が関連づけられた様々なプロジェクトまたは仕事を、空間的に関連づけることができる。そして、空間的な関係を用いて、ユーザは対応する物理的オブジェクトを用いるデジタル文書群を簡単に思い出し、アクセスすることができる。
【００１６】
本明細書において「デジタル文書」は、印刷されたり物理的形態に再現されたりすることも可能な、電子的文書の任意のデジタルバージョンを意味する。例えば、デジタル文書は、ワートプロセッサ、表計算、通信、および／またはグラフィックスソフトウェアアプリケーションに関連づけられたファイルフォーマットのような、様々なファイルフォーマットの１つを有するデジタル文書ファイルであってよい。非限定的なデジタル文書の例には、ＨＴＭＬファイル、ＷＯＲＤファイル、ｐｄｆファイル、スライドショープレゼンテーションファイル、電子メッセージ、電子メール、インスタントメッセージ、デジタル画像ファイルなどが含まれる。さらに、デジタル文書は１つ以上のさらなるデジタル文書からのコンテンツを含んでもよい。例えば、ワードプロセッサ文書は、デジタル画像（例えばフル解像度画像）を含むことができる。
【００１７】
文書管理システムの１つ以上の実施形態のさらなる機能および特徴を、図面に関して以下に説明する。図１は、本明細書における１つ以上の実施形態に係る通信システム１００（または単に「システム１００」）の例示的な実施形態を示している。図示の通り、システム１００は、文書管理システム１０２を備えたサーバ装置１０１と、第１のクライアント機器１０４ａと、第２のクライアント機器１０４ｂと（まとめて「クライアント機器１０４と呼ぶ）、ネットワーク１０８を通じて通信する文書コレクション１０６とを含んでいる。図１では文書管理システム１０２、クライアント機器１０４、文書ストレージ１０６、およびネットワーク１０８の特定の配置を示しているが、様々な付加的な配置が可能である。例えば、文書管理システム１０２は、ネットワーク１０８をバイパスして文書コレクション１０６と直接通信してもよい。
【００１８】
サーバ装置１０１、クライアント機器１０４、および文書コレクション１０６を含む、システム１００の構成要素は、ネットワーク１０８を通じて通信可能である。ネットワーク１０８は１つ以上のネットワークを含んでよく、また、データおよび／または通信信号の送信に適した１つ以上の通信プラットフォームまたは技術を用いることができる。ネットワーク１０８に関するさらなる詳細については、図８および図９に関して後述する。
【００１９】
文書コレクション１０６は、デジタル文書または文書のデジタルコピーを保存する１つ以上の記憶装置を有する。文書コレクション１０６に保存されるデジタル文書は、ユーザ１１０のような１以上のユーザに関連づけられることができる。例えば、文書コレクション１０６は、ユーザ１１０に属するユーザアカウントに１つ以上の文書を保存することができる。さらに、１以上のユーザに関連づけられるのではなく、文書コレクション１０６は全てのユーザが制限なく利用可能なデジタル文書を保存することができる。
【００２０】
図１にさらに示す様に、ユーザ１１０はクライアント機器１０４とやりとりすることができる。ユーザ１１０は個人（すなわち人間のユーザ）、企業、グループ、あるいは他の任意のエンティティであってよい。説明を目的として、図１はユーザを１人のみ示しているが、システム１００は、１つ以上の対応するクライアント機器を用いてシステム１００とやりとりしている任意数のユーザを含みうることを理解されたい。
【００２１】
クライアント機器１０４は、様々なタイプのクライアント機器を代表しうる。例えば、クライアント機器１０４は、スマートウォッチや他のウェアラブルデバイスのようなモバイル機器、携帯電話、スマートフォン、ＰＤＡ、タブレット、ラップトップ、またはカメラおよび／またはディスプレイを有する他の携帯型機器を含むことができる。例えば、ユーザは、画像を取り込むために自身のウェアラブルデバイスのカメラを用いたり、文書結果を表示するために仮想現実機器を用いたりすることができる。さらに、クライアント機器１０４はデスクトップコンピュータやサーバといった、非モバイル機器を含んでもよい。例えば、第１のクライアント機器１０４ａはモバイルクライアント機器であってよく、第２のクライアの機器１０４ｂは非モバイルクライアント機器であってよい。さらに、クライアント機器１０４は、テレビ、ＬＣＤディスプレイ、ＬＥＤディスプレイ、モニタ、プロジェクタなどの表示装置を含んでもよい。一般的に、本明細書において「クライアント機器」は、いかなるタイプのコンピュータ機器をも包含しうる。クライアント機器１０４に関するさらなる詳細および例は、図８に関して後述する。
【００２２】
一般的に、クライアント機器１０４は、ユーザ１１０が文書管理システム１０２とやりとりすることを可能にする。１つの例示的な実施形態によれば、ユーザ１１０は物理文書の画像ならびに、（例えば第２のクライアント機器１０４ｂに表示される）識別子の画像を取り込むために第１のクライアント機器を用いる。ユーザ１１０は、取り込み画像を文書管理システム１０２に与える。あるいは、第１のクライアント機器が画像を処理し、画像のメタデータ（例えば特徴ベクトル情報）を文書管理システム１０２の１つ以上のサーバに送信する。これに応答して文書管理システム１０２は、物理文書の画像を、（例えば文書コレクション１０６に保存されている文書から）その文書のデジタルコピーおよび／または他の関連するデジタル文書を特定するために用いる。そして、文書管理システム１０２は、特定された文書を、第２のクライアント機器１０４ｂを通じてユーザに提供する。ユーザと文書管理システム１０２とのやりとりに関するさらなる例について、以下に説明する。
【００２３】
図２は、文書管理システム１０２の例示的な実施形態を示している。文書管理システム１０２は、非限定的な構成要素として文書アクセスマネージャ２１２、画像解析器２１４、識別子マネージャ２１６、通信マネージャ２１８、画像照合器２２０、オブジェクト識別器２２２、および文書バインダ２２４を含みうる。文書管理システム１０２の構成要素２１２から２２４は、適切な通信技術を用いて互いに通信していてよい。また、図１では、文書管理システム１０２の構成要素が別個に記載されているが、文書管理システム１０２の構成要素は、具体的な実施形態に応じて、１つの構成要素といった、より少ない数の構成要素にまとめられてもよいし、より多くの構成要素に分割されてもよい。さらに、文書管理システム１０２の構成要素は、１つ以上のサーバ機器のような１つ以上のコンピュータ機器に配置されたり、１つ以上のコンピュータ機器で実施されたりしてもよい。
【００２４】
文書管理システム１０２の各構成要素は、ソフトウェア、ハードウェア、あるいはその両方を有しうる。例えば、文書管理システム１０２の各構成要素は、コンピュータ可読記憶媒体に格納され、１つ以上のコンピュータ機器の１つ以上のプロセッサによって実行可能なた１つ以上の命令を有しうる。１つ以上のプロセッサによって実行されると、コンピュータが実行可能な命令は、コンピュータ機器に、本明細書に記述される方法を実行させる。あるいは、文書管理システム１０２の構成要素は、所定の機能または機能群を実行するための、特殊用途処理デバイスのようなハードウェアを有してもよい。
【００２５】
要約すると、１以上の実施形態において、文書管理システム１０２は、先に詳細に述べた様に、ユーザが取り込んだ画像に基づいてデジタル文書をインテリジェントに特定し、ユーザに提供する。
【００２６】
上述の通り、文書管理システム１０２の図示した例は、文書アクセスマネージャ２１２を含んでいる。文書アクセスマネージャ２１２は、様々なデジタル文書を特定し、アクセスすることができる。例えば、文書アクセスマネージャ２１２は、図１に関して上述した文書コレクション１０６に保存されているデジタル文書にアクセスする。１以上の実施形態において、文書アクセスマネージャ２１２は、ユーザによって文書コレクション１０６にアップロードされたファイルの様な、ユーザに関連づけられたデジタル文書にアクセスする。あるいは、文書アクセスマネージャ２１２は、ユーザの組織によってアップロードされた（例えば、同僚や仕事仲間などによって提供された）文書、および／または、インターネットを通じて利用可能な文書（例えば州税や連邦税のフォーム、公開されている画像など）のような、他の利用可能なデジタル文書にアクセスする。
【００２７】
さらに、文書アクセスマネージャ２１２は、デジタル文書のタイプを分類することができる。非画像文書に分類される文書について、文書アクセスマネージャ２１２は１つ以上の画像を生成することができる。例えば、文書アクセスマネージャ２１２が、１０ページあるポータブルドキュメントファイル(PDF)を特定するとすると、文書アクセスマネージャ２１２はＰＤＦの各ページについて画像を生成することができる。そして、文書アクセスマネージャ２１２はそのＰＤＦページ画像をＰＤＦに関連づける。非画像文書が１ページしかない場合、通常、文書アクセスマネージャ２１２はその文書について１つの画像しか生成しないであろう。
【００２８】
文書アクセスマネージャ２１２がデジタル文書の特定およびアクセスを行うことと関連して、文書管理システム１０２は画像解析器２１４を含んでいる。一般的に、画像解析器２１４は、文書アクセスマネージャ２１２がアクセスするデジタル文書を処理する。より具体的には、画像解析器２１４は、各画像内の特徴ベクトルを決定するために画像（例えば、画像と分類された文書や、非画像文書の画像）を解析する。特に、画像解析器２１４は、以下に詳細を説明する様に、各画像の特徴ベクトルを計算するためにディープニューラルネットワークを用いることができる。
【００２９】
上述の通り、文書アクセスマネージャ２１２は、非画像文書の各ページについての画像を生成することができる。したがって、複数ページ文書について、画像解析器２１４は複数の画像を解析し、その文書の各画像ページについての特徴ベクトルを決定する。詳細を後述する様に、デジタル文書に関連づけられた画像の数にかかわらず、画像解析器２１４は、そのデジタル文書の各画像について決定した特徴ベクトルを、その後の比較および使用のために保存することができる。さらに、一部の実施形態において、文書アクセスマネージャ２１２は、文書ページの一部について、特徴ベクトルを特定、解析、および保存することができる。例えば、文書アクセスマネージャ２１２は、文書のテキスト部分および非テキスト部分、および／または特徴（例えば、図、グラフ、ロゴなど）を特定するために、画像ページを分析(parse)する。文書アクセスマネージャ２１２は、画像ページの特定した部分および特徴のそれぞれについての特徴ベクトルを保存することができる。このようにして、複数の文書が共通の画像（または特徴）を共有する場合、文書アクセスマネージャ２１２はその画像（または特徴）を分離(isolate)し、デジタル文書のそれぞれについて、同一または類似した特徴ベクトルを保存することができる。
【００３０】
文書管理システム１０２はまた、識別子マネージャ２１６を含んでいる。識別子マネージャ２１６は、クライアント機器に識別子を提供する。例えば、識別子は、バーコード、クイックレスポンス（ＱＲ）コード、画像、文字および／または数字の列、または他のタイプの固有な識別子であってよい。識別子マネージャ２１６は、どの識別子がどのクライアント機器（またはユーザ）に提供されているかを追跡する。このようにして、識別子マネージャ２１６は、識別子または識別子の画像をユーザから受信すると、その識別子がどのクライアント機器（またはユーザに）対応するのかをすぐに特定することができる。
【００３１】
一部の実施形態において、識別子マネージャ２１６は、時間に基づいて識別子を更新および／またはリフレッシュする。例えば、識別子マネージャ２１６は、クライアント機器に送信される識別子を、毎時、毎日、毎週などにリフレッシュしてよい。例えば、クライアント機器が２４時間前に識別子を送信されたことを識別子マネージャ２１６が検出すると、識別子マネージャ２１６は新しい識別子をそのクライアント機器に再送またはプッシュすることができる。さらに、識別子マネージャ２１６は、ユーザ要求、識別子の重複検出や、他のタイプのトリガに基づいて識別子を更新することができる。あるいは、一部の実施形態において識別子マネージャ２１６は、クライアント機器を特定の識別子に関連づけることができ（例えば、クライアント機器を識別子と関連づけるデータベースを維持する）、クライアント機器が識別子を要求すると、識別子マネージャ２１６は対応する識別子をそのクライアント機器に送信する。
【００３２】
通信マネージャ２１８は、ユーザと文書管理システム１０２との間の通信を管理する。例えば、ユーザが、自身に関連づけられているクライアント機器から物理文書の画像を文書管理システム１０２に送信すると、通信マネージャ２１８は画像を受信し、画像を画像解析器２１４および／または画像照合器２２０に供給する。
【００３３】
さらに、通信マネージャ２１８は、デジタル文書、結果、および他の通信をユーザに提供する。例えば、合致するデジタル文書または関連するデジタル文書を文書アクセスマネージャ２１２が特定すると、通信マネージャ２１８は（識別子によって特定される）ユーザに関連づけられたクライアント機器を通じて、ユーザに結果を提供することができる。通信マネージャ２１８はまた、以下に説明する様に、ユーザと文書管理システム１０２との間の他の通信を容易にすることができる。
【００３４】
上述の通り、文書管理システム１０２は合致した文書または関連するデジタル文書を特定することができる。特に、図２に示す様に、文書管理システム１０２は画像照合器２２０を含んでいる。画像照合器２２０は、ユーザが与える画像にデジタル文書が合致もしくは関連するかを特定することができる。さらに、画像照合器２２０は、画像解析器２１４および／または文書管理システム１０２の他の構成要素と協働することができる。
【００３５】
１以上の実施形態において、画像照合器２２０は、受信刺が画像からの特徴ベクトルと、文書コレクション１０６について保存されている特徴ベクトルとを比較する。例えば、ユーザが紙文書の画像を取り込む場合、画像照合器２２０は、合致するデジタル文書を決定するため、取り込み画像の特徴ベクトルを保存されている特徴ベクトルと比較する。同様にして、画像照合器２２０は取り込み画像が文書コレクション内の他の関連文書と合致するか否かを決定することができる。画像の比較および照合の詳細については後述する。
【００３６】
画像の照合と同様に、文書管理システム１０２は取り込み画像内の被写体を特定することができる。特に、オブジェクト識別器２２２は、取り込み画像がオブジェクトを含むか否か、またそのオブジェクトが文書コレクション内の１つ以上の文書に前もって関連づけられているオブジェクトであるか否かを決定することができる。例えば、オブジェクト識別器２２２は、取り込み画像についての特徴ベクトルを決定するために画像解析器２１４と協働することができ、オブジェクトが、そのオブジェクトの以前受信した画像または、そのオブジェクトに類似したオブジェクトの画像と合致するか否かを決定するために画像照合器２２０と協働することができる。さらに、オブジェクト識別器２２２がオブジェクトを特定する際、オブジェクト識別器２２２はそのオブジェクトを１つ以上のデジタル文書に関連づけるために、または１つ以上の関連づけられた文書を検索するために、文書バインダ２２４とともに動作することができる。
【００３７】
上述の通り、文書バインダ２２４は、デジタル文書と物理的オブジェクトまたは物理的オブジェクトの画像との関連づけを容易にする。一般的に、文書バインダ２２４は、１つ以上のデジタル文書を物理的オブジェクトの画像と関連づけることにより、１つ以上のデジタル文書を物理的オブジェクトに関連づける。例えば、ユーザは、デジタル文書群を物理的オブジェクトに関連づけることを要求する。特に、ユーザは、物理的オブジェクトの画像を取り込み、その物理的オブジェクトに関連づけるべきデジタル文書を特定することができ、それに応答して文書バインダ２２４は特定された（１以上の）デジタル文書を、取り込み画像内で見つかった物理的オブジェクトの画像に関連づける。
【００３８】
その後、ユーザは関連づけられたデジタル文書へのアクセスを要求するかもしれない。その場合、ユーザは物理的オブジェクトの画像を文書バインダ２２４に与え、文書バインダ２２４は、その物理的オブジェクトに現在どのデジタル文書が関連づけられているかを特定する。関連づけられたデジタル文書を特定すると、文書バインダ２２４は通信マネージャ２１８を通じて、関連づけられたデジタル文書をユーザに提供することができる。したがって、文書バインダ２２４は、（例えばオブジェクト識別器２２２から）物理的オブジェクトの指示を受信し、どの物理的オブジェクトにどのデジタル文書が関連づけられているかを特定すると、館付けられた文書を素早く思い出すことができる。
【００３９】
一部の実施形態において、文書バインダ２２４はまた、クライアント機器および／またはレイアウト配置を物理的オブジェクトに関連づける。例えば、文書バインダ２２４は、受信クライアント機器がレイアウトに対応可能であるかぎり、関連づけられたデジタル文書の特定の配置を示すプリファレンスまたは設定を関連づけることができる。さらに、および／または代わりに、文書バインダ２２４は、ユーザが禁止しない限り、関連づけられたデジタル文書を与えるプリファレンスまたは設定を特定のクライアント機器に関連づけることができる。全体的に述べれば、上述した様に、文書バインダ２２４は、付加的なプリファレンスおよび／または設定を物理的オブジェクトに結びつけ、添付し、さもなくば関連づけることができ、後に、付加的なプリファレンスおよび／または設定を思い出して適用することができる。
【００４０】
図３は、１つ以上の実施形態にしたがってデジタル文書対応物を特定するために第１のクライアント機器１０４ａおよび第２のクライアント機器１０４ｂとやりとりする文書管理システム１０２の例示的な方法の流れを示す図である。図３において、文書管理システム１０２、第１のクライアント機器１０４ａ、第２のクライアント機器１０４ｂは、図１に関連して説明した対応する構成要素の例示的な実施形態であってよい。さらに、同一ユーザが第１のクライアント機器１０４ａおよび第２のクライアント機器１０４ｂを操作してもよい。例えば、一実施形態において、第１のクライアント機器１０４ａはデスクトップコンピュータであり、第２のクライアント機器１０４ｂはモバイル機器であり、いずれも同一ユーザに関連付けされている。
【００４１】
図３のステップ３０２に示す様に、文書管理システム１０２は文書を特定する。例えば、文書管理システム１０２は、ユーザまたはユーザグループに関連づけられたデジタル文書を特定する。さらに、文書を特定することに加え、文書管理システム１０２は、デジタル文書にアクセスすることもできる。例えば、文書管理システム１０２は、ユーザの文書コレクションからデジタル文書を特定し、アクセスする。
【００４２】
ステップ３０４において、文書管理システム１０２は、文書ページごとに特徴ベクトルを決定する。ちなみに、パターン認識および機械学習において、特徴ベクトルはオブジェクトを表す数値特徴のｎ次元ベクトルである。さらに、一部の実施形態において、画像を提示する際には特徴ベクトルは画像の画素に対応し、テキストを提示する際には特徴ベクトルは用語の発生頻度に対応するかもしれない。１以上の実施形態において、特徴ベクトルは、画像が特定の人物、物体、シーン、または他のラベル（例えば「夕暮れ」、「オフィスの机」、「家族」、「リンカーン大統領」など）に似ていることを決定するといった、画像に関するメタデータをとらえた高レベルの特徴に対応するかもしれない。
【００４３】
文書管理システム１０２は、アクセスされた文書コレクション中のデジタル文書の画像についての特徴ベクトルを算出することができる。画像であるデジタル文書について、文書管理システム１０２は画像についての特徴ベクトルを算出することができる。画像でないデジタル文書について、文書管理システム１０２は、文書を１つ以上の画像に変換することができる。例えば、文書管理システム１０２は、複数ページの文書の各ページについての特徴ベクトルを算出する前に、各ページを文書ページ画像に変換することができる。
【００４４】
１以上の実施形態において、文書管理システム１０２は、各画像についての特徴ベクトルを決定するために、ニューラルネットワークまたはディープニューラルネットワークを通じた機械学習を用いることができる。より具体的には、画像が属するカテゴリを特定するために機械学習を用いるというよりも、文書管理システム１０２は機械学習プロセスを、完了よりも繰返し回数で１回以上前に終了させる。機械学習を１ステージ以上早く終了させることにより、文書管理システムは数字群を用いて画像を表すことができる。例えば、一部のディープニューラルネットワークにおいて、ディープニューラルネットワークは最後から１つ前のステージで画像を概ね５０００の数字（または５０００次元）で表現する。文書管理システム１０２は、これらの数字（または次元）を、画像を数値的に表す特徴ベクトルとして保存する。以下に説明する様に、文書管理システム１０２は、合致物を決定するために、複数の画像からの特徴ベクトルを比較することができる。
【００４５】
ステップ３０６において、文書管理システム１０２は第１のクライアント機器１０４ａに識別子を提供する。例えば、文書管理システム１０２は、固有な画像、ＱＲコード、または他の識別子を第１のクライアント機器１０４ａに送信する。文書管理システム１０２は、アプリケーション、ウェブブラウザ、電子メッセージ、または通信の他の形態を通じて識別子を提供することができる。一部の実施形態において、文書管理システム１０２は、ユーザが文書サーチ結果を第１のクライアント機器１０４ａで受信したがっていることを示す要求を第１のクライアント機器１０４ａから受信したことに応答して、識別子を送信する。１以上の実施形態において、第１のクライアント機器１０４ａは、受信した識別子を、第１のクライアント機器１０４ａで稼働中の／開かれているアプリケーションおよび／またはデジタルワークスペース内で表示する。
【００４６】
ステップ３０８で示す様に、ユーザは第１のクライアント機器１０４ａ上の識別子の画像を第２のクライアント機器１０４ｂを用いて取り込む。例えば、第１のクライアント機器１０４ａがデスクトップコンピュータであり、第２のクライアント機器１０４ｂがカメラを備えるモバイル機器である場合、ユーザは第１のクライアント機器１０４ａの表示装置に表示されている識別子の画像を取り込むために第２のクライアント機器１０４ｂのカメラを用いることができる。例として、ユーザは第２のクライアント機器１０４ｂを用いて識別子の静止画を取り込んでもよいし、識別子をライブスキャンするために第２のクライアント機器１０４ｂのカメラを単に用いてもよい。
【００４７】
ステップ３１０に示す様に、ユーザは、第２のクライアント機器１０４ｂを用いて、物理文書の画像を取り込む。例えば、ユーザは、紙文書のページの画像を取り込むために第２のクライアント機器１０４ｂのカメラを用いることができる。ちなみに、ステップ３０８および３１０は入れ替えて実行してもよい。例えば、ユーザは識別子の画像を取り込む前にまず物理文書の画像を取り込んでもよい。さらに、取り込み画像は様々なサイズおよび解像度で取り込まれてよい。
【００４８】
ステップ３１２で、第２のクライアント機器１０４ｂは、第２のクライアント機器１０４ｂによって取り込まれた画像を文書管理システム１０２に提供する。第２のクライアント機器１０４ｂは、様々なネットワークプロトコルを用いる有線または無線ネットワークを通じて文書管理システム１０２に転送することができる。例えば、第２のクライアント機器１０４ｂは、取り込み画像を文書管理システム１０２に投稿またはプッシュすることができる。第２のクライアント機器１０４ｂは、複数の画像を一括して、または別個の送信で提供することができる。
【００４９】
取り込み画像を受信すると、ステップ３１４に示す様に、文書管理システム１０２は取り込み文書画像についての特徴ベクトルを決定する。特に、文書管理システム１０２は取り込まれた文書画像および識別子画像を受信し、取り込み文書画像を、特徴ベクトルを決定するために上述した方法および処理を用いて解析し、取り込み文書画像についての特徴ベクトルを保存する。代替実施形態において第２のクライアント機器１０４ｂは、取り込み文書画像を送るのではなく、取り込み画像の特徴を直接算出し、特徴ベクトルを文書管理システム１０２に送信する。この場合、文書管理システム１０２は、第２のクライアント機器１０４ｂによって実行されるステップ３１４をスキップする。
【００５０】
一部の実施形態において、文書管理システム１０２は、取り込み文書画像を識別子に関連づける。例えば、取り込み画像を受信すると、文書管理システム１０２は識別子を第１のクライアント機器１０４ａに関連づけられているものと認識する。したがって、取り込み文書画像を識別子と関連づけることにより、文書管理システム１０２は取り込み文書画像を第１のクライアント機器１０４ａおよび／またはユーザと関連づける。
【００５１】
ステップ３１６は、文書管理システム１０２が合致するデジタル文書または関連するデジタル文書を特定することを示している。より具体的には、文書管理システム１０２は、取り込み文書の特徴ベクトルを、文書コレクション内のアクセスされた文書の特徴ベクトルと比較して、アクセスされたデジタル文書の１つ以上の物理文書に合致するか否かを判定する。特に、文書管理システム１０２は、画像がどの程度類似しているかを決定するために、取り込み画像の特徴ベクトルと、保存された画像の特徴ベクトルとの類似距離（例えばユークリッド空間におけるL2距離、二項分類、境界判定、および／またはサポートベクタマシン(SVM)スコア）を比較することができる。例えば、ＳＶＭを用いる場合、文書管理システム１０２は、文書管理システム１０２を教育および分類するために、取り込みクエリ画像からの特徴ベクトルを正例として用い、無作為な画像からの特徴ベクトルを負例として用いることができる。このようにして、文書管理システム１０２は、取り込み文書と、文書コレクション内のアクセスされた文書との類似距離を求めるために素早く（例えば100ms未満）ＳＶＭを用いることができる。画像が完全に合致すれば、類似距離は０または０に近い値になるであろう。保存されたデジタル文書の画像が取り込み文書画像に似ていないほど、対応する特徴ベクトル間の類似距離も増加する。
【００５２】
合致物の特定に加え、文書管理システム１０２は、アクセスした文書から、合致物に近いもの、あるいは関連するデジタル文書を特定することができる。例えば、文書管理システム１０２は、取り込み画像との距離の値が距離閾値未満である全てのデジタル文書を関連文書と判定することができる。例えば、家具屋にいるユーザがランプの画像を取り込んだ場合、文書管理システム１０２は文書コレクションから、（文書コレクション内のランプが完全な合致物ではなくても）ランプの類似画像を特定することができる。あるいは、一部の実施形態において、文書管理システム１０２は、特徴ベクトル間の最小類似距離から最大類似距離の順にランク付けされた上位ｎ個の結果を関連文書と判定することができる。
【００５３】
なお、合致物を判定する際に文書管理システム１０２は、取り込み画像を、アクセスしたデジタル文書に関連づけられた個々の画像と比較することができる。例えば、保存されたデジタル文書が７ページであり、それぞれが特徴ベクトル群を有する７枚の文書画像画像を有するとすると、文書管理システム１０２は取り込み文書画像の特徴ベクトルを各文書ページ画像の特徴ベクトルと比較する（または、各文書ページ画像内の部分を分析する）。このようにして、ユーザが物理文書の３および４ページ目を取り込み文書画像として与えると、文書管理システム１０２は合致ページがデジタル文書の１ページ目でなくても、合致するデジタル文書を見つけることができる。
【００５４】
一部の実施形態において、文書管理システム１０２は、アクセスしたデジタル文書の１つ以上を特定するために、同一ソースからの１つ以上の取り込み画像（例えば、同一物理文書からの複数ページ、あるオブジェクトの様々な画像、動画からの複数フレームなど）を、比較することができる。例えば、文書管理システム１０２は、アクセスしたデジタル文書から１つ以上の関連するデジタル文書を判定するため、個々の取り込み画像を別個に比較し、集約した結果を合計（および／または平均）することができる。あるいは、文書管理システム１０２は、アクセスしたデジタル文書から合致する関連文書を特定する前に、個々の取り込み画像からの特徴ベクトルを合成（例えば平均）することができる。
【００５５】
ステップ３１８において、文書管理システム１０２は、結果として得られたデジタル文書を識別子とともに第１のクライアント機器１０４ａに提供する。識別子は第１のクライアント機器１０４ａに関連づけられているため、文書管理システム１０２は結果を第１のクライアント機器１０４ａに送信することができる。このようにして、ホテルの会議で第３者クライアント機器を用いてプレゼンテーションを行っている場合の様に、ユーザが第３者に属するクライアント機器している場合、文書管理システム１０２はその第３者クライアント機器に識別子を提供することができ、ユーザは識別子および物理文書の画像を取り込むために自身のモバイル機器を用いることができ、文書管理システム１０２は結果を第３者クライアント機器に表示させることができる。そして、この一連の動作には第３者クライアント機器を通じたユーザのログインや個人情報を必要としない。
【００５６】
一部の実施形態において、ユーザは、第２のクライアント機器１０４ｂや、ユーザに関連づけられた他のクライアント機器のような、別の目標クライアント機器に結果を送信する様に指示を与えることができる。例えば、ユーザは第１のクライアント機器１０４ａおよび／または第２のクライアント機器１０４ｂならびに第３のクライアント機器にログオンしてもよい。識別子および物理文書の取り込み画像を送信する際、ユーザは結果を第３のクライアント機器に送信する様に要求（第３者のクライアント機器を目標クライアント機器とする要求）してもよい。したがって、文書管理システム１０２は識別子をユーザアカウントと関連づけ、結果を第３のクライアント機器に提供することができる。
【００５７】
図４Ａおよび４Ｂは、ここで開示される特徴および処理を説明するための例示的なワークスペース環境４００（または単に「ワークスペース４００」）を示す。図４Ａに示す様に、ワークスペース４００は、第１のクライアント機器４０４ａ（例えば携帯電話機）、第２のクライアント機器４０４ｂ（例えばデスクトップコンピュータ機器）、および物理文書４０６を含んでいる。第１のクライアント機器４０４ａおよび第２のクライアント機器４０４ｂは、第１のクライアント機器１０４ａおよび第２のクライアント機器１０４ｂの例示的な実施形態であってよい。場合によって、ワークスペース４００は、ユーザの職場や自宅におけるユーザの机を模している。当業者は、ワークスペース４００が様々な場所の物理的なワークスペースを表しうることを理解するであろう。
【００５８】
ワークスペース４００内の第２のクライアント機器４０４ｂは、識別子４０８を表示することができる。識別子４０８は第２のクライアント機器４０４ｂの右下角に表示されているが、第２のクライアント機器４０４ｂ内の識別子のサイズ、場所、および／または位置は変化しうる。さらに、識別子４０を表示するアプリケーションもまた変化しうる。一部の実施形態において、第２のクライアント機器４０４ｂは識別子４０８を、対応する文書管理システムまたはサービスに関連づけられたデジタルワークスペースおよび／またはユーザインタフェース内に表示する。上述の通り、識別子４０８は、文書管理システムが識別子を第２のクライアント機器４０４ｂに関連づけることを可能にする固有な画像、ＱＲコード、または他の固有なタイプの識別子であってよい。以下に説明する様に、一部の実施形態において、識別子４０８はユーザから見えない様に隠される。
【００５９】
ユーザは、物理文書４０６に合致するデジタル文書を取得するために第１のクライアント機器４０４ａおよび第２のクライアント機器４０４ｂを操作することができる。例えば、ユーザは第１のクライアント機器４０４ａを用いて物理文書４０６の画像を取り込む。ユーザはさらに、第１のクライアント機器４０４ａを用いて識別子４０８の画像を取り込む。ユーザは、第１のクライアント機器４０４ａを用いて、取り込み画像を文書管理システム（例えば文書管理システム１０２）に与える。これに応答して文書管理システムは、合致するおよび／または関連するデジタル文書を特定し、第２のクライアント機器４０４ｂを経由してユーザにデジタル文書を提供する。
【００６０】
例を挙げると、図４Ｂは、合致デジタル文書４１０を表示している第２のクライアント機器４０４ｂを示している。とりわけ、第２のクライアント機器４０４ｂで表示される合致デジタル文書は、電子文書（すなわち文書Ａおよび文書Ｂ）、画像（すなわち画像Ａ）、プレゼンテーション（すなわちプレゼンテーションＡ）、および映像（すなわち映像Ａ）を含んでいる。個々の合致デジタル文書４１０はまた、デジタル文書へのリンクを含んでいる。一部の実施形態において、デジタル文書の画像は、それ自体がそのデジタル文書へのリンクであってよい。例えば、ユーザが文書Ａの画像を選択すると、文書管理システムは文書Ａを第２のクライアント機器４０４ｂに表示させてよい。様々な実施形態において、リンクは文書コレクション内の対応する文書の場所の記述を提供してもよい。
【００６１】
図４Ｂの第２のクライアント機器４０４ｂに示す様に、合致デジタル文書４１０は、完全一致物（例えば文書Ａ）および、近い合致物（例えば文書ＢおよびプレゼンテーションＡ）を含んでよい。さらに、文書管理システムは、類似した自転車の写真を示す他のデジタル文書のような、他の関連または類似文書を提供することができる。例えば、文書管理システムは、物理文書４０６の中から画像を特定し、物理文書の画像（または、その画像に近い／類似した合致物）またはテキストを含むデジタル文書を見つけることができる。例えば、文書は、物理文書４０６内の自転車の画像を、画像Ａ、プレゼンテーションＡ、および映像Ａ（例えば映像Ａのフレームと突き合わされる）の自転車の画像と突き合わせるといったように、物理文書４０６内の画像からの特徴ベクトルと、デジタル文書内の特徴ベクトルとを突き合わせることができる。
【００６２】
一部の実施形態では、識別子４０８に基づいて第２のクライアント機器４０４ｂを特定するのではなく、文書管理システムは第１のクライアント機器４０４を特定して第２のクライアント機器４０４ｂに関連づける（例えば、第２のクライアント機器４０４ｂに結果を表示する）ための代替方法を用いることができる。一例として、第１のクライアント機器４０４ａは、第２のクライアント機器４０４ｂに結果を表示させるトリガとして、物理的な近接性（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、ＩＲなど）を用いることができる。他の例として、ユーザは第２のクライアント機器４０４ｂを手動で、例えば機器メニューから選択することができる（例えば、ユーザは「会議室のコンピュータ」を第１のクライアント機器４０４ａの機器メニューから選択するか、「結果を私のタブレットで見せて」といった音声コマンドを与える）。この例において、選択可能な機器は、第１のクライアント機器４０４ａと同じネットワーク内で検出されてもよいし、第１のクライアント機器４０４ａによって検出されてもよいし、および／またはユーザのアカウントに関連づけられていてもよい。さらなる例として、文書管理システムは、結果を自動的に第２のクライアント機器４０４ｂに表示してもよい（例えば、第１のクライアント機器４０４ａが第２のクライアント機器４０４ｂとセットになっており、全ての結果が自動的に第２のクライアント機器４０４ｂに表示される）。さらに別の例として、ユーザは第１のクライアント機器４０４ａおよび４０４ｂを互いに振ったり(flick)、ぶつけあったり(bump)、小突いたり(nudge)、あるいはつなげ合わせたり(link)することができる。
【００６３】
図５は、１つ以上の実施形態に係る文書照合が起こりうるワークスペース環境５００（または単に「ワークスペース５００」）の別の例を示している。ワークスペース５００は、上述したワークスペース４００と多くの類似した構成要素、機器、および要素を含んでいる。例えば、ワークスペース５００は第１のクライアント機器５０４ａおよび第２のクライアント機器５０４ｂを含んでいる。さらに、ワークスペース５００は、粘着ふせん５０６のような物理オブジェクトを含んでいる。粘着ふせん５０６には、白紙もしくは何かが記載されている他の粘着ふせんと区別がつくようなものが書かれていてよい。代替構成において、物理オブジェクトは他の任意の物理オブジェクト（例えばマグカップ、ペンなど）である。
【００６４】
第２のクライアント機器５０４ｂは識別子５０８を表示している。上述の通り、識別子５０８は文書管理システムが結果として得られた文書を提供するクライアント機器を文書管理システムが特定することを支援できる。さらに、第２のクライアント機器５０４ｂはデジタル文書５１２を示している。ユーザはデジタル文書５１２を用いながら特定の様式で文書を配置していてよい。例えば、ユーザはデジタル文書５１２を開き、第２のクライアント機器５０４ｂのディスプレイ内に意図的に配置することができる。
【００６５】
デジタル文書５１２を開いた状態もしくは選択された状態とすることで、ユーザはデジタル文書５１２を物理オブジェクトに関連づけることができる。例えば、ユーザはデジタル文書５１２を物理オブジェクト５０６に関連づけることができる。特に、ユーザは粘着ふせん５０６と識別子５０８の画像を文書管理システムに送信するために第１のクライアント機器５０４ａを用いることができる。取り込み画像とともに、ユーザはデジタル文書５１２を粘着ふせん５０６と関連づけるように依頼する要求を与えることができる。識別子５０８を用いて、文書管理システムは、第２のクライアント機器５０４ｂ上のデジタル文書５１２を特定し、デジタル文書５１２を物理オブジェクト５０６に関連づけることができる。その後、デジタル文書５１２を再度呼び出したくなった場合、ユーザは文書管理システムに粘着ふせん５０６の画像を与えるだけでよい。
【００６６】
例として説明するため、デジタル文書５１２を必要とする第１のプロジェクトで作業している間に、ユーザは第２のクライアント機器５０４ｂ上の他の文書を必要とする別のプロジェクトに切り換える必要があるかもしれない。そうすると、デジタル文書５１２を第２のクライアント機器５０４ｂで閉じる前、かつ他のプロジェクトに関する文書を開く前に、ユーザはデジタル文書５１２を粘着ふせん５０６に関連づける。本例のために、粘着ふせん５０６に「プロジェクト１」と書かれているものとする。
【００６７】
第１のプロジェクトおよびデジタル文書５１２に戻りたくなったら、ユーザは文書管理システムに粘着ふせん５０６の画像を与える。具体的には、ユーザは、「プロジェクト１」と書かれた粘着ふせん５０６の画像を文書管理システムに与える。一部の例において、ユーザは、粘着ふせん５０６の画像を与える際に、関連づけられたデジタル文書群を復帰させるための指示を与えてもよい。これに応答して文書管理システムは、「プロジェクト１」という言葉を含んでいる粘着ふせん５０６の画像を認識し、デジタル文書５１２が粘着ふせん５０６に関連づけられていることを検出し、識別子５０８に基づいて第２のクライアント機器５０４ｂがデジタル文書５１２の目標宛先であることを特定し、デジタル文書５１２を第２のクライアント機器５０４ｂに提供する。ユーザから与えられた取り込み画像内で粘着ふせん５０６および／または「プロジェクト１」という言葉を検出するため、文書管理システムは上述した様に機械学習およびニューラルネットワークを用いることができる。
【００６８】
代替例として文書管理システムは、複数の物理オブジェクトに関連づけられた複数のデジタル文書を検索することができる。例えば、ユーザは文書Ａを「プロジェクト１Ａ」と書かれた第１の粘着ふせんに関連づけ、文書Ｂを「プロジェクト１Ｂ」と書かれた第２の粘着ふせんに関連づける。その後、ユーザは第１の粘着ふせんおよび第２の粘着ふせんの両方を含んだ画像を与える。その画像を受信および解析すると、文書管理システムは第１の粘着ふせんおよび第２の粘着ふせんの両方を画像内で検出する。この検出に基づいて、文書管理システムは対応する関連づけられた文書Ａおよび文書Ｂを見つけ出し、ユーザに提供する。
【００６９】
一部の実施形態において、１つ以上のデジタル文書を物理オブジェクトに関連づけることに加えて、文書管理システムは物理オブジェクトに対するデジタル文書のレイアウト配置を関連づけることができる。例えば、図５に示す様に、デジタル文書５１２は特定のレイアウトでは位置されている。ユーザがデジタル文書５１２を粘着ふせん５０６に関連づける際、文書管理システムはレイアウト配置を保存することができる。そして、デジタル文書５１２を復帰させるためにユーザが粘着ふせん５０６を文書管理システムに与えると、文書管理システムはデジタル文書５１２のレイアウトは位置を呼び出し、デジタル文書５１２を保存されたレイアウトは位置で表示させる。さらに、ユーザは異なるデジタル文書群を異なる物理オブジェクトに関連づけることができる。このようにして、ユーザは物理オブジェクトのメンタルマッピングを生成し、文書管理システムはユーザが各物理オブジェクトの画像を与えると、対応するデジタル文書を素早くかつ便利よく提供することができる。
【００７０】
多くの実施形態において、ユーザは別のクライアント機器にデジタル文書５１２を復帰させるように要求してもよい。デジタル文書５１２を他のクライアント機器に与える際、文書管理システムは、他のクライアント機器がデジタル文書５１２を保存されたレイアウト配置で表示可能か否か、あるいは文書管理システムが代替レイアウト配置を提供すべきか否かを判定することができる。例えば、文書管理システムがデジタル文書５１２を第２のクライアント機器５０４ｂと類似した（または、少なくとも、保存されたレイアウト配置の表示要件に対応可能な）表示特性を有するクライアント機器にデジタル文書５１２を提供している場合、文書管理システムはデジタル文書５１２を図５の第２のクライアント機器５０４ｂに提示されるときと同様にデジタル文書５１２を表示することができる。文書管理システムが、モバイルクライアント機器の様な、保存されたレイアウト配置の表示要件に対応することができないクライアント機器に電子文書５１２を提供している場合、文書管理システムは、デジタル文書５１２を重ねたり、デジタル文書を１つずつ提示するといった代替レイアウトを提供することができる。
【００７１】
本開示は概して物理オブジェクトの画像を取り込むために１つのクライアント機器を用い、結果を表示するために別のクライアント機器を用いることを記述しているが、１以上の実施形態において、ユーザは画像の取り込みと結果の表示に同じクライアント機器を用いることができる。例えば、図５における第２のクライアント機器５０４ｂはカメラ５１４を示している。デジタル文書５１２を粘着ふせん５０６に関連づける際、ユーザは粘着ふせん５０６の画像を取り込むために第２のクライアント機器５０４ｂを用いることができる。なお、文書管理システムが識別子５０８を第２のクライアント機器５０４ｂに送信するため、第２のクライアント機器５０４ｂはユーザに識別子５０８の画像を取り込むことを要求する必要がある。あるいは、第２のクライアント機器５０４ｂは粘着ふせん５０６の画像とともに識別子５０８を文書管理システムに単に返送してもよい。いずれの場合においても、識別子５０８はユーザから見えない状態とすることができる。
【００７２】
さらに、一部の実施形態において、第２のクライアント機器５０４ｂのカメラ５１４は、写真をスナップして保存する代わりに、ライブ画像(live image scans)を取り込む。例えば、ユーザは、デジタル文書５１２を粘着ふせん５０６に関連づけるために、第２のクライアント機器５０４ｂに音声コマンドや仮想ボタンの選択といったコマンドを与える。コマンドを受信すると第２のクライアント機器５０４ｂはカメラ５１４を起動し、カメラ５１４は粘着ふせん５０６のライブ画像を文書管理システムに送信する。様々な実施形態において、ユーザはさらに、物理文書からデジタル文書の合致物を特定するための音声コマンドを与えることができる。
【００７３】
さらなる実施形態において、文書管理システムは、粘着ふせん５０６のような物理文書や物理オブジェクトを特定するための、ポインティングのような物理的なジェスチャを与えるユーザを特定することもできる。ジェスチャおよび（関連づけの音声コマンドのような）ユーザコマンドに基づいて、文書管理システムはデジタル文書５１２を粘着ふせん５０６に関連づけることができる。あるいは、一部の実施形態においては、文書管理システムではなく、第２のクライアント機器５０４ｂがライブ画像を解析し、粘着ふせん５０６を示すジェスチャを検出し、粘着ふせん５０６の画像を文書管理システムに提供する。
【００７４】
同様に、デジタル文書５１２を復帰させたい場合、ユーザはカメラ５１４のライブ画像送信を起動させるコマンドを与えることができる。ここでも、第２のクライアント機器５０４ｂはライブ画像をスキャンし、文書管理システムに提供する。そして、文書管理システムは粘着ふせん５０６を指し示しているユーザを検出する。ユーザが粘着ふせん５０６を指し示していることを検出すると、文書管理システムはデジタル文書５１２を粘着ふせん５０６に関連づけることを決定することができる。さらに、文書管理システムは、デジタル文書５１２を第２のクライアント機器５０４ｂのユーザに提供することができる。このようにして、ユーザは、１つのクライアント機器および／または物理オブジェクトを指し示すと言った物理的なジェスチャを用いて、１つ以上のデジタル文書を素早く関連づけたり復帰させたりすることができる。
【００７５】
さらなる実施形態において、文書管理システムは、物理オブジェクトの操作を検出し、対応するデジタル文書に変更を適用することができる。例えば、文書管理システムは、ユーザが物理文書の一部を強調したことを検出することができる。したがって、文書管理システムは、対応する電子文書に対して強調またはそれに類する着色を加えることができる。別の例として、文書管理システムはユーザが物理オブジェクトを回転させたり折り曲げたりすると、それを検出する。それに応答して文書管理システムは、コントラストを変更したり、トリミングを適用したりといった、デジタル文書のプロパティまたは属性を変更することができる。
【００７６】
様々な実施形態において、ユーザはデジタル文書および／または結果を他のクライアント機器に送信することができる。例えば、ユーザは、１つ以上の合致したデジタル文書をモバイルクライアント機器に取得することができる。ユーザはデジタル文書を他のクライアント機器に送信するためにＢｌｕｅｔｏｏｔｈ、ＮＦＣ、Ｗｉ−Ｆｉ、あるいは他の技術を用いることができる。一部の実施形態において、ユーザは識別子を複数のクライアント機器で共有することができる。そして、文書管理システムが合致デジタル文書を提供する際、文書管理システムは、識別子を同時に有する複数のクライアント機器に合致デジタル文書を提供することができる。
【００７７】
図１から図５、対応する文章および例は、物理オブジェクトに基づいて関連デジタル文書を提供するための多数の異なるシステムおよび機器を提供する。上述した内容に加え、特定の結果を得るための方法における動作およびステップからなるフローチャートに関して１つ以上の実施形態を説明することができる。例えば、図６および図７は、１つ以上の実施形態に係る例示的な方法のフローチャートを示している。図６および図７に関して記載される方法は、より少ない、あるいはより多くのステップ／動作によって実施されてもよいし、動作／ステップは異なる順序で実行されてもよい。さらに、ここで説明するステップ／動作は繰り返されたり、互いに並行して、あるいは同一または類似したステップ／動作の異なるインスタンスと並行して実行されたりされてよい。さらに、サムネイルキャッシュシステムは図６および図７に関して記載される各動作をユーザ入力なしに自動で実行することができる。
【００７８】
図６は、物理オブジェクトに基づいて関連デジタル文書を提供するための例示的な方法６００のフローチャートを示している。図６は一実施形態にしたがった例示的なステップを示しているが、他の実施形態は図６に示される任意のステップを省略したり、ステップを加えたり、順序を変えたり、および／または変更したりしてもよい。図６に示される１つ以上のステップは、図２に示した文書管理システム１０２の任意の構成要素によって実行されうる。さらに、方法６００の１つ以上のステップはクライアント機器１０４ａ、クライアント機器１０４ｂ、クライアント機器４０４ａ、クライアント機器４０４ｂ、クライアント機器５０４ａ、クライアント機器５０４ｂ、サーバ機器１０１、またはクライアント機器とサーバ機器との組み合わせによって実行されうる。
【００７９】
方法６００は、識別子を提供する動作６１０を含む。特に、動作６１０は、第１のクライアント機器４０４ａで表示するために固有識別子４０８を提供することを伴ってもよい。例えば、動作６１０は固有識別子を生成することを含んでもよい。一部の実施形態において、識別子は画像、ＱＲコード、または数字および／または文字の列である。識別子はユーザおよび／またはクライアント機器を一意に特定することができる。
【００８０】
方法６００はさらに、文書の画像を受信する動作６２０を含んでいる。特に、動作６２０は、第２のクライアント機器４０４ｂからユーザが取り込んだ物理文書の画像を受信することを含んでよい。例えば、動作６２０は物理文書のような物理オブジェクトの画像を受信することを含みうる。１つ以上の実施形態において、第２のクライアント機器は撮影機能を有するモバイルクライアント機器である。
【００８１】
さらに、方法６００は、識別子の画像を受信する動作６３０を含む。特に、動作６３０は、第２のクライアント機器４０４ａからユーザが取り込んだ識別子４０８の画像を受信することを含んでよい。例えば、動作６３０は第２のクライアント機器が第１のクライアント機器に表示されている識別子の画像を取り込むことと、識別子の画像を提供することとを含んでよい。
【００８２】
方法６００は、関連文書を特定するために、画像を解析する動作６４０をさらに含む。特に、動作６４０は、物理文書に関連のある１つ以上のデジタル文書を特定するために、物理文書の画像を解析することを含んでよい。さらに、ステップ６４０は、それぞれが１以上の文書ページを有するデジタル文書を収容する文書コレクションにアクセスすることと、各文書ページについて、１以上の文書ページのそれぞれについて１つ以上の特徴ベクトルを決定することとを含んでよい。例えば、ステップ６４０は、ユーザによって、ユーザの組織によって（例えば、同僚や仕事仲間などによって）、もしくは他のユーザによって文書コレクションにアップロードされたデジタル文書、および／または、インターネットを通じて利用可能なデジタル文書（例えば州税や連邦税のフォーム、公開されている画像など）にアクセスすることを含んでよい。
【００８３】
さらに、ステップ６４０は、物理オブジェクトの画像について１つ以上の特徴ベクトルを決定することと、物理オブジェクトの画像の１つ以上の特徴ベクトルを、文書コレクション内の複数の文書の１つ以上の文書ページのそれぞれの１つ以上の特徴ベクトルと比較することとを含んでよい。一部の実施形態において、ある文書の文書ページ画像の特徴ベクトルが、文書画像の特徴ベクトルに対して閾値距離未満の類似距離を有する場合に、その文書は関連ありと分類される。様々な実施形態において、文書コレクションはテキストファイル、画像ファイル、および動画ファイルを有する。
【００８４】
方法６００は、関連文書を提供する動作６５０をさらに含む。特に、動作６５０は、受信した識別子４０８の画像に基づいて、１つ以上のデジタル文書を第１のクライアント機器４０４ａに提供することを含んでよい。例えば、動作６５０は、識別子が第１のクライアント機器に存在することを確認したことに基づいて、特定された文書をクライアント機器に提供することを含んでよい。
【００８５】
さらに、１つ以上の実施形態において、方法６００は、サムネイルキャッシュを生成および維持するための１つ以上のさらなる動作を含んでよい。例えば、方法６００は、第１のクライアント機器から、関連文書の中から選択された文書を受信し、第１のクライアント機器に、選択された関連文書を提供する動作を含んでよい。一部の実施形態において、方法６００は、第１のクライアント機器から、選択された関連文書を第２のクライアント機器に送信するようにとの指示を受信する動作をさらに含んでもよい。
【００８６】
図７は、デジタル文書を物理オブジェクトに関連づけるための例示的な方法７００のフローチャートを示している。図７は一実施形態にしたがった例示的なステップを示しているが、他の実施形態は図７に示される任意のステップを省略したり、ステップを加えたり、順序を変えたり、および／または変更したりしてもよい。図７に示される１つ以上のステップは、図２に示した文書管理システム１０２の任意の構成要素によって実行されうる。さらに、方法６００の１つ以上のステップはクライアント機器１０４ａ、クライアント機器１０４ｂ、クライアント機器４０４ａ、クライアント機器４０４ｂ、クライアント機器５０４ａ、クライアント機器５０４ｂ、サーバ機器１０１、またはクライアント機器とサーバ機器との組み合わせによって実行されうる。
【００８７】
方法７００は、文書を特定する動作７１０を含む。特に、動作７１０は１つ以上のデジタル文書を特定することを含んでよい。例えば、動作７１０は、クライアント機器から１つ以上の文書の画像を受信することと、１つ以上の受信した画像に合致する１つ以上の文書を文書コレクションから特定することとを含んでよい。別の例として、動作７１０は、クライアント機器から、１つ以上の文書の選択を受信することを含んでよい。
【００８８】
方法７００はさらに、オブジェクトの第１の画像を受信する動作７２０を含む。特に、動作７２０はユーザが取り込んだ物理オブジェクトの第１の画像を受信することを含んでよい。いくつかの場合、動作７２０は、クライアント機器から、物理オブジェクトの第１の画像を受信することを含んでよい。１つ以上の実施形態において、クライアント機器は撮影機能を有する。一部の実施形態において、物理オブジェクトは物理的な紙文書または３次元オブジェクトである。
【００８９】
方法７００はさらに、文書をオブジェクトに関連づける動作７３０を含む。特に，動作７３０は１つ以上のデジタル文書を物理オブジェクトに関連づけることを含んでよい。例えば、動作７３０は１つ以上のデジタル文書を特定のクライアント機器に関連づけることを含んでよく、オブジェクトの第１の画像に関連づけられている１つ以上のデジタル文書は特定のクライアント機器に提供される。別の例において、動作７３０は１つ以上のデジタル文書をクライアント機器での特定の配置に関連づけることを含んでよく、物理オブジェクトの第１の画像に関連づけられている１つ以上のデジタル文書を提供することが、１つ以上のデジタル文書を特定の配置でクライアント機器に提供することを含む。さらに、動作７３０は、第１の画像内の複数の物理オブジェクトを検出することに基づいて、複数の文書を第１の画像に関連づけることを含んでよい。さらに、一部の実施形態において、動作７３０は、１つ以上のデジタル文書を、受信した物理オブジェクトの第１の画像に関連づけることを指示する音声コマンドを受信することを含んでよい。
【００９０】
方法７００はさらに、オブジェクトの第２の画像を受信する動作７４０を含む。特に、動作７４０はユーザが取り込んだ物理オブジェクトの第２の画像を受信することを含んでよい。いくつかの場合、動作７４０は、クライアント機器から、物理オブジェクトの第２の画像を受信することを含んでよい。１つ以上の実施形態において、クライアント機器は撮影機能を有する。
【００９１】
方法７００はさらに、第２の画像がオブジェクトを含むことを確認することを含んでよい。特に、動作７５０は第２の画像が物理オブジェクトを含むことを確認することを含んでよい。例えば、動作７５０は、オブジェクトの第１の画像からの特徴ベクトルとオブジェクトの第２の画像からの特徴ベクトルとの間の類似距離が距離閾値未満であることの確認によって第２の画像が物理オブジェクトを含むことを確認することを含んでよい。一部の実施形態において、方法７００はオブジェクトの第１の画像およびオブジェクトの第２の画像についての特徴ベクトルを決定するためにディープニューラルネットワークを用いる動作を含む。
【００９２】
加えて、方法７００は文書を検索する動作７６０をさらに含む。特に、動作７６０は、第２の画像を受信したことに応答して１つ以上のデジタル文書を検索することを含んでよい。例えば、動作７６０は、オブジェクトの第１の画像からの特徴ベクトルとオブジェクトの第２の画像からの特徴ベクトルとの間の類似距離が距離閾値未満であるデジタル文書を検索することを含んでよい。
【００９３】
方法７００は、文書を提供する動作７７０をさらに含む。特に、動作７７０は、第２の画像が物理オブジェクトを含むことを確認すること、ならびに１つ以上のデジタル文書を物理オブジェクトに関連づけることに基づいて１つ以上のデジタル文書をユーザに提供することを含んでよい。例えば、動作７７０は、オブジェクトに関連付けされている文書をクライアント機器を通じてユーザに提供することを含んでよい。
【００９４】
以下でより詳細に説明するように、本開示の実施形態は、例えば１つ以上のプロセッサおよびシステムメモリといったコンピュータハードウェアを含んだ、特殊用途コンピュータもしくは汎用コンピュータを有する、または用いることができる。本開示の範囲内の実施形態は、コンピュータが実行可能な命令および／またはデータ構造を搬送または格納するための物理的または他のコンピュータ可読媒体を含む。特に、ここで説明した１つ以上の処理は、少なくともその一部が恒久的なコンピュータ可読媒体において実施されてよく、また１つ以上のコンピュータ機器（例えばここで説明したメディアコンテンツアクセス機器のいずれか）によって実行可能である。一般的に、プロセッサ（例えばマイクロプロセッサ）は、恒久的なコンピュータ可読媒体（例えばメモリなど）から命令を受け取って実行し、それによってここで説明した１つ以上の処理を含む１つ以上の処理を行う。
【００９５】
コンピュータ可読媒体は、汎用または特殊用途コンピュータシステムによってアクセス可能な任意の入手可能な媒体であってよい。コンピュータが実行可能な命令を格納するコンピュータ可読媒体は、恒久的なコンピュータ可読媒体（機器）である。コンピュータが実行可能な命令を搬送するコンピュータ可読媒体は伝送媒体である。したがって、非限定的な例として、本開示における実施形態は明確に異なる少なくとも２種類のコンピュータ可読媒体、すなわち恒久的なコンピュータ可読記憶媒体（機器）と、伝送媒体とを含みうる。
【００９６】
恒久的なコンピュータ可読記憶媒体（機器）は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、（例えばＲＡＭベースの）ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ（登録商標）、相変化メモリ（ＰＣＭ）、他のタイプのメモリ、他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、または所望のプログラムコード手段をコンピュータが実行可能な命令またはデータ構造の形式で格納するために使用可能で、かつ汎用または特殊用途コンピュータによってアクセス可能な他の任意の媒体を含む。
【００９７】
「ネットワーク」は、コンピュータシステムおよび／またはモジュールおよび／または他の電子機器間での電子データを伝送可能とする、１つ以上のデータリンクとして規定される。情報がネットワークまたは他の通信接続（有線、無線、または有線と無線の組み合わせ）を通じてコンピュータに転送または提供される際、コンピュータはその接続を伝送媒体と適切に見なす。伝送媒体は、コンピュータが実行可能な命令またはデータ構造の形式で所望のプログラムコード手段を搬送するために使用可能で、かつ汎用コンピュータまたは特殊用途コンピュータがアクセス可能なネットワークおよび／またはデータリンクを含むことができる。上述した内容の組み合わせもまた、コンピュータ可読媒体の範囲に含まれるべきである。
【００９８】
さらに、様々なコンピュータシステム構成要素に到達すると、コンピュータが実行可能な命令またはデータ構造の形式のプログラムコード手段は、伝送媒体から恒久的なコンピュータ可読媒体（機器）へ、またはその逆方向に自動的に転送されてよい。例えば、ネットワークまたはデータリンクを通じて受信されたコンピュータが実行可能な命令またはデータ構造は、ネットワークインタフェースモジュール（ＮＩＣ）内のＲＡＭにバッファされてよく、その後、最終的にはコンピュータシステムＲＡＭおよび／またはコンピュータシステムの、より揮発性の低いコンピュータ記憶媒体（機器）に転送されてよい。したがって、恒久的なコンピュータ可読媒体（機器）は、伝送媒体も用いる（あるいは伝送媒体を主要に用いる）コンピュータシステム構成要素に含まれてよい。
【００９９】
コンピュータが実行可能な命令は、例えば、プロセッサで実行されると、汎用コンピュータ、特殊用途コンピュータ、または特殊用途処理機器に、所定の機能または機能群を実行させる命令およびデータを有する。一部の実施形態において、コンピュータが実行可能な命令は、汎用コンピュータを本開示の要素を実施する特殊用途コンピュータに変えるために汎用コンピュータで実行される。コンピュータが実行可能な命令は例えば、バイナリまたはアセンブリ言語のような中間形式命令であってよく、あるいはソースコードでさえあってよい。本明細書の内容を特定の構造的特徴および／または動作手順に特定の用語で説明してきたが、内容は特許請求の範囲によって規定され、上述した機能または動作に必ずしも限定されないことを理解すべきである。むしろ、ここで説明した機能および動作は、請求項を実施する例示的な形態として開示されている。
【０１００】
本技術分野における当業者は、本開示が、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、ハンドヘルド機器、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブルな家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話機、ＰＤＡ、タブレット、ポケットベル、ルータ、交換機などを含む、多くのタイプのコンピュータシステム構成を用いて、ネットワークコンピューティング環境で実践されうることを理解するであろう。本開示はまた、ローカルおよびリモートコンピュータシステムがネットワークを通じて（有線データリンク、無線データリンク、または有線および無線データリンクの組み合わせによって）リンクされ、それぞれがタスクを実行する分散システム環境でも実践されうる。分散システム環境において、プログラムモジュールは、ローカルおよびリモートメモリ記憶装置の両方に置かれてよい。
【０１０１】
本開示の実施形態は、クラウドコンピューティング環境でも実施することができる。本明細書において「クラウドコンピューティング」とは、コンフィギュラブルなコンピューティングリソースの共有プールへのオンデマンドネットワークアクセスを可能にするためのモデルとして定義される。例えば、クラウドコンピューティングは、コンフィギュラブルなコンピューティングリソースの共有プールへのユビキタスかつ便利なオンデマンドアクセスを提供するために商業界で用いることができる。コンフィギュラブルなコンピューティングリソースの共有プールは仮想化によって迅速に供給され、少ない管理労力またはサービスプロバイダとのやりとりによって解放され、その後スケーリングされることができる。
【０１０２】
クラウドコンピューティングモデルは、例えばオンデマンドセルフサービス、幅広いネットワークアクセス、リソースの共用、迅速な拡張性、サービスが計測可能であること、といった様々な特性から構成されうる。クラウドコンピューティングモデルはまた、例えば、ソフトウェアアズサービス（ＳａａＳ）、プラットフォームアズサービス（ＰａａＳ）、およびインフラストラクチャアズサービス（ＩａａＳ）といった様々なサービスモデルを呈することができる。クラウドコンピューティングモデルはまた、プライベートクラウド、コミュニティクラウド、パブリックプラウド、ハイブリッドクラウドなど、様々な実装モデルを用いて実装することができる。本明細書および特許請求の範囲において「クラウドコンピューティング環境」は、クラウドコンピューティングが用いられる環境である。
【０１０３】
図８は、上述した処理の１つ以上を実行するように構成されうる例示的なコンピュータ機器８００のブロック図である。コンピュータ機器８００が、クライアント機器（例えばクライアント機器１０４ａ、クライアント機器１０４ｂ、クライアント機器４０４ａ、クライアント機器４０４ｂ、クライアント機器４０５ａ、クライアント機器４０５ｂ）および／またはサーバ機器１０１を表しうることが理解されるであろう。図８に示すように、コンピュータ機器８００は、通信インフラストラクチャ８１２によって通信可能に接続されうる、プロセッサ８０２，メモリ８０４，記憶装置８０４，Ｉ／Ｏインタフェース８０８、および通信インタフェース８１０を有することができる。図８には例示的なコンピュータ機器８００を示しているが、図８に示した構成要素は限定を意図したものではない。さらなる構成要素、あるいは代替構成要素が他の実施形態では用いられうる。さらに、所定の実施形態において、コンピュータ機器８００は図８に示すものより少ない構成要素を含むことができる。図８に示したコンピュータ機器８００の構成要素について、より詳細に説明する。
【０１０４】
特定の実施形態において、プロセッサ８０２は、コンピュータプログラムを構成するもののような命令を実行するためのハードウェアを含む。限定を意図しない一例として、命令を実行するため、プロセッサ８０２は命令を内部レジスタ、内部キャッシュ、メモリ８０４、または記憶装置８０６から読み出し（またはフェッチし）、それらをデコードして実行する。特定の実施形態において、プロセッサ８０２はデータ、命令、またはアドレスのための１つ以上の内部キャッシュを含みうる。限定を意図しない一例として、プロセッサ８０２は、１つ以上の命令キャッシュ、１つ以上のデータキャッシュ、および１つ以上のトランスレーションルックアサイドバッファ（ＴＬＢ）を含みうる。命令キャッシュ内の命令は、メモリ８０４または記憶装置８０６内の命令のコピーであってよい。
【０１０５】
メモリ８０４は、データ、メタデータ、およびプロセッサが実行するためのプログラムを格納するために用いられてよい。メモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ソリッドステートディスク（ＳＳＤ）、フラッシュ、相変化メモリ（ＰＣＭ）、または他のタイプのデータ記憶装置など、１つ以上の揮発性および不揮発性メモリを含んでよい。メモリ８０４は、内部メモリまたは分散メモリであってよい。
【０１０６】
記憶装置８０６は、データまたは命令を格納するための記憶装置を含む。限定を意図しない一例として、記憶装置８０６は上述した恒久的な記憶媒体を有することができる。記憶装置８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスク（登録商標）ドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブまたはこれらの二つ以上の組み合わせを含みうる。記憶装置８０６は、必要に応じて、リムーバブルまたは非リムーバブル（または固定）媒体を含んでよい。記憶装置８０６は、コンピュータ機器８００に内蔵されても外付けされてもよい。特定の実施形態において、記憶装置８０６は不揮発性のソリッドステートメモリである。他の実施形態において、記憶装置８０６はリードオンリメモリ（ＲＯＭ）を含む。必要に応じて、このＲＯＭはマスクプログラムドＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、フラッシュメモリ、あるいはこれらの二つ以上の組み合わせであってよい。
【０１０７】
Ｉ／Ｏインタフェース８０８は、ユーザがコンピュータ機器８００に入力したり、コンピュータ機器８００から出力を受け取ったり、コンピュータ機器８００にデータを与えたりコンピュータ機器８００からデータを受け取ったりすることを可能にする。Ｉ／Ｏインタフェース８０８は、マウス、キーパッドまたはキーボード、タッチスクリーン、カメラ、光学スキャナ、ネットワークインタフェース、モデム、他の既知のＩ／Ｏ機器、またはそのようなＩ／Ｏインタフェースの組み合わせを含んでよい。Ｉ／Ｏインタフェース８０８は、グラフィックスエンジン、ディスプレイ（例えば表示画面）、１つ以上の出力ドライバ（例えばディスプレイドライバ）、１つ以上のオーディオスピーカ、および１つ以上のオーディオドライバを非限定的な例として含む、ユーザに出力を提示するための１つ以上の機器を含んでよい。所定の実施形態において、Ｉ／Ｏインタフェース８０８はユーザに提示するためにグラフィカルデータをディスプレイに供給するように構成される。グラフィカルデータは特定の実装を提供しうる１つ以上のグラフィカルユーザインタフェイスおよび／または他の任意のグラフィカルコンテンツを表すものであってよい。
【０１０８】
通信インタフェース８１０は、ハードウェア、ソフトウェア、またはその両方を含むことができる。いずれにしても、通信インタフェース８１０は、コンピュータ機器８００と１つ以上の他のコンピュータ機器またはネットワークとの間の、（例えばパケットベースの通信のような）通信のための１つ以上のインタフェースを提供することができる。限定を意図しない一例として、通信インタフェース８１０は、イーサネット（登録商標）または他の有線ネットワークを用いた通信のためのネットワークインタフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、またはＷｉ−Ｆｉのような無線ネットワークを用いた通信のための無線ＮＩＣ（ＷＮＩＣ）または無線アダプタを含んでよい。
【０１０９】
さらに、または代わりに、通信インタフェース８１０は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１以上の部分、あるいはこれらの二つ以上の組み合わせを用いて通信を促進してもよい。これらネットワークの１つ以上の１つ以上の部分は、有線であっても無線であってもよい。一例として、通信インタフェース８１０は、（例えばＢｌｕｅｔｏｏｔｈ ＷＰＡＮのような）無線ＰＡＮ（ＷＰＡＮ）、Ｗｉ−Ｆｉネットワーク、Ｗｉ−ＭＡＸネットワーク、（例えばＧＳＭ(Global System for Mobile Communications：登録商標)ネットワークのような）セルラ電話ネットワーク、または他の適切な無線ネットワーク、もしくはこれらの組み合わせを用いて通信を促進してもよい。
【０１１０】
さらに、通信インタフェース８１０は、様々な通信プロトコルを用いて通信を促進してもよい。使用されてよい通信プロトコルの非限定的な例には、データ伝送媒体、通信機器、ＴＣＰ(Transmission Control Protocol)、ＩＰ(Internet Protocol)、ＦＴＰ(File Transfer Protocol)、Ｔｅｌｎｅｔ、ＨＴＴＰ(Hypertext Transfer Protocol)、ＨＴＴＰＳ(Hypertext Transfer Protocol Secure)、ＳＩＰ(Session Initiation Protocol)、ＳＯＡＰ(Simple Object Access Protocol)、ＸＭＬ(Extensible Mark-up Language)とその派生物、ＳＭＴＰ(Simple Mail Transfer Protocol)、ＲＴＰ(Real-Time Transport Protocol)、ＵＤＰ(User Datagram Protocol)、ＧＳＭ(Global System for Mobile Communications)技術、ＣＤＭＡ(Code Division Multiple Access)技術、ＴＤＭＡ(Time Division Multiple Access)技術、ＳＭＳ(Short Message Service)、ＭＭＳ(Multimedia Message Service)、ＲＦ(radio frequency)シグナリング技術、ＬＴＥ(Long Term Evolution)技術、無線通信技術、帯域内および帯域外シグナリング技術、および、他の適切な通信ネットワークおよび技術が含まれてよい。
【０１１１】
通信インフラストラクチャ８１２は、コンピュータ機器８００の構成要素を互いに接続するハードウェア、ソフトウェア、またはその両方を含むことができる。通信インフラストラクチャ８１２の非限定的な例には、ＡＧＰ(Accelerated Graphics Port)または他のグラフィックスバス、ＥＩＳＡ(Enhanced Industry Standard Architecture)バス、ＦＳＢ(front-side bus)、HYPERTRANSPORT (HT) インターコネクト、ＩＳＡ(Industry Standard Architecture)バス、INFINIBANDインターコネクト、ＬＰＣ(low-pin-count)バス、メモリバス、ＭＣＡ(Micro Channel Architecture)バス、ＰＣＩ(Peripheral Component Interconnect)バス、ＰＣＩｅ(PCI-Express)バス、ＳＡＴＡ(serial advanced technology attachment)バス、ＶＬＢ(Video Electronics Standards Association local)バス、または他の適切なバス、あるいはこれらの組み合わせが含まれてよい。
【０１１２】
図９は、文書管理システム９０２の１つ以上の実施形態を実施可能な環境９００を示す模式図である。文書管理システム９０２は、デジタル文書に関するデジタルコンテンツを生成、保存、管理、受信、および送信してよい。例えば、文書管理システム９０２はネットワーク９０４を経由してデジタル文書をクライアント機器９０６との間で双方向に送受信する。
【０１１３】
特に、文書管理システム９０２は、１以上のユーザに関連づけられた複数のクライアント機器９０６間でのデジタル文書の同期を管理することができる。例えば、ユーザはクライアント機器９０６を用いて物理文書および／または物理オブジェクトを取り込むことができる。文書管理システム９０２は、クライアント機器９０６に取り込み画像を文書管理システム９０２へ送信させることができる。そして、文書管理システム９０２は、１つ以上のさらなるコンピュータ機器上で、合致するおよび／または関連するデジタル文書を特定することができる。
【０１１４】
クライアント機器９０６は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、車内または車外ナビゲーションシステム、ハンドヘルド機器、スマートフォンまたは他のセルラまたは携帯電話機、携帯型ゲーム機器、他のモバイル機器、または他の好適なコンピュータ機器であってよい。クライアント機器９０６は、ネットワーク９０４を通じてコンテンツにアクセスしたり閲覧したりするために、ウェブブラウザ（例えばマイクロソフトウィンドウズ（登録商標）インターネットエクスプローラ、モジラファイアーフォックス、アップルサファリ、グーグルクローム、オペラなど）や、ネイティブあるいは特定用途クライアントアプリケーション（例えばiPhone（登録商標）またはiPad（登録商標）用Facebook（登録商標）、アンドロイド用Facebookなど）のような１つ以上のクライアントアプリケーションを実行してよい。
【０１１５】
ネットワーク９０４は、クライアント機器９０６が文書管理システム９０２にアクセスするために用いることのできる１つのネットワークまたはネットワークの集合体（インターネット、企業イントラネット、仮想プライベートネットワーク(VPN)、ローカルエリアネットワーク(LAN)、無線ローカルエリアネットワーク(WLAN)、セルラネットワーク、ワイドエリアネットワーク（WAN)、メトロポリタンエリアネットワーク(MAN)、またはこれらネットワークの２つ以上の組み合わせ）を表しうる。
【０１１６】
ここまで、本発明を特定の例示的な実施形態に関して説明してきた。本明細書で論じてきた詳細に関して本発明の様々な実施形態および態様が説明され、添付図面はそれら実施形態を図示している。上述の説明および図面は本発明の例であって、発明を限定するものと解釈されるべきではない。本発明の様々な実施形態の完全な理解を提供するために、数々の具体的な詳細が説明されている。
【０１１７】
ここまで、本開示を特定の例示的な実施形態に関して説明してきた。本明細書で論じてきた詳細に関して本開示の様々な実施形態および態様が説明され、添付図面はそれら実施形態を図示している。上述の説明および図面は本開示の例であって、開示を限定するものと解釈されるべきではない。本開示の様々な実施形態の完全な理解を提供するために、数々の具体的な詳細が説明されている。
【０１１８】
本開示は、その精神または本質的な特性を逸脱することなく、他の特定の形態で実施されうる。説明された実施形態は、いかなる観点からも例示的であって限定的でないと解されるべきである。例えば、本明細書で説明した方法は、より少ない、あるいはより多くのステップ／動作によって実施されてもよいし、動作／ステップは異なる順序で実行されてもよい。さらに、ここで説明するステップ／動作は繰り返されたり、互いに並行して、あるいは同一または類似したステップ／動作の異なるインスタンスと並行して実行されたりされてよい。したがって、本願の範囲は、上述の記載ではなく特許請求の範囲によって示される。特許請求の範囲の意味および等価の範囲内に含まれるすべての変更は、本願の範囲に含まれる。
【図１】
2019508761.tif 000003
【図２】
2019508761.tif 000004
【図３】
2019508761.tif 000005
【図４Ａ】
2019508761.tif 000006
【図４Ｂ】
2019508761.tif 000007
【図５】
2019508761.tif 000008
【図６】
2019508761.tif 000009
【図７】
2019508761.tif 000010
【図８】
2019508761.tif 000011
【図９】
2019508761.tif 000012
【手続補正書】
【提出日】平成30年6月20日(2018.6.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
少なくとも１つのプロセッサにより、第１のクライアント機器で表示するための固有な識別子を提供することと、
第２のクライアント機器から、ユーザが取り込んだ物理文書の画像を受信することと、
前記第２のクライアント機器から、前記ユーザが取り込んだ前記識別子の画像を受信することと、
前記物理文書に関連する１つ以上のデジタル文書を特定するために、前記物理文書の前記画像を解析することと、
前記識別子の前記画像に基づいて、前記１つ以上のデジタル文書を前記第１のクライアント機器に提供することと、を有する方法。
【請求項２】
請求項１に記載の方法であって、さらに、
それぞれが１つ以上の文書ページを有する複数の文書を含んだ文書コレクションにアクセスすることと、
前記文書コレクション内の各文書について、前記１つ以上の文書ページの画像のそれぞれについて１つ以上の特徴ベクトルを決定することと、を有する方法。
【請求項３】
請求項２に記載の方法であって、さらに、
前記物理文書の前記画像について、１つ以上の特徴ベクトルを決定することと、
前記物理文書の前記画像の前記１つ以上の特徴ベクトルと、前記文書コレクション内の前記複数の文書の前記１つ以上の文書ページのそれぞれの前記１つ以上の特徴ベクトルと、を比較することと、を有する方法。
【請求項４】
前記１つ以上のデジタル文書のうち、文書ページの画像の前記１つ以上の特徴ベクトルが前記物理文書の前記画像の前記特徴ベクトルに対して類似距離閾値未満の類似距離を有するデジタル文書を、前記物理文書に関連すると特定することをさらに有する、請求項３に記載の方法。
【請求項５】
前記物理文書の前記画像について前記１つ以上の特徴ベクトルを決定するために、ディープニューラルネットワーク機械学習処理を用いることをさらに有する、請求項３に記載の方法。
【請求項６】
前記文書コレクションが、テキストファイル、画像ファイル、および動画ファイルを有する、請求項２から５のいずれか１項に記載の方法。
【請求項７】
前記物理文書の前記画像がリアルタイムで提供される，請求項１から６のいずれか１項に記載の方法。
【請求項８】
請求項１から７のいずれか１項に記載の方法であって、さらに、
前記第１のクライアント機器から、前記第１のクライアント機器に提供された１つ以上のデジタル文書からの文書の選択を受信することと、
前記第１のクライアント機器に、前記選択された文書を提供することと、を有する方法。
【請求項９】
前記第１のクライアント機器から、前記選択された文書を前記第２のクライアント機器へ送信するようにとの指示を受信することをさらに有する、請求項８に記載の方法。
【請求項１０】
方法であって、
１つ以上のデジタル文書を特定することと、
ユーザが取り込んだ物理オブジェクトの第１の画像を受信することと、
前記１つ以上のデジタル文書を前記物理オブジェクトに関連づけることと、
前記ユーザが取り込んだ前記物理オブジェクトの第２の画像を受信することと、
少なくとも１つのプロセッサにより、前記第２の画像が前記物理オブジェクトを含んでいることを確認することと、
前記第２の画像を受信することに応答して、前記１つ以上のデジタル文書を検索することと、
前記第２の画像が前記物理オブジェクトを含むことを確認することと、前記１つ以上のデジタル文書を前記物理オブジェクトに関連づけることとに基づいて、前記１つ以上のデジタル文書を前記ユーザに提供することと、を有する方法。
【請求項１１】
前記物理オブジェクトの前記第１の画像からの特徴ベクトルと、前記物理オブジェクトの前記第２の画像からの特徴ベクトルとの間の類似距離が、類似距離閾値未満であることを確認することをさらに有する、請求項１０に記載の方法。
【請求項１２】
前記物理オブジェクトが３次元オブジェクトである、請求項１０または１１に記載の方法。
【請求項１３】
前記第１の画像内で複数の物理オブジェクトを検出することに基づいて、複数のデジタル文書を前記第１の画像に関連づけることをさらに有する、請求項１０から１２のいずれか１項に記載の方法。
【請求項１４】
１つ以上のデジタル文書をクライアント機器に関連づけることをさらに有し、前記物理オブジェクトに関連づけられた前記１つ以上のデジタル文書が前記クライアント機器に提供される、請求項１０から１３のいずれか１項に記載の方法。
【請求項１５】
１つ以上のデジタル文書をクライアント機器上の特定の配置に関連づけることをさらに有し、前記物理オブジェクトに関連づけられた前記１つ以上のデジタル文書を提供することが、前記１つ以上のデジタル文書を前記特定の配置で前記クライアント機器に提供することを有する、請求項１０から１４のいずれか１項に記載の方法。
【請求項１６】
請求項１０から１５のいずれか１項に記載の方法であって、さらに、
それぞれが１つ以上の文書ページを有する複数の文書を含んだ文書コレクションにアクセスすることと、
前記文書コレクション内の各文書について、前記１つ以上の文書ページのそれぞれについて１つ以上の特徴ベクトルを決定することと、を有する方法。
【請求項１７】
さらに、クライアント機器から、前記ユーザに提供された前記１つ以上のデジタル文書からのデジタル文書の選択を受信することを有する、請求項１０から１６のいずれか１項に記載の方法。
【請求項１８】
前記１つ以上のデジタル文書を前記物理オブジェクトの前記第１の画像に関連づけるように指示する音声コマンドを受信することをさらに有する、請求項１０から１７のいずれか１項に記載の方法。
【請求項１９】
前記物理オブジェクトの前記第１の画像および前記物理オブジェクトの前記第２の画像について特徴ベクトルを決定するために、ディープニューラルネットワーク機械学習処理を用いることをさらに有する、請求項１０から１８のいずれか１項に記載の方法。
【請求項２０】
システムであって、
少なくとも１つのプロセッサと、
命令を格納する、少なくとも１つのコンピュータ可読媒体と、を有し、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
第１のクライアント機器で表示するための固有な識別子を提供し、
第２のクライアント機器から、ユーザが取り込んだ物理文書の画像を受信し、
前記第２のクライアント機器から、前記ユーザが取り込んだ前記識別子の画像を受信し、
前記物理文書に関連する１つ以上のデジタル文書を特定するために、前記物理文書の前記画像を解析し、
前記識別子の前記画像に基づいて、前記１つ以上のデジタル文書を前記第１のクライアント機器に提供する、ようにさせる、システム。
【請求項２１】
システムであって、
少なくとも１つのプロセッサと、
命令を格納する、少なくとも１つのコンピュータ可読媒体と、を有し、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
１つ以上のデジタル文書を特定し、
ユーザが取り込んだ物理オブジェクトの第１の画像を受信し、
前記１つ以上のデジタル文書を前記物理オブジェクトに関連づけ、
前記ユーザが取り込んだ前記物理オブジェクトの第２の画像を受信し、
前記第２の画像が前記物理オブジェクトを含んでいることを確認し、
前記第２の画像を受信することに応答して、前記１つ以上のデジタル文書を検索し、
前記第２の画像が前記物理オブジェクトを含むことを確認することと、前記１つ以上のデジタル文書を前記物理オブジェクトに関連づけることとに基づいて、前記１つ以上のデジタル文書を前記ユーザに提供する、ようにさせる、システム。
【請求項２２】
コンピュータに、請求項１から１９のいずれか１項に記載の方法を実行させるためのプログラム。
【手続補正書】
【提出日】平成30年9月21日(2018.9.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
サーバの少なくとも１つのプロセッサにより、第１のクライアント機器で表示するための固有な識別子を提供することと、
第２のクライアント機器から、ユーザが取り込んだ物理文書の画像を受信することと、
前記第２のクライアント機器から、前記ユーザが取り込んだ前記識別子の画像を受信することと、
前記サーバの前記少なくとも１つのプロセッサにより、前記物理文書の前記画像に関する特徴ベクトルを決定することと、
前記物理文書に関連する、前記ユーザのアカウントに関連づけられた１つ以上のデジタル文書を特定するために、前記サーバの前記少なくとも１つのプロセッサにより、前記物理文書の前記画像に関する前記特徴ベクトルを前記ユーザの前記アカウントに関連づけられたデジタル文書の画像の特徴ベクトルと比較することと、
前記識別子の前記画像に基づいて、前記物理文書に関連する、前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書を、前記第１のクライアント機器に提供することと、を有する方法。
【請求項２】
請求項１に記載の方法であって、さらに、
それぞれが１つ以上の文書ページを有する複数の文書を含んだ、前記ユーザの前記アカウントに関連づけられた文書コレクションにアクセスすることと、
前記ユーザの前記アカウントに関連づけられた前記文書コレクション内の各文書について、前記１つ以上の文書ページの画像のそれぞれについて１つ以上の特徴ベクトルを決定することと、を有し、
前記物理文書に関連する、前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書を特定することが、前記物理文書の前記画像に関する前記特徴ベクトルを、前記ユーザの前記アカウントに関連づけられた前記文書コレクション内の前記複数の文書の前記１つ以上の文書ページの前記画像のそれぞれの前記１つ以上の特徴ベクトルと比較することを含む、方法。
【請求項３】
請求項２に記載の方法であって、さらに、
前記物理文書の前記画像に関する前記特徴ベクトルを決定するために、ディープニューラルネットワーク機械学習処理を用いることを有する方法。
【請求項４】
前記１つ以上のデジタル文書のうち、文書ページの画像の前記１つ以上の特徴ベクトルが前記物理文書の前記画像の前記特徴ベクトルに対して類似距離閾値未満のユークリッド類似距離を有するデジタル文書を、前記物理文書に関連するものと特定することをさらに有する、請求項３に記載の方法。
【請求項５】
前記物理文書の前記画像に関する前記特徴ベクトルを決定するために、前記ディープニューラルネットワーク機械学習処理が、完了よりも繰返し回数で１回以上前に終了する、請求項３に記載の方法。
【請求項６】
前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書が、テキストファイル、画像ファイル、および動画ファイルを有する、請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記識別子の前記画像が前記サーバにリアルタイムで提供される前記識別子のライブスキャン画像であり、前記ライブスキャン画像が前記第２のクライアント機器に保存されない、請求項１から６のいずれか１項に記載の方法。
【請求項８】
請求項１から７のいずれか１項に記載の方法であって、さらに、
前記第１のクライアント機器から、前記物理文書に関連する、前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書からの、前記ユーザの前記アカウントに関連づけられた文書の選択を受信することと、
前記第１のクライアント機器に、前記選択された、前記ユーザの前記アカウントに関連づけられた文書を提供することと、を有する方法。
【請求項９】
前記第１のクライアント機器から、前記選択された、前記ユーザの前記アカウントに関連づけられた文書のコピーを前記第２のクライアント機器へ送信するようにとの指示を受信することをさらに有する、請求項８に記載の方法。
【請求項１０】
請求項１に記載の方法であって、
前記物理文書の前記画像内でオブジェクトを特定することをさらに有し、
前記物理文書の前記画像に関する前記特徴ベクトルを決定することが、前記特定されたオブジェクトの特徴ベクトルを決定することを有し、
前記物理文書に関連する、前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書のそれぞれが、前記特定されたオブジェクトを有する、方法。
【請求項１１】
前記物理文書の前記画像が、複数ページ文書の最初のページ以外の画像を有する、請求項１に記載の方法。
【請求項１２】
前記物理文書の前記画像に関する前記特徴ベクトルが、画像に関するメタデータをとらえた高レベル特徴に対応する、請求項１に記載の方法。
【請求項１３】
システムであって、
少なくとも１つのプロセッサと、
命令を格納する、少なくとも１つのコンピュータ可読媒体と、を有し、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
第１のクライアント機器で表示するための固有な識別子を提供し、
第２のクライアント機器から、ユーザが取り込んだ物理文書の画像を受信し、
前記第２のクライアント機器から、前記ユーザが取り込んだ前記識別子の画像を受信し、
前記物理文書の前記画像に関する特徴ベクトルを決定し、
前記物理文書に関連する、前記ユーザのアカウントに関連づけられた１つ以上のデジタル文書を特定するために、前記物理文書の前記画像に関する前記特徴ベクトルを前記ユーザの前記アカウントに関連づけられたデジタル文書の画像の特徴ベクトルと比較し、
前記識別子の前記画像に基づいて、前記物理文書に関連する、前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書を、前記第１のクライアント機器に提供する、ようにさせる、システム。
【請求項１４】
請求項１３に記載のシステムであって、前記少なくとも１つのプロセッサによって実行されると、前記システムに、
それぞれが１つ以上の文書ページを有する複数の文書を含んだ、前記ユーザの前記アカウントに関連づけられた文書コレクションにアクセスし、
前記ユーザの前記アカウントに関連づけられた前記文書コレクション内の各文書について、前記１つ以上の文書ページの画像のそれぞれについて１つ以上の特徴ベクトルを決定する、ようにさせる命令をさらに有し、
前記物理文書に関連する、前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書を特定することが、前記物理文書の前記画像に関する前記特徴ベクトルを、前記ユーザの前記アカウントに関連づけられた前記文書コレクション内の前記複数の文書の前記１つ以上の文書ページの前記画像のそれぞれの前記１つ以上の特徴ベクトルと比較することを含む、システム。
【請求項１５】
請求項１４に記載のシステムであって、前記少なくとも１つのプロセッサによって実行されると、前記システムに、前記物理文書の前記画像に関する前記特徴ベクトルを決定するために、ディープニューラルネットワーク機械学習処理を用いるようにさせる命令をさらに有する、システム。
【請求項１６】
請求項１５に記載のシステムであって、前記少なくとも１つのプロセッサによって実行されると、前記システムに、前記１つ以上のデジタル文書のうち、文書ページの画像の前記１つ以上の特徴ベクトルが前記物理文書の前記画像の前記特徴ベクトルに対して類似距離閾値未満のユークリッド類似距離を有するデジタル文書を、前記物理文書に関連するものと特定するようにさせる命令をさらに有する、システム。
【請求項１７】
前記物理文書の前記画像に関する前記特徴ベクトルを決定するために、前記ディープニューラルネットワーク機械学習処理が、完了よりも繰返し回数で１回以上前に終了する、請求項１５に記載のシステム。
【請求項１８】
命令を格納する、コンピュータ可読媒体であって、前記命令は少なくとも１つのプロセッサによって実行されると、コンピュータシステムに、
第１のクライアント機器で表示するための固有な識別子を提供し、
第２のクライアント機器から、ユーザが取り込んだ物理文書の画像を受信し、
前記第２のクライアント機器から、前記ユーザが取り込んだ前記識別子の画像を受信し、
前記物理文書の前記画像に関する特徴ベクトルを決定し、
前記物理文書に関連する、前記ユーザのアカウントに関連づけられた１つ以上のデジタル文書を特定するために、前記物理文書の前記画像に関する前記特徴ベクトルを前記ユーザの前記アカウントに関連づけられたデジタル文書の画像の特徴ベクトルと比較し、
前記識別子の前記画像に基づいて、前記物理文書に関連する、前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書を、前記第１のクライアント機器に提供する、ようにさせる、コンピュータ可読媒体。
【請求項１９】
請求項１８に記載のコンピュータ可読媒体であって、前記少なくとも１つのプロセッサによって実行されると、前記コンピュータシステムに、前記物理文書の前記画像内でオブジェクトを特定させる命令をさらに有し、
前記物理文書の前記画像に関する前記特徴ベクトルを決定することが、前記特定されたオブジェクトの特徴ベクトルを決定することを有し、
前記物理文書に関連する、前記ユーザの前記アカウントに関連づけられた前記１つ以上のデジタル文書のそれぞれが、前記特定されたオブジェクトを有する、コンピュータ可読媒体。
【請求項２０】
前記物理文書の前記画像に関する前記特徴ベクトルが、画像に関するメタデータをとらえた高レベル特徴に対応する、請求項１８に記載のコンピュータ可読媒体。
【請求項２１】
コンピュータに、請求項１から１２のいずれか１項に記載の方法を実行させるためのプログラム。
【国際調査報告】
2019508761.tif 000013
2019508761.tif 000014
2019508761.tif 000015
2019508761.tif 000016
2019508761.tif 000017