"少なくとも一つの物理的ドキュメントを撮影して得られる画像に基づいて、前記画像中の前記物理的ドキュメントに含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をするとともに、前記画像特徴点の位置に基づいて特定される、該少なくとも一つの物理的ドキュメントの所定箇所に対するユーザインタラクションを検出するカメラ処理手段と、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザインタラクションに対応する投影光を、視覚的なフィードバックとして投影することで提供するプロジェクタ処理手段と、を備える、情報処理システム。前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントの細かい粒度のコンテンツを処理し、前記細かい粒度のコンテンツは、個別の単語、文字、図形を含み、前記カメラ処理手段は前記細かい粒度のコンテンツに関連するユーザインタラクションを検出する、請求項1に記載の情報処理システム。前記プロジェクタ処理手段によって提供される視覚可能なフィードバックは前記物理的ドキュメントへのユーザインタラクションにもとづく、請求項1に記載の情報処理システム。前記ユーザインタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、前記ジェスチャは前記計算処理装置上の作業に対応する、請求項1に記載の情報処理システム。前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する、請求項4に記載の情報処理システム。前記計算処理装置へのユーザインタラクションを、前記プロジェクタ処理手段によって前記少なくとも一つの物理的ドキュメントへ提供される視覚可能なフィードバックに変換する、請求項1に記載の情報処理システム。前記プロジェクタ処理手段は前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する、請求項1に記載の情報処理システム。折り畳み可能なフレームに統合されており、運搬可能であるカメラおよびプロジェクタと、少なくとも一つのミラーと、をさらに備え、前記少なくとも一つのミラーは、前記フレームに取り付けられており、前記カメラおよびプロジェクタの光路を前記少なくとも一つの物理的ドキュメントへ反射するように、該少なくとも一つの物理的ドキュメントの上に配置されている、請求項1に記載の情報処理システム。前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために該コンテンツに対応するデジタルドキュメントを取得する、請求項1に記載の情報処理システム。前記少なくとも一つの物理的ドキュメントへのユーザインタラクションは前記対応するデジタルドキュメントへの対応インタラクションをもたらす、請求項9に記載の情報処理システム。前記カメラ処理手段は、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、該少なくとも一つの物理的ドキュメントに関連するデジタルコンテンツを取得する、請求項1に記載の情報処理システム。撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザインタラクションを検出し、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザインタラクションに対応する投影光を、視覚的なフィードバックとして投影し、表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザインタラクションとを連動させる情報処理方法。細かい粒度のコンテンツを識別するために前記少なくとも一つの物理的ドキュメントを処理し、前記細かい粒度のコンテンツに関連するユーザインタラクションを検出する、ことをさらに含み、前記細かい粒度のコンテンツは個別の単語、文字、図形を含む、請求項12に記載の情報処理方法。前記視覚可能なフィードバックは前記物理的ドキュメントへのユーザインタラクションにもとづく、請求項12に記載の情報処理方法。前記ユーザインタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、前記ジェスチャは前記計算処理装置上の作業に対応する、請求項12に記載の情報処理方法。前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する、請求項15に記載の情報処理方法。前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する、請求項12に記載の情報処理方法。前記計算処理装置へのユーザインタラクションを前記少なくとも一つの物理的ドキュメントへの視覚可能なフィードバックに変換する、請求項12に記載の情報処理方法。前記少なくとも一つの物理的ドキュメントの詳細なコンテンツを操作するために、前記少なくとも一つの物理的ドキュメントへのユーザインタラクションを、該少なくとも一つの物理的ドキュメントへのユーザインタラクションと同時の前記計算処理装置へのユーザインタラクションに変換する、請求項18に記載の情報処理方法。前記物理的ドキュメントの詳細なコンテンツは、前記少なくとも一つの物理的ドキュメントとインタラクトするために第一の手を用いたユーザインタラクションによって操作され、前記計算処理装置とインタラクトするために第二の手を用いたユーザインタラクションによって操作される、請求項12に記載の情報処理方法。デジタルドキュメントの詳細なコンテンツは、前記物理的ドキュメントとインタラクトするために第一の手を用いたユーザインタラクションによって操作され、計算処理装置とインタラクトするために第2の手を用いたユーザインタラクションによって操作される、請求項12に記載の情報処理方法。前記少なくとも一つの物理的ドキュメントとインタラクトするために、第一の手を用い、前記計算処理装置上のデジタルドキュメントとインタラクトするために、第二の手を用いて、該物理的ドキュメントの詳細なコンテンツと該デジタルドキュメントとを同時に操作する、請求項12に記載の情報処理方法。前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために前記コンテンツに対応するデジタルドキュメントを取得する、請求項12に記載の情報処理方法。前記少なくとも一つの物理的ドキュメントへのユーザインタラクションは前記対応するデジタルドキュメントへの対応インタラクションをもたらす、請求項23に記載の情報処理方法。前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記少なくとも一つの物理的ドキュメントに関連するデジタルコンテンツを取得する、請求項12に記載の情報処理方法。コンピュータを、撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザインタラクションを検出し、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザインタラクションに対応する投影光を、視覚的なフィードバックとして投影し、表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザインタラクションとを連動させるように機能させるためのプログラム。上記したように、コンピュータ上のアクティビティとペーパドキュメントを関連付ける現在のシステムは多くの制限を有している。したがって、物理的ドキュメントとコンピュータとで関連付けられた作業を従来に比べて高い自由度で実現するための改善が必要とされている。本発明の第1の態様は、情報処理システムであって、少なくとも一つの物理的ドキュメントを撮影して得られる画像に基づいて、前記画像中の前記物理的ドキュメントに含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をするとともに、前記画像特徴点の位置に基づいて特定される、該少なくとも一つの物理的ドキュメントの所定箇所に対するユーザインタラクションを検出するカメラ処理手段と、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザインタラクションに対応する投影光を、視覚的なフィードバックとして投影することで提供するプロジェクタ処理手段と、を備える。本発明の第2の態様は、第1の態様の情報処理システムであって、前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントの細かい粒度のコンテンツを処理し、前記細かい粒度のコンテンツは、個別の単語、文字、図形を含み、前記カメラ処理手段は前記細かい粒度のコンテンツに関連するユーザインタラクションを検出する。本発明の第3の態様は、第1の態様の情報処理システムであって、前記プロジェクタ処理手段によって提供される視覚可能なフィードバックは前記物理的ドキュメントへのユーザインタラクションにもとづく。本発明の第4の態様は、第1の態様の情報処理システムであって、前記ユーザインタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、前記ジェスチャは前記計算処理装置上の作業に対応する。本発明の第5の態様は、第4の態様の情報処理システムであって、前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する。本発明の第6の態様は、第1の態様の情報処理システムであって、前記計算処理装置へのユーザインタラクションを、前記プロジェクタ処理手段によって前記少なくとも一つの物理的ドキュメントへ提供される視覚可能なフィードバックに変換する。本発明の第7の態様は、第1の態様の情報処理システムであって、前記プロジェクタ処理手段は前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する。本発明の第8の態様は、第1の態様の情報処理システムであって、折り畳み可能なフレームに統合されており、運搬可能であるカメラおよびプロジェクタと、少なくとも一つのミラーと、をさらに備え、前記少なくとも一つのミラーは、前記フレームに取り付けられており、前記カメラおよびプロジェクタの光路を前記少なくとも一つの物理的ドキュメントへ反射するように、該少なくとも一つの物理的ドキュメントの上に配置されている。本発明の第9の態様は、第1の態様の情報処理システムであって、前記カメラ処理手段は前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために該コンテンツに対応するデジタルドキュメントを取得する。本発明の第10の態様は、第9の態様の情報処理システムであって、前記少なくとも一つの物理的ドキュメントへのユーザインタラクションは前記対応するデジタルドキュメントへの対応インタラクションをもたらす。本発明の第11の態様は、第1の態様の情報処理システムであって、前記カメラ処理手段は、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、該少なくとも一つの物理的ドキュメントに関連するデジタルコンテンツを取得する。本発明の第12の態様は情報処理方法であって、撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザインタラクションを検出し、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザインタラクションに対応する投影光を、視覚的なフィードバックとして投影し、表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザインタラクションとを連動させる。本発明の第13の態様は、第12の態様の情報処理方法であって、細かい粒度のコンテンツを識別するために前記少なくとも一つの物理的ドキュメントを処理し、前記細かい粒度のコンテンツに関連するユーザインタラクションを検出する、ことをさらに含み、前記細かい粒度のコンテンツは個別の単語、文字、図形を含む。本発明の第14の態様は、第12の態様の情報処理方法であって、前記視覚可能なフィードバックは前記物理的ドキュメントへのユーザインタラクションにもとづく。本発明の第15の態様は、第12の態様の情報処理方法であって、前記ユーザインタラクションは前記少なくとも一つの物理的ドキュメントに対して行われるジェスチャを含み、前記ジェスチャは前記計算処理装置上の作業に対応する。本発明の第16の態様は、第15の態様の情報処理方法であって、前記ジェスチャは所定のタイプの視覚可能なフィードバックをもたらす所定の命令に対応する。本発明の第17の態様は、第12の態様の情報処理方法であって、前記物理的ドキュメント以外の物理的面に視覚可能なフィードバックを提供する。本発明の第18の態様は、第12の態様の情報処理方法であって、前記計算処理装置へのユーザインタラクションを前記少なくとも一つの物理的ドキュメントへの視覚可能なフィードバックに変換する。本発明の第19の態様は、第18の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントの詳細なコンテンツを操作するために、前記少なくとも一つの物理的ドキュメントへのユーザインタラクションを、該少なくとも一つの物理的ドキュメントへのユーザインタラクションと同時の前記計算処理装置へのユーザインタラクションに変換する。本発明の第20の態様は、第12の態様の情報処理方法であって、前記物理的ドキュメントの詳細なコンテンツは、前記少なくとも一つの物理的ドキュメントとインタラクトするために第一の手を用いたユーザインタラクションによって操作され、前記計算処理装置とインタラクトするために第二の手を用いたユーザインタラクションによって操作される。本発明の第21の態様は、第12の態様の情報処理方法であって、デジタルドキュメントの詳細なコンテンツは、前記物理的ドキュメントとインタラクトするために第一の手を用いたユーザインタラクションによって操作され、計算処理装置とインタラクトするために第2の手を用いたユーザインタラクションによって操作される。本発明の第22の態様は、第12の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントとインタラクトするために、第一の手を用い、前記計算処理装置上のデジタルドキュメントとインタラクトするために、第二の手を用いて、該物理的ドキュメントの詳細なコンテンツと該デジタルドキュメントとを同時に操作する。本発明の第23の態様は、第12の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記表示手段に表示するために前記コンテンツに対応するデジタルドキュメントを取得する。本発明の第24の態様は、第23の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントへのユーザインタラクションは前記対応するデジタルドキュメントへの対応インタラクションをもたらす。本発明の第25の態様は、第12の態様の情報処理方法であって、前記少なくとも一つの物理的ドキュメントのコンテンツを処理し、前記少なくとも一つの物理的ドキュメントに関連するデジタルコンテンツを取得する。本発明の第26の態様はプログラムであって、コンピュータを、撮影された少なくとも一つの物理的ドキュメントの画像中に含まれるコンテンツに基づく画像特徴点の位置を特定する解析処理をし、前記画像に基づいて、前記画像特徴点の位置に基づいて特定される、前記少なくとも一つの物理的ドキュメントの所定箇所に対するユーザインタラクションを検出し、前記少なくとも一つの物理的ドキュメントに対して、前記カメラ処理手段により特定された前記所定箇所への前記ユーザインタラクションに対応する投影光を、視覚的なフィードバックとして投影し、表示手段を有する計算処理装置へのインタラクションと前記少なくとも一つの物理的ドキュメントへの前記ユーザインタラクションとを連動させるように機能させる。以上および以下の記載は、説明および例示だけを目的としており、本発明もしくは本発明の応用を制限することを意図するものではない。本発明のシステム、方法およびプログラムによれば、物理的ドキュメントとコンピュータとを連動させた処理を、従来と比較してより精細に実現することができる。以下の詳細な記載において、図面を参照する。図面は例を示すためのものであり、本発明を制限するものではない。特定の実施形態および実装は本発明の原理と一貫性を有する。以下の実施形態は当業者が本発明を実施することができる程度に十分詳細に記載されている。また、以下の実施形態以外の実施形態も利用可能であり、本発明の範囲および思想から逸脱することなく、構成の変更、および/もしくは、様々な構成要素の置き替えが可能である。したがって、以下の詳細な記載は、限定的に解釈されるべきではない。さらに、本発明の様々な実施形態は汎用目的コンピュータで稼働するソフトウェアの形態で実装されてもよいし、特定目的ハードウェアの形態で実装されてもよいし、ソフトウェアおよびハードウェアの組み合わせによって実装されてもよい。以下に記載される本発明の実施形態は、物理的ドキュメントとコンピュータとのインタラクションを提供する。詳細には、物理的ドキュメントとコンピュータとの間のユーザインタラクションを改善するために、コンピュータ上のオペレーションと統合される物理的ドキュメントの細かい粒度のコンテンツとの詳細なインタラクションが提供される。本発明の実施形態は、ハイブリッドカメラプロジェクタインタフェースを使用して物理的ドキュメントとデジタルコンテンツとの両手による細かい粒度のインタラクションもサポートする。実施形態のいくつかにおいて、図2に例示するシステム100は、カメラ102、プロジェクタ104および画面108を有するコンピュータ計算処理装置106を含む。カメラ102およびプロジェクタ104は物理的ドキュメントワークスペース110の上に配置されている。物理的ドキュメントワークスペースには少なくとも一つの物理的ドキュメント112たとえば、紙片などが配置されている。このようなフレームワークにおいて、カメラ102は物理的ドキュメント112、ユーザの指のジェスチャ、および/もしくは、ペンジェスチャを撮影し、コンピュータ106のカメラ処理手段が撮影画像を解析処理することで、コンテンツやジェスチャを認識することができる。次に、該ジェスチャにもとづいて、特定のオペレーションが実行される。プロジェクタ104はジェスチャもしくはコンピュータ106からの入力にもとづいて物理的ドキュメント112に、直接、視覚可能なフィードバックを提供する。コンピュータ106はプロセッサおよびメモリを備え、物理的ドキュメントに対応するデジタルドキュメント、ウェブページ、アプリケーションなどを画面108に表示する。コンピュータ106のプロジェクタ処理手段では、カメラ102によって受信された視覚可能な入力をプロジェクタ104の適当なフィードバックに変換するように、もしくは、コンピュータ106自身への入力に変換するように、支援してもよい。カメラ102およびプロジェクタ104もプロセッサおよびメモリを備えカメラもしくはプロジェクタ処理手段として動作してもよく、カメラ102およびプロジェクタ104が個々にカメラ102によって受信される入力を処理し、該入力をプロジェクタ104の視覚可能なフィードバックに変換してもよい。図5に示すように、カメラおよびプロジェクタは、単一のポータブルなカメラプロジェクタユニットに統合されてもよい。これにより、ハードウェアシステムの運搬が容易になり、柔軟性が増す。ラップトップ、タブレットなどのポータブルコンピュータデバイスもしくは携帯電話に一体的に組み合わせた場合には、システム全体がポータブルとなり得る。物理的ドキュメントは、既存のワークフローと完全に共存可能な、テキスト、図形を含む一般的なプリントされたペーパであってよい。システムは、ユーザが、個別の単語、文字、記号、アイコン、ユーザによって特定された任意の領域を含む物理的なドキュメントの細部とインタラクトすることができるように細かい粒度のインタラクションを提供する。システムは、さらに、ペーパに対する多くのコンピュータの機能の提供をサポートする。たとえば、テキストや図形コンテンツをペーパドキュメントからコンピュータにコピーアンドペーストするため、コンピュータのウェブページに物理的ドキュメントの単語をリンクするため、物理的ドキュメントの特定のキーワードをコンピュータで検索するため、ペーパマップの特定の場所を指示することによってコンピュータの視覚可能なストリートレベルマップで道案内をするため、に、ユーザはペンジェスチャもしくは指のジェスチャをペーパドキュメントに適用することができる。これらのすべての実施形態の詳細を以下に記載する。物理的ドキュメントとの細かい粒度のインタラクションにもとづいて、システムは物理的ドキュメントおよびコンピュータの両手によるクロスメディアインタラクションをサポートすることができる。該システムは、ペーパおよびコンピュータの情報を相補的に結合する。たとえば、物理的ドキュメントとの指もしくはペンを用いたカメラベースユーザインタラクションは比較的粗く、比較的信頼できない。このインタラクションを忠実性が高くロバストなコンピュータ上でのキーボードもしくはマウス入力によって拡張することができる。その他の実施形態では、コンピュータ上でのマルチポインタオペレーションのために、物理的ドキュメントへの指もしくはペンによる入力をコンピュータへのマウスもしくはキーボードによる入力と結合することができる。このようなハイブリッドクロスメディアインタラクションによって、システムは、ペーパとコンピュータの境界を埋めることができる。システムのフレームワークについてさらに記載し、次に、システムの構成要素についてさらに詳細に記載する。様々なアプリケーションの例示およびフレームワークによって可能となるインタラクションについてもさらに詳細に記載する。I.システム概観図3に示されるように、システムは物理的ドキュメントワークスペース110とデジタルドキュメントワークスペース114との間のブリッジとして働く。実施形態のいくつかにおいて、フレームワークは3つの主要な構成要素を含む。3つの構成要素とはカメラ102、プロジェクタ104、およびペーパコンピュータ連動プロセッサ116である。実施形態のいくつかにおいて、カメラ102はカメラデバイスによって取得される画像を処理する対応ソフトウェアモジュールを含む。同様に、実施形態のいくつかにおいて、プロジェクタ104は処理を実行する対応ソフトウェアモジュールを含む。カメラ102は物理的ドキュメント112たとえば、図3のプリントされたマップを認識し、追跡し、ユーザの指先もしくはペン先の位置および移動の軌跡を追跡する。カメラ102からの入力にもとづいて、プロジェクタ104は物理的ドキュメント112への投影画像を生成する。該投影画像は、ユーザへ視覚可能なフィードバックを直接的に提供するために、物理的ドキュメントのコンテンツと正確に揃えられる。カメラ102は、認識された物理的ドキュメントのコンピュータ上にあるデジタルバージョンデジタルドキュメント118を検出するプロセッサおよびメモリを備えていてもよい。カメラ102は、デジタルドキュメントワークスペース114に示されるドキュメントのデジタルバージョンへの対応ポインタ操作として指先/ペン先によるオペレーションを解釈してもよい。必要であれば、ペーパコンピュータ連動プロセッサ116は、デジタルバージョン118もしくはコンピュータ106のその他のコンテンツを操作するために、デジタルドキュメントワークスペース114と物理的ドキュメントワークスペース110とのアクションを連動させる。図3において、ペーパコンピュータ連動プロセッサ116は物理的ドキュメントワークスペース110におけるペーパマップ112でユーザによって選択された位置の道路に沿って予め多方向に向けて撮影記録した風景写真120を表示するために、コンピュータ106との連動を行う。物理的ドキュメントとコンピュータとのインタラクションを行う方法を図4に例示する。第1のステップS101において、カメラを用いて、システムは少なくとも一つの物理的ドキュメントを処理する。第2のステップS102において、物理的ドキュメントとのユーザインタラクションたとえば、指先もしくはペン先による選択もしくはジェスチャなどを検出する。ステップS103において、プロジェクタはユーザインタラクションに対応する物理的ドキュメントに視覚可能なフィードバックを投影してもよい。その他のステップS104において、たとえば、対応デジタルドキュメントを操作することによって、もしくは、物理的ドキュメントに関するその他のアプリケーションを制御することによって、コンピュータもしくはその他のプロセッサは、コンピュータとのユーザインタラクションとを連動させる。本発明の実施例に係るシステムは、包括的なドキュメント認識、細かい粒度のドキュメントコンテンツ検出、正確な投影補正、両手によるハイブリッドペーパコンピュータ入力など、のユニークな処理を可能にする。これらのすべてについて、以下により詳細に記載する。II.ポータブルユーザインタフェースハードウェア実施形態のいくつかにおいて、カメラおよびプロジェクタは、図5に示されるように、カメラプロジェクタユニット122として統合されていてもよい。本実施形態では、たとえば、USBケーブルによってコンピュータ106と接続されるスタンドアローンユニットとして記載されているが、カメラおよびプロジェクタはコンピュータ106に部分として埋め込まれていてもよい。スタンドアローンの形態であることは構成要素、物理的ワークスペース、デジタルワークスペースの空間的配置により柔軟性を付与する。図2の実施形態はフレームワークの単なる例示に過ぎず、本発明はこれに限定されるものではない。図5に示すように、カメラプロジェクタユニット122はフレームワークおよびワークスペース全体にわたる底面に水平に配置されていてもよい。カメラプロジェクタユニット122の光路124は、コンパクトな形態で物理的デスクトップワークスペース110の比較的大きなエリアをカバーするように、2つのミラー126によって図示しない折畳み可能なフレーム上に拡張される。この特徴はモバイル環境にあるユーザにとって重要である。実施形態のいくつかにおいて、物理的ドキュメントワークスペース110の表面への指先またはペン先130の接触を検出するために、タッチ検出手段128をカメラプロジェクタユニット122の底面に配置してもよい。本発明のシステムの一つでは、無害な拡散レーザ光132のたいへん薄いシートがテーブル上に広げられる。これにより、物理的ドキュメントワークスペース110の表面をタッチする指130は、カメラによって取得されるビデオフレームにおいて赤色ドット134として示される。III.カメラ処理手段カメラ処理手段は、コンテンツを含む物理的ドキュメントを認識し、プロジェクタの視覚可能な出力を調整するために、ドキュメントの動きを追跡する。カメラ処理手段は、以下でより詳細に記載する指先およびペン先の検出、追跡、座標系変換も実行する。既存のプラクティスと共存することができるように、コンテンツベースドキュメント認識アルゴリズムがカメラの視野におけるペーパドキュメントを認識するために選択される。実施形態のいくつかにおいて、物理的ドキュメントと区別可能であるような、何も付けていない指先またはペン先を検出し、追跡するために、カラーベースアルゴリズムが使用される。この解析にもとづいて、指もしくはペンの物理的ドキュメントとのインタラクションが、ドキュメントのコンピュータ画面に表示されている対応デジタルバージョンへのマウスポインティングオペレーションに変換マッピングされてもよい。リアルタイム処理を実行するために、比較的遅いが比較的正確な認識アルゴリズムと、比較的早いが比較的不正確なフレーム間追跡アルゴリズムと、を組み合わせてもよい。比較的正確な認識は、ユーザのリクエストに応じて、もしくは、固定時間間隔たとえば、1~2秒間隔で自動的に、実行される。この結果にもとづいて、カメラによって取得されたビデオフレームにおけるペーパドキュメントの正確な位置を、2つの連続的なフレームの追跡結果によって推定する。認識セッションの各々が、累積エラーを低減するために追跡手段をリセットする。追跡アルゴリズムはカメラ画像のオプティカルフローもしくはコーナー特徴にもとづいていてもよい。実施形態のいくつかにおいて、使用されるアルゴリズムは非特許文献7に開示されているものであってもよいが、その他のアルゴリズムをドキュメントの位置および動きを追跡するために使用してもよい。物理的ドキュメント認識本発明のシステムの実施形態は、バーコードや特別なデジタルペーパを使用することを必要とせずに、通常の一般的なプリントされたドキュメントをそのまま識別するコンテンツベースドキュメント画像認識アプローチを利用する。したがって、本発明のシステムは、既存のドキュメント処理プラクティスと完全に共存可能であり、新聞、レシート、一般的なプリントアウトなどの任意のタイプのドキュメントに使用可能となるので、広い範囲に適用可能である。ドキュメント画像を認識するために使用することができるアルゴリズムはいくつかあるが、この実施形態では、FIT処理を選択する非特許文献8。FITは汎用的な画像特徴記述子の一つであり、したがって、適用することができるドキュメントタイプの範囲が広くたとえば、テキスト、図形、写真など、言語に依存しない。FITは検索時間および特徴記憶の点からも効率的である。部分的なオクルージョン、輝度変化、拡大縮小、回転、遠近歪みにロバストであるように、画像特徴点における局所特徴を、FITでは利用する。本発明のシステムの実施形態の一つにおいて、ユーザがドキュメントをプリントする場合、特別な機器を搭載したプリンタドライバがドキュメントデータを取得し、該ドキュメントデータをサーバに送信する。サーバはドキュメント中の各ページの画像特徴点を識別し、各点における40次元のFIT特徴ベクトルを計算する。ベクトルは、ANNApproximateNearestNeighbor:最近傍対応探索のツリー構造にクラスタリングされる。ドキュメントの各ページのテキスト、図、ホットスポットhotspotsなどのその他のメタデータを抽出し、サーバでインデックスを付与する。同様な特徴計算を続くクエリ画像に適用し、結果として取り出された特徴をツリー構造と比較する。クエリ画像の特徴点がインデックスの特徴点といくつかの数値的な類似度測定によって類似するならば、2つの点は適合し、それらは対応するものと見なされる。ある閾値より高くもっとも適合するページは、画像のオリジナルデジタルページとして使用される。ペン先および指先の検出実施形態のいくつかにおいて、カラーベースの方法は、一般的には物理的ドキュメント自身である背景と対照的な指もしくはペンの色にもとづいて指先もしくはペン先を追跡する。カラーベースの方法は、指先もしくはペン先の色が背景と区別可能であることを前提とする。指先を検出するために、固定カラーモデルを肌色検出のため使用し、ペン先を検出するために、色相ヒストグラム逆射影backprojectionのために予め取得したペン先画像を使用する。しかしながら、本発明は上記に限定されるものではなく、その他の方法を使用してもよい。検出点Ptの位置におけるノイズを低減するために、ポストフィルタがPt値に適用される。Ptは、指先もしくはペン先の動きが閾値を越える場合のみ更新される。さらに、指もしくはペンによるオクルージョンを避けるために、検出される指先もしくはペン先の上に固定の距離を離隔して投影されるカーソルを設定するようにしてもよい。ペン先および指先の処理は同様なので、以下に記載するペン関連技術は特に注釈が付されない限り、指先によるインタラクションにも適用可能である。タッチ検出本発明のシステムにおいて、ペンおよび指によるタッチを検出する多くの既知の手段がある。既知の手段は、指の影を用いて指から表面までの距離のおおよその値を求めることや、前述の形態で示したように、台に近いオブジェクトを容易に検出するために台上に薄いシート状のレーザ光を拡散させること、を含む。細かい粒度でのデジタルインタラクションと物理的インタラクションとのマッピング細かい粒度で、カメラによって取得されたペンペーパインタラクションたとえば、ペーパドキュメント上の単語をペンで指し示すを解釈するために、少なくとも一つのカメラ画像から少なくとも一つの同一のデジタルドキュメントページへの正確な座標変換を決定すべきである。これにより、プリントスタイルやペーパシートの空間的配置の変更に対応することが可能となる。既存のシステムは紙片の境界を検出し、囲まれている四角形を矩形のデジタル画像へマッピングする。この方法は粗い粒度のインタラクションたとえば、ビデオを何も記載されていない一枚の用紙上に投影するには十分よい。しかしながら、この方法は、粒度が、単語レベルでのインタラクションや記号レベルでのインタラクションに十分な程正確ではない。なぜならば、図6に示すように、プリントアウトの周囲のマージンは、プリントされたコンテンツ112と対応するデジタルドキュメントページ118との間のマッピングを不正確にするからである。マージンはプリンタ毎に異なるかもしれない。紙片の一方の面に複数のデジタルページをプリントするNアッププリントおよびページの重なりは、この状況を悪化させるが、Nアッププリントやページの重なりはかなり一般的に発生する。既存システムの限界に対処するために、図7に示すように、カメラ基準フレーム136と認識されたデジタルドキュメント基準フレーム138との間のホモグラフィック変換Hrを導き出すために、カメラ画像の特徴点と認識されたデジタルドキュメントページの特徴点との間の対応を利用する。変換行列は、カメラ基準フレームカメラビデオフレーム136と認識されたデジタルドキュメント基準フレームデジタルドキュメント画像138との間の一対一特徴点対応から導き出される。認識対象となるドキュメント画像はコンピュータのデータベースに記憶されてもよい。実施形態のいくつかにおいて、少なくとも4対の特徴点ペアが必要とされる。NN>4対のペアについて、最適な変換行列を検出するために、最小二乗法を用いることができる。マッピングの精度を向上させるために、外れ値を除去するように、RANSACRANdomSAmpleConsensusに類似したアルゴリズムを適用するたとえば、非特許文献9。Hrによって、カメラビデオフレーム136において検出された指先もしくはペン先は、認識されたデジタルドキュメント画像138の座標系のポイント140に容易にマッピングされる。このマッピングにもとづいて、ペーパドキュメント上の指/ペンインタラクション142はコンピュータのデジタルオペレーションに変換される。実施形態のいくつかにおいて、一般的に、物理的ドキュメントワークスペース上の任意のポイントとのインタラクションをサポートするために、任意のポイントはペーパドキュメント内にある必要はない。アンカーパッド144をテーブル基準フレームを決定するために使用する。アンカーパッド144はサイズが既知である、たとえば、矩形の濃色のペーパシートであってよく、その4つのコーナーはテーブル基準フレームの固定座標の4つのポイントたとえば、1,1、1,2、2,1、2,2を決定する。較正を行う間に、カメラはその視野におけるアンカーパッドの4つのコーナーを検出し、図7に示すように、台もしくは物理的ドキュメントワークスペース110とカメラ基準フレーム136との間のホモグラフィック変換Hcを導き出す。台の表面物理的ドキュメントワークスペース110はつねに平面であり、台に対するカメラの姿勢は固定されているものと仮定する。したがって、Hcは一定であり、一度だけ較正すればよい。セミリアルタイム処理ペーパ上のリアルタイムインタラクションは、15フレーム毎秒fpsより早い画像処理速度を必要とするかもしれない。しかしながら、一実施形態のシステムは、計算処理がたいへん複雑であるため、その画像処理速度は現在おおよそ1fpsである。一方、オプティカルフローなどのドキュメント追跡技術はリアルタイムでページの相対的移動を推定することができるが、累積的な誤差が生じるかもしれない。オプティカルフローとは、オブザーバ目もしくはカメラとシーンとの間の相対的な動きによって生じる視覚可能なシーンにおけるオブジェクト、面およびエッジの明確な動きのパターンである非特許文献10参照。ドキュメント認識およびドキュメント追跡はハイブリッドドキュメント追跡のために組み合わされてもよい。実施形態のいくつかにおいて、本発明のシステムは一定期間ごとにビデオフレームを認識し、Hrを導き出す。その結果にもとづいて、以降のビデオフレームのHrが2つの連続するフレーム間のオプティカルフローによって推定される。累積誤差を低減するために、認識セッション毎にオプティカルフロー検出をリセットする。IV.プロジェクタプロセッサプロジェクタ104は、物理的ドキュメント112および物理的ドキュメントワークスペース110に、直接、視覚可能な動的フィードバックを行うことができる。2つの投影タイプ、すなわち、局所投影と大域投影とがある。局所投影図7に示すように、局所投影によれば、投影される画像146はつねにペーパドキュメント112のプリントアウト基準フレームに揃えられる。しかしながら、ペーパドキュメントはユーザインタラクションの間に動かされるかもしれない。局所投影は、通常、特定のペーパドキュメントコンテンツのトップに情報を重ね、ペーパとともに移動しなければならない。一例として、投影された境界ボックス146は、図7に示すように、ペーパドキュメント112の単語FACTを強調する。局所投影は、通常、対応するデジタルドキュメント基準フレームのポインタオペレーションにまずマッピングされるペンペーパインタラクションの結果として行われる。プロジェクタのフィードバック情報は同様の基準フレームにおいて直接的に決定される。たとえば、図7に示すドキュメント基準フレーム110の位置5,5で単語FACTを指し示すペン先142を検出すると、基準フレームの位置5,5にサイズ10×5の矩形ボックス146をフィードバックとして生成する。ペーパドキュメント112の単語に合わせられた正しい矩形投影を生成するためにプロジェクタ基準フレーム148にこのボックス146を正確にマッピングすることが課題である。ハードウェア環境はマッピングを決定する際に適している。カメラ、プロジェクタ、台表面の相対的な位置は固定されており、台は平面であると仮定する。したがって、カメラ基準フレーム136とプロジェクタ基準フレーム148との間のホモグラフィック変換Hpは固定されている。その結果として、ドキュメントとプロジェクタとのマッピングはHp-1Hr-1と記述することができる。実施形態のいくつかにおいて、Hpは単純な一度の較正で導き出される。既知のパターンを含む予め記憶されている画像が台表面に投影され、カメラによって取得される。投影された画像と取得された画像との間のN個の対応ペア:N≧4特徴対応を検出することによって、Hpの値が取得される。投影変換はコンテンツベースカメラドキュメント変換を基礎とする。ドキュメントページが変わると複数のドキュメントページを一つのビデオフレームにおいて認識してもよい、もしくは、カメラの視野において移動しているドキュメントの位置が変わると、投影変換は変化する。投影変換はプリントマージン、Nアッププリント、部分的オクルージョンに影響されにくい。投影変換がこのように影響を受けにくいことは、下地となるドキュメントの詳細に投影される視覚可能なフィードバック146を正確に合わせる上で重要である。大域投影局所投影と異なり、大域投影は、台基準フレーム110に投影146を合わせる。大域投影はペーパの動きに影響されない。全体ドキュメントの生成時間、関連基準などの特定のドキュメントページに関連しない大局的情報のいくつかが、通常、採用される。電子メール報知、インスタントメッセージダッシュボード、システムパフォーマンスモニタなどのアプリケーションのために、コンピュータ表示を拡張するために、周辺表示手段として使用されてもよい。大域投影の主な問題は、プロジェクタの光軸と投影面の法線もしくは、投影面に垂直な方向とが位置合わせされていないと、投影された画像に遠近歪みが生じることである。実施形態のいくつかにおいて、投影されている画像146の逆歪みによって、該投影された画像を修正することができる。投影平面110すなわち、台からプロジェクタ基準フレーム148への座標変換を決定することが重要である。上記したように、台カメラ変換Hcおよびプロジェクタカメラ変換Hpはすでに知られている。したがって、台プロジェクタホモグラフィック変換はHp-1Hcから導き出すことができる。V.ページ上の細かい粒度のインタラクション基礎となるカメラプロジェクタ入力/出力手段にもとづいて、本発明の実施形態は、ペーパドキュメントの柔軟性および有利性を犠牲にすることなく、コンピュータと同等のユーザエクスペリエンスを達成するために、ペーパでの細かい粒度のドキュメントコンテンツ操作のためのインタラクション技術を提供する。実施形態のいくつかにおいて、物理的ドキュメントワークスペースにおける第一の手からのカメラ入力と、デジタルドキュメントワークスペースを操作するための第二の手からのキーボード入力およびマウス入力と、を混合することによって両手によるクロスメディアインタラクションを提供することもできる。両手によるインタラクションは、密に結合されたインタラクティブスペースとしてペーパとコンピュータとをさらに統合する。図8は、ペーパ上で細かい粒度のインタラクションを行う方法の実施形態におけるデータフローの概観を示す。第1のステップS201において、局所的視覚可能特徴セット{F1,...,Fn}を取得するために画像特徴抽出手段にカメラ画像が提供される。ステップS202において、特徴とドキュメント画像特徴データベースの特徴とをマッチングする。カメラ画像において物理的ドキュメントのオリジナルデジタルページとして、閾値を越える適合特徴{Vi:ページiの適合特徴セット,i=1,...,m}を有するm個のドキュメントページ{P1,...Pn}を採用する。特徴点対応にもとづいて、本発明のシステムは、ステップS203において、カメラ画像から適合デジタルページJ,J=1,...,mまでのホモグラフィック変換を導き出す。ペン先の位置がステップS204で検出される。ステップS205において、この変換は、注目されているペン先が指し示している特定のドキュメントページPfを決定するために、カメラ画像において検出されたペン先の位置Tpと組み合わされる。次に、ペン指示は、デジタルページPfにおいて、位置Tf=HfTpにおける等価なマウス指示として解釈される。ステップS206のジェスチャ処理において、ペンベースコンピュータのように、システムはジェスチャストロークとしてポイントのサンプルを累積し、メタデータデータベースから特定のドキュメントコンテンツ{T1,...,Tk}を選択する。メタデータデータベースは、登録されているドキュメントページの各々について、高解像度バージョン、テキスト、単語および記号の境界ボックス、ハイパーリンクなどを記憶する。ステップS207では、システムは、現在のカーソル、注目されているページ、変換精度、ジェスチャおよび選択されたドキュメントコンテンツを示すためにフィードバック情報を生成する。ステップS208で、該フィードバック情報はペーパに視覚可能なフィードバックを重ねるために投影画像に変換される。実施形態のいくつかにおいて、システム100は、ペーパ112から対応するデジタルドキュメント138にペン先入力142をマッピングし、視覚可能なフィードバック146をペーパに投影する。この機構によって、ペーパドキュメントおよび物理的ドキュメントワークスペースは触覚ディスプレイのように扱われる。したがって、従来のペンもしくはスタイラスタイプのコンピュータオペレーションが物理的ドキュメントに拡張される。実施形態のいくつかにおいて、現在の入力モードがインクであるかジェスチャであるか、に応じて、ペン入力は自由形式の手描きであるか、コマンドジェスチャであるか、が解釈されてもよい。インクモードにおいて、入力は書き込まれた注釈として記録される。該入力は対応するデジタルドキュメントに記憶され、その後、レビューのために取り出されてもよいし、該デジタルドキュメントを見る遠隔の共同作業者とネットワークを介して共有されてもよい。本物のインクペンが使用される場合、ペーパに残されるインクは、デジタルバージョンより忠実度が高い。したがって、代替的な実施形態においては、ペーパからインクによる注釈を抽出するためにインクリフト技術が使用されてもよい。ジェスチャモードにおいては、ペン入力がコンピュータコマンドを構築するために使用される。該コンピュータコマンドは、ドキュメントセグメント上に実行されるべきコマンドおよび所望されるアクションのためのターゲットセクションとして一つ以上のドキュメントセグメントを含む。ユーザは、個別の単語、文字、記号、画像、アイコン、様々な機能のための任意の領域もしくは形状を選択するために、物理的ドキュメントにペンストロークを描いてもよい。コマンドターゲットの選択通常のペンベースインタフェースのように、入力には2つの基本的な状態がある。すなわち、ホバーとタッチである。実施形態のいくつかにおいて、ホバー状態ではペンは表面に接触することなく、ペーパの上にある。ユーザは、意図する単語に、投影されたカーソルを向かわせるために、ペンを動かすことができる。任意のタイミングで、ポインタペン先に最も近い1つの単語全体がプロジェクタフィードバックによって強調される146。実施形態のいくつかにおいて、入力モードがタッチ状態に変更され、ペンが物理的ドキュメントの表面に接触タッチすると、ペン入力は次のアクションのためにドキュメントコンテンツを選択するためのジェスチャとして解釈される。表面からペンが離されると、該ジェスチャは終了する。単語、記号、その他のドキュメントコンテンツを選択するための多くのタイプのジェスチャがある。図9Aに示すように、ポインタ150は所定のオブジェクトたとえば、単語、東アジアの文字、数学記号、アイコンとのポイントアンドクリックインタラクションに適している。図9Bに示すように、アンダーライン152はテキスト行もしくは楽譜の小節154を選択するために使用される。図9Cに示す曲線156および図9Dに示す縦線158が文および複数行のテキストのセクションを選択するために使用される。図9Eに示す囲み線162および図9Fに示す斜め線164が任意のドキュメント領域166および168を選択するために使用される。図9Gに示すように、経路170がマップ172の経路を設定するために使用されてもよい。図9Hに示すフリーフォーム174は任意のタイプの入力ジェスチャであってよく、アプリケーション特定の方法で解釈されてよい。理解が容易となるように、ジェスチャおよび選択されたドキュメントコンテンツが図9A~図9Hにおいて強調されている。しかしながら、本発明のシステムにおいて、ジェスチャはプロジェクタから投影されるフィードバックによってペーパに描かれる。実施形態のいくつかにおいては、システム実装を単純にするために、マルチストロークをサポートせず、ジェスチャ認識も実行しない。しかしながら、所望されるのであれば、システムはマルチストロークをサポートし、ジェスチャ認識を実行してもよい。このような実施形態において、ユーザは、ジェスチャを行う前に、手動でジェスチャタイプを選択する必要がある。上記オペレーションを実装するために、メタデータがシステムデータベースに記憶されているデジタルドキュメントの各々から抽出される。このようなメタデータは、ドキュメント基準フレームの単語、文字、アイコンの境界ボックス位置およびサイズ、ドキュメント基準フレームの単語、文字、アイコンのテキスト、および、もしあれば、関連するURLを含んでもよい。メタデータはコマンドターゲットたとえば、アンダーラインを引くジェスチャによって選択された単語を設定するためにペン入力と結合され、ペーパへの視覚可能なフィードバックたとえば、選択された単語を強調するための白い矩形ブロックを生成するためにも使用される。VI.ジェスチャのコンテキストアウェア前後関係感知フィードバックジェスチャに応じて投影されるフィードバックはペーパドキュメントのオリジナルの視覚可能な特徴に生じ得る干渉を制限するように特別に設計される。さもなくば、物理的デジタルインタラクションマッピングの正確さが落ちるかもしれない。第一に、ジェスチャストロークの描画は、可能であれば、行わない。たとえば、フィードバックは、アンダーライン、曲線、縦線ジェスチャによって選択されたテキストについてのみ投映し、未処理ジェスチャストロークについては描画しない。第二に、可能な限り、囲み線およびフリーフォームジェスチャを除いて、細い直線セグメントを投影に使用する。細い直線は、複雑なパターンに比べて少ない特徴点を生成するからである。第三に、大きい強調領域を明るい色で塗りつぶさない。大きい強調領域を明るい色で塗りつぶすことによって生じるグレアはオリジナルのドキュメントの視覚的特徴を歪曲するかもしれないからである。最後に、実施形態のいくつかにおいて、一般的なコンピュータインタフェースのように、コンテンツの個別の部分を別個に強調する代わりに、投影されるフィードバックは、図10に示されるように、選択されたコンテンツ177のもっとも外側の輪郭175のみに配置してもよい。輪郭強調は所望されない画像特徴をさらに低減するために有用である。コマンドアクションの選択図11Aにおいて、コマンドターゲット176が特定された後、ユーザはメニュー178から所望のアクションを選択する必要がある。アクションメニュー178は、図11Aに示すように、ペーパ112上でジェスチャ180の終端点の右隣に、直接投影されてもよい。このようなインプレースメニュー178は、ペンおよび指の動きをあまり必要とせず、ジェスチャおよび選択を滑らかに行うことができるようになる。しかしながら、図11Aに示すように、投影されたメニュー178は下にあるテキストや写真によって隠されてしまうかもしれず、この場合、アクションメニュー178のテキストを読むことは困難になる。このような状況は、現実の作業環境ではよくあるように、周囲の環境が明るく、プロジェクタの輝度が限定されている場合、さらに悪化する。いくつかの適応的放射分析補償方法adaptiveradiometriccompensationmethodsが、オリジナル画像とほぼ同様の最終投影外観を生成するように投影画像を調整するために提案されているが、これらの方法は、テキストやマップなどのように、コントラストが高く背景領域が複雑である場合適正に働かない。解決方法の一つはメニューを適応的に配置することである。この場合、システムは自動的にもっともオクルージョンが少ない領域にメニュー178を投影する。実施形態のいくつかにおいて、これは、テクスチャがもっとも少なく投影領域内のコマンドターゲットから最短の領域を探索することによって実行される。基準の双方を満足する領域がない場合、最適な領域を選択するために重み付け関数を採用することができる。テキストの空間的分布は、図11Bにドットで示すように、カメラ画像の上記FIT特徴ポインタ182の分布によって近似されてもよい。FIT特徴ポインタはドキュメント認識の副産物であり、追加時間はほとんどかからない。図11Cに示すように、アルゴリズムは空いている適当な領域184を検出し、該領域に適合するようにメニュー178の大きさを該メニューが判読できる程度に調整する。実施形態のいくつかにおいて、このようなアルゴリズムは非特許文献11に開示されているアルゴリズムに類似するものであってよい。さらに、たとえば、図11Dの分割されたメニュー186によって示されるように、インタフェースの整合性が維持される限り、メニューウィンドウ178自身が、オクルージョンがない一つ以上の領域にもっともよく適合するように変更されてもよい。実施形態のいくつかにおいて、ユーザがメニューを見付けることが容易となるように、コマンドターゲットから該メニューへの矢印が投影されてもよい。メニューを配置するために適した場所がない場合、コマンドアクションメニューは、オクルージョンの問題に影響されないコンピュータ画面に表示されてもよい。一貫性のあるユーザエクスペリエンスのためにコンピュータ画面上の固定された位置にメニューを表示することができる。ユーザは通常ペーパドキュメントに実行されるコマンドターゲットの結果を知るためにコンピュータ画面を見る必要があるが、該コンピュータ画面にメニューを表示することによって、ペーパと該コンピュータ画面との間で目の焦点を切り替える必要性を低減することができる。認識の失敗に対する処理上記細かい粒度のインタラクションは正確なドキュメント認識および座標変換に依存する。しかしながら、認識は照明条件がよくなかったり、ペーパに歪みがあったり、ドキュメントに索引が付与されていなかったりすることによって、失敗することもあるかもしれない。また、行列変換は特徴点対応が不十分であるために不正確なものであるかもしれない。このようなエラーを補うように、ペーパインタラクションを強化するためにコンピュータを利用することができる。ペーパドキュメント認識が失敗するとすなわち、適合する特徴点の数が閾値より少ないと、本発明のシステムによる実施形態のいくつかにおいて、ユーザは上位N個のリストもしくはデータベース全体から対応するデジタルバージョンを選択することができる。データベースに存在しないインデックスを付与されていないドキュメントの場合、ユーザはカメラを静止画像モードに切り替え、ドキュメントの高解像度写真を撮影し、該写真に手動でインデックスを付与してデータベースに記憶する。本発明のシステムは、テキストメタデータを生成するために写真に文字認識を適用してもよい。物理的ドキュメントの対応デジタルバージョンが検出され、適合する特徴点の数の推定にもとづく変換行列の正確さが十分でない場合、本発明のシステムはデジタルプロキシ技術を使用する。該デジタルプロキシ技術は初期の粗いインタラクションにペーパドキュメントを使用し、細かいインタラクションにコンピュータを使用する。図12に示すように、第一の手188がペーパドキュメント112上に現れると、対応デジタルドキュメントページ138の全体が検索して取り出され、画面108のポップアップウィンドウ190に表示される。ユーザは、次に、たとえば、ページの選択領域196をコピーすることによって、細かい粒度でデジタルドキュメント138を操作するように、マウス194などのコンピュータ入力デバイスを操作するために第二の手を使用することができる。上記した指もしくはペンによるジェスチャも同様にコンピュータに適用することができる。図示しないコンピュータにジェスチャを適用する方法の実施形態のいくつかにおいて、指もしくはペンによるジェスチャ操作が行われると、ユーザは第一の手をカメラの視野の外に出す。これに応じて、デジタルプロキシウィンドウを縮小してアイコンに変化させ、画面は、たとえば、コピーされた図を他のドキュメントファイルにペーストするような、クロスメディアオペレーションの次のステップのために以前の状態に戻る。ペーパドキュメントの操作は迂回されるので、変換Hrが不正確であることは重要ではない。VII.物理的ドキュメントおよびデジタルドキュメントとの両手同時インタラクションドキュメントへの作業者による操作に関する以前の研究を見ると、ドキュメントの使用に関連する作業者は、参照、比較、照合、要約などの複数のドキュメントへの作業に時間の半分を費やしている。画面のサイズが限定されているポータブルコンピュータの場合、マルチドキュメントインタラクションの画面を拡張するために、ペーパドキュメントがよく使用される。しかしながら、このようなインタラクションは、画面上の通常のマルチウィンドウオペレーションより複雑である。なぜならば、ドキュメントは異なるメディア媒体にあり、入力方法が異なるかもしれないからである。たとえば、ユーザはペーパからコンピュータへ図をコピーすることを所望したり、ウェブページとペーパ上の単語とを関連付けることを所望したり、ペーパマップ上の位置を検出するためにコンピュータ上のストリートビューマップを使用することを所望したりするかもしれない。ペーパへの入力デバイスは、主に、指もしくはペンであり、コンピュータへの入力デバイスは、主に、キーボードもしくはマウスである。これらのクロスメディアな複数のドキュメントオペレーションにおいて、片方の手によるインタラクションはユーザに入力デバイスを切り替えることや身体の姿勢を変えることを要求するが、これは、不便である。したがって、本発明の実施形態のいくつかは、ユーザがペーパ上のオペレーションを実行すために一方の手を使用し、コンピュータ上のオペレーションを実行するために他方の手を使用することができるように、クロスメディアな両手インタラクションをサポートする。カメラおよびコンピュータからの2つの入力ストリームは複数のドキュメント操作をサポートするために連動される。クロスメディアインタラクションのための方法の実施形態のいくつかにおいて、情報転送をサポートするために両手によるクロスメディアインタラクションを使用してもよい。たとえば、ユーザがよく知らない言語が日本語であって富士という単語がペーパドキュメント上にあり、該単語についての情報を取得するために、ユーザは第一の手で該文字もしくは単語を指し示す。次に、ユーザは、第二の手でウェブ検索などのコンピュータ上のコマンドを選択する。これに応じて、システムは選択されたテキストをコンピュータに送信する。コンピュータはウェブ検索を実行し、結果をユーザに表示する。同様に、ユーザは、ペーパドキュメント上の写真を囲み線で容易に囲むことができ、次に、該写真をコンピュータ上のワープロドキュメントもしくはその他のドキュメントにコピーすることができる。その他の実施形態において、情報転送の向きが逆であってもよい。マルチメディア注釈がコンピュータからペーパドキュメントに投影されてもよい。該注釈はペーパに投影されるアイコンによって示され、ダブルクリックによって再生されてもよい。ペーパとコンピュータとの境界にわたって、2つのドキュメントセグメントをリンクする情報の関連を自然に確立するために、両手が使用されてもよい。たとえば、将来、ペーパの日本語を選択すると、コンピュータ画面のリンクされたウェブページが表示されるように、ユーザはペーパ上の日本語に百科事典もしくは辞書のウェブページをリンクしてもよい。ユーザは複数の表示を操作するために、同時に同一の複合ドキュメントの異なる表示を操作することができる。たとえば、図13に示すように、コンピュータ画面108の対応位置にあるストリートビュー画像120を表示するために、第一の手188によってプリントされているマップ172の位置198を選択し、次に、マウス194を制御し、選択されたマップの位置198に対応する対応ストリートビュー表示120の周囲をナビゲートするために第二の手192を使用してもよい。VIII.ペーパドキュメントインタラクションのための両手ハイブリッド入力両手入力はクロスメディアオペレーションのためだけでなく、単一メディアオペレーションにも使用することができる。本発明のシステムはコンピュータ入力によるペーパオペレーションの拡張をサポートする。これは、カメラプロジェクタユニットおよびコンピュータの相補的な情報によって動機付けされる。カメラベースの指による入力は、ペーパ操作において自然ではあるが、通常あまりロバストではなく、マウスやキーボードによる入力に比べて入力サンプリングレートが低い。これは、ペーパインタラクション特に、細かい粒度のインタラクションについてのユーザエクスペリエンスを比較的低下させる。たとえば、両手クロスメディアインタラクションを行っており、ペーパ上で一方の手だけでジェスチャを行う場合、指もしくはペン入力による問題は大きくなるかもしれない。なぜならば、コンピュータに入力を提供する他方の手の指とペーパとの接触による干渉がペーパシートの所望しない動きの原因となるかもしれないからである。ハイブリッドシステムの利用可能な情報を最適に使用するために、実施形態のいくつかにおいて、キーボードおよびマウス入力はリダイレクトされる入力であってよく、ペーパドキュメントにフィードバックされてもよい。該入力は、次の細かい粒度のインタラクションのために、カメラ入力と結合されてもよい。たとえば、図14A~Cに示すように、ペーパドキュメント112の矩形領域200を選択するために、マウス194に第二の手192を置いたまま、図14Aに示すように、ユーザは、該領域のおおよその位置を第一の手188で指し示す。図14Bにおいて、カメラの視野で第一の手188の存在が検出されると、システムは、ペーパドキュメント112上の指先204が検出されている位置にマウスカーソル202を移動する。マウスカーソル202はペーパドキュメント112に投影されている。ユーザは、矩形領域200の上でマウスをクリックし、ドラッグするために、マウス194を操作する。これにより、図14Cに示すように、初期の粗い選択からより高い忠実性で領域200を選択し直す。第一の手188は、ペーパの意図しない動きを避けるために、ペーパドキュメント112の上にただ置いておかれればよい。図示しないコンピュータキーボードはペーパドキュメントに高い忠実性のあるテキスト情報を付加するために使用されてもよい。たとえば、ユーザは、ペーパ上のドキュメントセグメントを選択し、セグメントのテキスト注釈をタイプ入力してもよいし、選択されたペーパドキュメント領域のOCRエラーを修正するためにキーボードを使用してもよい。たとえば、このようなキーボード入力は、半自動ペーパレシート転写アプリケーションにおいて特に有用である。本発明のシステムは、それゆえ、コンピュータドキュメントとのインタラクションを拡張するだけでなく、ペーパドキュメントとのインタラクションも拡張することができる。IX.物理的ドキュメントおよびデジタルドキュメントとの同時両手インタラクション他の実施形態においては、カメラ入力とコンピュータ入力との融合を画面だけのインタラクションにも適用することができる。本発明のシステムは、デジタルドキュメントを制御するために、ペーパドキュメント上のペンベースもしくは指ベースの指示をコンピュータにリダイレクトすることができる。ペンベースおよび指ベースの指示は、他のハードウェアを追加することなく、画面上でのマルチポインタインタラクションのために、マウス入力と結合することができる。たとえば、物理的ドキュメントベースポインタおよびコンピュータベースポインタによって、ユーザは写真を同時に拡大縮小するとともに回転することができる。その他の例において、図15に示すように、ユーザはペーパ上で第一の手188をフリックする206:画面上を素早く払うようにタッチすることによって、ドキュメントをパンしドキュメントの表示を振り、第二の手192でマウス194を操作することによって特定のコンテンツ208を選択することができる。その他の指ベースの入力を必要とせず、マウスをパンと選択タスクとの間で切り替える必要もない。上記両手インタラクションはマルチタッチインタラクションをサポートしない通常のコンピュータで有用である。X.応用上記様々な実施形態におけるインタラクション技術はペーパとコンピュータとを混在して使用するための多くのシナリオに適用することができる。たとえば、ペーパレシート処理、ドキュメント操作およびマップナビゲーションなどについて以下で詳細に記載する。しかしながら、これらは例示であり、本発明を限定するものではない。レシート処理ペーパレシートはシンプルで、ロバストであり、かつ、既存のペーパベースワークフローと適合性を有するために広範囲にわたって使用されている。しかしながら、ペーパレシートを新しいデジタル財務ドキュメントワークフローと統合することは当事者にとって退屈であり、時間を要する。多くのリサーチおよび様々な商用製品がこの領域で進展している。しかしながら、これらの多くは出費額、日付などの情報をレシートから完全に手書きで転写することを必要とする。OCRによってレシートから情報を自動的に抽出する場合もあるが、使いやすいエラー修正インタフェースがなく、他の制限も経理担当者の検証を困難にする。レシート処理の方法の実施形態のいくつかにおいて、本発明の上記システムは図16A~Fに示すようにレシートを処理することができる。図16Aに示すように、レシート210がカメラの視野に置かれると、システムは以前検出したレシートを記憶している既存レシートデータベースから該レシートと同一のレシートのデジタルバージョンを検出することによって該レシート210を認識しようとする。適合するデジタルバージョンが検出されない場合、レシート210は新規なものとして扱われることになり、図16Bに示すように、投影メッセージ212によってユーザにその旨を報知する。システムは、レシートの高解像度写真214を撮影する。該写真は図16Cに示すようにコンピュータ画面108に表示される。次に、高解像度写真214をシステムデータベースに記憶する。ペーパレシート処理の問題は、正確な座標変換のために十分な特徴点をレシートが有さないかもしれないことである。レシートのコンテンツは一般に通常のドキュメントより少ないからである。この場合、上記デジタルプロキシストラテジを使用することによって、ユーザは、類似のジェスチャおよび修正機構によって画面108上のレシート210を操作することができる。たとえば、図16Dに示すように、OCRの特定の領域216ここでは、日付を選択するために、ユーザは図示しないアンダーラインを引くジェスチャを画面108上のレシートの写真214に直接行うことができる。実施形態のいくつかにおいて、OCRの結果218が検証のために領域216の隣に表示される。OCRの結果218が不正確であれば、ユーザは図示しないキーボードを使用して修正することができる。さらに、図16Eに示すように、レシート処理アプリケーションはレシートの情報を入力するセル222を有するデータ入力ソフトウェアアプリケーション220を含んでもよい。この実施形態では、ソフトウェアアプリケーション220において転写されたセル値の各々は、情報が導き出されたレシートの写真214の関連する領域224にリンクされてもよい。これにより、ユーザは、図16Fに示すように、セルを選択することによって、レシートの関連する領域224を強調して、該レシート210の写真214を検索して取り出し、セル222の各々の情報を容易に検証することができる。ドキュメント操作上記したように、本発明のシステムは、ユーザがペーパ上で細かい粒度のドキュメントオペレーションを行うことを支援する。ドキュメントオペレーションには、たとえば、キーワード検出、コピーアンドペースト、インターネット検索などがあるが、本発明はこれらに限定されるものではない。図17Aに示すように、キーワード検出アプリケーションの実施形態において、ユーザは、ペーパドキュメント112の単語230を選択するためにペン先228を使用することができるし、図17Bに示すように、ドキュメントにわたるその選択された単語の存在232を検出するために図示しないキーボードを用いて任意の単語をタイプ入力してもよい。システムはドキュメントのフルテキスト検索を実行し、図示しないプロジェクタを介して存在232の正確な位置を強調表示する。実施形態のいくつかにおいて、存在232のいくつかは投影領域の外側にあってもよい。その場合、プロジェクタは、図17Cに示すように、特定の方向にある選択された単語の存在を示すために投影境界の付近に矢印234を表示してもよい。ユーザは、ドキュメントにおいてさらなる存在232を明らかにするために矢印234によって示される方向にドキュメント112を移動させてもよい。マップナビゲーションペーパマップは、大きく、ロバストで、高品質の表示を提供するが、デジタルマップで利用可能な動的な情報道路周辺風景画像や動的交通情報などは有さない。システムの実施形態のいくつかにおいて、図18Aに示すように、ペーパマップ172とのインタラクションはコンピュータ画面108上のデジタルマップ236と統合することができる。図18Bに示すように、任意の特定のポイント238もしくは経路がペーパマップ172上で選択され、システムはユーザの選択を処理し、図18Cに示すように、選択されたポイント238もしくは経路まで画面108上に対応するストリートビュー画像120をナビゲートする。その他の実施形態において、ユーザは、街路を車両で移動するためにストリートビューマップアプリケーションを操作してもよい。このような動きはペーパマップ上にプロジェクタによって強調して表示される。XI.コンピュータによる実施形態図19は、本発明の手法が実装されるコンピュータ/サーバシステム700の実施形態を例示するブロック図である。システム700は、指示を実行するための作業を行うプロセッサ処理手段702およびメモリ記憶手段703を含むコンピュータ/サーバプラットフォーム701を含む。コンピュータ可読記憶媒体は、たとえば、ディスク、半導体メモリなどの任意の有形の媒体であってよい。該コンピュータ記憶媒体はプロセッサ702に実行のための指示を提供する際に使用される。さらに、コンピュータプラットフォーム701は、キーボード、マウス、タッチデバイス、音声命令入力装置など、複数の入力デバイス入力手段704からの入力を受信する。コンピュータプラットフォーム701は、ポータブルハードディスクドライブ、光メディアCD、DVD、ディスク媒体、その他の任意の有形な媒体など、コンピュータが実行コードを読み取ることができる脱着可能な記憶デバイス脱着可能記憶手段705にさらに接続されていてもよい。コンピュータプラットフォームはさらにインターネットもしくはローカルパブリックネットワークもしくはローカルプライベートネットワークのその他の構成要素に接続するネットワークリソース706に接続していもよい。ネットワークリソース706は指示およびデータをネットワーク707の遠隔位置からコンピュータプラットフォームに提供してもよい。ネットワークリソース706への接続は、たとえば、802.11規格、ブルートゥース、ワイヤレスプロトコル、セルラープロトコルなどのワイヤレスプロトコルを介してもよいし、たとえば、金属ケーブルや光学繊維ケーブルなどの物理的な送信媒体を介してもよい。ネットワークリソースは、データや実行可能な指示を記憶する、コンピュータプラットフォーム701とは別個の位置にある記憶デバイスを含んでもよい。コンピュータは、その他の指示およびユーザからの入力を要求し、ユーザへデータやその他の情報を出力するためのディスプレイ表示手段708とインタラクションを行う。表示手段708はユーザとのインタラクションを行うための入力手段として機能してもよい。"