(57)【要約】  手書きメモを格納されたデータセットと関連付ける方法であって、データプロセッサを使用してデータセットにアクセスするステップと、意味のある手書きメモを作成するステップと、データセットにアクセスしている時のデータプロセッサの状態の記録にリンクされたそれらメモの画像を読み取り格納するステップと、複数のデータセットに対してプロセスを繰り返すステップと、及びデータプロセッサの現状態の記録にアドレス指定することにより、データプロセッサによって現時点においてアクセスされている任意のデータセットにリンクされた、関連付けられたメモの一部又は全てを検索して再現するステップとを含む方法が提供される。
2005514704.tif 000002
【特許請求の範囲】
【請求項１】
データプロセッサの状態が多くのデータセットのうちの何れがアクセスされているかを特定するようになされたデータプロセッサを使用して、格納されたデータセットにアクセスする方法であって、
図形入力装置を使用して、前記データプロセッサによって現時点においてアクセスされている前記データセットの内容に関連するメモを、ページ上に手作業で入力するステップと、
前記ページの論理空間マップにおける前記メモの位置を識別して格納するステップと、
前記データプロセッサの対応する状態にリンクされた複数のメモを構築するために、前記手作業で入力するステップと前記格納するステップとを繰り返すステップと、
前記図形入力装置において対応ページを手作業で選択し、前記ページ上で前記空間マップにおける対応する先に入力されたメモを識別するようにジェスチャを行い、この先に入力されたメモを使用して前記データプロセッサをその対応する状態にリセットし、それにより前記メモにリンクされた前記対応するデータセットにアクセスすることにより、要求されたデータセットを検索するステップと、
を含むことを特徴とする方法。
【請求項２】
前記図形入力装置は、メモ用紙と、筆記及び／又はポインティング器具と、前記メモ用紙上にその内容を読み取るために焦点合せされるカメラとを備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記手作業で入力するステップは、前記メモ用紙のページを読み取りそのページ上の如何なるメモも先に電子的に記録されたものであるか否かを識別するステップと、それが先に電子的に記録されたものでない場合にそのメモを電子的に記録するステップと、そのページの論理空間マップを入力された前記メモによって更新するステップとを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記検索するステップは、前記カメラにページを提示するステップと、前記カメラが観察して読み取った前記メモ用紙上の手のジェスチャを使用して前記ページ上の特定のメモを読み取り識別するステップとを含むことを特徴とする請求項２に記載の方法。
【請求項５】
手書きメモを格納されたデータセットと関連付ける方法であって、
データプロセッサを使用してデータセットにアクセスするステップと、
意味のある手書きメモを作成するステップと、
前記データセットにアクセスしている時の前記データプロセッサの状態の記録にリンクされたそれらメモの画像を読み取り格納するステップと、
複数のデータセットに対して前記プロセスを繰り返すステップと、
前記データプロセッサの現状態の前記記録にアドレス指定することにより、前記データプロセッサによって現時点においてアクセスされている任意のデータセットにリンクされた前記関連付けられたメモの一部又は全てを検索して再現するステップと、
を含むことを特徴とする方法。
【請求項６】
前記メモの再現は、前記データセットも表示する画面上に表示された画像の形態であることを特徴とする請求項５に記載の方法。
【請求項７】
前記メモの再現は、プリントされた画像の形態であることを特徴とする請求項５に記載の方法。
【請求項８】
前記データセットは、ワールドワイドウェブ上のウェブページにあり、前記データプロセッサは、ウェブブラウザを備えることを特徴とする請求項１に記載の方法。
【請求項９】
前記データセットは、前記データプロセッサのナビゲーションデバイス又は他の適切なプログラムによってアクセス可能なオンラインデータリポジトリ又は掲示板に格納されていることを特徴とする請求項１に記載の方法。
【請求項１０】
前記図形入力装置において前記ページを先に記録されたページから識別するステップを含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記データセットを、他のデータセットに一時的に、任意の時間インデックス付けシステムによってリンクせず、それらがアクセスされる順序によってのみリンクすることを特徴とする請求項１に記載の方法。
【請求項１２】
格納されたデータセットにアクセスするコンピュータシステムであって、
データプロセッサによって現時点においてアクセスされている前記データセットの内容に関連するページ上のメモを手作業により入力するための図形入力装置に接続されたデータプロセッサであって、その状態が、多くのデータセットのうちの何れがアクセスされているかを判断するようになされたデータプロセッサと、
前記ページの論理空間マップにおいて前記メモの位置を識別して格納し、前記プロセッサの対応する状態にリンクされた複数のメモを構築するために前記手作業入力のステップと前記格納のステップとを繰り返し、その後、前記図形入力装置において前記対応するページを手作業で選択し、かつ、前記ページ上で前記空間マップにおける対応する先に入力されたメモを識別するようにジェスチャを行い、これを使用して前記データプロセッサをその対応する状態にリセットし、それにより前記メモにリンクされた前記対応するデータセットにアクセスすることによって、要求されたデータセットを検索する処理手段と、
を備えることを特徴とするコンピュータシステム。
【請求項１３】
格納されたデータセットにアクセスするシステムで使用されるコンピュータプログラムであって、
データプロセッサによって現時点においてアクセスされている前記データセットの内容に関連する、ページ上に手作業で入力されたメモを読み取るように図形入力装置を制御するステップと、
前記ページの論理空間マップにおいて前記メモの位置を識別して格納するステップと、
前記プロセッサの対応する状態にリンクされた複数のメモを構築するために、前記手作業入力のステップと前記格納のステップとを繰り返すステップと、
手作業で選択された対応するページを読み取り、かつ、前記ページ上で前記空間マップにおける対応する先に入力されたメモを識別するために手作業で行われたジェスチャを読み取るように前記図形入力装置を制御し、この先に入力されたメモを使用して前記データプロセッサをその対応する状態にリセットし、それにより前記メモにリンクされた前記対応するデータセットにアクセスすることによって、要求されたデータセットを検索するステップと、
を実行させることを特徴とするコンピュータプログラム。
【請求項１４】
手書きメモを格納されたデータセットと関連付けるコンピュータシステムであって、
前記データセットにアクセスするデータプロセッサと、
前記データセットにアクセスしている時に前記データプロセッサの状態の記録にリンクされた、前記データセットに関連する手書きメモの画像を読み取って格納する手段と、
前記データプロセッサの現状態の前記記録にアドレス指定することにより、前記データプロセッサによって現時点においてアクセスされている任意のデータセットにリンクされた前記関連付けられたメモの一部又は全てを検索して再現する手段と、
を備えることを特徴とするコンピュータシステム。
【請求項１５】
手書きメモを格納されたデータセットに関連付けるシステムであり、かつ、前記データセットにアクセスするデータプロセッサを有するシステムにおいて使用されるコンピュータプログラムであって、
前記データセットにアクセスしている時に前記データプロセッサの状態の記録にリンクされた、前記データセットに関連する手書きメモの画像を読み取って格納するステップと、
複数のデータセットに対してプロセスを繰り返すステップと、
前記データプロセッサの現状態の前記記録にアドレス指定することにより、前記データプロセッサによって現時点においてアクセスされている任意のデータセットにリンクされた前記関連付けられたメモの一部又は全てを検索し再現するステップと、
を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネット上のウェブページ等のような、リモートに格納されたデータセットに、それに対するインデックスとして関連付けられたメモを使用してアクセスする方法，システム，及びプログラムに関する。本発明は、また、かかるリモートに格納されたデータセットに関連するメモを検索して再現する方法，システム，及びプログラムに関する。
【背景技術】
【０００２】
ワールドワイドウェブは、テキスト，画像（画報；pictorial），音声，及びビデオの素材等のような、感覚によって知覚することができる素材を表す複雑なデータセットである。ウェブブラウジングには、例えば、本，写真アルバム，又はレコードライブラリにはない多くの実際的な制限がある。それは、ブラウジングされているページのコンテンツに関して同時にメモを取ることが厄介であり、先にブラウジングされたウェブページのセットにインデックス付けするために物理的なメモを使用することができないためである。
【０００３】
ワールドワイドウェブをブラウジングしてウェブページのコンテンツに関してメモを取ることは、純粋な電子世界において及び物理世界及び電子世界の組合せにより、既に複数の方法で支援されている。
【０００４】
純粋な電子世界では、ウェブページアドレスを「お気に入り」又は「ブックマーク」のリストの形式で記録することが既知である。これらのリストをフォルダで構成することができ、フォルダを使用して、休暇の検索等、特定のアドホッククエリを保持することができる。この手法では、メモの記録は可能でなく、アドホッククエリは、管理される必要のあるウェブブラウザのブックマークへの半永久的な変更である。ブックマークは、かかる一時的なクエリにはあまり適しておらず、しばしば既に過密状態である。
【０００５】
Ｍｉｃｒｏｓｏｆｔ  Ｆｒｏｎｔ−Ｐａｇｅ等のようなウェブページエディタを使用してメモを取ることができ、ウェブページのアドレスを、現時点において閲覧している文書へのハイパーリンクとともに記録することができる。しかしながら、これは、ウェブブラウザと制限された画面空間を奪い合うため、ユーザに対し画面空間の管理を余儀なくさせる。
【０００６】
これら電子世界ソリューションは、全て、制限された画面空間を奪い合い、如何なるメモ取りもペンと紙とを使用するほど自然ではない。
【０００７】
物理世界と電子世界との組合せでは、メモ取りのためにペンと紙とを使用する場合がある。ウェブページアドレスを、単にＵＲＬを書き留めることによって手作業で記録してもよい。そして、ウェブページを検索するためには、アドレスを直接タイプ入力する。この場合、記録とその後の検索との両方において誤りが起こりやすく、ユーザがいくつかの処置をとる必要がある。
【０００８】
ウェブページを検索するためにウェブページアドレスをタイプする代りに、ウェブページアドレスをページからスキャンすることが理論的には可能であるが、このシステムは、未だ、最初にウェブページアドレスを紙に記録する誤りを受けやすく、手書きを取り込む手段が厄介な場合がある。
【０００９】
この変形では、メモ取りにペンと紙とを使用するが、ウェブページアドレスが必要な場合には、ラベルをプリントして紙の上に配置する。これにより、ウェブアドレスを記録する際の誤りが回避される。しかしながら、ユーザがそれを再びタイプする場合に、ラベルは、容易に処理するために極めて大きいことが必要である可能性があり、光学式文字認識（ＯＣＲ）が読み取るために相当に大きくなければならない。しかしながら、バーコード又は磁気コードを通してかかるラベルを機械読取可能にすることにより検索をより容易に自動化することができるが、この場合もまた入力装置が必要である。
【００１０】
Xerox Corporationは、イベントの記録に相互に関連づけられる情報の格納及び検索に対して複数の刊行物を有している。米国特許第５,５３５,０６３号（Lamming）は、後にタイムスタンプされ、それにより連続したイベントにおける対応するイベントに一時的に関連付けられる電子メモを作成するための、ノートパッド又は他の図形入力装置上での電子的な筆記（scribing）の使用を開示している。このシステムは、音声及びビデオアプリケーションにおいて特に有用であると考えられ、メモを使用して検索される音声又はビデオの再生の動作を制御するために図形入力装置を使用することも可能である。米国特許第５,５６４,００５号では、異なる個人的メモ取りスタイル及びアプリケーション要求を補足する柔軟なメモ取りを提供するシステムの実質的な更なる詳細が記載されている。これは、システムユーザが入力するメモを、同時に又は先に記録された信号の両方に対するデータアクセス及び検索を容易にするように編成する、汎用性のあるデータ構造を開示している。
【００１１】
これらは、時間ベースのインデックス付けに限定され、任意のデータセットへのインデックス付けの手段を提供しない。
【００１２】
また、幾分か関連するのは、オブジェクトをそのオブジェクトに関連する格納されたデータにリンクするためにプリントを符号化するDigimarc CorporationのＭｅｄｉａＢｒｉｄｇｅシステムを開示する、国際公開ＷＯ００／７０５８５号である。例えば、紙製品に、視覚的に読取可能なテキストと、プロセッサによって読み取られ、対応するウェブページをダウンロードして表示するべくウェブアドレスの記録をインデックス付けするために使用されるデジタル透かしとをプリントする。ＭｅｄｉａＢｒｉｄｇｅシステムのクライアントアプリケーションは、家庭及びビジネスにおいて、消費者が、自動的に画像又はオブジェクトから通常インターネット上の追加の情報にナビゲートするために使用する。媒体所有者は、プリントする前にＭｅｄｉａＢｒｉｄｇｅコードを画像に埋め込むために、埋込みシステムを使用する。Ｈｅｗｌｅｔｔ  Ｐａｃｋａｒｄ  ＣａｐＳｈａｒｅ  ９２０スキャナ等のようなハンドヘルドスキャナを、透かし、バーコード又は光学式文字認識（ＯＣＲ）ソフトウェアが読取可能なマーク等の任意のタイプの識別子とともに使用するように構成することができる。
【００１３】
しかしながら、このシステムでは、インデックス付け情報を関連する媒体にプリントする必要があり、手作業で編集又は更新又は入力することができない。
【００１４】
国際公開ＷＯ００／５６０５５号は、また、本発明に対する背景情報を提供する。インターネットウェブサーバは、異なるユーザのウェブブラウザによりインターネット上で非同期に寄せられる、画像，テキスト文書，又はポストスクリプト若しくはＡｄｏｂｅ  ＰＤＦ等のようなページ記述言語で表される文書等のようなメモの有用なセットを構築するために、別個のメモサーバ及びデータベースを有する。メモは、それぞれの文書の内容に関連する。これらのメモは、メモが付された文書のＵＲＬを識別することにより、同じユーザか又は適切な特権を有する異なるユーザによってアクセス又は編集することが可能である。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、上述したもの等の以前のシステムの不都合を克服し又は少なくとも軽減することである。
【課題を解決するための手段】
【００１６】
第１の発明は、データプロセッサの状態が多くのデータセットのうちの何れがアクセスされているかを特定するようになされたデータプロセッサを使用して、格納されたデータセットにアクセスする方法であって、図形入力装置を使用して、前記データプロセッサによって現時点においてアクセスされている前記データセットの内容に関連するメモを、ページ上に手作業で入力するステップと、前記ページの論理空間マップにおける前記メモの位置を識別して格納するステップと、前記データプロセッサの対応する状態にリンクされた複数のメモを構築するために、前記手作業で入力するステップと前記格納するステップとを繰り返すステップと、前記図形入力装置において対応ページを手作業で選択し、前記ページ上で前記空間マップにおける対応する先に入力されたメモを識別するようにジェスチャを行い、この先に入力されたメモを使用して前記データプロセッサをその対応する状態にリセットし、それにより前記メモにリンクされた前記対応するデータセットにアクセスすることにより、要求されたデータセットを検索するステップとを含む方法を提供する。好ましくは、図形入力装置は、メモ用紙と、筆記及び／又はポインティング器具と、メモ用紙上にその内容を読み取るために焦点合せされるカメラとを備える。
【００１７】
好ましくは、メモを手作業で入力するステップは、メモ用紙のページを読み取りそのページ上の如何なるメモも先に電子的に記録されたものであるか否かを識別するステップと、それが先に電子的に記録されたものでない場合には、そのメモを電子的に記録するステップと、及び、そのページの論理空間マップを入力されたメモによって更新するステップとを含む。
【００１８】
好ましくは、この場合、検索するステップは、カメラにページを提示するステップと、及びカメラが観察し読み取ったメモ用紙上の手のジェスチャを使用してページ上の特定のメモを読み取って識別するステップとを含む。
【００１９】
異なるビデオクリップをそれらが格納されているテープ媒体によりリンクするビデオ等の時間インデックス付けシステムにより、データセットを一時的にリンクすることができるが、これは必須ではない。すなわち、例えばウェブページがアクセスされる場合、データセットを、それらがアクセスされる順序でのみリンクしてもよい。
【００２０】
第２の発明は、手書きメモを格納されたデータセットと関連付ける方法であって、データプロセッサを使用してデータセットにアクセスするステップと、意味のある手書きメモを作成するステップと、前記データセットにアクセスしている時の前記データプロセッサの状態の記録にリンクされたそれらメモの画像を読み取り格納するステップと、複数のデータセットに対して前記プロセスを繰り返すステップと、前記データプロセッサの現状態の前記記録にアドレス指定することにより、前記データプロセッサによって現時点においてアクセスされている任意のデータセットにリンクされた前記関連付けられたメモの一部又は全てを検索して再現するステップとを含む方法を提供する。
【００２１】
好ましくは、メモの再現は、データセットも表示する画面上に表示された画像の形態である。
【００２２】
好都合なことに、メモの再現は、プリントされた画像の形態である。
【００２３】
第１及び第２の発明の場合、データセットは、リモートに格納されてもよく、ワールドワイドウェブ上のウェブページにあってもよく、データプロセッサは、ウェブブラウザを備えてもよい。
【００２４】
別法として、データセットは、データプロセッサのナビゲーションデバイス又は他の適切なプログラムによってアクセス可能なオンラインデータリポジトリ又は掲示板に格納されてもよい。
【００２５】
第１の発明は、また、格納されたデータセットにアクセスするコンピュータシステムであって、データプロセッサによって現時点においてアクセスされている前記データセットの内容に関連するページ上のメモを手作業により入力するための図形入力装置に接続されたデータプロセッサであって、その状態が、多くのデータセットのうちの何れがアクセスされているかを判断するようになされたデータプロセッサと、前記ページの論理空間マップにおいて前記メモの位置を識別して格納し、前記プロセッサの対応する状態にリンクされた複数のメモを構築するために前記手作業入力のステップと前記格納のステップとを繰り返し、その後、前記図形入力装置において前記対応するページを手作業で選択し、かつ、前記ページ上で前記空間マップにおける対応する先に入力されたメモを識別するようにジェスチャを行い、これを使用して前記データプロセッサをその対応する状態にリセットし、それにより前記メモにリンクされた前記対応するデータセットにアクセスすることによって、要求されたデータセットを検索する処理手段とを備えるコンピュータシステムを提供する。
【００２６】
第１の発明は、また、格納されたデータセットにアクセスするシステムで使用されるコンピュータプログラムであって、データプロセッサによって現時点においてアクセスされている前記データセットの内容に関連する、ページ上に手作業で入力されたメモを読み取るように図形入力装置を制御するステップと、前記ページの論理空間マップにおいて前記メモの位置を識別して格納するステップと、前記プロセッサの対応する状態にリンクされた複数のメモを構築するために、前記手作業入力のステップと前記格納のステップとを繰り返すステップと、手作業で選択された対応するページを読み取り、かつ、前記ページ上で前記空間マップにおける対応する先に入力されたメモを識別するために手作業で行われたジェスチャを読み取るように前記図形入力装置を制御し、この先に入力されたメモを使用して前記データプロセッサをその対応する状態にリセットし、それにより前記メモにリンクされた前記対応するデータセットにアクセスすることによって、要求されたデータセットを検索するステップとを実行させるコンピュータプログラムを提供する。
【００２７】
第２の発明は、また、手書きメモを格納されたデータセットと関連付けるコンピュータシステムであって、前記データセットにアクセスするデータプロセッサと、前記データセットにアクセスしている時に前記データプロセッサの状態の記録にリンクされた、前記データセットに関連する手書きメモの画像を読み取って格納する手段と、前記データプロセッサの現状態の前記記録にアドレス指定することにより、前記データプロセッサによって現時点においてアクセスされている任意のデータセットにリンクされた前記関連付けられたメモの一部又は全てを検索して再現する手段とを備えるコンピュータシステムを提供する。
【００２８】
第２の発明は、更に、手書きメモを格納されたデータセットに関連付けるシステムであり、かつ、前記データセットにアクセスするデータプロセッサを有するシステムにおいて使用されるコンピュータプログラムであって、前記データセットにアクセスしている時に前記データプロセッサの状態の記録にリンクされた、前記データセットに関連する手書きメモの画像を読み取って格納するステップと、複数のデータセットに対してプロセスを繰り返すステップと、前記データプロセッサの現状態の前記記録にアドレス指定することにより、前記データプロセッサによって現時点においてアクセスされている任意のデータセットにリンクされた前記関連付けられたメモの一部又は全てを検索し再現するステップと、を実行させるコンピュータプログラムを提供する。
【００２９】
本発明を、図形インタフェース及び図形メモの代わりに、任意選択で従来の発話認識による、ユーザの発話入力の使用に対して適合してもよく、それにより音声記録を図形メモに置き換えてもよい。
【００３０】
従って、第３の発明は、データプロセッサの状態が、多くのデータセットのうちの何れがアクセスされているかを特定するようになされたデータプロセッサを使用して格納されたデータセットにアクセスする方法であって、データプロセッサによって現時においてアクセスされているデータセットの内容に関連する少なくとも１つの音声発話記録（audio speech recording）を格納するステップと、プロセッサの対応する状態にリンクされた複数の記録を構築するために、異なるデータセットにアクセスしている間に、各々がそのそれぞれのデータセットの内容に関連する音声発話記録を格納するステップを繰り返すステップと、音声発話記録のうちの１つの少なくとも一部を発話し、発話されたものから音声発話記録を認識し、その記録からデータプロセッサの対応する状態を識別し、これを使用してデータプロセッサをその対応する状態にリセットし、それにより記録にリンクされた対応するデータセットにアクセスすることにより、要求されたデータセットを検索するステップとを含む方法を提供する。
【００３１】
更に、第４の発明は、音声発話記録を格納されたデータセットに関連付ける方法であって、データプロセッサを使用してデータセットにアクセスするステップと、データセットにアクセスしている時のデータプロセッサの状態の記録にリンクされた意味のある音声発話記録を行うステップと、複数のデータセットに対してプロセスを繰り返すステップと、データプロセッサの現状態の記録にアドレス指定することにより、データプロセッサによって現在においてアクセスされている任意のデータセットにリンクされた、関連付けられた音声発話記録の一部又は全てを検索し再現するステップとを含む方法を提供する。
【００３２】
第３の発明は、また、格納されたデータセットにアクセスするコンピュータシステムであって、データプロセッサであって、その状態が、多くのデータセットのうちの何れにアクセスされているかを確定するものであり、そのデータプロセッサによって現在においてアクセスされているデータセットの内容に関連する発話の記録のための音声入力装置に接続されたデータプロセッサと、プロセッサの対応する状態にリンクされたかかる音声発話記録を格納する処理手段とを備え、前記処理手段は、音声入力装置に対しその記録を識別するように発話されている音声発話記録のうちの１つの内容の少なくとも一部に応答する発話認識プロセッサを含み、それにより前記処理手段は、発話入力に応答してデータプロセッサの対応する状態を識別し、データプロセッサをその対応する状態にリセットすることにより音声発話記録にリンクされた対応するデータセットにアクセスするようにしたピュータシステムを提供する。
【００３３】
第３の発明は、また、格納されたデータセットにアクセスするシステムにおいて使用されるコンピュータプログラムであって、データプロセッサによって現在においてアクセスされているデータセットの内容に関連する音声発話記録を記録するように音声入力装置を制御するステップと、異なるデータセットにアクセスしている間に、各々がそのそれぞれのデータセットの内容に関連する音声発話記録を格納するステップを繰り返すステップであって、それによりプロセッサの対応する状態にリンクされた複数の記録を構築するステップと、音声発話記録のうちの１つの少なくとも一部を発話し、発話されたことから音声発話記録を認識し、その記録からデータプロセッサの対応する状態を識別し、これを使用してデータプロセッサをその対応する状態にリセットし、それにより記録にリンクされた対応するデータセットにアクセスすることにより、要求されたデータセットを検索するステップとを実行させるコンピュータプログラムを提供する。
【００３４】
第４の発明は、また、音声発話記録を格納されたデータセットに関連付けるコンピュータシステムであって、データセットにアクセスするデータプロセッサと、データセットの内容に関連し、データセットにアクセスしている時のデータプロセッサの状態の記録にリンクされた音声発話を入力し記録する手段と、データプロセッサの現状態の記録にアドレス指定することにより、データプロセッサによって現在においてアクセスされている任意のデータセットにリンクされた、関連付けられた音声発話記録の一部又は全てを検索し再現する手段とを備えるコンピュータシステムを提供する。
【００３５】
第４の発明は、また、音声発話記録を格納されたデータセットに関連付ける、データセットにアクセスするデータプロセッサを有するシステムにおいて使用されるコンピュータプログラムであって、データセットにアクセスしている時のデータプロセッサの状態の記録にリンクされた、データセットに関連する音声発話を入力して記録するステップと、複数のデータセットに対してプロセスを繰り返すステップと、データプロセッサの現状態の記録にアドレス指定することにより、データプロセッサによって現在においてアクセスされている任意のデータセットにリンクされた、関連付けられた音声発話記録の一部又は全てを検索し再現するステップとを含むコンピュータプログラムを提供する。
【００３６】
より一般的には、図形又は音声若しくは別の感覚に関連するかにかかわらず、任意の記録された注釈又は注解を使用しデータプロセッサの状態及び故にデータセットにリンクさせてもよい。
【００３７】
更に、第５の発明は、データプロセッサの状態が、多くのデータセットのうちの何れにアクセスされているかを特定するようになされたデータプロセッサを使用して格納されたデータセットにアクセスする方法であって、データプロセッサによって現在においてアクセスされているデータセットの内容に関連する少なくとも１つの記録を格納するステップと、異なるデータセットにアクセスしている間に、各々がそのそれぞれのデータセットの内容に関連する記録を格納するステップを繰り返するステップであって、それによりプロセッサの対応する状態にリンクされた複数のかかる記録を構築するステップと、記録のうちの１つの少なくとも一部を繰り返し、繰り返されたものから記録を認識し、その記録からデータプロセッサの対応する状態を識別し、これを使用してデータプロセッサをその対応する状態にリセットし、それにより記録にリンクされた対応するデータセットにアクセスすることにより、要求されたデータセットを検索するステップとを含む方法を提供する。
【００３８】
第６の発明は、記録を格納されたデータセットに関連付ける方法であって、データプロセッサを使用してデータセットにアクセスするステップと、データセットにアクセスしている時のデータプロセッサの状態の記録にリンクされた意味のある記録を行うステップと、複数のデータセットに対してプロセスを繰り返すステップと、データプロセッサの現状態の記録にアドレス指定することにより、データプロセッサによって現在においてアクセスされている任意のデータセットにリンクされた、関連付けられた記録の一部又は全てを検索して再現するステップとを含む方法を提供する。
【発明を実施するための最良の形態】
【００３９】
本発明をより理解することができるように、ここで、好ましい実施形態を、単に例として添付図面を参照して説明する。
【００４０】
［好ましい実施形態の説明］
最初に図１を参照すると、この図は、動作の準備ができたメモ用紙のための図形入力装置を示している。システム／装置は、プリントされた又は筆記された（scribed）文書１、この場合は、適切には例えば休暇向けパンフレットからのプリントされたページである１枚の紙と、スタンド３により文書１の上方に保持され文書１に焦点を合わせる、適切にはデジタルカメラであり特に適切にはデジタルビデオカメラであるカメラ２と、このカメラ２が連結されたプロセッサ／コンピュータ４であって、コンピュータが適切には関連するＶＤＵ／モニタ６を有する従来のＰＣであるようなプロセッサ／コンピュータ４と、感圧性の先端を有しコンピュータ４に連結されたポインタ７との組み合わせから成る。
【００４１】
文書１は、それぞれ１つのマークがページの各隅の近傍位置あるような４つの較正マーク８ａ〜８ｄのセットと、容易に機械読取可能なページ識別子マーク９としての役割を果たし、かつ、文書１の最上部において上縁側の一対の較正マーク８ａ，８ｂの間のほぼ中央に位置する２次元バーコードとを有する、という点で、従来のプリントされたパンフレットページとは異なる。
【００４２】
較正マーク８ａ〜８ｄは、オーバヘッドカメラ２によって取り込まれる文書１の電子画像において、コンピュータ４のプロセッサにより容易に区別可能かつ位置特定可能であるように設計された位置基準マークである。
【００４３】
例示する較正マーク８ａ〜８ｄは、単純かつ頑強（ロバスト）であり、各々は、図３に示すように白色の背景上に黒色の円を有し、更にその周囲に黒色の円を有する。これにより、共通の中心を共有する３つの画像領域（中心の黒色の円，外側の白色のリング、及び外側の黒色のリング）が得られる。この関係は、ターゲットが斜めに見られる場合のように、適度な透視投影下でおおよそ保たれる。
【００４４】
カメラ２から撮影された画像において、かかるマーク８の位置を頑強に（正確に）特定することは容易である。大域又は好ましくは局所適応的閾値処理技法を使用して画像を閾値処理することにより、白色領域と黒色領域とは明確になる。かかる技法の例は、以下の文献に記載されている。
Gonzalez R.C及びWoods R.E.R.著「Digital Image Processing」、Addison-Wesley、1992、443-455頁、及びRosenfeld A.及びKak A.、Digital Picture Processing (second edition)、第2巻、Academic Press、1982、61-73頁。
【００４５】
閾値処理後、画像において結合された各白色又は黒色領域を構成する画素を、成分ラベル付け（component labelling）技法を使用して明確にする。ラスタベースでラスタに対し再帰的に及び連続的に連結成分ラベル付け（connected component labelling）／解析を実行する方法は、Jain R.、Kasturi R.及びSchunk B. 、Machine Vision、McGraw-Hill、1995、42-47頁と、Rosenfeld A.及びKak A.、Digital Picture Processing (second edition)、第2巻、Academic Press、1982、240-250頁とに記載されている。
【００４６】
かかる方法は、明示的に、各成分画素を一意のラベルに置き換える。
【００４７】
黒色成分と白色成分とを、簡単な成分ラベル付け技法を別々に適用することにより見つけることができる。別法として、黒色成分と白色成分との両方を画像にわたる単一パスで独立して識別することが可能である。また、個々の連結成分の画素に関連する統計のみを保持して、成分を、ラスタベースでラスタ上に展開するに従って暗黙的に識別することも可能である（これには、各成分のラベル付けを管理するために余分の記憶域が必要である）。
【００４８】
何れの場合も、最終的に必要なものは、各成分及び統計をその水平及び垂直範囲で構成する画素の重心である。大きすぎるか又は小さすぎる成分を、直ちに除去することができる。必要なものの残りは、およそ同じ重心を共有し、それらの水平及び垂直寸法の割合が較正マーク８におけるものとおよそ一致するものである。成分の適切な黒色，白色，黒色の組合せは、画像において較正マーク８を識別する。それらの結合された重心（各成分において画素の数によって重み付けされる）により、較正マーク８の最終位置が与えられる。
【００４９】
較正マーク８の最小物理サイズは、センサ／カメラ２の解像度によって決まる。典型的には、較正マーク８全体は、直径が約６０画素を上回らなければならない。Ａ４文書を撮像する３ＭＰカメラの場合には、１インチに対して約１８０画素であり、そのため、６０画素ターゲットが１／３インチをカバーする。図２の図示する実施形態に示すような矩形を形成するために、ページの隅に４つのかかる較正マーク８ａ〜８ｄを配置することは、特に都合がよい。
【００５０】
前額平行（垂直）に見る単純な場合には、文書の位置，向き，及びスケールを確定するために、２つの較正マーク８を正しく識別することのみが必要である。更に、固定視距離を有するカメラ２の場合には、文書１のスケールもまた固定である（実際には、文書の厚さ又は文書の積み重ねが、視距離、従って文書のスケールに影響を与える）。
【００５１】
一般的な場合、画像の２つの既知の較正マーク８の位置を使用して、画像座標から文書１の座標への変換を計算する（例えば、左上隅の原点並びに文書の短辺及び長辺にそれぞれ位置合せされたｘ及びｙ軸）。変換は、以下の式である。
【００５２】
【数１】
2005514704.tif 000003
【００５３】
ここで、（Ｘ，Ｙ）は画像の点であり、（Ｘ’，Ｙ’）は、文書ページ座標系に対する文書（１）上の対応する位置である。これらの単純な２Ｄ置換に対し、変換は３つの成分、すなわち角度θ、変換（ｔx，ｔy）及び全スケールファクタｋを有する。これらを、標準的な技法を使用して２つの一致した点とそれらの間の想像線とから計算することができる（例えば、HYPER:  A New Approach for the Recognition and Positioning of Two-Dimensional Objects、IEEE Trans. Pattern Analysis and Machine Intelligence、第8巻、第1号、January 1986、44-54頁を参照）。
【００５４】
同一の較正マーク８ａ、８ｂが２つしかないため、それらが文書の左又は右にあるか若しくは回転した文書１の上部及び下部（或いは実際には対向する対角隅）にあるかを判断することが困難な場合がある。１つの解決法は、例えばリングの数が異なる及び／又は反対の極性（黒リング及び白リングの順）を有する非同一のマーク８を使用する、というものである。このように、如何なる２つのマーク８も一意に識別することができる。
【００５５】
別法として、曖昧さを解決するために第３のマーク８を使用してもよい。３つのマーク８は、文書１のアスペクト比でＬ型を形成しなければならない。そして、文書１がユーザに対して逆さになる場合の１８０度の曖昧さのみが存在するため、それは発生する可能性が非常に低い。
【００５６】
視方向が斜めである（文書１の表面が非前額平行であることを許容し、或いはカメラ２のリグ（rig）についての特別の設計自由度を可能にする）場合には、被観察画像の座標と文書１のページの座標との間の変換を計算するためには４つのマーク８ａ〜８ｄの全てを識別する必要がある。
【００５７】
平面文書１のページの画像への透視投影に対し、以下の変換をほどこす。
【００５８】
【数２】
2005514704.tif 000004
【００５９】
ここで、Ｘ’＝ｘ／ｗ、及び、Ｙ’＝ｙ／ｗである。
【００６０】
変換を計算すると、それを使用して、文書ページ識別子バーコード９の位置をコンピュータ４のレジスタに保持されているその位置に対する予測された座標から特定することができる。また、計算された変換を使用して、画像におけるイベント（例えば、ポインティング）をページ上のイベント（その電子形態で）にマッピングすることができる。
【００６１】
図５のフローチャートは、本システムを使用して適切に実行され、文書１を指すポインティングデバイス９に関連するスイッチをカメラ２のイメージセンサの視野とともにトリガすることによって開始される、一連の動作を示す。トリガにより、カメラ２から画像が取り込まれ、その後画像は、コンピュータ４によって処理される。
【００６２】
上述したように、図１の例では、装置は、文書１がポインタ先端９でタッピングされた場合にカメラ２による画像の取込をトリガするために使用されてもよい、先端に圧力センサを有するテザー（tethered）ポインタ９を備える。この画像を、画像からページ座標へのマッピングを計算する較正のため、バーコードからのページ識別のため、及びポインタ９の先端の現在位置を識別するために使用する。
【００６３】
較正及びページ識別動作は、システム遅延を低減するために如何なるポインティング移動をもマッピングする前に実行することが最適である。
【００６４】
ポインタの先端を識別する最も容易な方法は、先端に容易に区別される位置特定可能及び識別可能な特別なマーカを使用することである。しかしながら、長くポインティングされたオブジェクトを認識する他の自動方法を動作させてもよい。実際には、システムがオペレータの指を認識し指のタッピング又は他の特有の移動又は画像取込をトリガする別個のスイッチの動作等の信号に応答するように適合される場合には、そのオペレータの指を使用してポインティングを行ってもよい。
【００６５】
使用するジェスチャを含む、手若しくはペン又はペンシル等のようなポインティング器具の何れかによって行われるポインティングのジェスチャの認識では、最初に、ポインタがカメラの視野に入る必要がある。背景除去（固定カメラ）により、移動するポインタを検出することができる。この後、ポインタは、ページ上の位置が指示されている間停止する。ポインタは、手又はペンの何れかであるため、手の肌色を検出することは有用な技法であり、ポインタは、手の本体から突出しその手とともに移動することになる。
【００６６】
手の画素の確定を、既知の背景から肌色の手の画素から分離することによるか又は手の動きを利用することによって行うことができる。これを、ガウス混合モデル（Gaussian Mixture Model（ＧＭＭ））を使用して手の領域と背景領域との色分布をモデル化し、その後、各画素に対し次のように対数尤度比を計算することによって行ってもよい。
【００６７】
【数３】
2005514704.tif 000005
【００６８】
ここで、ｘは位置を表し、ωは色を表す。
【００６９】
手の概略的な向きの確定を、手の主軸を計算し、その後重心又は第１の平均を計算しそれを第１の制御点として使用することにより行うことができる。次に、手の画素を、主軸に沿って平均の両側の２つの部分に分割する。カメラ画像の中心に最も近接する向きの画素を選択する。そして、これらの「最右」画素の平均を再計算する。その後、これらの画素を、手の画素の元の主方向に沿って新たな平均の両側の２つの部分に分割する。このプロセスを数回繰り返し、新たな平均が計算される毎にそれを制御点とみなす。
【００７０】
そして、手の向きの確定を、第１の平均から最後の平均までの線と元の主方向との間の角度を見つけることによって行うことができる。
【００７１】
ポインティングジェスチャを、指に対応する第４の平均の低標準偏差を認識することにより容易に識別することができる。ポインティングの向きを、第１の平均と最後の平均との間の角度を見つけることによって確定することができる。
【００７２】
ポインティングジェスチャの認識に関する情報は、次の文献においても見ることができる。
C. Wren、A. Azarbayejani、T. Darrell及びA. Pentland、Pfinder: Real-time tracking of the human body、In Photonics East、SPIE、第2615巻、1995、Bellingham、WA、http://citeseer.nj.nec.com/wren97pfinder.html。
【００７３】
手のジェスチャの学習に対するより高性能な手法は、次の文献に開示されている。
Wilson及びBobick著「Parametric hidden markov models for gesture recognition」、IEEE transactions on pattern analysis and machine intelligence、第21巻、第9号、September 1999。
【００７４】
更に有用な情報は、次の文献にある。
Y. Wu及びT. S. Huang、View-independent recognition of hand postures、In CVPR、第2巻、88-94頁、2000. http://citeseer.nj.nec.com/400733.html
【００７５】
現在の問題には、カメラが下方の手のジェスチャを見下ろすということがある。より困難なカメラの視点から手話を解釈するというより困難な問題が取り組まれてきた。同じ技法のより単純なバージョンを、本要件に使用することができる。
T. Starner及びA. Pentland. Visual recognition of American sign language using hidden markov models. In International Workshop on Automatic Face and Gesture Recognition、189-194頁、1995. 
http://citeseer.nj.nec.com/starner95visual.html
T. Starner、J. Weaver及びA. Pentland. Real-time American Sign Language recognition using desk and wearable computer-based video. IEEE Trans.Patt.Analy. and Mach. Intell. to appear 1998.
http://citeseer. nj.nec.com/starner98realtime.html
【００７６】
動きを使用するいくつかの手法が以下の文献に開示されている。
M. Yang及びN. Ahuja、Recognizing hand gesture using motion trajectories、In CVPR 2000、第１巻、466-472頁
http://citeseer.nj.nec.com/yang00recognizing.html
また、身体全体のポインティングジェスチャについては、以下の文献に開示されている。
R. Kahn、M. Swain、P. Prokopowicz及びR. Firby. Gesture recognition using the Perseus architecture. In Proceedings of IEEE Conference on Computer Vision and PatternRecognition,734-74頁、1996. 
http://citeseer.nj.nec.com/kahn96gesture.html
【００７７】
紙のページの境界を識別するためにプリントされた見当合せマークを使用する代りに、ページを背景から識別することができ、メモが書かれた紙のページが矩形である（例えば、背景を黒色に設定することができる）場合には、ページ境界を識別するために標準的な画像分割技法を使用することが可能である。ページの境界が確定されると、四辺形が確定されることになる。すなわち、四辺形の隅を使用してページの正規化画像との４つの対応点を画定することができる。これらの４つの対応点を使用して、紙の正規化画像（すなわち、まっすぐに見下ろしたような）を取得するために画像を歪ませ再サンプリングするために使用することができる透視変換（上述したように）を定義することができる。
【００７８】
カメラがメモ用紙の遮られていないビューを有すると想定することができる場合には、作業は簡略化される。しかしながら、人間がメモ用紙の上に書いている間にそのメモ用紙の正規化ビューを取得することが必要である。メモ用紙の境界の初期見当合せを行うことができ、その後それが移動するに従い輪郭を追跡することができる。
【００７９】
紙の境界を確定する標準画像処理技法の例には以下のものが含まれる。
ハフ（Hough）変換−ハフ変換を使用して、画像内の直線の発生を検出することができる。カメラの下で観察されるページを、透視変換により矩形から四辺形に変換する。そのため、ページ境界を、画像の４つの明瞭な線の交差部分によって形成する。従って、明瞭な背景を画定する重要性は、紙と背景との高コントラストを生成することである。
【００８０】
スネーク（Snake）−紙の境界を見つけるためにハフ変換より高性能な技法を使用してもよい。スネークの一形態は、エネルギー最小化プロセスを使用して初期位置（縮小の場合の画像の外側及び風船のような拡大の場合は背景領域内の最小囲み矩形等）からページ境界に縮小又は拡大する動的輪郭モデルである。これらの技法は、ここでのページ境界より複雑な輪郭に対して開発されており、そのため、これらのより単純な要件に対して適合される必要がある。
【００８１】
この文脈では、以下を参照する。
M. Kass、A. Witkin及びD. Terzopoulos、 Snakes: Active Contour Models、Proc. Ist Int.、Conf. On Computer Vision、1987、259-268頁
V Caselles、R. Kimmel及びG. Sapiro、Geodesic active contours、In Fifth International Conference on Computer Vision、Boston、MA、1995
http://citeseer.nj.nec.com/caselles95geodesic.html
T F Cootes、A. Hill、C.J. Taylor及びJ. Haslam、The use of active shape models for locating structures in medical images、In Proceedings of the 13th International Conference on Information Processing in Medical Imaging、Flagstaff、AZ、June 1993、Springer-Verlag、http://citeseer.nj.nec.com/cootes94use.html。
【００８２】
手の遮蔽に対して輪郭を正しく追跡することができる技法については、A Blake及びM. Isard、Active Contours、Springer-Verlag、1998を参照する。これらの技法は、より一般的な輪郭に対して開発されたものであり、本出願の極めて単純な要件に対しては特化しなければならない。
【００８３】
この説明において、「データセット」という用語は、テキスト，画像，音声，及びビデオ素材等のような、人間が自分の感覚を通して知覚可能な如何なる情報内容をも含むように意図されている。それは、例えば、インターネット上のウェブページのコンテンツであってもよい。
【００８４】
「メモ」という用語は、筆記又は記号若しくは他のジェスチャの形態であるか、ページ上に手で配置された、プリントされたラベルの形態であるかにかかわらず、任意の手書き又はプリント素材をも意味することが意図されており、ページの僅かな部分又はページ全体若しくはいくつかのページを占めてもよい。それは、ノートパッド上に電子的に作成されてもよいが、より好ましくは、直観的に使用するために最も容易であるため、紙又は他の何らかの２次元永久記憶媒体上に作成される。メモは、バーコード等のコードであってもよい。紙の文書は、図２乃至図４に関して上述した形態のものであってもよいが、ページの上に見当合せマーク又は識別マークがプリントされていることは必須ではなく、例えば、縁又は隅を検出することによりページの向きを確定するプログラム、及び、画像形成システムにおいて歪みを補償するプログラムは、容易に入手可能である。重要な点は、後述するように、メモ取りが進むに従いメモのページの論理的空間マップが徐々に構築される、ということである。
【００８５】
ここで、本発明を具現化するコンピュータシステムについて、図６乃至図８を参照して説明する。ウェブブラウザを使用してワールドワイドウェブにアクセスするために、パーソナルコンピュータ（ＰＣ）又は他の適切なプロセッサを使用し、これは、図１乃至図５を参照して上述したもの等の図形入力装置に接続される。図５を参照して例として説明した画像処理を、ＰＣによって行ってもよく、或いはカメラに統合されたプロセッサによって行ってもよい。更に、図６乃至図８に示す、メモを処理しそれらをウェブページの内容に関連付けるソフトウェアを、ＰＣに組み込んでもよく或いは専用統合プロセッサに組み込んでもよい。別法として、ウェブブラウザをカメラとともに又はカメラとは別個に他のソフトウェアに統合することにより、ＰＣを使用しなくてもよい。
【００８６】
ユーザは、従来の方法でウェブをブラウズし、カメラに提示されたメモ用紙上でペン又は他のスタイラスを使用することにより手書きで同時にメモを取る。この例では、これをメモ用紙の別個のシート上で行うことにより、システムを、メモの別個のページを認識するように構成する。各ページは、それがメモ自体であるか何らかの見当合せマークであるかにかかわらず、その内容により別個に識別可能である。
【００８７】
システムは、まず、カメラに置かれている新たなメモページを検出する（図６の上部）。「紙を正規化ビューに見当合せ」ステップにおいて、システムは、ページの向きを認識し、カメラのビューを最適化する。システムは、タグを使用するか又は画像処理を使用することにより、メモのページをメモのページの理想的なビューに見当合せしてもよい。純粋な画像処理を使用して、ページ境界を確定し、その後に四辺形をページの正規化ビュー（上述したように）に見当合せしてもよい。ページの画像をスキャンし処理することにより、システムは、メモページを相関プロセス（タグ又は画像処理を使用して）により先に記録されたメモのページと比較することによって、そのメモページが先に記録されたか否かを判断することができる。
【００８８】
カメラの下に配置されたメモが以前に見られたか否かを判断するために、ページの画像をカメラに置かれた先のメモと比較しなければならない。
【００８９】
メモの全てのページの正規化ビューが取得されると想定することにより、問題が極めて単純化される。画像類似性の多くの概念を使用することができるが、それらは、通常、回転，変換，及びスケーリング等のような幾何学的変形に対して不変であるように選択される。明らかに、これらの技法は、まだ使用することができ、この問題を扱うために使用することができる多種多様の画像処理技法がある。
【００９０】
画像類似性測度としての相互相関は、おそらく最も単純な手法である。
【００９１】
【数４】
2005514704.tif 000006
【００９２】
ここで、ｘ、ｙは２つの正規化画像であり、ｍｘ、ｍｙはそれらの平均であり、２つの画像を比較するための遅延（ｄ）は０となる。相互相関を、輝度空間で計算することも色空間で計算することも可能であるが、ベクトル分析に対して僅かに適合させなければならない。以下を参照のこと。
R. Brunelli及びT. Poggio、Template matching: matched spatial filters and beyond、Pattern Recognition、30(5):751-768、1997、http://citeseer.nj.nec.com/brunelli95template.html
http://astronomy.swin.edu.au/pbourke/analysis/correlate/index.html
【００９３】
ページのレイアウト又は空間構造を検査するより、高性能な手法を使用することができる。
Chew Lim Tan、Sam Yuan Sung、Zhaohui Yu及びYi Xu School of Computing...、Text Retrieval from Document Images based on N-Gram Algorithm、PRICAI Workshop on Text and Web Mining
Jianying Hu、Ramanujan Kahi及びGordon Wilfong、1999、Document image layout comparison and classification、In Proc. Of the Intl. Conf. on Document Analysis and Recognition
H. S. Baird、Background Structure in Document Images、in H. Bunke(Ed.)、Advances in Structural and Syntactic Pattern Recognition、World Scientific、Singapore、1992、253-269頁
http://citeseer.nj.nec.com/baird92background.html
【００９４】
より単純な色及びテクスチャベースの類似性測度を使用することができる。
Anil K. Jain及びAditya Vaitya、Image retrieval using colour and shape、Pattern Recognition、29(8):1233-1244、August 1996
http://citeseer.nj.nec.com/jain96image.html
John R. Smith及びShih-Fu Chang、Visualseek: a fully automated content-based image query system、In Proceedings of ACM Multimedia 96、87-98頁、Boston MA USA、1996
http://citeseer.nj.nec.com/smith96visualseek.html
N. Howe、Percentile blobs for image similarity、In Proceedings of the IEEE Workshop on Content-Based Access of Image and Video Libraries、78-83頁、Santa Barbara、CA、June 1998、IEEE Computer Society
【００９５】
メモページが既知のメモページである場合には、図６のシステムは、次のステップ、すなわち、画像形成されたメモページを一時的に現メモページとして識別する「現メモページ記録を設定」ステップに進む。ページが以前に記録された疑いが幾分かある場合には、ユーザは、任意選択で、この時点で対話して選択肢のドロップダウンリストから選択する。先に記録されたメモページを識別することができない場合には、新たなメモページ記録を作成し、これを現メモページとして設定する。
【００９６】
紙を見当合せするステップを繰り返し、次の段階は、ユーザがメモを書く意図があることを示したか否か又はユーザが対応するデータセットを検索するために既存のメモのページを使用しているか否かによって決まる。この質問に対する回答を、ペンがカメラに対して提示されているという事実若しくはスイッチをクリックするようにスタイラスが押圧されているという事実等といったような、ユーザ入力によって確定する。
【００９７】
メモを書いている場合には、図７により詳細に示す「メモ記録を更新」ステップにおいて、ページに手作業で新たなメモを付す。
【００９８】
「メモ記録を更新」と題された図７に示すルーチンにおいて、紙を理想的なビューに見当合せするステップを繰り返し、その後に、システムは、紙に書き込みがなされているかを判断する。書き込みがなされていない場合、ルーチンは終了する。一方、紙に書き込みがなされている場合には、手でメモが取られるに従いメモの外観を更新し、ページ上にマーキングされている領域を特定し、その後マーキングされた領域を、この例では、ウェブブラウザが現ＵＲＬをブラウジングしているという事実を含む、データプロセッサで実行しているアプリケーションの状態に関連付ける。そして、ルーチンは終了する。このように、ページ上のマーキングされた領域の各々を、メモが取られた時に閲覧されていた対応するウェブページに関連付ける。
【００９９】
このように、プロセッサは、位置が既知である複数の異なるマーキングされた領域を含む、ページの論理空間マップを作成する。このマップは徐々に作成する。ページ上の空間位置を占有するものは何でもマップの一部となり得る。
【０１００】
図６のフローチャートに戻ると、システムは、それがメモ書きモードではないと判断すると、メモ動作（note action）を調べる、すなわち、既存のメモを使用してデータセットをインデックス付けするモードであるかチェックする。これに対する回答が否定である場合には、システムは、メモページがカメラの下にあるかチェックし、そうでない場合には終了するが、その後に新たなページを待つ。それは、新たなページを待っている際に、紙の適切な見当合せを、それがメモページが存在しなかったと誤って想定する理由であった場合に、確実にするようにループする。新たなページが入ってくると、システムは図６の最上部に戻り、カメラにある新たなメモを検出することによってプロセスを開始する。
【０１０１】
システムがメモ動作を調べる、すなわち、データセットをインデックス付けするモードであると想定すると、システムは、図８の「メモ探索」ルーチンに入る。
【０１０２】
図８において、正規化ビューに対して紙を見当合せするプロセスを繰り返し、その後に、システムは、「メモ動作」が検出されたか、すなわち現メモ記録が設定されているかをチェックする。検出されなかった場合には、ルーチンは、終了する。検出された場合には、システムは、カメラにおけるポインティング動作の位置を特定し、ユーザがペン又は他のポインティングデバイスを使用してジェスチャを行うことができるようにする。このジェスチャは、いくつかのあり得るメモのうちの何れが、ユーザによってデータセットに対するインデックスとして取られるように意図されるかを示す。そして、システムは、関連するメモ記録を使用してそのメモに関連するリンクのそのメモリにアクセスする。例えば、それは、指されているそのメモに関連する、ウェブサイトのＵＲＬと特定のウェブページとを識別する。そして、システムは、データプロセッサで実行しているアプリケーションを、メモが取られた時にあった状態に設定する。例えば、システムは、ウェブブラウザを関係する特定のウェブページを読み出すように設定する。そして、ルーチンは、終了する。
【０１０３】
検査されているウェブページアドレスをウェブブラウザと協働して取得することができない場合には、当然ながら、間接的な手段により取得しなければならない。
【０１０４】
メモをデータプロセッサの状態にリンクする関連付けが以前にないメモの新たなページの信号処理は、カメラの下に新たなページを配置し、新たなメモ記録を作成し、その後に、メモの領域をＵＲＬ等のアプリケーション状態に関連付けることによって行われる。これを、マウス又はキーボード若しくはジェスチャを使用して、或いは一意の識別機構により、タリスマン（talisman）の形態の特別な紙を使用することにより、行ってもよい。
【０１０５】
手書きメモが取込まれる場合、それは紙の特定の部分を占有し、この空間領域が現ウェブページに関連付けられる、ということが理解されよう。このマーキングされている領域の特定は、ページの移動と、手による紙の遮蔽と、に対処しなければならない。紙の遮蔽を、手及びペンの画像を分離するように、異なる角度から２つの別個の画像を形成し、それらが見当合せされるようにすることにより、なくすことができる。
【０１０６】
先のメモのページをカメラ画像から識別するには、異なる照明状態と、折れ曲がるか又は皺になる可能性があり如何なる任意の向きもあり得る紙の異なる状態と、をうまく処理する必要がある。
【０１０７】
対応するデータセットのアクセスを指示するために既存のメモを調べる場合には、紙の部分の選択には、紙の上でのジェスチャが必要であり、特別なペン及びボタンの使用によりこの作業を容易することができるが、単純にカメラを通してジェスチャの手及びペン追跡を使用するのがもっともらしい方法である。
【０１０８】
また、システムを任意選択で、現ユーザによるか又は他のユーザにより、例えばウェブサイトの１ページ等の特定のデータセットに関連付けられた手書きメモの一部又は全てを検索するために使用してもよい。明らかに、他のユーザによって記録されたメモへのアクセスを制御するために、何らかの形態のセキュリティを使用する必要がある。
【０１０９】
このメモの検索を達成するために、データプロセッサを、例えば特定のウェブページに対応する状態に設定し、その後に、ユーザが、そのアプリケーション状態に関連する１つ又は複数のメモに対する要求を入力する。そして、画面に、関連する１つ又は複数の手書きメモを、例えばウェブページ上のオーバーレイ画像として表示するか、又はそれらを、メモを読取可能とするために十分高い解像度で紙又は別の媒体上にプリントしてもよい。これは、例えばウェブブラウジングによる休暇又は特定の製品の検索において以前に忘れられた可能性のあるメモの再使用に役立つ。再使用されたメモを、新たなアプリケーション状態に関連付けてもよい。
【０１１０】
第３及び第４の発明の実施形態は、メモの代わりであるが、まだプロセッサにより、特定のデータセットにアクセスしている間のデータプロセッサの現状態にリンクされる音声発話を使用する。コンピュータシステムは、マイクロフォン及び増幅器を備えた音声入力装置と、ユーザからの入力発話のストリングを記録することができるデジタル又はアナログ記録媒体とを有する。このシステムは、また、格納された音声発話記録の各々を、データプロセッサの対応する状態、例えば、そのウェブブラウザが特定のＵＲＬのページを閲覧している状態にリンクするデータ記憶域も有する。このように、ユーザは、ウェブページのコンテンツに自身の注釈を付す。システムは、後に、かかる音声発話記録の全てか又は選択されたものが、データプロセッサが同じウェブページ又は他のデータセットにアクセスしている時に、音声増幅器及びスピーカを通して再現するために検索されるのを可能にする。好ましくは、システムは、また、一致又は最良の一致を見つけるために、入力発話を解釈しそれを音声発話記録と比較することができる発話認識プロセッサを備える。このように、システムに対し、それがその一致した記録に関連するデータセットにアクセスしていた時にあった状態を想定するように命令してもよい。このため、ユーザは、関連する発話記録の内容の一部又は全てを発話することにより必要なデータセットを検索することができる。システムを、候補音声発話記録とそれらの関連ウェブページ又は他のデータセットとのリストを検索するようにプログラムしてもよい。これは、先に注釈付けされたデータに対する自動検索の新たな形態である。
【０１１１】
「音声発話」には、歌及び非発話音声等の他のタイプの音声表現が含まれてもよく、人間でなくてもよい。
【０１１２】
そのほかの点では、コンピュータシステムは、メモを使用する第１及び第２の発明のものと動作は類似する。より一般的な用語では、従って、本発明を、注釈又はラベルとして音声又は図形又は他のものの何れにもかかわらず、記録の全ての形態に適用してもよく、データセットの内容に知覚的にリンクすることができる臭い及び色及び質感に適用してもよい。リンク関連付けは、コンピュータによって記録する。
【図面の簡単な説明】
【０１１３】
【図１】図形入力装置の単純なシステムアーキテクチャを示す図である。
【図２】較正マークとページ識別マークとを有するプリントされた紙の文書の平面図である。
【図３】較正マークのうちの１つの拡大平面図である。
【図４】２次元バーコードから成るページ識別マークの拡大平面図である。
【図５】図１乃至図４の図形入力装置から読み取るシステムの動作を説明するフローチャートである。
【図６】既存のメモを読み出して新たなメモを作成する、本発明を具現化するプロセスを示すフローチャートである。
【図７】図６の「メモ記録を更新」ステップを施行するルーチンを示すフローチャートである。
【図８】図６の「メモ探索」ステップを施行するルーチンを示すフローチャートである。
【図１】
2005514704.tif 000007
【図２】
2005514704.tif 000008
【図３】
2005514704.tif 000009
【図４】
2005514704.tif 000010
【図５】
2005514704.tif 000011
【図６】
2005514704.tif 000012
【図７】
2005514704.tif 000013
【図８】
2005514704.tif 000014
【国際調査報告】
2005514704.tif 000015
2005514704.tif 000016
2005514704.tif 000017