(57)【特許請求の範囲】
【請求項１】
クエリを動的に生成する方法であって、
ディスプレイ装置に、各々複数のテキスト文書の１つを表す複数のグラフィックオブジェクトを表示する工程と、
触覚ユーザインターフェースの前記ディスプレイ装置において前記触覚ユーザインターフェースへのタッチに応じて移動可能な仮想磁石でありかつ前記複数のグラフィックオブジェクトのうちの所定数のグラフィックオブジェクトを当該仮想磁石に引き寄せ又は当該仮想磁石からはじくことができる当該仮想磁石を提供する工程と、
前記複数のテキスト文書の１つをユーザが選択できると共に前記グラフィックオブジェクトの１つを前記ユーザが選択できることを提供する工程と、
前記ディスプレイ装置に、前記選択されたテキスト文書を表示する工程と、
前記表示されるテキスト文書のテキストコンテンツからのテキストフラグメントの選択として、前記触覚ユーザインターフェースでの前記表示されるテキスト文書における強調表示ジェスチャを認識する工程と、
前記強調表示ジェスチャにより前記表示されるテキスト文書から選択される前記テキストフラグメントに基づくクエリに前記仮想磁石を組み込む工程と、
を含み、
前記クエリと前記グラフィックオブジェクトが表すテキスト文書のテキストコンテンツとの機能として、前記複数のグラフィックオブジェクトのうちの前記所定数のグラフィックオブジェクトが、前記仮想磁石に引き寄せられ又は前記仮想磁石からはじかれるように、反応することと、
前記クエリの反応インスタンスを前記テキスト文書内に表示すること、
のうちの少なくとも１つを、前記仮想磁石を組み込む工程により発生させるように、前記組み込まれた前記仮想磁石が構成される
方法。
【請求項２】
前記選択できることを提供する工程は、前記所定数のグラフィックオブジェクトが、当該所定数のグラフィックオブジェクトによって表される所定数のアイテムの各々の属性の機能として前記仮想磁石に反応することを含む、請求項１に記載の方法。
【請求項３】
前記仮想磁石を組み込む工程は、コンピュータプロセッサで実行される請求項１に記載の方法。
【請求項４】
前記認識する工程は、前記強調表示ジェスチャとして前記表示されるテキスト文書への第１タッチ接触を検知する工程と、対応する強調表示テキストフラグメントを抽出する工程と、を含む、請求項１に記載の方法。
【請求項５】
前記仮想磁石の第２タッチ接触を、前記強調表示テキストフラグメントに基づいて前記クエリを更新する前記第１タッチ接触と前記第２タッチ接触との間の仮想ブリッジを生成することとして、検知する工程を更に備える請求項４に記載の方法。
【請求項６】
前記仮想磁石を組み込む工程は、
前記表示されるテキスト文書のテキストフラグメントに基づいて、第１仮想磁石が、前記クエリの第１の部分に組み込まれるようにすることと、
前記表示されるテキスト文書のテキストフラグメントに基づいて、第２仮想磁石が、前記クエリの第２の部分に組み込まれるようにすることを含み、
これにより、前記第１仮想磁石及び前記第２仮想磁石を、同時に前記テキスト文書の距離閾値内に存在するように置くことで、前記第１仮想磁石及び前記第２仮想磁石が、前記クエリが表示される前記テキスト文書に適用される、請求項１に記載の方法。
【請求項７】
前記仮想磁石を、キー入力装置を用いずに前記クエリに組み込むことを特徴とする請求項１に記載の方法。
【請求項８】
コンピュータにより実行されたとき、請求項１に記載の方法を実行する命令を符号化する非一時的な記憶媒体を含むコンピュータプログラム製品。
【請求項９】
請求項１に記載の方法を実行するための、メモリに記憶された命令と、
前記命令を実行するために前記メモリと通信するプロセッサと、
タッチコマンドを受信するため及び前記グラフィックオブジェクト、前記テキスト文書、及び前記仮想磁石を表示するために前記プロセッサと通信する触覚ユーザインターフェースと、
を備えるクエリを動的に生成するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
典型的な実施形態は、グラフィックオブジェクト（ｇｒａｐｈｉｃ  ｏｂｊｅｃｔ）を操作する装置及び方法に関する。典型的な実施形態は、具体的には、仮想磁石を表示する触覚ユーザインターフェース（ｔａｃｔｉｌｅ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）に関する。仮想磁石により、指又は道具により誘導される磁石の動作を通してテキスト文書等の表示グラフィックオブジェクトをその対象が示す下部のアイテムの属性の機能として操作することができる。特定のユーザインターフェース設計、及びその機能を用いるマルチタッチ式対話型システムにより、ユーザは、対話型テーブル、対話型ウィンドウ、マルチタッチ式タブレット型コンピュータ、及びマルチタッチ式タブレット型ＰＣ（以後本明細書では、これら全て触覚ユーザインターフェース（ＴＵＩ）と呼ぶ）のマルチタッチ式画面の対話式コンテンツを通して操作を簡単に行うことができる。ＴＵＩは、ユーザの手又は道具の動作を検知するディスプレイ装置及びタッチ画面を内蔵する。検知された動作は、キーボード、カーソルを操作する装置等を使用する従来のユーザインターフェースと同様に実行される命令に変換される。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
しかし、標準画像のユーザインターフェース設計をマルチタッチ式の対話型装置に変換することは、必ずしも簡単とは限らない。この結果、タッチ画面のアプリケーションが提供する機能を使用するために、ユーザは複雑な操作を覚えなければならなくなる可能性がある。また、手の動作では通常、キーボードでは実現できる精度に欠け、ユーザの指は大きさや形が異なるため、異なるタッチ信号がタッチ画面からアプリケーションへ送信される。
【課題を解決するための手段】
【０００３】
典型的な実施形態の態様によれば、クエリを動的に生成する方法は、ＴＵＩへのタッチに応じて触覚ユーザインターフェース（ＴＵＩ）のディスプレイ装置上を移動可能な仮想磁石を提供する工程を含む。この方法は、ユーザが一連のテキスト文書のうちの１つを選択できるようにする工程と、その選択されたテキスト文書をディスプレイ上に表示する工程をさらに含む。ＴＵＩ上での表示文書全般に渡る強調表示ジェスチャは、文書内のテキストコンテンツ内からテキストフラグメントが選択されたことと認識される。強調表示ジェスチャにより表示テキスト文書の中から選択されたテキストフラグメントに基づくクエリに仮想磁石を組み込む（ｐｏｐｕｌａｔｅ  ｗｉｔｈ）。これにより、組み込まれた磁石を、ａ）表示グラフィックオブジェクトの少なくとも一部に、クエリの機能としての磁石への反応及びグラフィックオブジェクトが表す各文書のテキストコンテンツを示させることグラフィックオブジェクト、ｂ）テキスト文書内の応答インスタンスを表示させること、のうちの少なくとも一方を発生させるように設定する。
【０００４】
この方法ではコンピュータのプロセッサを用いて組み込みを行うことができる。
【０００５】
この方法にはさらに、触覚ユーザインターフェースのディスプレイ装置上に一連のグラフィックオブジェクトを表示することを含み、各グラフィックオブジェクトはテキスト文書のうちの１つを表す。ユーザが一連のテキスト文書のうちの１つを選択できるようにする工程には、グラフィックオブジェクトうちの１つをユーザが選択できるようにすることが含まれ得る。
【０００６】
ユーザが一連のテキスト文書のうちの１つを選択できるようにする工程には、一部のグラフィックオブジェクトに、その一部においてグラフィックオブジェクトが表す各アイテムの属性の機能としての磁石への反応をグラフィックオブジェクト示させることが含まれ得る。
【０００７】
認識する工程には、強調表示ジェスチャとして表示テキスト文書への第１タッチ接触を検知することと、対応する強調表示テキストフラグメントを抽出することが含まれ得る。
【０００８】
この方法は、仮想磁石の第２タッチ接触を、第１接触と第２接触の間に仮想ブリッジを生成することとして検知することが含まれ得、これにより強調表示テキストフラグメントに基づくクエリを更新する。
【０００９】
この方法では、選択されるテキストフラグメントに基づいて組み込みが行われる基本モードと、選択されるテキストフラグメントにより満たされる実体クラス又は構文解析の規則を識別し、その実体クラス又は構文解析の規則に基づいて組み込む工程が行われる詳細モードと、を含む複数の組み込みモードを提供することが含まれ得る。
【００１０】
この実体クラスは、名前付き実体クラス内の名前付き実体を識別する名前付き実体クラスでよい。
【００１１】
所定の一連の名前付き実体クラスから実体クラスを選択することができる。
【００１２】
一連の名前付き実体クラスには、人名クラス、団体クラス、日付クラス、場所クラス、及びこれらの下位クラスから成るグループから選択される複数の名前付き実体クラスが含まれ得る。
【００１３】
この方法にはさらに、表示テキスト文書からの距離閾値より低い位置に組み込まれた磁石があるときに表示テキスト文書内の応答インスタンスを表示する工程と、表示グラフィックオブジェクトからの距離閾値より低い位置に組み込まれた磁石があるときにクエリ及びグラフィックオブジェクトが示す各文書のテキストコンテンツの機能として一部の表示グラフィックオブジェクトを磁石に向けて移動させる工程のうち少なくとも一方を含むことができる。
【００１４】
仮想磁石をクエリに組み込む工程は、選択されるテキストフラグメントを含むテキスト文書の少なくとも一部分に構文解析プログラムを適用して、実体又は実体クラスを識別することを含むことができ、この方法は、実体又は実体クラスと同じ構文解析プログラムを表示テキスト文書に適用する工程と、表示テキスト文書内の応答インスタンスを表示する工程をさらに含むことができる。
【００１５】
仮想磁石をクエリに組み込む工程は、構文解析プログラムを選択されるテキストフラグメントを含むテキスト文書の少なくとも一部分に適用して、実体又は実体クラスを識別することを含むことができ、さらにこの方法は、実体又は実体クラスに対する構文解析プログラムを一連のテキスト文書に適用して、実体又は実体クラスのインスタンスを識別する工程と、クエリ及び各文書の構文解析されるテキストコンテンツの機能として一部の表示グラフィックオブジェクトを磁石に向かって移動させる工程を含む。
【００１６】
組み込む工程は、第１の仮想磁石を、表示される文書のテキストフラグメントに基づくクエリの第１の部分に組み込まれるようにすることと、第２の仮想磁石を、表示される文書のテキストフラグメントに基づくクエリの第２の部分に組み込まれるようにすることとを含むことができ、これにより、第１の磁石及び第２の磁石が同時に文書の距離閾値内に存在するように位置決めすることでクエリが表示文書に適用される。
【００１７】
クエリはイベントクエリを含むことができ、クエリの第１の部分は第１の名前付き実体又は実体クラスを含むことができ、そしてクエリの第２の部分は第２の名前付き実体又は実体クラスを含むことができる。これにより第１の磁石及び第２の磁石を表示文書と並べて位置決めすることで、第１の名前付き実体又は実体クラスと、第２の名前付き実体又は実体クラスを含む事象とが識別される。
【００１８】
キー入力装置を使用することなしに磁石をクエリに組み込むことができる。
【００１９】
仮想磁石は、指や他の物理的な道具のうちの少なくとも１つのタッチ画面へのタッチに応じてディスプレイ装置上で位置を移動することができる。
【００２０】
指や他の物理的な道具を用いて強調表示ジェスチャを行うことができる。
【００２１】
仮想磁石をクエリに組み込む工程では、ユーザが一連の表示された有限の問い合わせ語の中からの問い合わせ語を１つ選択できるようにすることをさらに含むことができ、クエリは、表示テキスト文書の中から選択されたテキストフラグメント及び選択された問い合わせ語に基づく。
【００２２】
この方法は、表示グラフィックオブジェクト上の実際の物又は一本以上の指で行うグラフィックオブジェクト既定のジェスチャにより各テキスト文書を一時的のみ表示する一覧モード提供する工程をさらに含むことができる。
【００２３】
コンピュータプログラム製品は、コンピュータにより実行されると方法を行うための命令をコード化する非一時的の記録媒体を含むことができる。
【００２４】
クエリを動的に生成するシステムは、メモリ内に記憶された方法を行うための命令、メモリと通信する命令を実行するためのプロセッサ、及びプロセッサと通信してタッチによる命令を受信し、グラフィックオブジェクト、テキスト文書、及び仮想磁石を表示するための触覚ユーザインターフェースを含むことができる。
【００２５】
典型的な実施形態の別の態様によると、クエリを動的に生成するシステムは、関連したメモリ内に記憶されたテキスト文書、及びＴＵＩ上のタッチに応じてディスプレイ上を移動可能な少なくとも１つの仮想磁石を表示するディスプレイ装置を含む触覚ユーザインターフェースの画面装置を含む。このメモリは、ディスプレイ装置上に表示されたテキスト文書のうちの１つのユーザに選択されたフラグメントに基づくクエリを生成するため、及び仮想磁石をクエリに組み込むための命令を記憶する。テキストフラグメントは、１つの文書上での強調表示ジェスチャにより選択される。メモリと通信するプロセッサが命令を実行する。
【００２６】
命令は名前付き実体を認識するよう設定された構文解析プログラムを含むことができ、クエリは名前付き実体クラスを含むことができ、この名前付き実体クラスの選択されたテキストフラグメントはインスタンスである。
【００２７】
仮想磁石には、ディスプレイに表示される複数の仮想磁石が含まれ得る。
【００２８】
各仮想磁石を、組み合わせて複合クエリを形成するクエリの各部分に組み込むことができる。
【００２９】
仮想磁石は、指や道具うちの少なくとも１つを用いたタッチ画面のタッチに応じてディスプレイ装置上で位置を移動することができる。
【００３０】
別の態様によると、触覚ユーザインターフェースは、タッチ画面を含むディスプレイ装置を含む。以下の項目を実行するための命令をメモリ内に記憶させる。１）ディスプレイ装置上に、それぞれが各テキスト文書を表す一連のグラフィックオブジェクトを表示する。２）仮想磁石をタッチ画面のタッチに応じてディスプレイ装置上で移動できるようにする。３）各グラフィックオブジェクトの選択に対応してテキスト文書のうちの１つを表示する。４）表示テキスト文書上の強調表示ジェスチャを表示テキスト文書の中から選択したテキストフラグメントとして認識する。５）選択されたテキストフラグメントに基づいたクエリに磁石を組み込む。プロセッサがメモリ及びディスプレイ装置と通信して命令を実行する。
【図面の簡単な説明】
【００３１】
【図１】典型的な実施形態の態様による、触覚ユーザインターフェースを組み込んだ典型的な装置の機能ブロック図である。
【図２】文書等のアイテムを表示するグラフィックオブジェクト（正方形）、及びメニューモード時の仮想磁石を表示した画面例である。
【図３】メニューモード時の図２の仮想磁石の拡大図である。
【図４】磁石のメニューモードを介して選択されたフィルタに対応してグラフィックオブジェクトを自身に向けて引き寄せる図２の仮想磁石を表示した画面例である。
【図５】選択されたテキスト入力に磁石を組み込む第１の方法において、文書をテキスト入力を識別するモードで開いたときの画面例である。
【図６】典型的な実施形態の別の態様による、仮想磁石をクエリに組み込む典型的な方法の工程を示すフローチャートである。
【図７】典型的な実施形態の一態様による、図６の方法において単一文書上でクエリモードで磁石を使用する典型的な方法の工程を示すフローチャートである。
【図８】詳細モードでの仮想磁石の操作によるテキスト入力に基づいた磁石をクエリに組み込む方法を示すフローチャートである。
【図９】選択されたテキスト入力を組み込んだ磁石を文書に適用した画面例である。
【図１０】選択されたテキスト入力に磁石を組み込む第２の方法を表示した画面例である。
【図１１】選択されたテキスト入力に磁石を組み込む第３の方法を表示した画面例である。
【図１２】一実施形態において磁石の動作に対応するテキスト文字列を表示する画面例である。
【図１３】一実施形態により、詳細クエリを生成している画面例である。
【図１４】一実施形態により、２つの磁石を使用する文書に事象クエリを適用した画面例である。
【図１５】典型的な実施形態の一態様における一覧図である。
【図１６】表示されたキーワードで磁石を更新するための仮想ブリッジを使用した画面例である。
【発明を実施するための形態】
【００３２】
典型的な実施形態は、触覚ユーザインターフェース（ＴＵＩ）及びその使用方法に関する。文書を一人以上のユーザの自然なジェスチャを通してインターフェース上にて表示及び操作することができる。
【００３３】
典型的なＴＵＩは、タッチ画面を有するディスプレイ装置を含む。この画面は文書等のアイテムを示す一連のグラフィックオブジェクトを表示する。仮想磁石が画面上に表示され、タッチ画面のタッチに応じて移動する。本出願で使用するための好適なマルチタッチ式触覚ユーザインターフェースは、Ｃａｒｏｌｉｎｅ  Ｐｒｉｖａｕｌｔらによる「仮想磁力による表示された対象の操作」と題した米国特許公開広報第２０１０／０３１３１２４号（以後本明細書では「Ｐｒｉｖａｕｌｔ」と呼ぶ）に記載されている。本明細書で記載する通り、このインターフェースを文書にクエリを行うために改良及び／又は適用することができる。
【００３４】
Ｐｒｉｖａｕｌｔに開示された仮想磁石は、実際の磁石と同じようにアイテムを「引き寄せる」又は「反発させる」ことができる。具体的には一部のグラフィックオブジェクトが仮想磁石への反応を示す。一部の各グラフィックオブジェクトの反応は、グラフィックオブジェクトにより示されるアイテムの属性の機能である。ユーザは主としてタッチセンサー式ディスプレイ装置上での指によるタッチ及びジェスチャを通してＴＵＩと対話する。対話は一回以上の指によるタッチを通して及び／又は単一の拳又は手のひらなど画面と接触する大きなタッチ領域、又はその他の画面を叩く対象を介して行われる。タッチ画面のディスプレイは、ユーザによるタッチを検知し、画面上のそれらの位置を変換して磁石及び命令と関連付ける。
【００３５】
典型的な実施形態では、タッチ画面を使用してクエリ用語を入力する機構も提供され、実際のキーボード、又はソフトウェア・キーボードは必要なくなる。
【００３６】
本明細書で記載される仮想磁石は、Ｐｒｉｖａｕｌｔに記載された仮想磁石の機能以外に付加的な機能も有する。例えば、この仮想磁石によりインターフェースのディスプレイに表示される単一の文書又は複数の文書とより詳細なやり取り行うことができる。具体的には、簡単なキーワードの検索に加えて名前付き実体の抽出、事実の抽出等のより詳細な検索及び情報の抽出処理にこの仮想磁石を使用することができる。これらの処理は、表示文書のテキストコンテンツを構文解析することに依存する。例えば、多くの文書を調査すると、ユーザはそれらの文書に関する理解を少しずつ深めることができ、これにより検索すべき新しい用語又はトピックスを発見することができる。この仮想磁石により、新しいテキストを入力して動的に仮想磁石を更新することで、ユーザはクエリを改良する機会を得る。仮想磁石により、ユーザと情報検索システムやテキスト抽出アルゴリズム等の複雑なシステムの間の対話がより容易で、直観的で、スムーズになる。ユーザはキーボードの必要なしで検索を行うことができる。
【００３７】
本明細書で使用される「仮想磁石」又は単に「磁石」は、画面上に表示され、ユーザが見ることができるボタン等のアイコンでよい。仮想磁石はユーザのタッチに対応して、画面領域内を移動できる。仮想磁石は、表示された近くの対象を反応させることができるという点で実際の磁石と同様の機能を有する。ここで、対象は画面に表示されるグラフィックオブジェクトでよい。ある典型的な実施形態では、仮想磁石は対象を自己に向けて引き付けることができる（又は場合により、反発させる）。対象は、画面全般をその元の位置から仮想磁石により近い（又は、より遠く離れた）新しい位置へ移動することができる。別の実施形態では、対象が示す仮想磁石への反応には、色、大きさ、形状、強調表示、又はそれらの組み合わせのうちの１つ以上の変化等、ＴＵＩを見る人が容易に識別可能な、グラフィックオブジェクトの目に見える特性の変化を含んでよい。
【００３８】
いくつかの実施形態では、典型的な仮想磁石が表示される対象による反応を導き出す。この反応は表示された対象により示された下部のアイテムの１つ以上の属性の機能である。各対象は一連のアイテムのうちの１つを示す。典型的な実施形態では、アイテムはテキスト文書及び／又はデジタル画像等の電子文書であるが、この後により詳細に説明する通り別の種類のアイテムもまた考えられることは言うまでもない。
【００３９】
表示される典型的なグラフィックオブジェクトは、メモリ内に記憶された一連の電子テキスト文書を示す。この場合、グラフィックオブジェクトに磁石への反応を起こさせるテキスト文書の属性は、単語又はテキスト文字列等のテキストコンテンツの有無、又は文書中に見られるキーワードの頻度等の全体としての文書コンテンツ、類似性に基づいて所定のクラスタのうちの１つに文書を自動的に割り当てることにより生成されるクラスタ・ベースの属性、又は送信された日付、著者、文書の長さ、文書の種類、画像コンテンツなどのメタデータ等の文書あるいは外部のメタデータ・ファイルから抽出される他の任意の属性に基づくことができる。類似性に基づく文書のクラスタリングは、例えば、米国特許公開広報第２００７／０１４３１０１号、第２００７／０２３９７４５号、第２００８／０２４９９９９号、及び米国特許公開広報第２０１０／００８８０７３号に記載されている。
【００４０】
本明細書で開示される少なくとも１つの種類の仮想磁石はクエリ磁石と呼ばれ、クエリに組み込まれる。「組み込まれる」とはクエリがメモリ内で磁石に関連付けられ、次いで組み込まれた磁石を用いた適切なジェスチャを通して文書又は一連の文書に適用されることを意味する。クエリは、例えばＴＵＩに表示された１つ以上の文書から、ユーザによりタッチ画面装置のタッチ動作を通して選択された１つ以上のテキストフラグメントに基づく。応答文書コンテンツ、又は応答文書等の応答インスタンスを識別するために、このような磁石を単一の文書又は文書を示す一連のグラフィックオブジェクトに適用することができる。
【００４１】
本明細書で使用される「文書」とは一般にテキストの集まりを指し、より大きな文書の下位部分でもよく、及び／又は図面、写真等の他の情報も含むことができる。一般に文書は、英語又はフランス語等の自然言語で表現され、語彙及び文法を有する１つ以上のテキスト文字列を含む。文書の各テキスト文字列はフレーズ又は文節と同じくらい短くてもよく、一般に１文を含み、及び２つ以上の連続する文を含んでもよい。一般に入力文書は複数のこのようなテキスト文字列を含む。各テキスト文字列は、単語、フレーズ、数字、及び日付、又はそれらの組み合わせ等の複数のテキスト要素を含むことができる。典型的なテキスト文書には、ワード文書、スプレッドシート、ＰＤＦファイル、テキストを抽出するためにＯＣＲ処理された読み込み文書、ウェブページ、ＸＭＬファイル等が含まれる。入力ＸＭＬ文書及びウェブページの場合、検索可能なテキスト文字列には隠しテキストが含まれ得る。
【００４２】
本明細書で使用される「テキストフラグメント」とは、（通常は連続する）文書の表示テキストの一部を指し、このテキストフラグメントはユーザが選択でき、例えば１つ以上のテキスト要素、テキスト文字列又は複数の文字列、又は１つ以上のテキスト要素の一部さえも含むことができる。例えば、ユーザは関心のある単語の一部分だけでもテキストフラグメントとして選択することができる。
【００４３】
「名前付き実体」とは、名前で実体を識別する１つ以上の単語（テキスト要素）の集まりである。例えば、名前付き実体には、人（名前又は役職等）、団体（会社、機関、協会、政府、又は個人団体の名前等）、場所（国、州、町、地理的領域等の名前等）、人工物（自動車など消費者製品等の名前等）、特定の日付、通貨表記、又は名前付き実体を普通名詞から区別するために一般的に大文字で表記されるその他の適切な名前が含まれ得る。規則に基づいた構文解析プログラムの場合、名前付き実体は特定の規則の適用（時にはパターンとも呼ぶ）により抽出されるため、名前付き実体は、システムに適用された名前付き実体の規則が抽出することができる任意の実体でよい。名前付き実体を規定し抽出する別の方法を、以下に説明する。
【００４４】
「実体クラス」とは人、団体、又は日付等の同じ種類の名前付き実体の集まりを指し、そのクラスの中にあるとシステムが認識する、テキスト内の実体の任意のインスタンスにより満たされる。実体クラスは、会社名や政府機関等の下位クラスでもよい。
【００４５】
典型的な実施形態の目的のために、「事象」とは２つの実体の間の関係と考えることができる。各実体は、名前付き実体又は実体クラスでよく、これらのインスタンスを構文解析プログラムの適用を通してテキストから抽出することができる。いくつかの実施形態では、「事象」を述部とその項及び任意の修飾語の間の関係と考えることができる。形式上、述部は２つの実体の間の関係を表現し、この関係に関わる実体を述部の項と呼ぶ。例えば、「Ｍａｒｙ  ｅａｔｓ  ａｎ  ａｐｐｌｅ  ｅｖｅｒｙ  ｄａｙ」という文では、「Ｍａｒｙ」の一塊がこの文の主語であり述部の項である。「ｅａｔｓ  ａｎ  ａｐｐｌｅ」の一塊が述部であり、残りの一塊「ｅｖｅｒｙ  ｄａｙ」は最後に来るため述部の修飾語である。下部文字列「ａｎ  ａｐｐｌｅ」は「叙述名詞」として指定される。動詞「ｅａｔｓ」が事象の性質を表わし、２つの名詞「Ｍａｒｙ」と「ａｐｐｌｅ」はこの事象に関わる実体を指す。
【００４６】
１つ以上の磁石を使用して文書から抽出することができる典型的な各事象は、Ｘ及びＹによりそれぞれ示される第１の実体及び第２の実体を含む。Ｘは少なくとも文の主語の一部であり、Ｙは文の述部の一部を形成することができる。実体Ｘと実体Ｙは述部の一部である動詞Ｖにより結び付けられる。組（Ｘ、Ｖ、Ｙ）で示される関係は文法規則により抽出できる。その例は次のように法則化できる。
主語＿名詞（Ｘ、Ｖ）及び目的語＿名詞（Ｙ、Ｖ）及び名前付き実体（Ｘ）及び名前付き実体（Ｙ）
すなわち、Ｘは１つ以上の単語を含む名詞句であり、名前付き実体として認識され動詞Ｖの主語である。そしてＹは１つ以上の単語を含む名詞句であり、同様に名前付き実体として認識され動詞Ｖの目的語である。ＮＥは名前付き実体又は名前付き実体クラス（概念上の名前付き実体）を示し、典型的な実施形態では、仮想磁石を使用してユーザにより指定される。これに関しては後でより詳細に説明する。動詞Ｖはその不定詞形等により指定することができ、動詞の全てのインスタンス又はより制限された１つ以上の一連の時制、又は動詞の特定な形を含む。すなわち動詞Ｖには、任意の動詞又は予備選択された一連の動詞が含まれ得る。実体Ｘ及びＹの一方又は両方が名前付き実体である必要がない場合でも同様の規則を作ることができることは言うまでもない。
【００４７】
例として次の文を考えてみる。
「ＡＢＣ  Ｃｏｒｐ．  ｓｕｅｄ  ＢＣ  Ｃｏｒｐ，  ｉｎ  Ｕ．Ｓ．  Ｄｉｓｔｒｉｃｔ  Ｃｏｕｒｔ．」
【００４８】
２つの実体「ＡＢＣ  Ｃｏｒｐ．」と「ＢＣ  Ｃｏｒｐ．」の間で種類の事象「ｓｕｅｄ」を抽出できる。
【００４９】
典型的な実施形態において、名前付き実体、実体クラス及び事象のインスタンスは構文解析プログラムの文法規則を用いてテキストから抽出されるが、ａ）辞書又は参照コーパスの観測度数を伴う「用語配列」の表を用いた統計に基づく構文解析プログラム、ｂ）正規表現の一致に基づく構文解析プログラム、ｃ）有限状態オートマトンに依存する構文解析プログラム、ｄ）並列実現法（逐次照合ではなく）を通して実行される構文解析プログラム、又はそれらの組み合わせ等を用いる他の種類の規則に基づいて抽出を実行可能であることは言うまでもない。
【００５０】
典型的なＴＵＩにより、ユーザに文書及びその他のアイテムを素早く簡単に分類、選別、及び／又は検索する手段が提供される。典型的なシステムはユーザにとって直観的で、簡単に覚えられ、順応性があり得る。ＴＵＩは簡単に移植、（再）設定、及び拡張可能で、多くの異なるテキストの抽出及び検索関連作業を命令することができ、磁石の動的な動作を通してディスプレイ装置のマルチタッチ式画面との対話を可能することもできる。
【００５１】
図１には典型的な触覚ユーザインターフェース（ＴＵＩ）１０を含む文書閲覧システム１が示されている。ＴＵＩはＬＣＤ画面又はプラズマ画面、コンピュータモニタ等のカラーで表示できるディスプレイ装置１２を含む。タッチ画面１４は複数の実行可能領域を含んでおり、これらは独立してディスプレイ１２の画面の上又はディスプレイ１２の画面と一体の対象（タッチセンサー式）の接触又は近接に反応する。実行可能領域は、加圧、熱、及び／又は動作を感知可能である。画面の異なる領域内のタッチ接触が異なる操作と関連するように、実行可能領域はそのタッチ画面１４全域に渡り見えない光線のアレイ又は格子を形成できる。タッチ画面はまた、１つ以上の仮想磁石１６を表示し、ユーザはディスプレイ装置１２のタッチ画面へのタッチ動作を通して仮想磁石１６を動かすことができる。このタッチ動作は、画面にタッチする一本以上の指１７又は道具又は手のひら全体等の比較的大きなタッチ領域を有する別の実際の物をもちいてもよい。
【００５２】
本明細書で使用することができる、指のタッチによる対話が可能な、典型的なタッチセンサー式画面装置１０は、多数のデジタル対象を表示でき、このデジタル対象を一人以上のユーザが自然なジェスチャを通して操作することができる大型のマルチタッチ式画面と、一度で全てのグラフィックオブジェクトを部分的に（又は縮小した全てのグラフィックオブジェクト）を表示し、画面上の文書のうちの選択した一部を閲覧することができる小型の画面（例えば、携帯電話の画面サイズ）を有するディスプレイ装置を含む。指又は道具が、加圧を通してでなくカメラ又は熱センサーにより検知される場合、「タッチ接触の検知」及び同義語は、画面に接触する又は近接する指や他の道具を検知することを示唆するが、必ずしも実際に画面と接触する必要はないことは言うまでもない。
【００５３】
図１に示されたＴＵＩ１０は、仮想磁石１６及び仮想磁石１６が操作するグラフィックオブジェクト２０、２１、２２等のセット１８を表示するよう設定される。各グラフィックオブジェクトは、それぞれデジタル文書２４、２５、２６等のデジタル・アイテムの集まりのうちの１つを示す。各グラフィックオブジェクト２０、２１、２２は、アイコン、各文書のサムネイル画像等の画素配列を含む。検索される文書の集まり１８を、タイル・アイコン、クラウド・アイコン、一列に並んだアイコン等の様々なアイコンの配列でタッチ画面ディスプレイ装置１２上に示すことができる。
【００５４】
本明細書で開示される典型的な磁石１６を用いて実行するいくつかの典型的なＴＵＩ１０の機能は、後でより詳しく説明するが、次のようなものが含むことができる。
１．ユーザが一本以上の指でタッチ画面ディスプレイに接触して文書のテキストフラグメントを強調表示する過程の中で、テキスト入力の選択を可能にする。
２．一本以上の指又は物による接触等を通してテキスト入力を仮想磁石に関連付ける。
３．下記の１つ以上のモードでの検索を可能にする。
ａ）タッチ画面ディスプレイに表示される文書上又は一連の文書内での、簡単な仮想磁石操作又は異なる磁石の組み合わせによる基本検索（簡単なキーワードの照合等）（基本クエリモード）、
及び／又は
ｂ）タッチ画面ディスプレイ装置に表示される文書内（又は、一連の文書内）での、仮想磁石の操作又は異なる磁石の組み合わせによる詳細検索（名前付き実体又は事象抽出等）（詳細クエリモード）。
【００５５】
これらの機能を繰り返して、及び／又は組み合わせて、複雑で詳細な文書テキストコンテンツの分析を実行することができる。
【００５６】
仮想磁石１６は、指による画面へのタッチに応じて、若しくは円筒又はスタイラスペン等の他の適当なサイズの道具によるタッチに応じて、ディスプレイ装置１２の全域に渡って例えば、直線的な、曲線的な、それ以外の動きなど様々な方向へ動作可能であり、及び移転可能である。例えば、指１７又は無生物の物が接触する領域の中に存在する概算のタッチセンサー式要素は、検知され、磁石１６と関連付けられる。別の実施形態では、タッチ画面１４は赤外線を発するエミッタとコレクタのペアの配列を備えて見えない光の格子を画面上に投影する。指１７又はその他の道具等により光線が遮断されると、信号が遮断された位置をコレクタで検知し、Ｘ、Ｙのタッチ座標に変換し、これを磁石に関連付ける。
【００５７】
典型的な仮想磁石１６は、ディスプレイ装置の画面１４に表示されるカラーの画素の配列を含み、様々な設定で磁石の各状態を示すことができる。典型的な実施形態では、これらの設定にはメニューモード（図３）、選別モード（図４）、クエリ生成モード（図５等）、及び少なくとも１つのクエリモードが含まれ、これらモードの中ではクエリに組み込まれた少なくとも１つの磁石が１つ以上の文書に適用される。
【００５８】
このように、１つ以上の磁石１６はユーザのクエリに組み込まれることができる。典型的な実施形態では、これは指／道具の接触でのみ実現できる。すなわち、実際のキーボード又は仮想キーボード、キーパッド等を用いたタイピングによるテキスト入力の必要はない。ユーザのクエリは開いた文書から選択されるテキストに基づくことができる。クエリに組み込まれた磁石１６を本明細書ではクエリ磁石と呼ぶ。事前設定されたフィルタ機能と共に起動する磁石を本明細書ではフィルタ磁石と呼ぶ。いくつかの実施形態では、磁石をフィルタ機能とユーザのクエリの両方と共に起動させることができる。表示グラフィックオブジェクト２０、２１、２２の全セットと、選択されたフィルタ機能と共に起動する磁石を用いて一連の文書から選択する一部の表示対象（全部ではない）、又は単一文書２４、２５、２６、又は各グラフィックオブジェクトをクリックして開いた文書の集まりに、典型的なクエリ磁石１６を適用することができる。起動したクエリ磁石１６はフィルタ磁石と同じように、下部の文書のクエリに対する反応に応じてグラフィックオブジェクトを自己に向けて引き寄せることができる。開いた文書内で、クエリ磁石は文書のテキスト内で応答インスタンスを表示させる。クエリ磁石を単一又は１つ以上の他の磁石と組み合わせて使用して複合クエリを生成することができる。例えば、２つのクエリ磁石１６を同時に、又は１つのクエリ磁石と１つのフィルタ磁石を組み合わせて使用することができる。２つの（又は３個以上）クエリ磁石を、開いた文書２４内で同時に使用するとき、表示される応答インスタンスは２つの磁石の複合クエリに基づく。典型的な磁石１６は、それぞれがフィルタ機能及び／又はクエリ機能と共に起動することができ、従って、クエリ磁石及び／又はフィルタ磁石として機能することができる。しかし、これら機能の１つ種類と共に起動できる磁石を提供できることが考えられる。クエリ磁石に関してさらに詳細な説明を以下に行う。
【００５９】
ディスプレイ装置１２は、コンピュータ装置３０と接続して動作する。このコンピュータ装置には、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、携帯情報端末、携帯電話、又はコンピュータ機能を有するその他の装置等、１つ以上の汎用コンピュータ装置又は専用コンピュータ装置等が含まれる。一実施形態では、コンピュータ３０はテーブル装置等として画面１２の裏などのタッチ画面装置１０に埋め込まれる。コンピュータ３０はプロセッサ３２及びそのプロセッサと通信するメインメモリ３４を含み、このメインメモリ３４がディスプレイ装置及びタッチ画面の機能、そして仮想磁石１６の機能を実行するためのコンピュータのプログラム命令を記憶する。具体的には、コンピュータメモリ３４はディスプレイコントローラ３６、及びタッチ式検知システム３８を記憶し、ディスプレイコントローラ３６はディスプレイの内容を制御し、タッチ式検知システム３８は指が接触するタッチ画面１４の位置及び画面全般に渡る指１７の動作を検知し、それらに対する反応の信号を出力する。これらの構成要素３６と３８の両方とも、ＴＵ１０に設けられるソフトウェアの一部を形成することができる。更に、仮想磁石の制御アプリケーション４０（「仮想磁石コントローラ」）は、タッチ検知システム３８から信号を受信し、そのタッチ信号に応じて仮想磁石１６、グラフィックオブジェクト２０、２１、２２、及び関連機能を制御するために、制御信号をディスプレイコントローラ３６に送信する。具体的には、磁石コントローラは表示される磁石の動作及び状態、グラフィックオブジェクト２０、２１、２２の動作、及び磁石と対象の間のやり取りを、対応する電子文書の集まり及び／又は一時メモリ４８等のコンピュータメモリ内に記憶されたその他のアイテムを形成する文書２４、２５、２６等の属性に（少なくとも部分的に）基づいて制御する。
【００６０】
ある実施形態では、磁石コントローラ４０は、ディスプレイコントローラ３６／タッチ検知システム３８へのプラグイン・ソフトウェア・コンポーネントとして機能する。別の実施形態では、磁石コントローラ４０を（少なくとも部分的に）コンピュータ３０と通信するサーバに常駐させ、電話回線、もしくはローカル・エリア・ネットワーク（ＬＡＮ）又はインターネット等のワイド・エリア・ネットワーク（ＷＬＡＮ）などの有線又はワイヤレスの接続を通して、常駐させた磁石コントローラ４０にアクセスすることができる。例えば、自動文書分類、文書テキストコンテンツ分析、文書処理、キーワード検索、パターン又は文字列照合、辞書又はその他の言語学的資源を用いる検索、ＮＬＰ技術を用いるサーバ側の処理による自然言語処理、又は文法規則及び／又はロバスト構文解析の適用ンなど、磁石の操作に対応して引き起こされるいくつかの動作を、サーバとのやり取り及び通信を通して遠隔的に実行することができる。これらの全ての処理もまたコンピュータ３０上で実行できる。
【００６１】
入力／出力インターフェース５０により、コンピュータ３０はディスプレイ装置１２と通信してタッチ画面１４からのタッチ信号を受信することができる。スピーカ５４、及びテキスト入力のためのキーボード５６、及び／又はユーザ入力情報及びコマンド選択をプロセッサ３２に通信するためのマウス、トラックボール等のカーソル操作装置５８と、コンピュータは通信することもできる。しかし典型的な実施形態では、全てのユーザ入力はタッチ画面を通して行われる。モデム、イントラネット又はインターネット接続、ＵＳＢポート、ディスクスロット等の別の入力／出力インターフェース６０により、文書２４、２５、２６及び／又はその他のアイテム、及び／又はその事前計算済みの属性６２を外部の情報源から一時メモリ４８に入力できる。文書から抽出することができる典型的な属性には、特定キーワードの有無、文書サイズ、例えば、メタデータ内に記憶された文書に割り当てられるクラス、既定の文書又は一連の文書に対する文書の類似性を示す機能、テキストに適用する言語分析及び文法規則の出力、文書に割り当てる日付、文書に割り当てる著者、文書に関連する保管場所、文書に関連するネイティブ・フォーマット、それらの組み合わせ等が含まれる。
【００６２】
コンピュータ装置３０の構成要素３２、３４、４８、５０、６０は、データ／制御バス６４を通して通信できる。これらの構成要素はディスプレイ装置１２と連携して図６から図８に示す方法を実行するように設定されている。
【００６３】
仮想磁石コントローラ４０の動作については、この後の方法に関する説明を参照すると最もよく理解できる。しかし、簡単に言えば、コントローラ４０はプロセッサ３２が実行するソフトウェア命令を含み、この命令は構成ファイル６６、関連構文解析プログラム７０と情報交換できるクエリ生成プログラム６８、検索部７２、及び演算部７４を含む。クエリ生成プログラム６８は、文書２４、２５、２６のうちの１つのテキストコンテンツのフラグメント等、ユーザが選択するテキストフラグメントに基づいたクエリを生成する。構文解析プログラム７０は、１つ以上の文書のテキストコンテンツを構文解析するよう設定されている。いくつかの実施形態では、構文解析プログラム７０を、強調表示したテキストフラグメントが満たす構文解析プログラムの文法規則（又は複数の規則）を識別するよう設定することができる。このような文法規則を使用して、クエリ生成プログラム６８は文書のテキストに適用するクエリを生成してテキスト内の実体名又は実体クラス等のクエリのインスタンスを識別することができる。別の実施形態では、テキストフラグメントはクエリとして機能することができる。
【００６４】
検索部７２は、選択されるグラフィックオブジェクト２０、２１又は２２に対応する文書２４、２５又は２６を識別し検索する。演算部７４は、選択された文書２４内のクエリに応答するテキストフラグメントを識別、及び／又はクエリに応答する一部の文書をコンピュータ処理する。具体的には、構文解析プログラム７０は、構文解析プログラムによりテキストフラグメントを標識する名前付き実体又は実体クラスを識別するよう設定される。クエリ生成プログラム６８により、このような名前付き実体／実体クラスの標識を使用してクエリを生成することができる。次いで、演算部７４は選択された文書２４内の同じ名前付き実体／実体クラスで標識されたテキストフラグメントを識別し、及び／又はクエリに応答する文書の一部、すなわちユーザが規定するテキストフラグメントの名前付き実体／実体クラスと同じ名前付き実体／実体クラスで標識されたテキストフラグメントを含む文書をコンピュータ処理する。
【００６５】
例えば、クエリを実行される文書がまだ構文解析されていない場合、クエリを他の構文解析規則と組み合わせて実行できることは言うまでもない。例えば、演算部７４は、選択された文書２４及び／又は一部の文書内で実行中の構文解析プログラム７０を実行することができる。
【００６６】
他の実施形態では、クエリが生成される前に文書を構文解析する。例えば、アプリケーションが起動するときに構文解析プログラム７０をバッチモードで立ち上げ、ユーザとシステムがやり取りをする前に全てのテキストを集め事前に予備処理可能な全ての文書に適用することができる。これにより、全ての文書が、事前にクラス実体名で標識されたテキストコンテンツを有することができる（例えば、ＸＭＬのようなマークアップ又は既知の実体クラス名を指定する他の挿入標識を通して）。結局、１つ以上のターゲット文書の磁石の動作を通して、いくつかの構文解析を含むクエリをユーザが開始するとき、演算部７４は構文解析プログラムをターゲット文書に適用する必要はなく、クエリと関連付けられる同じ実体クラス（又は他の規則）で標識されたターゲット文書からテキストフラグメントを選択することができる。この予備処理はまた、アプリケーションに送信するデータを用意するための事前必要条件として遠隔サーバを通して、又は完全にアプリケーションの外部で実行することができる。
【００６７】
タッチ画面上の既定のジェスチャ又は複数のジェスチャにより、ユーザは表示された対象２０、２１、２２のうちの１つ以上を閲覧のために選択することができる。例えば、図５に示す通りユーザは対象をダブルクリックして下部の文書２４を開き、そのテキストコンテンツ７５を閲覧できる。ユーザは１つ又は一連の検索する文書を処理（読み出し、閲覧、分類、保存等）できる。
【００６８】
文書２４を使用してクエリを生成することは後程説明するが、それに加えてユーザは文書を開く前後どちらかで１つ以上の文書を後で閲覧するためにキュー７６内に一時的におくことができる（図４）。例えば文章をドラッギング及びドロッピングをすることにより、ユーザはいつでも他の文書をキュー７６に追加できる。ユーザが特定の作業で文書を閲覧する場合、例えばそのユーザの閲覧に基づいて文書２４を応答又は非応答等として応答及び非応答にそれぞれ対応する適切なアイコン７７、７８の上にその文書をドラッギングとドロッピングすることにより、手動で分類することができる。いくつかの実施形態では、一連のキーワード等の表示される一連の問い合わせ語７９から１つ以上を選択することにより代替的に又は追加的に磁石をクエリに組み込むことができる。説明を容易にするための図５には図示しないが、典型的な実施形態では、典型的なキュー７６、アイコン７７、７８及び問い合わせ語のセット７９はそれぞれ画面１２（図４）の各領域に位置し、文書の選択、クエリの生成、及びクエリ処理の間にユーザはいつでもこれら全てを閲覧及び／又はアクセスできる。
【００６９】
プロセッサ３２は、コンピュータ３０のＣＰＵ又はプログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺の集積回路素子等の１つ以上の処理装置でよい。
【００７０】
コンピュータで読取可能なメモリ３４、４８は組み合わせて使用しても、分離して使用してもよく、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、磁気ディスク又は磁気テープ、光ディスク、フラッシュメモリ、又はホログラムメモリ等のすべての種類のコンピュータで読取可能な媒体を意味することができる。ある実施形態では、コンピュータメモリ３４、４８は、ランダム・アクセス・メモリとリード・オンリー・メモリを組み合わせたメモリを含む。いくつかの実施形態では、プロセッサ３２とメモリ３４を単一のチップ内に組み合わせることができる。
【００７１】
磁石コントローラ４０は、ハードウェア、ソフトウェア、又はそれらの組み合わせの中に組み入れることができる。例示する実施形態では、磁石コントローラ４０はメモリ３４内に記憶された処理命令を含み、この処理命令は関連するプロセッサ３２により実行される。具体的には、プロセッサ３２はメモリ３４内に記憶されたコンピュータプログラム命令を実行し、図６から図８を参照して以下に説明する方法を行う。
【００７２】
図６には、クエリを生成し１つ以上のデジタル文書に適用する典型的な方法が示されている。この方法は、本明細書に記載する仮想磁石１６を用いて実行される。Ｓ１００からこの方法はスタートする。
【００７３】
Ｓ１０２において、テキスト文書２４、２５、２６等のアイテムを受信し、コンピュータメモリ４８内に記憶する。各アイテムに対して対応するグラフィックオブジェクトのセット内でグラフィックオブジェクト２０、２１、２２を生成し、各文書に関連付け表示する。複数の異なる応答機能を記憶することができ、これらの応答機能を８４、８６、８８、９０などの機能を選択するアイコンのうちの各１つにそれぞれ関連付け、表示することができる（例えば、図３に示す画面例を参照）。
【００７４】
Ｓ１０４において、仮想磁石制御アプリケーション４０を起動する。ディスプレイ装置の現状画面ですでに磁石１６が表示されている場合、ユーザが仮想磁石１６にタッピング又はタッチすることにより起動させることができる。あるいは、ユーザは画面上のアイコン（図示せず）にタッチして、プロセッサに磁石の構成ファイル６６を実行させることができる。あるいは、ドロップダウン・メニュー又は他の手段により、磁石のアプリケーションを選択することができる。グラフィックオブジェクト２０、２１、２２等（それぞれ各文書２４、２５、２６に対するグラフィックオブジェクト）を画面１２に表示する。ある実施形態では、対象の表示は自動的に行われる。他の実施形態では、ユーザがメニューを使用してファイルを選択でき、図２に示す通り、文書２４、２５、２６に対応する選択されたファイル内のグラフィックオブジェクトだけが、例えば二次元のブロック配列として表示される。別の実施形態では、対象を様々な形態で表示してアイテムの複数の属性を示すことができる。例えば、対象は様々な色、形状、サイズ、及び／又はテキストコンテンツを有し、下部のアイテムの属性を図形で示すことができる（図１）。ある実施形態では、例えば、米国公開特許第２０１０／０３１２７２５号に記載されているようにクラスタリングアプリケーション（図示せず）は、各アイテムを文書の類似性に基づいて所定の数のクラスタの１つに割り当てるようにアイテムを全て自動的にクラスタにまとめる。この実施形態では、対象２０、２１、２２を色分け（各クラスタに対し一色）、又は図形により区別できる。アイテム内の特定のキーワードの存在、割り当てるクラス等もまた属性とすることができ、これらに基づいて最初に対象を区別する。
【００７５】
Ｓ１０６において、ユーザは文書２４を選択して閲覧する。Ｐｒｉｖａｕｌｔに記載されている通り、この選択は画面に表示されるフィルタ磁石１６を使用して行うことができる。あるいは、ユーザは閲覧するために、単に対象のうちの１つをランダムに選択すること、事前にキュー７６内に置かれた対象のうちの１つを引きだすこと、それ以外の方法で文書を選択することができる。図５に示すように、ダブルタッチ又は他のジェスチャにより、選択されたグラフィックオブジェクト２１を開いて下部テキスト文書２４のテキスト９５を表示する。
【００７６】
Ｓ１０８において、ユーザは開いた文書２４を読み、閲覧し、クエリを生成するために使用されるテキスト文書のテキストフラグメント９９（全部でなく一部）を選択する。前に述べた通り、選択されたテキストフラグメント９９は文全体、若しくは単一の単語又は２語以上の連続する単語又は文字列などの文の一部だけでもよい。ユーザは、テキストの上での指の動作等のジェスチャによりテキストフラグメントを選択する。システム１（例えば、クエリ生成プログラム６８）は、ジェスチャをテキストの選択と認識し、色による強調表示、テキストの周りボックス、異なるフォントスタイル又はサイズ、下線、太字、画面の別の領域へのテキストの移動などにより、選択されたテキストフラグメント９９を強調表示、または他の方法で識別する。Ｓ１１０において、選択されたフラグメント９９は、システム１により抽出され、テキスト入力として記憶される。
【００７７】
Ｓ１１２において、選択されたテキスト入力に基づいたクエリに磁石１６を組み込む。磁石が第１の基本モードのとき、クエリは選択されたテキスト入力に直接基づく。磁石が第２の詳細モードのとき、クエリを生成するために使用された選択されたテキスト入力に基づいて、実体クラス（又は文法規則）識別することができる。
【００７８】
この段階では、集合内の全文書でクエリは構文解析プログラムにより実行でき、例えば、応答インスタンス向けのＸＭＬ標識を用いて、応答インスタンスを有する文書を識別することができる。あるいは、構文解析プログラムによりユーザが閲覧を決めた単一の文書又は一連の文書のみでクエリを実行できる。いくつかの実施形態では、磁石を組み込む前に集合内の文書を全て構文解析して、例えば、文書内の名前付き実体を識別し、各インスタンスを名前付き実体クラスに関連付ける。
【００７９】
磁石を組み込まれると、次にこの磁石を使用してクエリを実行する。磁石１６と関連付けることができる様々な検索機能には、１）「肯定文選別」すなわち、既定のキーワードベースの検索規則等の文書を選別できる任意の規則、２）「文書の類似性」例えば、そのコンテンツに基づいて既定のサンプル文書とその他の文書の間の類似の度合いを識別できる任意のアルゴリズム、３）「文書分類」例えば、そのテキストコンテンツ及び／又はビジュアルコンテンツに基づいて既定のラベルを文書に関連付けることができるアルゴリズムを介する任意の自動分類プログラム、のうち１つ以上が含まれ得る。
【００８０】
ある実施形態では、Ｓ１１４で画面モードを検知することができる。画面モードが文書閲覧モード（図５に示す）の場合、方法はＳ１１６に進む。あるいは、画面モードがグラフィックオブジェクト表示モード（図１、図２、及び図４に示す）の場合、方法はＳ１１８に進む。これらの閲覧モードのどちらも、例えば、文書を開くために画面上に表示されたアイコンをクリック、又はグラフィックオブジェクトをクリックすることによりユーザが選択できることは理解されよう。
【００８１】
Ｓ１１６では、既に組み込まれているクエリ磁石１６を使用して開いたテキスト文書２４（又は一連の文書）内の応答インスタンスを表示することができる。
【００８２】
Ｓ１１８では、応答文書に対応する一部の表示グラフィックオブジェクトを既に組み込まれているクエリ磁石１６に反応させることができる。
【００８３】
Ｓ１２０で方法は終了する。必要に応じていつでもＳ１３６が発生し、そのＳ１３６ではシステム１はキーワード等の一連の既定の問い合わせ語７９を画面に表示でき、Ｓ１３６で、磁石１６を選択された１つ以上の表示されたキーワード７９に基づいたクエリに組み込むことができる。キーワードは単独、又は文書からユーザが選択したテキスト入力と組み合わされたものでもよい。
【００８４】
次に図７を参照すると、表示文書のクエリ（Ｓ１１６）は次の通り進む。文書は既に開かれているため、画面上に表示される組み込まれたクエリ磁石１６は「テキスト選択」モードと解釈され、指のタッチ等により表示した文書に近い位置に移動することができ（Ｓ２０２）、この文書は、クエリ又は異なる文書２５、２６を生成するために使用した同じ文書２４でよい。磁石１６の上に表示するなどクエリ１００を視覚的に表示することができる。
【００８５】
Ｓ２０４において、システム１は磁石が文書から所定の距離以内に位置するか否かを検知する。文書の近くに他の磁石がある場合、システムはそれらの磁石も検知する（Ｓ２０６）。Ｓ２０８において、磁石のクエリに応答する表示文書のテキストコンテンツ１０２が識別され、強調表示（テキスト９９に関して）又は応答インスタンス１０２を表示する等の任意の好適な方法を用いてユーザへ表示される。応答テキストコンテンツ１０２は単語、一連の単語、文、句、等のテキスト文字列でよい。識別されたテキストコンテンツ１０２は、他のテキストを挟んだ単語を含むことができる。例えば、別々に又は組み合わせてクエリに応答する２つ以上のテキスト文字列を表示することができる。複数の磁石が距離閾値内で検知された場合、Ｓ２１０で、２つの磁石の各クエリ（クエリの一部）から複合クエリが生成され、Ｓ２０８で応答テキストコンテンツ１０２が表示される。
【００８６】
ある実施形態では、Ｓ２１２で、磁石が文書の上に位置する場合（ユーザが指でタッチして磁石を選択された文書の領域の上に位置させる等）、方法はＳ２１４に進み、そこで表示テキストコンテンツ１０２は、表示文書の磁石に近い領域（ページの磁石と同じ行又は同じ部分内等）内のテキストコンテンツに限定され、磁石からより離れた第２の領域内のテキストコンテンツ１０２は表示されない。
【００８７】
Ｓ１１８において、画面表示がグラフィックオブジェクト表示モードの場合、磁石の上への指のタッチが検知され、「文書選択」モードと解釈される。いくつかの実施形態では、表示グラフィックオブジェクト２０、２１、２２の組み込まれているクエリ磁石１６への反応が異なり、１つ以上の表示対象を他の対象から区別できるようにする。典型的な一実施形態では、下部のアイテムの属性（又は一連の属性）の機能として対象は磁石に向かって移動し、それ以外は機能の所定の閾値に達しなければ静止したままである。別の実施形態では、反発力も模倣でき、その属性の機能としていくつかの対象を仮想磁石から遠くへ移動させることができる。さらに別の実施形態では、アイテムの属性の機能として対象は仮想磁石から様々な距離に自己を配置する。
【００８８】
例えば、システム１は組み込まれた磁石１６が表示グラフィックオブジェクトのうちの１つ以上のから所定の距離以内に存在するか否かを検知する。所定の距離以内の場合、下部文書がクエリ１００に応答するテキストコンテンツ１０２を含むこれらのグラフィックオブジェクトのうちのいずれかのグラフィックオブジェクトが識別され、クエリに対応して磁石に向かって移動する。Ｓ１０６ではユーザが文書を開くことができる。次いで方法は、Ｓ１１６へ進むことができ、そこでユーザは文書又は一連の文書を閲覧することを決め、その／それら文書にＨＴＭＬタグ等の標識で注釈を付けることができ、テキストの関心のある一部を強調表示したり、アイテムを手動で分類したり、特定のファイル内にアイテムを入れたり、又はアイテム上で任意の他の適切な動作を実行することができる。あるいは、方法はＳ１０８に続き、新しい／更新されたクエリ磁石を生成する。
【００８９】
図６及び図７では、一連の典型的な工程が示されているが、システム１は追加的又は代替的なジェスチャを認識することができ、それによりユーザは色々な形で文書を操作及び／又はクエリを行うことができることは言うまでもない。
【００９０】
次に図８を参照すると、Ｓ１１２において磁石の詳細モードを実行される。この詳細モードはユーザによる指の動作、磁石上のタッピング等の適切なジェスチャを用いて選択することができる。この方法には、次のようなサブ工程が含み得る。Ｓ３００において、構文解析プログラム７０が文書２４のテキストコンテンツ９５を構文解析して、テキストに形態学的情報をテキスト内の単語に割り当てる標識で注釈を付け、一連の文法規則のアプリケーションがテキストの要素間の関係を識別する。例えば、文書２４、２５、２６をメモリ内に取り入れるときなど早い段階で文書テキストの構文解析を行うことができる。あるいは、ユーザが詳細モードを使用することを選択する場合、後で文書テキストの構文解析を行うこともできる。その場合は、構文解析プログラム７０は表示文書２４又は磁石１６に近に位置するその一部だけは構文解析しなくてはならない。構文解析には、クラスＣに所属する名前付き実体、及びその名前付き実体と他のテキストの要素の間の関係の抽出が含まれる。
【００９１】
Ｓ３０２において、システム１は強調表示されたテキスト入力と一致する構文解析プログラムの実体クラスＣが存在するか否か確認する。各構文解析プログラムの実体クラスＣを１つ以上の文法規則に関連付けることができ、これらの文法規則が満たされるとテキストフラグメントがそのクラスと一致していると見なされる。磁石の整合機能（又は実体規則）の１つの種類は、強調表示テキストフラグメント内の強調表示された単語のうちの少なくとも１つに対応する名前付き実体のクラスを識別する整合機能である。磁石を使用して生成できる別の種類の磁石の整合機能は、名前付き実体クラスＣが実体Ｘ及び／又は実体Ｙとして機能する事象を識別する整合機能である。事象の種類のクエリを生成する方法をこの後にさらに詳しく説明する。
【００９２】
一致する実体クラスが見つかった場合、Ｓ３０４において、クエリ磁石１６をクラスの検知を実行するクエリに組み込む。磁石をクエリに組み込む様々な方法を以下に説明する。その中には手動の方法及び自動の方法が含まれる。仮想磁石１６はその上に実体クラス名の表示し（例えば、「日付」）、その磁石にクラスＣを関連付ける。
【００９３】
次に、方法は、例えば、Ｓ１１６に進むことができる。そこでは磁石上の指の接触により詳細モードの磁石を作動させる。磁石が文書の近くに位置するとき、構文解析プログラムを文書全体に適用し、この構文解析プログラムが実体クラスＣと一致していると識別するテキストフラグメントを識別する（Ｓ３０６）。これには、文書を完全に構文解析して検知された全ての名前付き実体を識別する構文解析プログラムを適用する工程と、次いでターゲットの実体クラスＣと一致するテキストフラグメントのみを選別する工程とが含まれ得る。これらの一致したテキストフラグメント、又はそれらを含むより大きなテキスト文字列を文書内又は磁石の周りなどに表示するクエリへの回答１０２とすることができる（Ｓ３０８）。この方法を代替的に又は追加的にＳ２１２に進めることができ、磁石に近いクエリへの回答だけを表示することができることは言うまでもない。
【００９４】
Ｓ３０２において、記憶された構文解析プログラムの実体クラスＣが強調表示されたテキストフラグメントと一致しない場合、次に、Ｓ３１０において、この方法は強調表示されたテキストフラグメントを基本クエリとして処理し、この強調表示されたテキストフラグメントを用いて仮想クエリ磁石を生成してクエリを形成する。例えば、システム１が構文解析プログラムの実体クラスの日付をテキストフラグメント「Ｎｏｖｅｍｂｅｒ  １６ｔｈ」と関連付けることができない場合、クエリを単にテキストフラグメント「Ｎｏｖｅｍｂｅｒ  １６ｔｈ」とすることができる。従ってこの場合、クエリは拡張せず単に正確な文字列の照合だけである。
【００９５】
図６、図７、及び／又は図８に示される方法は、コンピュータで実行されるコンピュータプログラム製品又は一連のコンピュータプログラム製品を用いて実行することができる。コンピュータプログラム製品は、ディスク、ハードドライブ等の、制御プログラムが記憶されている非一時的のコンピュータで読取可能な記録媒体でよい。
【００９６】
文書の選択（Ｓ１０６）
ある実施形態では、Ｐｒｉｖａｕｌｔに記載される通り、文書を選別するために磁石１６を使用することができる。例えば、ユーザはホーム（非活動位置）８０に位置する磁石等の磁石を選択し、専用のタッチ動作（磁石の上をダブルタッピングする等）でメニューモード時の磁石ボタン１６を設定し（図３）、クエリ条件等の複数のオプションを磁石の周りに表示させることができる。例えば図３に示す通り、ユーザは磁石の周りの各領域のうちの１つをタッチして磁石１６に関連付けされた一連の反応機能８４、８６、８８、９０のうちの１つ（又は複数の）を選択することができる。各反応機能により、下部文書の１つ以上の属性に基づいて一連の表示対象２０、２１、２２がそれぞれどのように仮想磁石１６に反応するかを規定される。指のタッチによりこれらの機能の１つをクリックすることで、一連のフィルタの間の選択をできるようにするサブメニューを開くことができる。これらのフィルタと共に磁石を起動して、選択されたフィルタへの下部文書の反応に基づく一連の表示グラフィックオブジェクトを選択することができる。例えば、種類機能８４をクリックすることにより、ユーザは電子メール、ワード文書、読み込み文書及びスプレッドシートのうちの１つ等の文書の種類を選択することができる。キーワード機能８６により、ユーザは文書閲覧と特に関連するキーワードとして選択できる一連の所定のキーワードからの選択を行うことができる。時間機能８８により、ユーザは選択された日付範囲内の日付印が付いた文書を選別するために使用できる一連の日付範囲からの選択を行うことができる。サイズ機能９０により、ユーザは小さい、中間、大きい、及び非常に大きい等のサイズで文書を選別することができる。ユーザは適切なボタン９２、９４をクリックすることで、選択を取り消し（メニューを閉じる）又はより高いレベルのメニューへ進むことができる。特定なフィルタ機能が選択されると、選択されたフィルタ機能を表すものが磁石上に表示される。
【００９７】
表示対象のうちの１つが選択され（各対象２０のダブルタップ等）、それに対応してテキスト文書２４等の対応するアイテムを検索し、（例えば、図１の磁石コントローラの検索部７２により）画面に表示することができる（図５）。
【００９８】
次に、テキスト文書内のテキストを選択（Ｓ１１０）することで、磁石をクエリに組み込む（Ｓ１１２）２つの方法をより詳しく説明する。
【００９９】
１．基本検索に関する動的な更新
ユーザが利用したいと思う関連コンテンツを見つけた文書２４を仮定すると、ユーザは指で選択（図５）して関心のあるテキストのフラグメント９９を直接画面上で強調表示することができる。このタッチ動作と文書を移動する動作を区別するために、画面上、例えば、文書２４の縁に固定文書タブ１１０を表示することができる。ユーザは最初に一方の手１７でタブ１１０にタッチを行ないながら、もう一方の手の指１１２を文書画像上で移動させて所望のテキストフラグメント９９を選択する指示される。このテキストフラグメント９９は強調表示されて選択されたことを示すことができる。システム１はこの二重タッチをテキスト選択と関連するジェスチャとして認識する。
【０１００】
テキストを選択することにより、自動的に仮想磁石１６が表示される。例えば、文書のページ２４の近くに自動的に磁石が現れる（図９）。したがって、テキストの強調表示により、自動的に磁石の表示及び文書から抽出されるデータで適切に設定される。具体的には、表示された磁石は、ユーザの選択（ここでは、文書から抽出されたテキスト「ｓｕｅｄ」）を吸収する。選択されたテキスト入力１００は、ユーザの便宜のために磁石１６上に表示される。
【０１０１】
別の実施形態では、ユーザは既に画面の端に表示されている磁石１６選択する（図１０）。ユーザは、その磁石１６を現在ディスプレイ装置１２上で開いている文書対象２４の近くに指１１２を使ってドラッグする。ユーザはさらにテキストの所望の部分を選択する（図１１）。例えば、ユーザは一方の手の一本の指１７でテキスト７５をタッチし、それを強調表示されたテキストの所望の部分を横切ってドラッグする（図９に示す通り、いくつかの実施形態ではユーザはタブ１１０を有する強調表示モードを最初に選択することができる。）。次いで、適切な二重タッチのタッチジェスチャにより、磁石１６は選択されたテキスト９９が供給される。例えば、ユーザは指１７を強調表示されたフラグメント９９上に保持又は置くことができる（静的接触）。次いで、ユーザはシングル又はダブルタップ等の好適なジェスチャにより、もう一方の手の指１１２で磁石１６に接触する（動的接触）。このように、テキストフラグメント９９と磁石１６はそれぞれの指により連続して、また同時（少なくとも一瞬の間）にタッチされる。この二重タッチを本明細書では仮想ブリッジジェスチャと呼ぶ。これにより文書のテキストフラグメント９９と磁石１６の間の仮想ブリッジ１１４が生成される。次いで、ユーザが選択したテキスト９９又はそれに基づくクエリとともに磁石１６が起動する。
【０１０２】
仮想ブリッジ１１４を別の移動にも使用することができる。一般に、それには２段階のジェスチャがあり、先ず、一方の手１７による１つ又はいくつかの静的接触が、移動元の人工物（この場合テキストの選択されたフラグメント９９）に対して行われ、次に、もう一方の手１１２による１つ又はいくつかの動的接触が、移動先の人工物（この場合移動先の磁石１６）に対して行われる。これにより、移動元の人工物２４からの情報９９は移動先の人工物へ移動し、磁石１６（この場合）すなわち移動元の人工物は移動先の人工物へ移動する（例えば、文書２４を応答パイル（ｒｅｓｐｏｎｓｅ  ｐｉｌｅ）７７又は７８に移動する）。
【０１０３】
さらに別の実施形態では、ユーザは関連テキスト９９を強調表示し、次いで画面の端に既に表示されている磁石の中から動作していない磁石１６を選択する。次いでユーザは磁石１６を画面上で現在開いている文書オブジェクト２４の近くにドラッグする。そしてこの磁石により選択されたテキスト９９が自動的に「引き寄せ」られる。
【０１０４】
テキスト内に磁石が表すクエリに吸収させたいとユーザが思うキーワードが複数ある場合、ユーザは図１０及び図１１で示す通り、それぞれ「ＡＮＤ」演算及び「ＯＲ」演算を実行する磁石の中から、又は磁石のメニューを使用して磁石上のＡＮＤ（＆）演算子又はＯＲ演算子を作動させることにより選択することができる。図１０及び図１１で示す通り、この磁石はそれぞれ磁石のメニューを使用して磁石上のＡＮＤ演算子又はＯＲ演算子起動することにより「ＡＮＤ」演算及び「ＯＲ」演算を実行する。この磁石は、選択された演算子と組み合わせたユーザ選択のテキストと共に起動する。例えば、ユーザは上記のいずれかの方法を用いてテキスト「ＡＢＣ  Ｃｏ．」を選択することができる。ユーザはテキスト「ｓｕｅｄ」を選択し、それをＡＮＤ演算子と組み合わせてクエリ「ＡＢＣ  Ｃｏ．  ＡＮＤ  ｓｕｅｄ．」を生成する。組み合わされる２つの要素は、同じ文書２４又は異なる文書２４、２５、２６から抽出してもよい。この方法により要素はいくつでもクエリに組み込むことができることは言うまでもない。しかし、別の実施形態では、ユーザは、「ＡＢＣ  Ｃｏ．」がある１つの磁石、「ｓｕｅｄ」がある１つの磁石の２つの磁石を生成し、それらを組み合わせて使用して１つ以上の文書内の組み合わせのインスタンスを見つけることが便利だと思う場合もある。
【０１０５】
クエリはあらゆる好適なソフトウェアで実行できる。具体的には、クエリ生成プログラム６８はユーザが選択したメモリ内に記憶された文書２４、２５、又は２６の強調表示された部分からテキストフラグメント９９を抽出し、抽出されたテキストフラグメント９９をコンピュータメモリ４８内に記憶し、抽出された部分からクエリを形成する命令を含む。基本検索の場合、生成されるクエリは単に「Ｘを全て見つける」で、Ｘは強調表示部分９９と同一である。クエリ生成プログラムは、メモリ内のクエリをこのクエリと共に「更新」される特定の磁石に関連付ける。例えば、情報を（磁石ＩＤ、クエリＩＤ）として記憶することができ、このＩＤにより磁石及びクエリをそれぞれ識別することができる。
【０１０６】
ＡＮＤクエリ又はＯＲクエリなどのブール演算子を使ったクエリの場合、同じ文又は同じ段落内で同時に発生するインスタンスだけを識別するようにクエリを形成することができる。クエリ「ＡＢＣ  Ｃｏ．  ＡＮＤ  ｓｕｅｄ」を単一の文内の応答に限定する場合、「ＡＢＣ  Ｃｏ．  ａｎｄ  ＢＣ  Ｃｏ．  ｓｕｅｄ  ＤＥ  Ｉｎｃ．  ｔｏｄａｙ」と「ＤＥ  Ｃｏ．  ｗａｓ  ｓｕｅｄ  ｂｙ  ＡＢＣ  Ｃｏ．」は応答としてシステムにより識別することができるが、「ＡＢＣ  Ｃｏ．  ｓｅｌｌｓ  ｉｎｋ．  Ｉｔ  ｓｕｅｄ  ＤＥ  Ｃｏ．  ｔｏｄａｙ．」は識別することはできない。別の実施形態では、構文解析プログラム７０は、「Ｉｔ」が「ＡＢＣ  Ｃｏ．」を指すことを識別できる同一指示モジュールを実行することができ、したがって「Ｉｔ  ｓｕｅｄ」を含む文を識別する（下記の詳細クエリモードの説明を参照）。
【０１０７】
従って、１つ以上の上記の方法を用いてクエリ磁石１６を使用する準備ができる。このように、いくつかの新しい磁石を連続して生成することができることは言うまでもない。自然な動作のジェスチャにより、ユーザはテーブル上に表示される文書を示す一連のグラフィックオブジェクトに近いクエリ磁石１６又は一連のクエリ磁石を動かすことができ、反応する対象２０、２１、２２（選択されたテキストのフラグメント９９と同じコンテンツを含む下部文書に関するグラフィックオブジェクト等）を識別し、Ｓ１１８において図４と同様に磁石１６の周りに引き寄せることができる。これにより、１つ以上の表示文書の選択されたテキストフラグメントから生成されるクエリに基づいて文書の集まりを検索することができる。
【０１０８】
別の実施形態（Ｓ１１６）では、クエリ磁石は単一文書とやり取りができる（例えば図９及び図１２を参照）。文書２４はテキスト入力９９の元となる文書と同じ文書、又は新しく開いた文書でよい。この実施形態では、クエリ磁石１６を文書２４の近くに移動することで、文書から一致するテキスト文字列１０２を全て識別する。これらの一致するテキスト文字列を文書内で強調表示する、及び／又は文書から抽出し他の場所で表示できる。例えば、図１２に示す通り、文字列１０２はクエリ磁石１６の周りに引き寄せられる。この視覚効果により、ユーザは文書内を移動する必要なしに一目で文書２４の中に存在する一致数を見ることができる。一致数が少量又はゼロの場合、ユーザはクエリ磁石１６を用いてその文書をスキップし他の文書に移動することを判断することができる。その反対に、一致の数が見た目に著しい場合、閲覧者は文書２４を読み出す、及び／又は関係のある応答として標識を付けることができる。
【０１０９】
いくつかの実施形態では、クエリ磁石１６を文書内で動かすことにより文書内の全ての一致するテキスト文字列１０２を照らすことができる。クエリ磁石１６は文書の一部の上だけで動作することもできる。例えば、磁石が文書の上部の上に位置するときはいつでも、磁石は文書の上部にある一致するテキスト文字列１０２だけを照らし、同様に、磁石が文書の下部の上に位置するときはいつでも、磁石は文書の下部の上の一致するテキスト文字列１０２だけを照らす。あるいは、ユーザが磁石を文書内で移動させて文書画像をスウィープする間、磁石の近辺の一致する文字列だけが照らされる。
【０１１０】
用語「引き寄せる」及び用語「強調表示」どちらの場合でも、ユーザはさらに別々のテキストフラグメント９９に関連付けられる複数の磁石を組み合わせることができ、これらの各テキストフラグメント９９は、テキスト入力として手動の強調表示により提供することができる。このような方法で、より複雑なクエリを操作することができる。一連の異なる磁石を、一度に文書の近くに動かす、又は文書画像の上に位置させることができる。
【０１１１】
２．詳細検索に関する動的更新
動的なテキスト検索の方法の上記例では、「基本」モードで磁石１６を、単に文書内の完全に一致するテキスト文字列を識別するために使用する。従って、例えば、クエリ「ＡＢＣ  Ｃｏ．」は一致する同一テキスト文字列だけを識別し、例えば「ＡＢＣ．」のみを含むテキスト文字列は識別しない。また、文書のテキスト内の別の会社名もまた識別しない。別の実施形態では、メモリ内に記憶された既定の一連の命令を用いてユーザクエリを自動的に拡張及び改良できる。従って典型的な仮想磁石は好都合にもアルゴリズム及びデータを組み合わせることができる。このような方法で、ユーザの選択するテキスト文字列に基づき、しかもキー入力装置に頼らずに生成できる磁石を通して、より詳細な検索を実行することができる。
【０１１２】
典型的な実施形態では、磁石は名前付き実体用に及び／又はテキストからの事象抽出用に使用される。これらの抽出方法は控訴事件立件や推論及び文書閲覧等の様々な用途で効果的である。例えば、Ｌａｇｏｓらにより記載されたシナリオを参照。
【０１１３】
典型的な構文解析プログラム７０は、文書２４、２５、２６のテキスト又はその一部を処理して、単語や句読点を一般に含むその基本構成部分を識別するよう設定される。各単語、句読点、又はテキスト要素は、トークンと呼ばれる。次いで、形態要素解析プログラムを用いて各テキスト要素のトークンを語彙情報に関連付ける試みが行われる（入力としてテキストのトークンを取得し、そのトークンの構文的性格の全ての可能な形態学的解釈を産み出すオートマンである有限状態語彙集を用いてこれを実行することができる。）。語彙集の中の単語は、それらの品詞及び他の構文解析情報によって分類される。例えば、最初に名詞、動詞、副詞等が抽出され、名詞句、動詞句等の結合する単語の集まりが識別される。次いで構文解析によりテキスト要素（単語又は単語の集まり）間の関係（主語−目的語間の従属関係等の従属関係）が識別される。
【０１１４】
文書から選択されたテキスト９９のフラグメントがある場合、典型的な構文解析プログラムは選択されたテキスト内の名前付き実体を識別することができる。本システムでは、構文解析プログラム７０は文書内の名前付き実体及び事象を識別することができる。
【０１１５】
いくつかの実施形態では、典型的な構文解析プログラム７０は選択されるテキスト９９に基づいて文法規則又は複数の文法規則を識別することができる。一般には、選択されたテキスト９９が単独で又は他のテキスト要素との組み合わせて満たす規則（又は一連の規則）を生成することができる。例えば、構文解析プログラム７０は抽出されるテキストフラグメントに基づいて生成／識別される特定の文法規則の適用を通して文書中の名前付き実体及び事象を識別することができる。
【０１１６】
例えば、構文解析プログラム７０は選択されたフラグメント９９内の全ての名前付き実体を識別する。次いで、識別された名前付き実体（又は一連の名前付き実体）はクエリ生成プログラムにより仮想磁石１６に関連付けられて、構文解析される文書内の同じ名前付き実体の別のインスタンスを識別する文法規則、又はこのインスタンスを含む文書を識別する文法規則の中で使用することができる。磁石を適用したときに簡単に識別できるよう、これらのインスタンスにはＸＭＬタグ等の標識を付けることができる。別の実施形態では、特定の実体クラスベースの規則をインスタンス化することで、同じクラスＣ内の名前付き実体、又は名前付き実体／実体クラスＣを含む事象を識別するように磁石１６を設定することができる。
【０１１７】
実体クラスを検知するために使用される構文解析プログラム７０は、統計的分析、有限状態オートマトン等の本明細書に記載したものとは異なる方法及びアルゴリズムに基づくことができる。文脈上の局所的な文法規則を単独で又は脈上の局所的な文法規則と組み合わせて事前にまとめられた実体のリスト（例えば、人名、地名のリスト等）を用いて、構文解析プログラムは実体の抽出を実行することができる。
【０１１８】
代名詞的同一指示、見出し語認定等を使用して正規化した形態の動詞又は名詞及び実体を指す転換代名詞（ｒｅｓｏｌｖｅ  ｐｒｏｎｏｕｎ）を識別することができる。
【０１１９】
用いることができる典型的な構文解析プログラム７０はゼロックス増分構文解析プログラム（Ｘｅｒｏｘ  Ｉｎｃｒｅｍｅｎｔａｌ  Ｐａｒｓｅｒ）（ＸＩＰ）である。この構文解析プログラムの詳細に関しては例えば、Ａｉｔ−Ｍｏｋｈｔａｒらによる米国特許第７，０５８，５６７号を参照。
【０１２０】
構文解析プログラムは、名前付き実体認識部（ＮＥＲ）１２０及び事象認識部（ＥＲ）１２２を含む、又はそれらにアクセスする。ＮＥＲ１２０は文書テキスト９５を処理して、テキスト文字列（文書を形成する一連の文等）の中の名前付き実体を識別する。このＮＥＲは、そのコンテキスト（例えば、人、場所、団体、日付等）に従って識別された名前付き実体に標識を付ける、あるいはテキストに注釈をつける任意の好適なシステムでよい。
【０１２１】
いくつかの実施形態では、テキスト内のインスタンスを識別するために、これらの種類の名前付き実体をそれぞれ１つ以上の既定の一致文法規則に関連付けることができる。例えば、名前付き実体クラスのインスタンスが、一定の語彙の中の特定クラスの標識を付けられた全てのテキスト要素を含むことを、規則が指定できる。例えば、場所の場合、惑星、大陸、国、地域、州、町及び市、又は地方区、又はビルディング等のより特定的な場所を含む空間上、地理上、物理上の場所を含むことができる。日付クラスの場合、名前付き実体は月、月の中の日、年、週の中の日、日の名前、及び日の中の時間のうちの１つ以上を含むことができる。
【０１２２】
抽出される事象は、「Ｘ  ａｃｑｕｉｒｅｓ  Ｙ」又は「Ｘ  ｅｍａｉｌｓ  Ｙ」の種類でよく、認識、やり取り、参照、及び役割ベースの事象を含む事象のクラスとして抽象化することができる。
【０１２３】
さらに、文書内に何度も現れる所与の実体の発生と様々な変化形を識別できる同一指示の能力を提供できる。例えば、テキスト内の用語「ＡＢＣ  Ｃｏ．」を強調表示することができるユーザは、フレーズ「Ｔｈｅ  Ｄｏｃｕｍｅｎｔ  Ｃｏｍｐａｎｙ」（通常はこれも「ＡＢＣ  Ｃｏ．」を指す）の発生全てを見つけることにも関心をもつかもしれなく、同様に、テキスト内の文字列「ＣＥＯ」を強調表示したユーザは、また同じテキストの中にある「ｈｅ」又は「ｓｈｅ」等の「ＣＥＯ」の代名詞的同一指示語を追いかけることに関心をもつかもしれない。同一指示の抽出は、全て同じ所与の実体を指す一連の実体を検索するところまで拡大される（例えば、人名が抽出された「誕生日」や「生まれた場所」とさらに結びつく等）。これらの関連したテキストフラグメントを抽出するために、特定の規則をメモリ内に記憶することができる。
【０１２４】
名前付き実体のクラスを生成するために、ユーザはクラスのインスタンスである名前付き実体に対応するテキストフラグメントを強調表示して識別する。またユーザは、例えば文書２４の隣に表示される詳細モードタブ１２４（図１３）をタッピングすることにより詳細モードを用いることを指定することができる。あるいは、詳細モードのクエリ（ＡＮＤ磁石及びＯＲ磁石の場合）用に指定される特定の種類の磁石を選択する、又は基本モードで使用されるものと異なる、特定の種類の仮想ブリッジジェスチャを通して詳細モードを実行することができる。さらに別の実施形態では、磁石１６のホイールメニュー（ｗｈｅｅｌ  ｍｅｎｕ）上のアイコンを用いて、基本検索又は詳細検索を選択することができる。
【０１２５】
ユーザは、指１７を使って文書２４内の「Ｎｏｖｅｍｂｅｒ  １６ｔｈ」等のテキストフラグメント９９を強調表示する。システムは、ＮＥＲ１２０を使用して構文解析プログラム７０を実行してこのテキスト入力が所属し得る実体のクラスＣを識別する。一致するクラスがあれば識別し、磁石１６を自動的に現在表示されている文書２４の近くに出現させることができ、関連付けた名前付き実体クラスの名前（「日付」等）はその上に表示される。システムはこの実体クラスを磁石１６に関連付ける。
【０１２６】
そのあと、ユーザが現在の文書２４又はタッチ画面上に表示される別の文書に、この磁石１６を移動させるときはいつも、構文解析プログラム７０が起動して実体クラスＣに一致する発生（例えば、日付クラスの場合「１２／１１／２００３」又は「Ｄｅｃｅｍｂｅｒ  ２０１０」）の全てを抽出するための構文解析を全文書コンテンツに行う。基本検索の磁石と同様に、一致は、テキスト内で直接強調表示する（磁石の位置がテキスト上か又はテキストの隣にあるかにより、局所的又はより全体的に）、及び／又はテキストから引き抜いて数量の視覚効果を提供することができる。
【０１２７】
いくつかの実施形態では、磁石１６を用いて実体クラスを識別するために、規則、又はより一般には一連の既定の規則に関連付けることによりシステムは稼働する。上記例の規則には、「Ｎｏｖｅｍｂｅｒ  １６ｔｈ」は日付と識別するために構文解析プログラム７０を使う規則、及び別の日付の形態（１１／１６／２０１１等）を識別する別の構文解析の規則が含まれ得る。あるいは、クラスＣのインスタンスを識別する規則を一般的な日付の規則より限定することができ、例えば、控訴において現在の日付から２０年又は５０年の時間ウィンドウ内に入る日付だけを識別することができる。
【０１２８】
同様に、文書セット内の会社名の検索するために、ユーザは最初に、例えば、テキストフラグメント「ＡＢ  Ｃｏ」を含む１つの文書を開くことができる。文字列「ＡＢ  Ｃｏ．」を強調表示し、詳細検索の磁石を起動することにより、「Ｃｏｍｐａｎｙ  ｎａｍｅｓ」と標識される新しいクエリ磁石を生成し、ユーザはさらにその磁石を文書の集まり又はその選択された一部に適用することができる。「ＢＣ  Ｃｏ．」や「ＤＥ，  Ｉｎｃ．」等の他の会社名を含む文書が磁石の周りに引き寄せられる。
【０１２９】
磁石１６を文書の次のテキストセクションに適用するとき、単一文書を「Ｃｏｍｐａｎｙ  Ｎａｍｅ」の磁石１６でスウィープすることにより、（実体規則に基づいて構文解析プログラムが識別する）会社名の各インスタンスを強調表示することができる。
【０１３０】
構文解析プログラムにより出力される構文関係を、構文解析プログラムにより検知される名前付き実体と一緒に使用して、事象を抽出することができる。ある実施形態では、実体を抽出する磁石の組み合わせを構文解析プログラム７０と一緒に使用して簡単な事象の抽出を実現する。例えば、それぞれが名前付き実体又は実体クラスを表示する異なる２つの実体磁石１６、１６０を組み合わせて使用して一致する事象の動詞部を抽出することができる。例えば、ユーザは最初に文書２４から強調表示されたテキスト入力を使用してテキストフラグメント９９「ＢＣ  Ｃｏ．」と共に基本検索モードのクエリ磁石１６を起動させる。ユーザはさらに、会社名（ＡＢ  Ｃｏ．等）に対応するテキストフラグメントを「Ｃｏｍｐａｎｙ  Ｎａｍｅｓ」まで拡張することにより詳細検索能力を有する第２のクエリ磁石１６０を起動する。図１４に示す通り、同じテキスト上に同時に適用される２つの磁石１６と１６０は、テキストフラグメント１０２（「ｓｕｅｄ」及び「ｂｏｕｇｈｔ」）をこれら２つの実体を含むそれぞれの事象の一部として自動的に抽出する。これらの事象は事象抽出の規則を使用して構文解析プログラムにより抽出される。
【０１３１】
２つの磁石の動作により抽出される事象は、例えば、単語１０２をテキスト内で直接強調表示すること、又は単語１０２を小さな文字画像として文書画像全体にわたり磁石の間に表示することにより識別される。いくつかの実施形態では、矢印１６２又は他の識別子を用いて事象単語を強調表示することができる。
【０１３２】
典型的な実施形態では、事象に関与する名前付き実体がそれぞれ主語と目的語（又は他の実施形態では、それぞれ動作主と非動者）であることを指定しない。従って、説明例では、「ＢＣ  Ｃｏ．」は、ある事象おいて主語であり、他の事象では目的語である。別の実施形態では、２つの名前付き実体が選択される順序により名前付き実体が文の中で主語であるのか又は目的語であるのか決定する。例えば、識別される事象（「ＢＣ  Ｃｏ．」、ｂｏｕｇｈｔ、「ＤＥ，  Ｉｎｃ．」）の場合、「ＢＣ  Ｃｏ．」が最初に選択されると、事象規則により「ＢＣ  Ｃｏ．」がこの事象の主語になる。
【０１３３】
事象抽出モードを、２つの磁石１６及び１６０がＡＮＤモードで使われるモードから区別するために、実体磁石を文書２４の反対側等の特定な位置に置くことをユーザに要求できる。ＡＮＤモードを起動させるために、磁石１６と磁石１６０を文書の同じサイドに隣接して置くことができる。
【０１３４】
別の実施形態では、単一の磁石を使用して事象を生成できる。例えば、ユーザはテキストフラグメント９９「Ｂｉｌｌ  ａｎｄ  Ｋａｔｅ  ｍｅｔ  ａｔ  Ｓｔ．  Ａｎｄｒｅｗｓ  Ｕｎｉｖｅｒｓｉｔｙ」を探し出すことができ、既に人の種類の名前付き実体と標識された「Ｂｉｌｌ」及び「Ｋａｔｅ」は、構文機能を通して主語と標識される。動詞「ｍｅｔ」は既に動詞と標識され、構文的には主語及び場所の実体「Ｓｔ  Ａｎｄｒｅｗｓ  Ｕｎｉｖｅｒｓｉｔｙ」と関連付けられる。このように、この３つの構成要素［動詞＋人の実体＋場所の実体］により、ユーザがテキスト内で検索できる事象が生成される。事象を磁石上で準動詞部の活用形（「ｍｅｔ」）、又は準動詞部の不定詞形（「ｔｏ  ｍｅｅｔ」）を通して指定する、もしくは［動詞＝ｔｏ  ｍｅｅｔ＋主語としての人の実体＋時間＿構成要素としての場所の実体］の形式の任意の述部と一致する規則を通して「ＭＥＥＴＩＮＧ事象」形式の事象クラスとして一般化することができる。テキスト入力としてＸ＝「Ｂｉｌｌ  ａｎｄ  Ｋａｔｅ」及びＹ＝「Ｓｔ  Ａｎｄｒｅｗｓ  Ｕｎｉｖｅｒｓｉｔｙ」を入力したユーザは、その構成要素としてのこれら２つの入力に一致する任意の事象を出力として受ける。例えば、テキスト内で準動詞部「ｍｅｔ」が強調表示された状態のＭＥＥＴＩＮＧ事象をクエリの結果としてそのユーザに回答される。別の実施形態では、ユーザは構文解析プログラムが準動詞の一塊としてさらに認識したテキスト入力「ｍｅｔ」に詳細磁石を組み込み、この構文解析プログラムがその動詞を含む全ての事象クラスをそれらの事象規則条項に一致させる試みを行う。ユーザは、クエリの結果としてＭＥＥＴＩＮＧ事象に関与する２つの実体、すなわち上記テキスト文字列の例に関しては、人の実体である「Ｂｉｌｌ  ａｎｄ  Ｋａｔｅ」及び場所の実体である「Ｓｔ．  Ａｎｄｒｅｗｓ  Ｕｎｉｖｅｒｓｉｔｙ」を得ることができる。
【０１３５】
ある実施形態において、「ＭＥＥＴＩＮＧ事象」の定義では、それらすべてがＭＥＥＴＩＮＧ事象を定義し、かつより広い定義に広げた（例えば、ｍｅｅｔ＝｛「ｔｏ  ｍｅｅｔ」、「ｔｏ  ａｓｓｅｍｂｌｅ」、「ｔｏ  ｊｏｉｎ」、「ｔｏ  ｇａｔｈｅｒ」｝）動詞を事前にまとめた動詞のリストを採用し、このリストを［動詞＝  ｍｅｅｔリスト＋主語としての人の実体＋時間＿構成要素としての場所の実体］の形式の全ての述部を規定する規則と共に用いることができる。これによりテキスト入力「ｍｅｔ」に組み込む詳細磁石は、例えば「Ｂｉｌｌ，  Ｊｏｈｎ  ａｎｄ  Ｍａｒｙ  ａｓｓｅｍｂｌｅｄ  ａｔ  ｔｈｅ  ａｉｒｐｏｒｔ．」などの文との一致を含む、より多くのＭＥＥＴＩＮＧ事象と一致させることができる。ユーザはまたクエリの結果として、ＭＥＥＴＩＮＧ事象に関与する２つの実体、すなわち人の実体である「Ｂｉｌｌ，  Ｊｏｈｎ  ａｎｄ  Ｍａｒｙ」及び場所の実体である「ｔｈｅ  ａｉｒｐｏｒｔ」を受け取ることができる。
【０１３６】
詳細モードで使用するための磁石の更新及び事象の抽出は、基本モードで説明したときと同様にクエリ生成プログラムで実行することができるが、生成されたクエリはユーザにより強調表示される同一の用語を使用する必要がないことは言うまでもない。例えば、クエリが日付等の名前付き実体クラスの場合、メモリ内で磁石に関連付けられるクエリは、クラス名又は対応する一連の規則を含む、又は、実体クラス名、及び／又はそのクラス内の名前付き実体を識別するためにメモリ内のその他の領域に記憶された一連の規則に磁石ＩＤを関連付ける。
【０１３７】
３．一覧モード
いくつかの実施形態では、典型的な磁石により一覧モードが容易に実行できる。基本検索又は詳細検索クエリ磁石１６、１６０が単一文書上でなく、一連のグラフィックオブジェクト上で適用されると、ＴＵＩは磁石の周り引き寄せられて集まったグラフィックオブジェクトの小さなクラウドを表示する。ユーザは、結果の一覧の全ての文書を探し回る必要なしに、検索された文書の種類を閲覧することができる。一覧モードでは、ユーザが一時的に文書の１つを開く既定のジェスチャを使用する（図１５）。
【０１３８】
４．表示されたキーワードを介した動的な更新
次に図１６を参照すると、図１１を参照して説明した通り、仮想ブリッジのジェスチャを通して動的な磁石の更新が実現される。しかしこの場合、磁石はテーブル上で表示された単語又はトークンのリストから少なくとも部分的に更新される（Ｓ１３６）。この実施形態では、単語又は他の文字列等のキーワード１７０、１７２、１７４、１７６のセット７９は既にマルチタッチ式のテーブル画面１２に表示されている。これらのキーワードはユーザにより選択可能である。例えば、これらのキーワードをクリックが可能な範囲に置き、そこで簡単な指のタッチ動作を通して選択し、タッチ検知システム３８により識別する。最初にユーザは磁石１６を選択しドラッグする。選択される磁石はフリーの磁石、まだ起動していない磁石、又は他のコンテンツにより既に更新された磁石でもよい。次いで、ユーザは移動元と移動先を連続してタッチして仮想ブリッジジェスチャを行う。例えば、最初にユーザは画面上でキーワード１７２を選択し、指１１２をキーワードの表示されている領域１７８にタッチする。次いで、もう一方の手の指１７を用いて、（第１の指がキーワード１７２にタッチさせたまま）ユーザは移動先すなわちユーザが起動させたい磁石１６上に単一のタッチ又は他の認証されているタッチ接触を行う。これらの動作によりクエリ磁石が更新され、このクエリ磁石はクエリ１００を形成するキーワードで標識され得る。そして、この磁石はキーワードと、任意の単一の文書のコンテンツ又は文書の集まりの間の文字列の照合を行うことが可能となる。
【０１３９】
クラスタリング法を文書に適用し、各クラスタ内で頻出し且つそのクラスタを別のクラスタから識別する単語を抽出することにより、表示されるキーワードを自動的に生成することができる。あるいはキーワードを構成ファイル内に記憶しても、閲覧者ガイドライン、控訴事件の間の二人の当事者の合意に基づく用語リスト等の他の供給源から供給されたものでもよい。
【０１４０】
いくつかの実施形態では、ユーザがキーワードを選択することができる。例えば、ユーザは文書の中からクエリングに有効な単語を探し出すことができ、それを指のタッチで画面の端にドラッグ及びドロップすることができ、その単語はその場所に表示され、後から使用することができる。
グラフィックオブジェクトグラフィックオブジェクトグラフィックオブジェクトグラフィックオブジェクトグラフィックオブジェクトグラフィックオブジェクトグラフィックオブジェクトグラフィックオブジェクト
【図１】
0005723305.tif 000002
【図２】
0005723305.tif 000003
【図３】
0005723305.tif 000004
【図４】
0005723305.tif 000005
【図５】
0005723305.tif 000006
【図６】
0005723305.tif 000007
【図７】
0005723305.tif 000008
【図８】
0005723305.tif 000009
【図９】
0005723305.tif 000010
【図１０】
0005723305.tif 000011
【図１１】
0005723305.tif 000012
【図１２】
0005723305.tif 000013
【図１３】
0005723305.tif 000014
【図１４】
0005723305.tif 000015
【図１５】
0005723305.tif 000016
【図１６】
0005723305.tif 000017