(57)【特許請求の範囲】
【請求項１】
複数の文書の調査方法であって、
人工知能モデルを用いて複数の文書を点数化すること；
前記人工知能モデルによる点数に基づいて複数の文書の部分集合を選択すること；
前記複数の文書から１以上のランダムに選択した複数の文書を選択すること；
調査のための複数の文書のセットを形成すること；  及び、
前記ランダムに選択した複数の文書および前記複数の文書の部分集合との間に差異がない様式で、調査者による調査のための複数の文書のセットを提示すること；
を含み、
前記調査のための複数の文書のセットは、前記複数の文書の部分集合および前記ランダムに選択した複数の文書の両方を含む、複数の文書の調査方法。
【請求項２】
請求項１に記載の複数の文書の調査方法であって、
前記調査のための複数の文書のセット中の１以上の文書に対して、調査者によって割り当てられた複数のクラスラベルを受領することを更に含む、複数の文書の調査方法。
【請求項３】
請求項２に記載の複数の文書の調査方法であって、
調査者によって割り当てられた１以上のクラスレベルを用いて、前記人工知能モデルをトレーニングすること；  及び、
前記人工知能モデルを用いて前記複数の文書を再度点数化すること；
を更に含む、複数の文書の調査方法。
【請求項４】
請求項２に記載の複数の文書の調査方法であって、
前記クラスラベルの少なくとも１つが、特定の文書が検討価値があるか又は検討価値がないかを示す、複数の文書の調査方法。
【請求項５】
請求項２に記載の複数の文書の調査方法であって、
前記人工知能モデルを用いて、特定の文書が検討価値があるか又は検討価値がないかの予測を符号化したクラスラベルを出力すること；  及び、
前記特定の文書が検討価値がある場合に、前記人工知能モデルを用いて、前記特定の文書についての第２のクラスラベルの予測を出力すること、
を更に含む、複数の文書の調査方法。
【請求項６】
請求項５に記載の複数の文書の調査方法であって、
前記第２のクラスラベルが、法律の分野；文書の種別；又は重要度のレベルを含む１以上のクラスにおける前記特定の文書の帰属予測を符号化する、複数の文書の調査方法。
【請求項７】
請求項２に記載の複数の文書の調査方法であって、
前記調査のための複数の文書のセット中の特定の文書について、前記特定の文書が検討価値があるか又は検討価値がないかを示す、調査者によって割り当てられた第１のクラスラベルを受領すること；  及び
前記特定の文書が、法律の分野；文書の種別；又は重要度を含む１以上のクラスに帰属することを示す、前記特定の文書に対して調査者によって割り当てられた第２のクラスラベルを受領すること；
を更に含む、複数の文書の調査方法。
【請求項８】
請求項１に記載の複数の文書の調査方法であって、
（ｉ）収集されることになる複数の文書の最終的な文書数を推定すること；
（ｉｉ）ランダムなサンプルを用いて得られた信頼度を特定する信頼レベルを評価すること；
（ｉｉｉ）ランダムなサンプルを用いて得られた信頼区間がどれくらいであるかを特定する信頼区間の半値幅；  及び、
（ｉｖ）あるクラス区分中に最も頻繁に遭遇するクラスによって、複数の文書中の信用できる最大比率を評価すること；
を使用して、前記複数の文書から抽出されるサンプルのサイズを計算すること；
を更に含む、複数の文書の調査方法。
【請求項９】
請求項１に記載の複数の文書の調査方法であって、
調査されるべきそれぞれの文書に対して乱数を割り当てることを更に含み、
前記乱数が、前記任意のサンプル中に含まれる複数の文書を選択するために使用される、複数の文書の調査方法。
【請求項１０】
訴訟手続き中における産物としての複数の文書の調査方法であって、
人工知能モデルを用いて産物としての複数の文書を点数付けすること；
最も点数の高い複数の文書の部分集合を選択すること；
前記複数の文書から１以上のランダムに選択した文書を選択すること；
調査のための複数の文書のセットを生成すること； 
前記ランダムに選択した複数の文書と最も高く点数付けられた複数の文書との間に差異がないような様式で、調査者による調査用の複数の文書のセットを提示すること；  及び、
前記調査用の複数の文書のセット中の１以上の文書について、調査者によって割り当てられたクラスラベルを受領すること；
を含み、
前記調査用の複数の文書のセットは、最も高く点数付けられた複数の文書の部分集合、及び、ランダムに選択した複数の文書の両方を含んでおり、
前記クラスラベルは、前記１以上の文書が検討価値があるか又は検討価値がないかを示す、複数の文書の調査方法。
【請求項１１】
請求項１０に記載の複数の文書の調査方法であって、
調査者によって割り当てられたクラスラベルを用いて、前記人工知能モデルを更にトレーニングすること；  及び、
前記人工知能モデルを用いて前記複数の文書を再度点数付けること；
を更に含む、複数の文書の調査方法。
【請求項１２】
請求項１０に記載の複数の文書の調査方法であって、
前記１以上の文書に対して調査者によって第２のクラスラベルが割り当てられることを更に含み、
前記第２のクラスラベルは、法律の分野；文書の種別；又は重要度の１以上を含む、複数の文書の調査方法。
【請求項１３】
請求項１０に記載の複数の文書の調査方法であって、
（ｉ）産物として収集されることになる複数の文書の最終的な文書数の評価；
（ｉｉ）ランダムなサンプルを用いて得られた信頼度を特定する信頼レベルの評価；
（ｉｉｉ）ランダムなサンプルを用いて得られた信頼区間がどれくらいであるかを特定する信頼区間の半値幅；  及び、
（ｉｖ）あるクラス区分中に最も多く含まれるクラスによる、文書中の信用できる最大比率の評価；
を使用して、産物としての文書から抽出されたサンプルのサイズを計算することを更に含む、複数の文書の調査方法。
【請求項１４】
訴訟手続き中における産物としての複数の文書の調査方法であって、
産物としての複数の文書を人工知能モデルを用いて点数付けすること；
最も高く点数付けられた複数の文書の部分集合を選択すること；
産物としての複数の文書から１以上のランダムに選択した文書を選択すること；
調査のための複数の文書のセットを生成すること；及び、
前記ランダムに選択した複数の文書と最も高く点数付けられた複数の文書との間に差異がないような様式で調査者による調査のための複数の文書のセットを提示すること；  並びに、
（ｉ）産物としての複数の文書の最終的な文書数の予測、
（ｉｉ）ランダムなサンプルを用いて得られた信頼度を特定する信頼レベルの評価、
（ｉｉｉ）前記ランダムなサンプルを用いて得られた信頼区間がどれくらいであるかを特定する信頼区間の半値幅、及び、
（ｉｖ）あるクラス区分中に最も多く含まれるクラスによる、複数の文書中の信用できる最大比率の評価
を使用して、産物としての複数の文書のサンプルセットを計算すること；
を含み、
前記調査のための複数の文書のセットは、最も高く点数付けられた複数の文書の部分集合、及びランダムに選択した複数の文書の両方を含む、複数の文書の調査方法。
【請求項１５】
請求項１４に記載の複数の文書の調査方法であって、前記調査のための複数の文書のセット中の１以上の文書について、調査者によって割り当てられたクラスラベルを受領することを更に含む、複数の文書の調査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１２年４月２７日に、米国会社であるＫＲＯＬＬ  ＯＮＴＲＡＣＫ，ＩＮＣ．の名前で出願されたＰＣＴ国際特許出願であり、米国以外のすべての指定国については米国会社を出願人とし、指定国米国については米国民Ｊｅｆｆｒｅｙ  Ｄａｖｉｄ  Ｎａｓｌｕｎｄ，米国民Ｋｅｖｉｎ  Ｂ．Ｔｈｏｍｐｓｏｎ，および米国民Ｄａｖｉｄ  Ｄｏｌａｎ  Ｌｅｗｉｓを出願人とし、 ２０１１年４月２８日に出願された米国特許出願  シリアル番号６１／４８０，００１に基づいて優先権を主張し、その開示はすべて参照によって本願明細書に組み入れられる。
【背景技術】
【０００２】
電子的デバイスの激増は、電子形式における契約書、通信文、手引き書などの殆どの電子文書を産み出し保存（記録）するビジネスを招く結果になっている。紙媒体の文書は、スキャンされ、同様に電子形式に変換される。データベース記録は、文字領域を含んでいてもよく、したがって、一連のデータベース記録は、文書として閲覧することもできる。電子文書の作成が容易であることにより、処理することが難しい文書の重要な合冊が創出できる。例えば、訴訟関連文書において、（必要とする文書の）発見段階における文書の調査および分類分けは、訴訟当事者にとって、かなりのコストになり得る。この方法では、たとえ全世界の文書が管理人又は日付限定による手段によって第１に選択される場合にも、通常、かなりの量の文書を人手によって調査及び分析をしなければならない。この方法は、調査されるべき必要のある文書の全範囲が、プロセスの開始時には一般に知られていない場合に更に複雑になり得る。
【発明の概要】
【０００３】
１つの観点において、文書を調査する方法の例には、人工知能モデルを用いる文書の点数付け、及び、そうして最も高く点数付けられた文書の部分集合の選択を含む。更に、前記方法は、調査者のための文書のセットを形成するために、最も高く点数付けられた文書の部分集合の中に、数多くのランダムに選択した文書を散在させることを含んでいる。これにより、ランダムに選択した文書及び高い点数に基づいて選択された文書が調査のための文書の集合中の文書として調査者に示されることはなく、調査者には調査のための文書のセットが提供される。
【発明が解決しようとする課題】
【０００４】
本開示は、文書の電子的調査を可能にする、システム及び方法に関する。本開示は、文書のラージ・コーパス（多数の集められた文書全体）から特定の文書を効果的に識別するために用いることができる。
【０００５】
例えば、ある状況において、本明細書に記載するシステム及び方法は、訴訟やその他の状況などにおける文書の調査に関連して用いることができる。例えば、訴訟手続き中において、文書のラージ・コーパスが、しばしば電子的発見(e-discovery)とも称される発見のための準備段階において、効果的に分析され得る。前記分析に基づいて、訴訟相手方に対して提出する文書を作成でき、及び／又は、訴訟相手方から提出された文書を分析できる。
【０００６】
本明細書に開示する例は、訴訟における文書の作成という観点で説明されている。しかし、本発明のシステム及び方法は、他の分野にも同様に適用できる。例えば、本明細書に開示するシステム及び方法は、多数の文書を調査する必要がある詳細調査プロジェクト（例えば、企業の買収や合併）、歴史的研究、法律による権利行使、知的分析、又はその他のプロジェクトなどにおいて、文書を分析するために用いることができる。
【図面の簡単な説明】
【０００７】
本開示の解釈は、添付図面に関連して、以下に詳述する様々な実施形態に関する記載を考慮することによって、より完全に理解されるであろう。
【図１】図１は、ネットワーク・コンピューター環境の例を示している。
【図２】図２は、図１のコンピューター環境におけるコンピューター装置の例を示している。
【図３】図３は、調査者が文書を調査するための方法の例を示している。
【図４】図４は、調査のために文書を処理するための方法の例を示している。
【図５】図５は、図４の方法の一部として、調査のために文書を抽出する方法の例を示している。
【図６】図６は、図５の文書を抽出する方法に関する、付加的な例の詳細を示している。
【図７】図７は、サンプルサイズを計算するためのパラメータの例を示している。
【図８】図８は、文書の個別的な調査のためのユーザー・インターフェースの例を示している。
【発明を実施するための形態】
【０００８】
ここで図１を参照することにより、ネットワーク・コンピューター環境１００の例を示す。ネットワーク・コンピューター環境１００は、レビュー・デバイス１０２、１０４、１０６、ドキュメント・ルーター１１０、ネットワーク１２０、及びデータベース１３０、１４０、１５０を含んでいる。これらの例において、レビュー・デバイス１０２、１０４、１０６及びドキュメント・ルーター１１０は、更に下記に詳述するように、コンピューター装置である。
【０００９】
レビュー・デバイス１０２、１０４、１０６は、それぞれ、電子文書を調査し、分析することを可能とする。この分析は、文書を分類するために使用される。例えば、１つの実施形態において、レビュー・デバイス１０２、１０４、及び１０６は、訴訟手続きにおける発見で、検討価値があるか又は検討価値がないかの判断が要求された文書を分類分けするために使用される。この分類分けに基づいて、訴訟手続きにおいて、各文書を作成するか否か、又は、各文書に対するアクションを起こすか否かの決定をすることができる。
【００１０】
ドキュメント・ルーター１１０は、分析のために１以上の検討装置（例えば、レビュー・デバイス１０２、１０４、１０６）に対して、１以上の収納場所（例えば、データベース１３０、１４０、１５０）からの文書を送る。一例において、ドキュメント・ルーター１１０は、調査者が文書の一群を要求したときに識別を行い、次にデータベース１３０、１４０，１５０のうちの１つから文書の一群が引き出される。更に以下に説明するように、例えば文書のランキングに基づいて文書を抽出するような様々な技術を用いて、文書は、データベース１３０、１４０、１５０から抽出される。
【００１１】
ドキュメント・ルーター１１０は、又、各文書について既に調査者によってラベル付けされたクラスラベルの記録を、レビュー・デバイス１０２、１０４、１０６から戻された各文書について、調査者の選択によって受け取る。それぞれのクラスラベルは、ある１つの文書が、絶対的な様式において示される帰属で、数的又は記号的な帰属の程度で、又はその両方で、クラス区分の観点から、どのクラス（１つ又は複数のクラス）に帰属するのかに関する情報を与える。文書及びそのクラスラベルは、次に（例えば、人工知能モデルをトレーニングするために使用して）更に分析されることができ、又、データベース１３０、１４０、１５０に記録されることができる。
【００１２】
ネットワーク１２０は、１以上のデバイス間のデータ移動のための双方向的なデータ・コミュニケーション経路である。例に示すように、ネットワーク１２０は、ドキュメント・ルーター１１０とデータベース１３０、１４０、１５０の間のデータ移動のためのコミュニケーション経路を確立している。一般に、ネットワーク１２０は、データがネットワーク・コンピューター環境１００の要素中を移動し得るような、数多くの有線又は無線のＷＡＮ、ＬＡＮ、インターネット、又はその他のパケット・ベースト・コミュニケーション・ネットワークのいずれであってもよい。ネットワーク１２０のその他の実施形態も同様に可能である。
【００１３】
データベース１３０、１４０、１５０は、文書群及び関連するメタデータを蓄える記録装置である。データベース１３０、１４０、１５０からの文書及び／又はメタデータを記録および調査するためには、公知の技術を使用することができる。
【００１４】
次に図２を参照して、この実施形態の例では、レビュー・デバイス１０２が、より詳細に示されている。この例では、レビュー・デバイス１０２は、コンピューター装置２０１である。
【００１５】
前記コンピューター装置２０１は、少なくとも１つのプロセッシング・ユニット２０５及びシステム・メモリー２１０を含んでいる。前記システム・メモリー２１０は、レビュー・デバイス１０２又はその他のコンピューター装置のオペレーションを制御するためのオペレーティング・システム２１５に記録することができる。オペレーティング・システム２１５の一例として、ワシントン州レッドモンドにあるマイクロソフトコーポレーションが市販しているＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムがある。
【００１６】
システム・メモリー２１０は、又、１以上のソフトウェア・アプリケーション２２０及びプログラム・データを含んでいてもよい。ソフトウェア２２０は、電子メール・プログラム、カレンダー・プログラム、インターネット検索プログラム、表計算プログラム、情報を追跡して報告するプログラム、文書作成プログラム、及びその他の多くのプログラムなどの、様々な異なる種類の、単一及び複数の機能のプログラムを含んでいてもよい。そのようなアプリケーションの１つの特定の例として、ミネソタ州エデンプレイリーにあるＫｒｏｌｌ  Ｏｎｔｒａｃｋ社が市販しているＯＮＴＲＡＣＫ  ＩＮＶＩＥＷ（登録商標）発見レビューツールがある。
【００１７】
システム・メモリー２１０には、例えば、磁気ディスク、光ディスク、又はテープのような、コンピューターによって読み取り可能な、物理的な記録メディアが含まれ得る。図２には、そのような追加的な記録装置として、取り外し可能な記録装置２２５及び取り外し不可能な記録装置２３０が図示されている。コンピューター読み取り可能な記録メディアには、コンピューター読み取り可能な又はコンピューターによる実行が可能な装置、データ構造、プログラム・モジュール、又はその他のデータなどの情報を記録するためのあらゆる方法及び技術が実装された、物理的に揮発性および不揮発性の、取り外し可能および取り外し不可能なメディアが含まれる。
【００１８】
コンピューター読み取り可能な記録メディアには、所望の情報を記録するために使用することができ、アクセスすることが可能なＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー又はその他のメモリー技術、ＣＤ−ＲＯＭ、デジタル万能ディスク（ＤＶＤ）又はその他の光学的記録装置、磁気カセット、磁気テープ、磁気ディスク記録装置又はその他の磁気記録装置、又はその他の媒体を含み得るが、これらに限定されない。そのようなコンピューター記録メディアは、ネットワーク・コンピューター環境１００の一部であっても、またはその外部装置であってもよい。
【００１９】
コミュニケーション・メディアは、コンピューター読み取り可能な記録メディアとは区別され得る。コミュニケーション・メディアは、コンピューター読み取り可能な命令、データ構造、プログラム・モジュール、又は、変調されたデータ・シグナルにおけるその他のデータ、例えば、キャリア波またはその他の輸送機構等によって、一般的に具現化されていてもよく、その他のいかなる情報輸送メディアを含んでいてもよい。用語「変調されたデータ・シグナル」は、シグナル中の情報を符号化する様式で、１以上の特徴を設定または変更するシグナルを意味する。例の様式によって、コミュニケーション・メディアには、有線ネットワーク又は直接ワイヤード接続のようなワイヤード・メディア、並びに、アコースティック、ＲＦ、インフラレッド及びその他のワイヤーレス・メディアなどの無線メディアが含まれる。
【００２０】
レビュー・デバイス１０２は、又、任意の数および種類の、インプット・デバイス２３５及びアウトプット・デバイス２４０を有していてもよい。インプット・デバイス２３５の例には、キーボード、マウス、ペン、音声入力装置、タッチ入力装置、及びその他が含まれる。アウトプット・デバイス２４０の例には、ディスプレイ、スピーカー、プリンター、及びその他が含まれる。レビュー・デバイス１０２は、又、分散されたコンピューター・システム環境におけるネットワーク（例えば、図１のネットワーク１２０）を通して他のコンピューター装置との通信を可能とするコミュニケーション接続２４５を含んでいてもよい。
【００２１】
例に示す実施形態では、ここに図示された様々な他の装置（例えば、レビュー・デバイス１０４、１０６及びドキュメント・ルーター１１０）は、図２に示すのと同様の様式で構成された１以上のコンピューター装置２０１を含んでいてもよい。
【００２２】
次に図３を参照して、調査者のための文書を調査するための方法３００の例が示される。この例では、調査者は、文書を要求するために、レビュー・デバイス１０２、１０４、１０５の１つを利用して、文書を分析し、文書の分析が終了次第、分析した文書を（システムに）戻すことができる。
【００２３】
調査者がシステムにログインすると、方法３００は、手順３１０を開始する。方法３００は、一般的には、調査者の個性（ＩＤ）に応じてシステムに証明を与えると、実行される。
【００２４】
次に、手順３２０において、調査者は調査するための文書群を受け取る。更に以下に説明するように、前記文書群は、様々な方法論を用いて産出することができる。例えば、前記文書群は、ファースト・イン・ファースト・アウト（ＦＩＦＯ）スキーム、管理人スキーム、ランキング・スキーム、ランダム・スキーム、又はそれらの組み合わせを用いて産出することができる。
【００２５】
次に、手順３３０において、調査者は群中に含まれる各文書を分析する。この例においては、前記分析には、各文書に対するラベル付けが含まれる。例えば、訴訟手続きにおける文書を作成する状況において、調査者は、文書が検討価値があるか又は検討価値がないかのどちらで定義されるかのような、文書を分類分けするラベルを尋ねられてもよい。検討価値がある文書は、訴訟のための発見にとって適切な文書（例えば、書類および質問書の作成の求めなどの開示要求に応じた文書）である。検討価値がない文書は、適切な発見ではなく、免除される文書である。
【００２６】
群中のそれぞれの文書について、調査者は、文書（の内容）を解析し、（各文書に）割り当てるための適切なラベルを決定する。それぞれの文書は、調査者がコンピューター装置を用いて文書（の内容）を解析できるように提供され得る。調査者は必要に応じて文書（の内容）を解析することができ、次にその文書にラベル付けをすることができる。例えば、調査者はメニューから正しいクラス名を選択することによって、その文書のラベル付けをしてもよい。一度ラベル付けされると、それぞれの文書は手順３４０でその内容を登録される。この登録過程を通じて、本発明のシステムは、調査者が各文書に対して適切なラベルを付与したかを確認する。
【００２７】
最後に、手順３５０で、調査者はシステムからログアウトする。
【００２８】
次に、文書（の内容）の解析を可能とするための方法４００の例を示した、図４を参照する。この例では、方法４００は、ドキュメント・ルーター１１０によって遂行される。
【００２９】
最初に、手順４１０において、ログインの要求が検討装置（例えば、レビュー・デバイス１０２、１０４、又は１０６）から届く。
【００３０】
一度ログインの要求がシステムに届くと、文書のセットが、手順４２０において文書（の内容）の解析のために（例えば、１以上のデータベース１３０、１４０、１５０から）抽出される。以下に図５及び図６を参照して説明するように、文書を抽出するために使用するスキームは、様々に変更可能である。ここに更に示されるのは、ＦＩＦＯスキーム、管理人スキームまたはランキング・スキームを含む例である。
【００３１】
次に、手順４３０において、文書のセットは、文書（の内容）の解析のために調査者に届けられる。前記解析は、レビュー・デバイス１０２、１０４、１０６を用いて行われる。この解析を通じて、各文書は調査者によって分類分けされる。
【００３２】
調査時間の終わりに、調査者に届けられた文書のセットは、調査者によって手順４４０で登録される。登録を通じて、調査者がそれらの文書を特定するためのそれぞれのクラス区別（例えば、検討価値があるか又は検討価値がないか）から、それぞれの文書について、どちらのクラスラベルが選択されたか或いはいずれのラベルも選択されなかったかの決定がなされる。適切に分類されなかった文書は（システムに）戻され、文書が登録される前に、調査者は文書（の内容）を完全に解析することを求められ、文書は適切に分類分けされる。
【００３３】
次に、手順４４５において、人工知能技術は、それぞれの文書に対して与えられたラベルに基づいて、予測されるモデルを教え込むために使用される。広範な人工知能技術、特に管理された学習（ラベルされたデータ・ユニットからの学習）に基づく人工知能技術を用いることができる。一例において、（例えば、文書が検討価値があるか又は検討価値がないかの）クラス区別において、各文書がいずれのクラスに属するかの確率の推定値を出力する論理的回帰モデルを模範として、該モデルは、ラベルされた教育用の文書に対して入力された特徴のクラスラベルを観測する確率を概して最大にするモデル係数を見出すことによって、教え込まれる。別の例では、前記モデルは、Ｃ４．５アルゴリズムによって教え込まれた一連の決定規則である。更に別の例では、前記モデルは、最も近接した分類子として用いられる、記録されラベルされた単なる一連のデータ・ユニットである。
【００３４】
別の例においては、前記予想されるラベルは、ＢＭ２５タームウェイティング法の変形によってその係数が特定された値に設定された、直線型モデルである。ＢＭ２５のバージョンは、マイクロソフトＳＱＬサーバー内のＦＲＥＥＴＥＸＴＴＡＢＬＥランキングに定義されている。更に他の例においては、人工知能アルゴリズムが、ラベル化されたデータ・ユニット及び予測されるモデルを創り出すための符号化された知識の両方を考慮に入れる。これらの例の１つとして、論理回帰モデルが、クラスラベルの可能性（尤度）および係数の事前確率分布の両方を考慮に入れた、概して最大化したｐｏｓｔｅｒｉｏｒｉ可能性（尤度）に代えられて、教え込まれる。この事前確率分布は、クラス分けの作業のためのヒトの知識に基づいて、又は、記載された引用事項を引用することによって、選択できる。他の例においては、知識は論理的な規則の形式で符号化され、ラベル化されたデータ・ユニットと結合して、帰納的論理プログラミングを用いた予測モデルを教え込まれる。他の例においては、複数の人工知能モデルの出力が結合される。ラベル化されたデータ・ユニット及び予測されるモデルを創り出すための符号化された知識の両方を用いた人工知能アルゴリズムの他の多くの例が知られている。その他の予測モデルおよびそれらを教え込む方法も、又、使用できる。
【００３５】
次に、手順４５０において、それぞれの文書が検討価値があるか又は検討価値がないかのいずれに分類分けされるかに関する決定がなされる。
【００３６】
検討価値がある文書の場合、手順４６０への制御が伝達され、文書が品質制御スキーム下で調査される。この例においては、文書が登録されると、該文書は、ユーザーが作成した領域を分析される。規則は、ラベル化、編集、コメント、又はその他の業務生産物を特定の様式における形成が確実であるように形成することができる。規則は、Ｂｏｏｌｅａｎ論理と結合することができる。一度、分類子（教え込まれたモデル）が作成されると、追加の品質管理が実行できる。報告と調査は、調査者としてのヒトおよび特定の分類分けに関する分類子との間の不一致を見出すために実行することができる。
【００３７】
或いは、文書が手順４６０において、検討価値がない文書として分類分けされた場合に、その文書は検討価値がない文書用の記録装置に移動される。
【００３８】
最後に、手順４８０において、文書のコーパス（集成）の調査が完了したか否かの決定がなされる。この決定には、様々な修正方法を使用することができる。そのような決定の一例を、以下の図６を参照することによって説明する。
【００３９】
次に図５を参照することによって、手順４２０に関する追加的な詳細を示す。上記で述べたように、手順４２０において、複数の文書のセットが調査のために抽出される。
【００４０】
具体例では、複数の文書は、様々なスキームを使用して抽出され得る。手順５１０において、１以上のスキームが選択される。
【００４１】
一例において、複数の文書は、ＦＩＦＯアプローチを用いて抽出される。すなわち、複数の文書は、システム中に入れられた文書の順番に基づいて引き出される。例えば、１０００個の文書がコーパス（集成）として集められている場合に、システム中に入れられた最初の１００個の文書は、調査者による最初の調査用のセットとして抽出され、供給され得る。
【００４２】
他の例においては、複数の文書は、その複数の文書に関する管理者に基づいて抽出される。例えば、母集団中のそれぞれの文書は、その文書が集められた際に誰がその文書を制御したかに基づいて特定され得る。調査の結果、その文書に関する管理者に基づいて文書が抽出され得る。例えば、複数の文書の母集団には、会社のＣＥＯによって制御された文書のセットが含まれ得る。それらの管理者としてＣＥＯをリストしている文書は、調査のために母集団から抽出され得る。
【００４３】
更に他の例において、複数の文書はランキング・スキームまたは点数化されたスキームに基づいて抽出され得る。例えば、以下において更に言及するように、（例えば、人工知能モデルを用いて）前記複数の文書は分析され、又、前記複数の文書は、人工知能モデルによって順位づけられた、又は点数を付与された、それぞれの文書に基づいて、調査者のために抽出され得る。
【００４４】
他の例においては、前記文書は、以下に詳述するように、文書の収集からのランダムなサンプリングによって選択される。
【００４５】
最後に、どの文書を抽出するかを決定するために、１以上のスキームを複合して、用いることができる。更に別の実施形態では、例えば、いくつかの文書が、ランキングに基づいて抽出される。そのようにランダムに選択したその他の複数の文書は、ランキングに基づいて抽出された文書のセット中に点在される。この文書の複合セットは、下記において更に述べるように、調査を行う調査者に配送される。別の実施形態においては、複数の文書は、優先する管理人のリストに基づいて抽出され、関連するランキングによって、更に順序付けされる。この複合的な方法では、コーパス（集成）中の複数の文書をまずフィルターにかけ、次いで関連する順番に並べることを問うデータベースを実際に使用することができる。
【００４６】
複数の文書のセットが決定された後、制御が手順５２０に送られ、その複数の文書はデータベースから抽出される。
【００４７】
次に図６を参照して、調査のための複数の文書を抽出する手順５１０に関する追加的な詳細を示す。
【００４８】
最初に、手順６１０において、人工知能モデルを用いて、十分正確に複数の文書を選択できるか否かに関する決定がなされる。この決定は、前記モデルを教え込む（トレーニングする）ことを通じて入手できる先行する知識が（もしある場合には）どれほど多いか、又は、前記モデルを教え込む（トレーニングする）際にどれだけ多くのどの種類の教育用文書を用いたかによって、又は、ラベル化された複数の文書のサンプルを用いることにより有効なモデルを正確に評価することによって、なされ得る。この決定をするための１つの規則は、前記クラス区分中のそれぞれのクラスから３以上の文書をトレーニング用に用いた場合に、前記モデルの使用を開始することである。
【００４９】
調査が複数の文書の初期セットに対してなされる場合、制御は手順６２０へ送られる。この例においては、母集団から複数の文書をランダムにサンプルするようにして、母集団から複数の文書が抽出される。
【００５０】
他の実施形態においては、複数の文書は、ＦＩＦＯスキームに基づいて抽出される。例えば、１００，０００個の文書のコーパス（集成）が用いられる場合、データベースに最初に入れられた１００個の文書のセットが調査のために抽出される。この複数の文書のセットは、次に、手順６７０における調査のために準備される。別の実施形態においては、この初期の複数の文書セットを抽出するために、その他のスキームが使用される。例えば、他の実施形態においては、文章検索システムに対して、１以上の問い合わせを実行することによって、複数の文書が選択される。他の例においては、複数の文書は、ランダムなサンプリングによって選択される。別の例においては、複数の文書は、重要な文書に関するユーザーの知識に基づいて選択される。
【００５１】
別の実施形態においては、手順６１０、６２０が限定される。その代わりに、手順５１０が、完全な文書の母集団から複数のサンプル文書のセットを単純に抽出することによって、開始される。
【００５２】
あるいは、初期の調査が完了した場合に、制御が手順６３０に対して与えられ、母集団中に残っている調査されるべき複数の文書が、上記のように初期の複数の文書セットの調査に基づいて教え込まれた（トレーニングされた）モデルを用いて点数付けられる。
【００５３】
次に、手順６４０において、調査されるための複数の文書のバッチから抽出されたランダムなサンプルのサイズが計算される。いくつかの例においては、サンプルのサイズは、複数の様々なパラメーターに基づいて選択される。
【００５４】
例えば、図７を参照することによって、一例としては、ランダムなサンプルは、まだ調査されていない検討価値がある文書の文書数を評価するために使用される。そして、ランダムなサンプルのサイズは、（ｉ）コーパス（集成）の最小の最終的なサイズの評価（７１０）、（ｉｉ）信頼水準（７２０）、（ｉｉｉ）信頼区間の半値幅（７３０）、及び（ｉｖ）最終的なコーパス（集成）中の検討価値がある文書の信用できる最大比率（７３５）、の４つのパラメーターに基づいて設定される。
【００５５】
すべての文書が同時に配送される場合、コーパス（集成）について評価された最終のサイズの最小値が、単純に実際に知られたコーパス（集成）のサイズであり得る。より一般的には、すべての文書が同時に配送されるわけではない。例えば、訴訟手続き中において、一般的に、すべての文書が一度に調査のために提供されるわけではない。調査のための文書を入手できるか否かは、文書の収集頻度や調査のための文書の加工（例えば、文書がハードコピー又は電子的にアクセスできない形式である場合に、電子的に調査するために変換する必要がある場合）、文書のコーパス（集成）を拡大した場合の範囲およびサイズの変化（例えば、新しい文書の要求が、発見の範囲を拡大することによって得られる場合）、及び／又は、文書の入手容易性などの多くのファクターによって、影響を受ける。このような状況において、利用できる知識は何でも、最終的なコーパス（集成）がほぼ確実に多くの文書を有するなどといった、すなわち文書の数の最低限値を特定するために使用される。コーパス（集成）のサイズの評価は、以下において更に説明するように、サンプルのサイズの計算において考慮される。以下に説明するように、それ（すなわち、コーパス（集成）のサイズ）が余りにも高く又は余りにも低く評価された場合には、調整される。
【００５６】
信頼水準７２０は、検討価値がある文書（以下を参照）の真の文書数を含む、まだ調査されていない検討価値がある文書の信頼区間をユーザーがどれくらい信頼したいかを特定する。例えば、０．９５（９５％）という信頼水準は、ランダムなサンプリングによる望まない（文書の）選択によって、（まだ）調査されていない検討価値がある文書の中に含まれる真の文書数を含んでいない信頼区間を誘導する、１．０−０．９５＝０．０５（５％）よりも高くない確率をユーザーが欲していることを意味している。記号αは、１−信頼水準を表すためにしばしば使用され、ユーザーは、信頼水準またはそれと等価のαの値を特定することができる。高い信頼水準を達成するためには、一般的に、より低い信頼水準を達成すると考えられるサンプル数よりも、より多くのランダムなサンプルを調査することが必要である。特定された信頼水準は、更に下記に説明するように、サンプルのサイズの計算において考慮に入れられる。
【００５７】
信頼区間の半値幅７３０は、ユーザーがその信頼区間に許容してもよいと考える、まだ調査されていない検討価値がある文書の文書数が、如何に不確かであるかを示している。例えば、ユーザーは、信頼区間の半値幅をパーセント単位で１％、２％、３％、又は５％のように特定してもよく、これはコーパス（集成）の最終のサイズの大小に拘らず、パーセント値で表される。特定された信頼区間の半値幅は、以下に説明するように、サンプルのサイズの計算において考慮に入れられる。
【００５８】
信用できる最大比率７３５は、最終的なコーパス（集成）中に存在し得る検討価値がある文書の最大比率を特定している。この値がわからない場合、又はこの値が０．５よりも大きい場合には、検討価値がある文書のどの部分についても、十分なサンプルサイズを与えることになるような数値０．５を設定することが可能である。
【００５９】
一例において、これらのパラメーター７１０、７２０、７３０、及び７３５は、以下のように、サンプルサイズ７４０を計算するために使用される。ｍｅｈｍｉｎが最終的なコーパス（集成）のサイズの下限値であると仮定すると、αは１−信頼水準、ｄは信頼区間の半値幅、およびｆｅｈｍａｘは可能な最大比率となる。したがって、下式（数１）によって、ユーザーの目的を満たすサンプルサイズが与えられる。
【００６０】
【数１】
0005940647.tif 000002
ここで、ｚα／２＝Φ−１（１−（α／２））であり，Φ−１（ｘ）は、累積正規分布関数の逆関数である。
【００６１】
これらの定義を用いた場合、２つの典型的なシナリオが描かれる。シナリオ１において、最終的に収集されるのに適した正確なサイズのランダムなサンプルが描かれる。完全な収集を一度に受け取る場合にも、これは当てはまる。又、収集を複数のバッチで受け取るが、前記収集の最終的なサイズが予めわからない場合、又は、収集をシステムに戻して、より後のバッチを見た後に、より先のバッチから追加的なアイテムをサンプルすることを許容する場合にも、これは当てはまる。又、最終の収集のサイズがわかるまでサンプルに（より後のバッチの）アイテムを含めるようなシステムを許容する場合にも、これは当てはまる。
【００６２】
シナリオ２において、コーパス（集成）は複数のバッチ単位（１時点で１つの文書のみを受け取るという極端な場合を含む）で受け取られ、それぞれの文書を受け取ったときに、その文書をサンプルに含めるかどうかを決定することが必要である。シナリオ２において単純なランダムサンプルを描いた場合に、更に起こり得るエラー源が存在する。すなわち、サンプリングの終了まで選択されたサンプルは、意図するよりも小さいものになり得る。しかし、サンプリングによっても、なお所望とする信頼水準を達成することもできる。その様式においては、平均して必要よりも大きなサンプルが選ばれ、小さ過ぎるサンプルを抽出する確率は大変小さくなる。
【００６３】
例えば、シナリオ１において、ｍｅｈｍｉｎ＝２００，０００が最終的なコーパス（集成）のサイズに関する下限推定値と仮定した場合に、９５％の信頼水準（α＝０．０５）及びコーパス（集成）のサイズ１％の信頼区間の半値幅（ｄ＝０．０１）を望み、控え目な値ｆｅｈｍａｘ＝０．５が使用される。こうして、所望のサンプルサイズは、下式（数２）で表される。
【００６４】
【数２】
0005940647.tif 000003
【００６５】
シナリオ２において、両方のタイプのエラーを考慮することが必要である。通算の信頼水準αを成し遂げるための１つの方法は、α／２の確率で、最大確率α／２を与えるようなサイズのサンプルを少なくとも選択する様式で、サンプリングすることである。ここで、目的の統計値（例えば、調査されていない検討価値がある文書の文書数）に対して創り出される信頼区間であるα／２は、真の目的の統計値を含んでいない。したがって、サンプルがとても小さいか又はサンプルが十分に大きいが、そのサンプルによって作成する信頼区間が問題となり、その確率は、最大でもαである。先の例に戻って、９５％の信頼水準（α＝０．０５）及びコーパス（集成）のサイズの１％の信頼区間の半値幅（ｄ＝０．０１）を所望し、控えめな値としてｆｅｈｍａｘ＝０．５が使用される場合、１−α／２＝０．９７５（９７．５％）の信頼水準を与えると考えられるサイズのサンプルを抽出することを試みる必要がある。そのようなサンプルのサイズは、下式（数３）で表される。
【００６６】
【数３】
0005940647.tif 000004
【００６７】
上記の例において、２つのタイプのエラーの確率は等しく均等にされるが、それは必須ではない。例えば、とても小さいサンプルの確率はαよりもとても小さく、一方、とても狭い信頼区間の確率はαよりもほんの少し小さくなるような様式で、サンプルを選ぶことができる。
【００６８】
一度、所望のサンプルサイズが定められると、それぞれの文書には、それが手順７５０において受け取られたときに、ランダムに０と１の間の数が割り当てられる。１つの実施形態において、これは各文書についてＭＤ５ハッシュコードを計算することによってなされ、そのビットパターンが０と１の間の数として説明される。
【００６９】
図６を再度参照して、手順６５０において、調査の目的で受け取られたすべての文書から、点数付けられた文書のセットが抽出される。この例においては、９０個の最も高くランク付けられた文書が、調査のために抽出され得る。
【００７０】
次に、手順６６０において、ランダムな文書のセットが、９０個のランク付けされた文書中に散在される。この例においては、それぞれの文書が受け取られたときに割り当てられる乱数に基づいて、その文書が抽出される。
【００７１】
例えば、最終的な最小のコーパス（集成）のサイズが１０，０００文書であると推定される場合の、所望とするランダムなサンプルのサイズが、１，０００であると仮定する。上記に述べたシナリオ１においては、最も低い乱数を有する１０００文書を単純に選択することができる。上記に述べたシナリオ２においては、それぞれの文書の乱数は、その文書を受け取ったときに、閾値と比較され、閾値よりも小さい乱数を有する文書は、当該ランダムなサンプルに含められる。０．１の閾値は、平均して１０００のサンプルサイズを与えるが、選択される文書が実質的に１０００文書よりも少ない可能性も、同様にあり得る。それゆえ、０．１よりも小さい閾値を選択でき、それによって、上記の例のように、サンプルがα／２である確率はとても小さくなり、すなわち、他の小さな値となる。この閾値は、２項ランダム変数の分布に基づいて決定できる。
【００７２】
別の例では、“サンプル中に最も含まれ得る”ものを基礎として、それらに割り当てられた数によって、文書が選択される。例えば、最初の文書のコーパス（集成）が閾値０．１を許容する場合、０．０６の数を割り当てられた文書Ａおよび０．０３の数を割り当てられた文書Ｂなどの０．１よりも小さい数が割り当てられたすべての文書が、そのサンプル中に含まれているとみなされる。しかし、文書の別の配送によって、コーパス（集成）の合計が最小限度を超えて大きくなる場合には、前記閾値は、サンプルサイズを調整するように、より小さくすることができる。例えば、閾値が０．０５よりも小さい場合には、前記文書Ａはサンプルから外れるが、一方、前記文書Ｂはなおサンプルの中に含まれる。このような例においては、前記文書Ｂがより大きなコーパス（集成）のサンプルセットとして、尚、その適格性が認められるので、前記文書Ｂをもとのサンプル中に含めて、前記文書Ａよりも先に選択されるようにできる。
【００７３】
調査者に収集に関する様々な異なった視点を与えるのと同様に、調査のために他の文書中にランダムにサンプルした文書を散在させるこの方法は、これらの文書を調査するための調査の偏りを最小化する。ランダムにサンプルされた文書は、調査の効果を評価するために使用でき、調査を終えることができる時点は、以下のようにして決定される。
【００７４】
例えば、調査されるべき文書が多く残されている文書群の中から選ばれた１０個のランダムな文書が、高い点数またはランクを有するために、選択された９０個の文書のセットとランダムに混合される。１００個の文書のこの完全なセットは、手順６７０において、調査のための複数の文書のセットとしてパッケージされる。
【００７５】
図５及び６に図示した方法論を用いる実施形態の例において、文書の調査は、コーパス（集成）中の個々の文書を調査者が分析することなしに完了できる。或いは、調査のいずれかの時点で、どれだけの個数の検討価値がある文書がまだ調査されていないかをコンピューターによって評価し、この評価が、調査されずに残っている検討価値がある文書が十分に小さい文書数であることを高い信頼度で示したときに、調査は終了できる。
【００７６】
例えば、調査を終了するための１つの可能なルールは、まだ調査されていない検討価値がある文書の個数のための９５％の信頼区間に、値ゼロ（０）が含まれるときに、終了するというものである。ランダムなサンプルのサイズが最大１０，０００個の文書を含むものと仮定すると、コーパス（集成）の最終的なサイズは、１，０００，０００個の文書となる。今、サンプル中からの５００個の文書が検討価値があると判定されたと仮定する。そうすると、この場合、コーパス（集成）中の検討価値がある文書の全個数のための９５％信頼区間は、超幾何分布に対して正規近似を用いて、５００００＋／−４２５０．３となる。ここで、全部で１５０，０００個の文書が（１０，０００個のランダムな文書、および１４０，０００の高い点数で）調査され、４７，０００個の検討価値がある文書が発見されたと仮定する。この場合、まだ調査されていない検討価値がある文書の文書数のための９５％信頼区間は、３０００＋／−４２５０．３、すなわち［−１２５０．３，  ＋７２５０．３］となる。調査されていない検討価値がある文書が負の数であることは理論的にあり得ないため、９５％信頼区間は、［０，＋７２５０．３］のように記載できる。こうして、調査は終了することができる。まだ調査されていない検討価値がある文書の文書数以外の異なる効果的手段、並びに、教え込む（トレーニングする）ために提供されたテストセットを使用する手段を含む、その他の多くの終了ルールも可能である。
【００７７】
この例においては上記のように、１つのセット中の複数の文書は、初め、ＦＩＦＯ順に抽出される。文書は調査され、第１のトレーニングセッションに入れられる。トレーニングセッションでは、それぞれの文書について検討価値があるか又は検討価値がないかの分類分けと共に、それぞれの文書の文字、メタデータ、及びその他の属性が判断される。モデルは教え込まれ（トレーニングされ）、すべての調査されていない文書が点数を付けられる。その点数は、現在のモデルに基づいて、その文書が検討価値がある文書のセットに含まれる確率を表している。
【００７８】
上記に述べたように、モデルが十分に教え込まれた（トレーニングされた）と考えられるまで、ＦＩＦＯ順での文書の抽出が続けられる。一度、モデルが十分に教え込まれる（トレーニングされる）と、続いて調査文書群から引き出しにより、それらの文書が選択され、そのモデルは検討価値に関して最も高い点数を示す。更に、ドキュメントプル中にランダムなサンプルが属するように、システムは文書を散在させる。調査の進展に伴って、そのモデルは、ラベル付けられた増加した文書のセットを用いて再度教え込まれる（トレーニングされる）。この手順を続けることにより、より効果的に、より多くの検討価値がある文書を見出しラベル付けすることが可能となる。
【００７９】
調査の群は、それぞれのプルのサイズを規定するための特性を有している。一例において、例えば、１日に８時間のような与えられた時間内に調査できる適切な量の文書が、それぞれのプルにセットされる。一例においては、前記セットは、１００個の文書を与える。第１のプルは、トップの（１００−Ｘ）個のより高く点数付けられた文書、及び、ランダムなサンプルからのＸ個の文書を配送する。高く点数付けられた文書を散在させるために、ランダムにサンプルされた文書の数Ｘは、調査されるべきランダムにサンプルされた文書がどれだけの数だけ残っているか、文書の特徴がバッチごとに実質的に異なる（ランダムにサンプルされた文書は、同様な特徴を有する高く点数付けられた文書を理想的に散在させている）かどうか、並びに、ランダムで高く点数付けられた文書が最も確実な分類子をどれほどの比率で高めるかに関するユーザーの経験に基づいて、選択できる。
【００８０】
この例においては、調査者に文書を表示するインターフェースは、任意の文書及び高く点数付けられた文書をランダムに散在させるが、文書の点数は表示しない。この意図は、レスポンシブの程度に関する調査者の判断が、レスポンシブの程度の点数付けに関する現在のモデル予測の知識によって、片寄らないようにするためである。
【００８１】
典型的な文書作成に関する周期的特質のため、コーパス（集成）に含まれる文書の全文書数は、一般的には、時間（すなわち、コーパス（集成）の“拡大（expanding）”または“展開（rolling）”）と共に多くなるであろう。いくつかのポイントにおいて、文書のコーパス（集成）のサイズが、見積もられた最小で最終のサイズを超えている場合、これは、ランダムなサンプル中に含まれている必要のあるコーパス（集成）の比率が、より低下することを示している。それ故、ランダムなサンプル中に含める文書を選択するために用いられる乱数に関する閾値は、調査者の労力を減少させることができることを意味している。ランダムなサンプル中に予め含まれる文書は、しかしその新しい閾値よりも大きな乱数を有するが、再計算用の信頼区間が偏りのない評価を維持するために、前記ランダムなサンプルから次に排除されることができる。別の実施形態においては、異なる閾値に基づいて選択されるにもかかわらず、ランダムにサンプルされた文書のすべてを考慮に入れるように、階層化されたサンプルの評価がなされる。
【００８２】
反対に、最終的なコーパス（集成）のサイズが、推定された最小の最終的なサイズよりも小さくても可能である。例えば、その場合、追加的なアイテムが、遡ってすべてのコーパス（集成）からランダムにサンプルされるか、又は、それが可能でない場合には、もともと所望されていたよりも大きな半値幅を有する最終的な信頼区間が許容される。
【００８３】
他の実施形態において、単純な２つの分類分け（例えば、レスポンシブか非レスポンシブか）よりも、より多くの分類分けを使用することもできる。そのような実施形態においては、複数クラスの区別は、それぞれ２以上の可能なクラスラベルと関連づけて、各文書を規定し得る。そのような区別の例は、法律の要点に関連して、免責されるか免責されないかの別、その場合に関連する重要な要素（人、生産物など）の有無、文書の種類（例えば、マーケティング書類、セールス書類、技術書類など）、及び／又は、文書の重要度（例えば、低、中、高）を含んでいる。前記区別のそれぞれに対して使用されるラベルは、各文書が調査されるときに、それぞれの文書に対して割り当てられ得る。クラス区別のいくつかは、１つの文書が前記区別からの１以上のクラスに部分的に帰属し、その場合、調査者は、前記区別からの１以上のクラスにその文書が帰属することを示すことができる。
【００８４】
例えば、１つの実施形態において、文書は初め、検討価値があるか又は検討価値がないかに分類される。検討価値がある文書については、追加的なクラス区別のリストがシステムによって与えられ、調査者は、文書をラベルするのに使用される１以上の区別を選択することができる。
【００８５】
別の実施形態においては、モデルは、どのクラスラベルがそれぞれのクラス区分のためのそれぞれの文書と関連させるべきであるかの予測を与えることができるように、これらの追加的なクラス区分を教え込ませ（トレーニングさせ）られる。調査者は、これらの示唆されるクラスラベルを与えられ、文書調査用のラベルを確認または改訂することができる。
【００８６】
他の実施形態においては、調査者によって割り当てられたクラスラベルは、モデルによって割り当てられたクラスラベルに対して検証され得る。矛盾は、そのモデルに対して更なる教え込み（トレーニング）を提供するために、調査され得る。
【００８７】
他の実施形態においては、それぞれの分類子の効果に関する決定がなされる。１つの実施形態において、本明細書に記載したランダムなサンプルセットと同様のランダムなサンプルセットが、検討価値がある文書の（文書）数を評価するために使用される。このセットは、人の判断による分類分けの決定と、自動化された（すなわち、コンピューターによる）分類分けの決定とを比較するために使用される。
【００８８】
他の実施形態においては、人による分類分けと自動的な分類分けとの比較が、多くの調査されていない検討価値がある文書の文書数とは、異なる基準を用いてなされ得る。これらの基準には、正確さ、回収、精度、及びＦ−法（前記精度と回収との補正された組み合わせ）を含み得る。その結果が満足でない場合、（例えば、自動による分類分けが、人による分類分けと比較して正確さが要求される特定の閾値よりも低い場合）、更なる教え込み（トレーニング）が行われ得る。
【００８９】
いくつかの例において、ユーザーは、文書の調査を影響づけることを所望して、トレーニングプロセスの戦略を修正することができる。例えば、いくつかの実施形態において、ユーザーは調査者に対して与えられた文書の混合を操作することができる。これは、システムが如何に学習し作動するかについての影響を与える。
【００９０】
この例において、ユーザーは、推奨される設定（すなわち、デフォルトの設定）を選択することができるし、トレーニングプロセスを取り扱うためのカスタム設定を使用することもできる。これらの変更は、トレーニングセット（すなわち、システムに文書の分類分けを教え込む（トレーニングする）ために提出された文書セット）及びテストセット（すなわち、所定の誤差の範囲内で、システムの正確さを決定する文書セット）を修正する。
【００９１】
推奨される設定のための、文書の教え込み（トレーニング）とテスティングの混合は、経時により変わる。初期の調査の間は、トレーニングセットは、文書をどのように分類分けするかをシステムに学習させる（教え込む）のに十分大きいものである。中間的な調査の間は、学習用文書とテスト用文書の数は等しい。最後に、調査の終盤では、テスト用文書の文書数が、システムが文書の分類分けを正確に学習したことを証明するために、増加している。カスタム設定を使用することによって、ユーザーは文書のこの混合を修正することができる。
【００９２】
例えば、訴訟手続き中においては作られないであろう文書の初期の調査を行う場合、ユーザーは教え込み（トレーニング）を最大化することを選択してもよい。この場合、ユーザーはシステムに対して速やかに高められた学習を望み、システムの示唆における信頼性は重要ではない。このようなシナリオにおいて、ユーザーが効果の高い測定点数を得たとしても、その点数が如何に正確なものであるかどうかは分からない。
【００９３】
反対のシナリオにおいて、トレーニングが完了したとユーザーが納得し、ユーザーが所望の誤差の範囲に速やかに達したいと望む場合には、ユーザーはテストを最大化することを選んでもよい。このシナリオでは、ユーザーはより速やかに誤差の範囲に達することができるが、所望とする正確さのレベルを得るためには、更なる教え込み（トレーニング）が必要になる可能性がある。
【００９４】
ここで図８を参照すると、ユーザー・インターフェース８１０の例が、システムによって与えられた調査をカスタマイズするために示されている。この例では、ユーザーは、推奨される設定のためのラジオ・ボタン８１２、及びカスタム設定のためのラジオ・ボタン８１４のいずれかを選択できる。
【００９５】
ラジオ・ボタン８１４が選択された場合、ユーザーは、システムによって使用される教え込み（トレーニング）用およびテスト用の文書の割合を修正することができる。この例においては、ユーザー・インターフェース８１０は、“最大の教え込み（トレーニング）”と“最大のテスト”のパーセンテージを方向Ｒにおいて変更するために、ユーザーが回転させることのできるダイアル８１６を含む。或いは、値を変更するために矢印が使用されてもよく、又は、前記値が単純に選択されて上書きされてもよい。この例においては、ユーザーは、１０パーセント教え込み（トレーニング）及び９０パーセント・テスティングを選択している。これは、推奨される値から逸脱しており、それは、ラジオ・ボタン８１４に隣接して表示されている。（すなわち、３８パーセントの教え込み（トレーニング）および６２パーセントのテスティング）。ユーザーは、教え込み（トレーニング）およびテスティングの所望の混合を得るために、ユーザー・インターフェース８１０を操作することができる。
【００９６】
他の例においては、他のプロセスを用いて、コーパス（集成）中の文書を自動で調査する能力を高めることができる。これらのプロセスのいくつかの例を以下に説明する。
【００９７】
１つの例においては、関連ある近接する文書群が生成され、１つの新しい文書の特徴が各文書群に対して生成される。その新しい特徴は、ある程度は対応する文書群に含まれる文書に対して、ゼロでない値を引き受けることである。文書の表現にそれらの特徴を含めることは、偶然に見出された多くの関連ある近接する文書を教え込む（トレーニングする）ことによる影響を減少させる。１つの実施形態において、関連ある近接する文書群は、バッチ式または増加する様式において、重複した文書または重複に近い文書を検出する技術を用いて生成される。他の実施形態では、関連ある近接する文書群は、統計的な文書クラスター化方法を用いて生成される。ここで、前記文書群は、バッチ式または増加する様式において、関連する内容を有するが、重複もしくは重複に近い記載を有することを必要としない。それぞれの文書は、正確に１つの群か、複数の群か、又は群への帰属の程度を異にして異なった（複数の）群に属するような文書群であってもよい。群は、例えば、Ｌａｔｅｎｔ  Ｓｅｍａｎｔｉｃ  Ｉｎｄｅｘ（ＬＳＩ）のような技術によって産み出された係数などの、数学的構造を抽象化することに対応できる。
【００９８】
他の例においては、文書群に対応する新しい特徴を産み出すことに代えて、前記システムは、それぞれの群からたった１つの文書だけを教え込み（トレーニング）のために使うことを許すような単純なものとされる。別の例においては、サンプリングを含むすべての手順は、二重収集ではなく行われる。別の例においては、それぞれの文書群は、群に属する文書の特徴ベクトルの重心をとることによって生成される単一の特徴ベクトルによって表される。
【００９９】
別の例においては、調査者の労力を軽減するために、関連する文書群が使用される。調査者が文書群から抽出した１つの文書に対してあるラベルを割り当てたときに、それと同じラベルが、その文書群の中の他のすべての文書に対して、任意に伝搬される。
【０１００】
別の例においては、文書の様々な特徴が、文書が処理されている間に正規化されることができ、それによって、クラス中に、より多くの情報すなわちより良い識別子が与えられる。例えば、文書に関連する日付は、捕獲され、標準形式にされる。これは、異なる時間枠による文書のグループ分けなどの、予測モデル中の特徴としての日付の使用、及び、報告の改善の両方を支援する。単一の日付は、特徴の複数セットに寄与し得る。例えば、年に対応する特徴のセットと、月に対応する別の特徴のセット、週の中の日に対応する別の特徴のセットなどである。例えば名前などの文言上のその他の要素は、又、標準形式にされて、より良い予測特性、及び、より良い報告特性の両方を与える。
【０１０１】
１つの文書はしばしば複数の領域を含み、それらの複数の領域は、例えば、関連するデータベース中の異なる帰属、ＸＭＬ表現形式の異なる要素、又は他の方法によって、符号化されてもよい。１つの実施形態においては、すべての領域が、同じ特徴のセットと対応づけられる。別の実施形態において、それぞれの領域は、その特徴セット自体と対応づけられる。他の実施形態においては、領域の部分集合が、１つの特徴のセットの生成において、組み合わされてもよい。例えば、単一の特徴のセットと対応づけられる（文書のタイトル又は内容などの文字領域、及び、名前やデータなどのようなメタデータ領域の両方を含む）様々な様式で、文字どおりに解釈できるすべての領域が、単一の特徴のセット（同様に、可能であれば、対応する特徴のセットを有するそれぞれ）と対応づけられる。これは、文書中に存在する特徴としての証拠との関連性に基づいて、インターフェース中に特徴を目立つようにされる。
【０１０２】
例えば、用語“Ｒｅ：”が、ｅメールの本文にはそぐわないようなｅメールのヘッダーとして含まれている場合には、それは違う意味を有する。それぞれのテキスト領域のための独立した特徴のセットが定義されることにより、これらの違いに注意が向けられる。他方、すべてのテキスト領域において共通の複数の特徴のセットを定義することによって、すべての領域において同じ意味を有する用語についての証拠を集積することが可能となる。したがって、最も予測できるような個々の特徴を発見するために、機械的な学習アルゴリズムを用いることができる。
【０１０３】
更に、他の例では、２つの対になる特徴が文書の確かな識別し得る性状として把握するように定義され得る。例えば、定型句（ボイラープレートテキスト）(例えば、個人からのｅメール上のサイン、及び／又は、法的免責条項)の特定の塊が多くの文書中に出現する場合、２つの対になる特徴は、特定の文書がそのような定型句（ボイラープレート）を含むか否かを示すように定義され得る。これは、機械的な学習が、定型句（ボイラープレート）中に出現する個々の用語を過重に評価しないことの助けとなり得る。特定の領域（例えば、ｅメールのｃｃ：領域）が空白か否かなどの、他の２つの対になる特徴が、定義され得る。
【０１０４】
他の例では、文書に関連する階層的な情報は、異なる階層（順位）における文書の帰属を符号化する複数の特徴に対応づけられる。階層的な情報の例には、ファイルシステムパスネーム（例えば、／ｕｓｅｒｓ／ｊｏｎｅｓ／ｐｒｏｊｅｃｔｓ／ｐｕｒｐｌｅｂａｌｌ／ｍｋｔｉｎｇ／ｊｕｌ０９．ｄｏｃ）、ｅメールアドレス（例えば、ｊｏｅ＠ｅｘａｍｐｌｅ．ｃｏｍ）、ＵＲＬ（例えば、ｈｔｔｐ：／／ｗｗｗ．ｅｘａｍｐｌｅ．ｃｏｍ／ｂｍｗｕｋ／ａｕｃ／ｈｏｍｅｐａｇｅ）、物理的位置（例えば、世界：北アメリカ：アメリカ合衆国：ウィスコンシン州：マディソン市：５００サークルロード：２０１号室）、有機的な階層（例えば、Ｂｉｇ社、自動車部門、営業部、第７係）、階層的存在論および分類スキームからのラベル（例えば、製造物−乗り物−自動車−セダン）を含む。
【０１０５】
階層における位置を捉えるための複数の特徴へ単一の階層的な表現を対応づける１つの方法は、表現における個々の自然な区分のための表現の１つを切り捨てることである。例えば、もし、世界：北アメリカ：アメリカ合衆国：ウィスコンシン州：マディソン市：５００サークルロード：２０１号室が、文書の領域Ｘの値である場合、その文書には、以下の特徴のそれぞれに関して、１．０の値が与えられる。ＸＴｒｕｎｃ：世界！北アメリカ！アメリカ合衆国！ウィスコンシン州！マディソン市！５００−サークルロード！２０１号室、ＸＴｒｕｎｃ：世界！北アメリカ！アメリカ合衆国！ウィスコンシン州！マディソン市！５００−サークルロード、ＸＴｒｕｎｃ：世界！北アメリカ！アメリカ合衆国！ウィスコンシン州！マディソン市、ＸＴｒｕｎｃ：世界！北アメリカ！アメリカ合衆国！ウィスコンシン州、ＸＴｒｕｎｃ：世界！北アメリカ！アメリカ合衆国、ＸＴｒｕｎｃ：世界！北アメリカ、ＸＴｒｕｎｃ：世界。
【０１０６】
文書の収集物は、しばしば複数の人間の言語の文字（テキスト）を含む。文字が書かれた部分の言語を検出するための正確な方法が入手できる。一例においては、各言語からの文字部分は、それら自体の特徴のセットと対応づけられる。別の例においては、すべての言語からの文字部分は、又、共通する特徴のセットと対応づけられ、言語を隔てて共通の用語（例えば、部品の番号や生産物の名称など）が、すべての言語からの証拠として集積される。他の例においては、（これらの）両方の方法が用いられる。別の例においては、１つの言語から別の言語へ文字部分を翻訳するために機械翻訳が適用され、標的語の翻訳が、生成する特徴として使用される。
【０１０７】
文書の収集物にはしばしば、スキャンされた文書に対して光学的特徴認識を適用して生成された文字が含まれる。この文字は、特徴および用語レベルの両方においてノイズを有している可能性がある。より効果的に特徴を産み出し、この種のノイズデータをより効果的に機械に教え込む（教育する）ための、様々な方法が知られている。
【０１０８】
文書の収集物には、音声データに対して音声識別法、又は、イメージ・ファイルに対してイメージ読み取り法を適用することによって生成した文字が、しばしば含まれる。より効果的に特徴を産み出し、この種のノイズデータをより効果的に機械に教え込む（教育する）ための、様々な方法が知られている。
【０１０９】
文書の収集物には、例えば、瞬間的なメッセージ、ツイート、およびこれに類するコミュニケーション方法において、しばしば多くの省略形を含むとても短い用語が含まれる。この種のデータに関する特徴をより効果的に産み出し、より効果的に機械に教育を与えるか（教え込むか）については、様々な方法が知られている。
【０１１０】
他の例においては、予測的なモデルがまだ十分に教育（トレーニング）されていない場合に、調査のための文書は、ＦＩＦＯ以外の方法によって選択され得る。一例においては、文書は、文字検索システムに対する１以上の問いの実行によって選択され得る。別の例においては、文書はランダムなサンプリングによって選択され得る。別の例においては、文書は、重要な文書に関するユーザーの知識に基づいて選択され得る。
【０１１１】
別の例においては、文書は、検討価値があるか又は検討価値がないかを見分ける十分に教え込まれた（教育された）分類子によって最も高い点数を与える方法以外の方法によって、調査のために抽出される。一例においては、他の識別のために、モデル上の高い点数を付けられた文書が使用される。別の例においては、いくつかの識別のための、モデル上の文書の点数は、何らかの様式で結合され、最も高く点数付けられた文書が選択される。別の例においては、中間的な点数を有する文書、閾値に近い点数を有する文書、又は点数が特定の分布を有する文書が、最も高い点数を有する文書に加えて、又は最も高い点数を有する文書に代えて、選択できる。
【０１１２】
他の例においては、ランダムに選択した文書と点数に基づいて選択された文書の混合を提供する代替方法が使用され得る。例えば、点数またはランダムなサンプリングのいずれかに基づいて文書を選択することをランダムに決定した時点において、文書が調査者に提供されてもよく、その場合、文書はその決定した様式で選択される。
【０１１３】
これらは、コーパス（集成）中の文書を自動的に調査する能力を高めるために使用できる、様々な方法の例である。必要に応じて、プロセスは組み合わされ、追加的な技術が使用できる。
【０１１４】
本明細書に記載された実施形態の例は、ネットワーク・コンピューター・システム環境におけるコンピューター装置の論理的な手順として実行できる。前記論理的な手順は、（ｉ）コンピューターで実施される指示、ステップの連続、又はコンピューター装置を作動させるプログラム・モジュール、及び（ｉｉ）コンピューター装置内で作動している相互接続された論理的モジュール若しくはハードウェアモジュール、として実行できる。
【０１１５】
例えば、論理的な手順は、本明細書の開示の範囲を逸脱しない限り、アルゴリズムとして、ソフトウェア、ファームウェア、アナログ又はデジタルの電気回路、及び／又はそれらのいずれかの組み合わせにおいて、実現され得る。ソフトウェア、ファームウェア、又はコンピューターの命令の類似の連続は符号化されてコンピューター読み取り可能な記録媒体上に記録され、コンピューター装置間の転送のために、キャリア・ウェーブ・シグナルの中に符号化することもできる。
【０１１６】
以上に本発明の要旨を構造的な特徴および／または方法論的な行為に対する特有の用語に関して述べたが、本明細書に添付する特許請求の範囲の請求項において定義される対象（要旨）は、上記の特別な特徴または行為に限定される必要はない。更に、以上に述べた特別な特徴および行為は、単に請求項を含む実施形態の例として開示したに過ぎない。
【符号の説明】
【０１１７】
１００  ネットワーク・コンピューター環境
１０２  レビュー・デバイス
１０４  レビュー・デバイス
１０６  レビュー・デバイス
１１０  ドキュメント・ルーター
１２０  ネットワーク
１３０  データベース
１４０  データベース
１５０  データベース
２０１  コンピューター装置
２０５  プロセッシング・ユニット
２１０  システム・メモリー  ＲＯＭ／ＲＡＭ
２１５  オペレーティング・システム
２２０  ソフトウェア・アプリケーション
２２５  リムーバブル・ストレージ（取り外し可能な記録装置）
２３０  ノンリムーバブル・ストレージ（取り外し不可能な記録装置）
２３５  インプット・デバイス
２４０  アウトプット・デバイス
２４５  コミュニケーション接続
３００  調査者が文書を調査するための方法
３１０  システムへのログイン
３２０  文書群の受領
３３０  それぞれの文書に対するラベル付け
３４０  それぞれの文書に関する登録
３５０  システムからのログアウト
４００  調査のための文書の取り扱い方法
４１０  調査者からのログインを受信
４２０  文書のステージからの文書の抽出
４３０  調査者への文書の配送
４４０  登録された文書の受領
４４５  モデルの教育（教え込み、トレーニング）
４５０  文書は検討価値があるか？
４６０  品質管理へのルート
４７０  検討価値がない文書の記録格納装置へのルート
４８０  調査を完了したか？
５１０  抽出された文書の順番を特定する
５２０  文書の抽出
６１０  初めの調査か？
６２０  文書の抽出
６３０  モデルを用いた文書の点数付け
６４０  サンプルサイズの計算
６５０  最も高い点数を有する文書の抽出
６６０  ランダムな文書をはさみ込む
６７０  調査用の文書セットが創り出される
７１０  最終的なコーパス（集成）のサイズを計算する
７２０  信頼区間
７３０  信頼区間の半値幅
７３５  検討価値がある文書の最大値
７４０  サンプルサイズの計算
７５０  文書への乱数の割り当て
８１０  ユーザー・インターフェース
８１２  トレーニング対テスティングの推奨される動的なブレンド
（調査者のプロジェクトを通して自動的に調整される）
８１４  現在推奨されるカスタム：  ３８％トレーニング／６２％テスティング
８１６  ダイアル
【図１】
0005940647.tif 000005
【図２】
0005940647.tif 000006
【図３】
0005940647.tif 000007
【図４】
0005940647.tif 000008
【図５】
0005940647.tif 000009
【図６】
0005940647.tif 000010
【図７】
0005940647.tif 000011
【図８】
0005940647.tif 000012