(57)【特許請求の範囲】
【請求項１】
メモリと中央処理装置（ＣＰＵ）とユーザインタフェースとを備えるコンピュータにおいて法律トピック分類システムのための知識ベースを構築する方法であって、
（１）法の原則（rule of law）として定義された法律概念を包含しながら、前記メモリ内の知識ベースに記憶された所定のトピック体系における１以上のトピックに従って予め分類される複数の訓練用文書が、前記ユーザインタフェースを介して前記コンピュータに読み込まれる段階と、
（２）前記ＣＰＵが前記メモリ内の訓練処理プログラムを実行することにより、
（ａ）前記コンピュータに読み込まれた複数の訓練用文書のテキストを構文解析し、前記知識ベースに記憶された１以上のトピックスに従って法律概念が予め分類されるよう抽出される段階と、
（ｂ）前記メモリに記憶されているストップワードリストに挙げられる意味のない用語であるストップワードを除去した用語、前記メモリに記憶された法律の言い回し（legal phrase）リストに挙げられた法律の言い回し、及び前記テキストからの判例引用文を読み出し、これらの情報に基づき前記抽出された法律概念から更に特徴を抽出する段階と、
（ｃ）前記抽出された特徴を用語に変換する段階と、
（ｄ）各法律概念内及び訓練に使用される予め分類された法律概念の全集合を通しての用語頻度の組合わせに基づき、関連性得点を前記各用語に対して生成する関連性得点生成段階と、
（ｅ）各用語、その用語が出現する各法律概念、及び前記用語とその用語が出現する関連法律概念とに対する関連性得点のリストでありその結果そのリストが用語によって容易に検索することができる逆索引を用いて、前記用語と、前記トピック体系からの対応するトピックと、前記関連性得点とを、前記メモリ内の知識ベースに記憶する段階と、
が行われることを含むことを特徴とする方法。
【請求項２】
前記ＣＰＵが前記メモリ内の訓練処理プログラムを実行することにより、前記構文解析の段階は、
段落毎にテキストを分割する段階と、
法律概念毎に前記テキストを分割する段階と、
が行われることを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記ＣＰＵが前記メモリ内の訓練処理プログラムを実行することにより、関連性得点生成段階は、
各訓練概念に対して、各用語の用語頻度（ＴＦ）をその用語がその訓練概念に出現する回数として生成する段階と、
各訓練概念に対して、各用語の文書頻度（ＤＦ）を用語が出現する訓練概念の総数として生成する段階と、
どの程度頻繁に前記用語が出現するかを示すことの反対を表す逆概念頻度と呼ばれる、各用語の逆文書頻度（ＩＤＦ）を生成する段階とが行われることを含み、
各概念に対する各用語の前記関連性得点は、前記ＴＦと前記ＤＦと前記ＩＤＦとを用いて生成されることを特徴とする請求項１に記載の方法。
【請求項４】
メモリと中央処理装置（ＣＰＵ）とユーザインタフェースとを備えるコンピュータによって法律トピック分類システムのための知識ベースを構築する方法であって、
前記ＣＰＵが前記メモリ内の訓練処理プログラムを実行することにより、
（ａ）前記メモリに記憶された所定の用語及び法律体系のリストを読み出し、そのメモリに記憶された所定の法律体系に従って、予め分類され法の原則として定義されている法律概念内から特徴を特定する段階と、
（ｂ）前記メモリより読み出したトピック体系内のトピックに従って、予め分類された各法律概念の各特徴に対し、用語頻度重み（Ｔｆｗｔ）と予め分類された法律概念の集合を通しての用語の逆文書頻度との積である関連性得点を生成する段階と、
（ｃ）トピックによって分類された対応の概念とのリンクと一緒に、各特徴、その特徴が出現する各法律概念、及び前記特徴とその特徴が出現する関連法律概念とに対する関連性得点のリストである逆索引を使用して、特徴及び関連性得点を前記メモリ内の知識ベースに記憶する段階と、
が行われることを含むことを特徴とする方法。
【請求項５】
前記ＣＰＵが前記メモリ内の訓練処理プログラムを実行することにより、関連性得点生成段階は、
特徴を用語に変換する段階と、
予め分類された各法律概念に対して、各用語の用語頻度（ＴＦ）を、予め分類されたその法律概念におけるその用語の出現回数として生成する段階と、
予め分類された各法律概念に対して、用語の平均用語頻度（ＡＶＥ ＴＦ）を生成する段階と、
予め分類された各法律概念に対して、各用語の文書頻度（ＤＦ）を、用語が出現する予め分類された法律概念の総数として生成する段階と、
前記メモリに記憶される知識ベースにおいて、予め分類された法律概念の総数であるＤＢＳＩＺＥを決める段階と、
どの程度頻繁に前記用語が出現するかを示すことの反対を表す逆概念頻度と呼ばれる、各用語の逆文書頻度（ＩＤＦ）を生成する段階とが行われることを含み、
予め分類された各法律概念に対する各用語の前記関連性得点は、前記ＴＦと前記ＡＶＥ ＴＦと前記ＤＦと前記ＤＢＳＩＺＥと前記ＩＤＦとを用いて生成されることを特徴とする請求項４に記載の方法。
【請求項６】
前記ＣＰＵが前記メモリ内の訓練処理プログラムを実行することにより、前記ＩＤＦ生成段階は、ｌｏｇ（（ＤＢＳＩＺＥ−ＤＦ＋０．５）／（ＤＦ＋．０５））という公式を使って実行されることを特徴とする請求項５に記載の方法。
【請求項７】
メモリと中央処理装置（ＣＰＵ）とユーザインタフェースとを備えるコンピュータにおいて、前記ＣＰＵによる前記メモリ内の分類処理プログラムの実行により、前記中央処理装置（ＣＰＵ）と接続するメモリ内の知識ベースに記憶された複数のリスト化されたトピックを含む所定のトピック体系から、入力概念に関連する１つ又はそれ以上の前記トピックのリストを準備するために、文書テキストからの入力概念を処理する方法であって、
前記分類処理プログラムによる分類処理は、
（１）前記メモリに記憶された、ストップワードリストに挙げられる意味のない用語であるストップワード以外の用語と、前記ＣＰＵと接続する前記メモリの知識ベースに記憶された言い回し（phrase）リストからの言い回しとを含んだ入力概念の特徴を抽出するために、入力概念を解析する段階と、
（２）前記入力概念の特徴を入力用語に変換する段階と、
（３）各概念内及び概念データベースを全体に亘るこれら２つのそれぞれの特徴の頻度を組み合わして規定した関連性得点を有した特徴に関し、前記入力概念と類似する予め分類された概念について、前記トピック体系のトピックに従いながらデータベースを検索する段階と、
（４）それらの関連性得点に基づいて前記予め分類された類似の概念を評価する段階と、
（５）前記入力概念に関連するトピックのリストを形成するために、前記データベース内の前記概念に結び付くトピックについて投票する段階と、
を含むことを特徴とする方法。
【請求項８】
前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することにより、前記評価段階は、
前記予め分類された各概念について、前記知識ベースにアクセスして全ての入力用語の関連性得点を検索する段階と、
前記予め分類された各概念に対する総関連性得点を、その概念の入力用語関連性得点の合計として計算する段階と、
前記予め分類された概念を総関連性得点によって並替え（sort）する段階と、
が行われることを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することにより、前記評価段階は、前記検索段階の前に、
入力用語を、その用語が出現する前記知識ベースの予め分類された概念の回数として各用語の文書頻度（ＤＦ）によって並替えする段階と、
入力用語リストを最少の共通用語に縮小する段階と、
が行われることを更に含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することにより、前記投票段階は、
前記知識ベースにアクセスして、予め分類された各概念に関連するトピックを検索する段階と、
予め分類された概念及び得点を前記関連トピックによってグループに分類するグルーピング段階と、
各トピックの総トピック関連性得点を、各トピックの予め分類された概念得点の合計として計算する段階と、
トピックリストを作成するために、トピックを総トピック関連性得点によって分類するソート段階と、
が行われることを含むことを特徴とする請求項７に記載の方法。
【請求項１１】
前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することにより、階層的トピック体系内で、
（１）階層でトピックをグループに分類するグルーピング段階と、
（２）各階層のトピックの出現数に従って前記トピックリストに重み付けする段階と、
（３）前記重み付けされたトピックリストを使って最終トピックリストを生成する段階と、
（４）階層で前記最終トピックリストを並替えする段階と、
が行われることを更に含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することにより、前記ソート段階は、各総トピック関連性得点を閾値と比較して、前記閾値よりも少ない総トピック関連性得点を有するトピックを前記トピックリストから除外する段階が行われることを含むことを特徴とする請求項１０に記載の方法。
【請求項１３】
前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することにより、前記ソート段階は、
各トピックが出現する回数を判断する段階と、
前記回数を閾値と比較する段階と、
前記閾値より少ない出現回数を有するトピックを前記トピックリストから除外する段階とが行われることを含むことを特徴とする請求項１０に記載の方法。
【請求項１４】
メモリと中央処理装置（ＣＰＵ）とユーザインタフェースとを備えるコンピュータにおいて、訓練概念として提供される予め分類された複数の概念を組み込んだ所定のトピック体系から、入力概念に関連する前記所定のトピックス体系からの１つ又はそれ以上のトピックのリストを準備するために、前記トピック体系内にリストされる１以上のトピックと関連した各訓練概念を、前記ＣＰＵと接続するメモリ内の知識ベースに記憶し、文書テキストからの入力概念を前記ＣＰＵによる前記メモリ内の分類処理プログラムの実行により処理する方法であって、
前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することにより、
（１）前記所定のトピック体系に従ったトピックによって予め分類されて得点を付けられた訓練概念に結び付くトピックを前記知識ベースから検索する段階と、
（２）前記所定のトピック体系からの関連性を有するトピックによって訓練概念及び得点をグループに分類するグルーピング段階と、
（３）各トピックに対する総トピック関連性得点を各トピックの訓練概念得点の合計として計算する段階と、
（４）入力概念に関連する前記所定のトピック体系からのトピックのリストを作成するために、トピックを総トピック関連性得点によって並替えるソート段階と、
が行われることを含むことを特徴とする方法。
【請求項１５】
前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することにより、階層的トピック体系内で、
（１）階層でトピックをグループに分類するグルーピング段階と、
（２）各階層のトピックの出現回数に従って前記トピックリストに重み付けする段階と、
（３）前記重み付けされたトピックリストを使って最終トピックリストを生成する段階と、
（４）階層で前記最終トピックリストを並替えるソート段階と、
が行われることを更に含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
メモリと中央処理装置（ＣＰＵ）とユーザインタフェースとを備えるコンピュータにおいて、前記ＣＰＵが前記メモリ内の分類処理プログラムを実行することで文書テキストからの入力概念を処理する方法であって、前記知識ベースには、複数の訓練概念が複数のリスト化されたトピックを有する所定のトピック体系に従って予め分類され、且つ前記ＣＰＵと接続するメモリ内の知識ベースに記憶されるそのような訓練概念を組み込んであり、前記方法は文書テキストからの入力概念と類似する概念を識別してこれらの類似概念を評価するものであって、前記分類処理プログラムによって、
前記メモリの知識ベースに記憶された用語及び言い回しの所定のリストとの比較に基づき入力概念の特徴を識別する段階と、
各入力概念の特徴を入力用語に変換する段階と、
前記訓練概念が、前記所定のトピック体系に従って予め分類され、且つ前記ＣＰＵと接続する前記メモリの知識ベースの対応するトピックリンクとともに記憶され、前記関連性得点が、用語頻度重み（Ｔｆｗｔ）と予め分類された法律概念の集合を通しての用語の逆文書頻度との積である場合に、前記入力概念に類似する訓練概念に対する関連性得点を前記知識ベースから検索する段階と、
前記検索された各訓練概念に対する総関連性得点をその概念の入力用語関連性得点の合計として計算する段階と、
前記検索された訓練概念を総関連性得点によって分類する段階と、
が行われることを含むことを特徴とする方法。
【請求項１７】
メモリと中央処理装置（ＣＰＵ）とユーザインタフェースとを備えるコンピュータにおいて、前記ＣＰＵと接続するメモリに記憶された所定のトピック体系に従ってこれら特徴のために生成される関連性得点を用いながら、トピックによって予め分類された法律概念内の特徴に基づいて法律トピックを分類するコンピュータシステム用の知識ベースを構築する方法であって、
前記ＣＰＵによる前記メモリ内の訓練処理プログラムの実行により、
（１）前記メモリ内の知識ベースに記憶された既知のテキスト列との比較を基礎として予め分類された法の原則（rule of law）として定義されている法律概念内の特徴を特定する段階と、
（２）特徴を用語に変換する段階と、
（３）予め分類された各法律概念に対して、各用語の用語頻度（ＴＦ）を予め分類された法律概念におけるその用語の出現数として生成する段階と、
（４）予め分類された各法律概念に対して、前記予め分類された法律概念における全用語の平均用語頻度（ＡＶＥ＿ＴＦ）を生成する段階と、
（５）予め分類された各法律概念に対して、各用語の文書頻度（ＤＦ）を、その用語が出現する予め分類された法律概念の総数として生成する段階と、
（６）前記知識ベースにおける予め分類された法律概念の総数である訓練集合ＤＢＳＩＺＥを決める段階と、
（７）どの程度頻繁に前記用語が出現するかを示すことの反対を表す逆概念頻度と呼ばれる、各用語の逆文書頻度（ＩＤＦ）を生成する段階と、
（８）前述した特徴を用語に変換する段階、ＴＦを生成する段階、ＡＶＥ ＴＦを生成する段階、ＤＦを生成する段階、ＤＢＳＩＺＥを決定する段階、及びＩＤＦを生成する段階に基づいて、各法律概念に対して各用語の関連性得点を生成する段階と、
が行われることを含むことを特徴とする方法。
【請求項１８】
現在の概念の長さdoclengthが、集合内の概念の平均長さaveDocLengthよりも大きい場合、ここで前記長さ及び前記平均長さのそれぞれは、文字数によって規定され、
前記関連性得点は、ＴＦｗｔ×ＩＤＦという公式を用いて計算され、
ここで、
ＴＦｗｔが用語頻度重みであって、
0003793085.tif 000014
0003793085.tif 000015
と表され、α及びβがα＋β＝１となるようなスケール係数であり、前記公式のＴＦｗｔ×ＩＤＦによって表される関連性得点が逆索引の知識ベースに記憶され、前記逆索引は、各用語、その用語が出現する各法律概念、及び前記用語とその用語が出現する関連法律概念とに対する関連性得点のリストであり、その結果、そのリストが用語によって容易に検索することができることを特徴とする請求項１７に記載の方法。
【請求項１９】
現在の概念の長さdoclengthが、集合内の概念の平均長さaveDocLengthよりも小さいか又は等しい場合、ここで前記長さ及び前記平均長さのそれぞれは、文字数によって規定され、前記関連性得点は、ＴＦｗｔ×ＩＤＦという公式を用いて計算され、
ここで、
ＴＦｗｔが用語頻度重みであって、
0003793085.tif 000016
0003793085.tif 000017
と表され、α及びβがα＋β＝１となるようなスケール係数であり、前記公式のＴＦｗｔ×ＩＤＦによって表される関連性得点が逆索引の知識ベースに記憶され、前記逆索引は、各用語、その用語が出現する各法律概念、及び前記用語とその用語が出現する関連法律概念とに対する関連性得点のリストであり、その結果、そのリストが用語によって容易に検索することができることを特徴とする請求項１７に記載の方法。
【発明の詳細な説明】
【０００１】
著作権について
付録を含めて本開示の一部分は、著作権保護を受けている。米国特許商標事務所（ＰＴＯ）の特許ファイル又は記録に載った場合、特許文書又は特許開示のファクシミリによる複写に対して限定的な許可が認められているが、著作権所有者は、それ以外の著作権のいかなる権利もその一切を保有する。
（技術分野）
本発明は、自動化した分類のためのシステム及び方法に関する。更に具体的には、本発明は、トピック体系（階層的法律トピック分類体系など）に従って概念（法廷意見からの法律的観点を含む法律概念など）を分類するための自動化システム及び方法に関する。
【０００２】
（背景技術）
文書の分類は、テキスト処理において最も重要なタスクの１つとして長い間認識されてきた。文書の分類は、質の高い文書検索をもたらし、コレクションの全般に亘って文書間の走査検索やリンクを可能にする。こういったアクセスの容易さの恩恵は、法律などのゆっくりと進化する主題ドメインにおいて特に明らかである。法律ドメインのほぼ安定した語彙及びトピックは、いかなる分類作業においても長期的利益を保証する。
【０００３】
監督なし学習と監督付き学習という２つの一般的な文書分類手法が存在する。これらの手法は、事前に形成された分類体系が使われるかどうかにより区別される。
監督なし学習は、文書がデータに固有の自然構造によって十分に整理することができるという仮定に基づくデータ主導の分類手法である。データをよく知っていれば、この自然構造に従ってそれらの情報の位置を見つけることができるはずである。大体の情報検索に関する文献は、この手法に焦点をあてており、ほとんどが文書クラスタリングに関するものである（Ｂｏｒｋｏ  １９６３年、Ｓｐａｒｃｋ  Ｊｏｎｅｓ  １９７０年、ｖａｎ  Ｒｉｊｓｂｅｒｇｅｎ  １９７９年、Ｇｒｉｆｆｉｔｈｓ  １９８４年、Ｗｉｌｌｅｔｔ  １９８８年、及び、Ｓａｌｔｏｎ  １９９０年）。ごく最近になって、いくつかの機械学習技術が、この分類タスクに適用されている（Ｆａｒｋａｓ  １９９３年）が、「監督なし学習」という用語はこの手法を説明するために付けられた。米国特許第５、１８２、７０８号及び米国特許第５、８３２、４７０号）は、この手法に関連している。
【０００４】
文書分類に対する監督なし学習手法の逆が監督付き学習である。この手法を用いると、事前形成された「トピック体系」が、体系内の各トピックに対して分類された文書と共に与えられる。トピック体系は、離散的トピックの単純なリスト又は複雑な階層的トピック体系のどちらでもよい。監督付き学習技術は、コンピュータが未知の種類の文書を分類することを学習できるように、コンピュータに意味のあるトピック別説明を供給するタスクに焦点をあてる。
【０００５】
トピック体系が離散的トピックの単純なリスト（トピック間に複雑な階層的関係のないもの）を含む時、文書分類は、単なる文書類別となる。関連フィードバックの検索技術を含む多くの機械学習技術が、このタスクに関して試されてきた（Ｂｕｃｋｌｅｙ  １９９４年、Ｌｅｗｉｓ  １９９４年、及び、Ｍｉｔｃｈｅｌｌ  １９９７年）。学習方法それ自体の有効性に加えて、自動類別の成功は、体系内のトピック数、質の高い訓練用文書の量、及び、トピックが互い対して相互に排他的である度合に左右される。一例が米国特許第５、６７５、７１０号に開示されている。
【０００６】
より難しい文書分類は、階層的トピック体系を使って文書を分類する場合に集中する。このタスクでは、互いに密接になりがちでそのためにコンピュータを混乱させる姉妹トピック間の「横」の関係が考慮されなければならない。更に、「縦」の継承関係も同じく心配する必要がある。
多くの機械学習技術は、それらの学習又は訓練においてこれらの２つの意味論的関係を同時に適合させることが困難であり、その後に文書を効果的に分類するのが困難である。トピック体系が非常に大きい場合、訓練用文書がトピック別に排他的でない場合、文書の大きさが小さい場合、又は、文書に記述的情報が欠けている場合には、このタスクは更に困難なものになる。
【０００７】
これらの困難に対処するために、いくつかの技術（米国特許第５、２０４、８１２号）は、人的介入に頼ってきた。他のもの（米国特許第５、７９４、２３６号）は、単純だが洞察に満ちたパターンマッチングを使用する。更に他のもの（米国特許第５、３７１、８０７号、及び、第５、７６８、５８０号）は、階層的体系にもたらされる曖昧さと戦うために言語学上の知識へ目を向ける。
しかし、これらの技術は、領域特定の小さな分類作業を扱うことができるだけである。これらの技術は、それらのパターン認識の単純さ、又は、言語学的構文解析を支援する高価な辞書を構築する気力を挫くような要求のいずれかのために、拡張された処理に困難を見出す。
【０００８】
すなわち、大きな階層的トピック体系を使って精度の高い文書分類を実行できる、経済的で拡張可能な機械学習処理を創出する必要性が当業技術に存在する。本発明が意図するところは、この必要性を充足することである。
特許以外の上記参考文献は、以下の通りである。
・Ｂｏｒｋｏ、Ｈ．及びＢｅｒｎｉｃｋ、Ｍ．１９６３年：「自動文書分類」、計算機協会会誌、１５１〜１６１ページ
・Ｓｐａｒｃｋ  Ｊｏｎｅｓ、Ｋ．１９７０年：「検索に関する分類についてのいくつかの考察」、ドキュメンテーション学会誌（Ｊｏｕｒｎａｌ  ｏｆ  Ｄｏｃｕｍｅｎｔａｔｉｏｎ）、８９〜１０２ページ
・Ｖａｎ  Ｒｉｊｓｂｅｒｇｅｎ、Ｃ．Ｊ．１９７９年：情報検索（Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ）、第２版、ロンドン、バターワーズ
・Ｇｒｉｆｆｉｔｈｓ、Ａ．他、１９８４年：「自動文書分類のための階層的集塊クラスタリング法」、ドキュメンテーション学会、１７５〜２０５ページ
・Ｗｉｌｌｅｔｔ、Ｐ．１９８８年：「階層的文書クラスタリングにおける最近の傾向：批判的レビュー」、情報処理と管理（Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  Ｍａｎａｇｅｍｅｎｔ）、５７７〜５９８ページ
・Ｓａｌｔｏｎ、Ｇ．及びＢｕｃｋｌｅｙ、Ｃ．１９９０年：「情報検索のための柔軟性を有するテキストマッチング」、米国ニューヨーク州イサカ所在、コーネル大学テクニカルレポート、９０〜１１５８ページ
・Ｆａｒｋａｓ、Ｊ．１９９３年：「ニューラルネットワークと文書分類」、電気及びコンピュータ工学に関するカナダ会議、１〜４ページ
・Ｂｕｃｋｌｅｙ、Ｃ．他、１９９４年：「ＳＭＡＲＴを使用した自動経路指定と特別検索：ＴＲＥＣ−２」、第２回テキスト検索会議、Ｄｏｎｎａ  Ｈａｒｍａｎ編集、ＮＩＳＴ特別出版５００−２１５、４５〜５５ページ
・Ｌｅｗｉｓ、Ｄ．Ｄ．及びＧａｌｅ、Ｗ．Ａ．１９９４年：「テキスト分類係員を訓練する連続アルゴリズム」、情報検索の研究及び開発に関する第７回国際ＡＣＭ−ＳＩＧＩＲ年次会議議事録、３〜１２ページ、ロンドン
・Ｍｉｔｃｈｅｌｌ、Ｔ．１９９７年：機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）、マッグロー・ヒル出版、ニューヨーク
【０００９】
（発明の開示）
本発明のシステム及び方法は、大きな階層的トピック体系を含む大きなトピック体系を使って精度の高い文書分類を行なう、経済的で拡張可能な機械学習処理を提供する。更に具体的には、本発明のシステム及び方法は、ある与えられた分類される文書に対して、１つ又はそれ以上の関連性の高い分類トピックを示唆する。
本発明は、新しい訓練処理及び概念分類処理を含むいくつかの特徴を提供する。本発明はまた、訓練概念における特徴の関連性を得点する方法、関連性の得点に基づいて概念を評価する方法、及び、入力概念に関連するトピックについて投票する方法を含む、訓練処理及び／又は概念分類処理の一部として使うことができる新しい方法を提供する。
好ましい実施形態において、本発明は、法律（判例法）ドメインに適用され、専有権を有する法律トピック分類体系（法の領域の階層）に従って法律概念（法の原則など）を分類する。
本発明の他の目的、形態、及び、利点については、添付図面を含む本明細書を読むことにより当業者には明らかでなるであろう。
全体を通して同じ参照番号が同じ構成要素を意味する添付図面の図を参照しながら以下の好ましい実施形態の詳細な説明を読むことにより、本発明はより良く理解される。
【００１０】
（発明を実施するための最良の形態）
図に示される本発明の好ましい実施形態を説明する場合、正確さを期すために特定の専門用語が用いられる。しかし、本発明は、その選択された特定の専門用語に限定されることは意図しておらず、特定な構成要素の各々は、同様の目的を達成するために同様の方法で作動する全ての技術的な同等要素を含むことを理解されたい。
【００１１】
背景専門用語
本発明のシステム及び方法を理解するための背景として、好ましい実施形態は、機械に基づく学習技術を使って判例法文書（法廷意見）における「法律概念」を分類することを理解されたい。次に、分類処理が「法律トピック」の事前に形成された体系に従って実行される。
特に、法律ドメインの「概念」は「法律概念」と呼ばれ、「法の原則」としてより広く知られる場合がある。法律ドメインのトピックは「法律トピック」と呼ばれ、「法の領域」としてより広く知られる場合がある。もちろん、本発明は、法律ドメイン以外の領域にも適用でき、広義の用語「概念」及び「トピック」は、法律ドメインに限定されてはならない。
【００１２】
特に法律ドメインに適用される実施形態に関しては、判例法文書は、各々、別個の法律概念セットを持たなければならない。特に、好ましい実施形態において、「法律概念」は、「法廷用語で記された、訴訟の決着に重要な支配的法律見解」と定義してもよい。一般に、裁判上の意見の一節は、以下の場合に法律概念を包含する。
１．その一節が「法の原則の肯定的な記述」である。例えば、
・法律原則の直接的表現（試験、要素、通例、通例に対する例外など）
・技術的法律用語の定義
・適用できる再審理基準の記述
・別の判例が破棄されるか又は承認されないという明確な記述
・法規又は法廷の規定の単なる引用ではない説明又は解釈
２．記述された法の原則が、訴訟の法廷決着に対して「重要」である。
３．法廷が、記述された独特な法の原則を明示的又は暗黙的に「採用」する。
【００１３】
法律「概念」のサンプルセットを付録Ａに示す。
法律「トピック」のサンプル体系を付録Ｂに示す。このサンプル体系は、性質上階層的（一般の最上位レベルのトピックと更に具体的な低レベルのトピックとを有する）であるが、本発明は、この種類の体系に限定されない。
この専門用語を理解した上で、本発明は、最初に一般的な条件で説明され、その後更に詳細な説明が与えられる。
【００１４】
概要
本発明の好ましい実施形態は、法律文書からの概念のテキストを解析し、ある与えられた法律トピック体系からその法律概念に関して関連性のあるトピックを提供する法律概念分類システム及び方法を準備する。本発明は、法律トピック体系に従って予め分類された法律概念のデータベース、法律の言い回しのリスト、及び、ストップワードのリストを使用する。
好ましい実施形態は、法律概念に対するトピックを提供する２つの主要な処理である訓練及び分類段階を伴う。本システムは、最初に、ある与えられたトピック体系に従って法律概念のトピック傾向を識別するよう訓練される。一旦訓練されると、システムは、その後この同じトピック体系に従って他の法律概念を分類する。
【００１５】
訓練処理−概要
訓練の処理は、以下のことが必要である。
・訓練データの収集
・予め分類された法律概念の抽出
・訓練データの「特徴」の解析
・これらの特徴に対する関連性得点の計算
・知識ベースへのこの情報の記憶
この訓練は、知識ベースに情報を最初に作成するために行なう必要があるが、継続的に知識ベースの質を向上させるために、新しく分類された法律概念をフィードバックしながら適用を通してずっと訓練が発生してもよいと考えられる。
【００１６】
複数の判例法文書が構文解析され、分類された法律概念をその文書の適切な段落から抽出する。これには、法律概念が同じトピック体系に従って抽出され分類されたかなりの判例法文書サンプルを必要とする。
判例から一旦抽出されると、法律概念は、これらの概念の顕著な「特徴」を判断するために解析される。特定の実施形態においては、訓練及び分類処理のための特徴が以下のように識別された。
・用語
・法律の言い回し
・判例の引用
【００１７】
分類された法律概念からのこれらの特徴の作成は、以下の仮定的な例を通してより良く理解される。その例とは、すなわち、
刑法及び訴訟手続き−証拠−意見証言
証人の信用性又は信用性の欠如を判断し、その証言を受け入れるか又はそれを全く無視するかを決めるのは、控訴裁判所ではなく実情調査委員の役目である。控訴裁判所は、スミス対オハイオ判例に記されるように、陪審の評決に最も有利な観点から証言を考慮しなければならない、
という判例に見出し得るような法律概念が後に続く法律トピックである。
この法律概念のトピック（刑法及び訴訟手続き−証拠−意見証言）は、階層的（多層）法律トピック体系からのものである。更に具体的には、
・最高層トピックで最も一般的なものは「刑法及び訴訟手続き」であり、
・第２層トピックでより具体的なものは「証拠」であり、
・第３層で最も具体的なものは「意見証言」である。
【００１８】
この法律概念のテキストから用語の特徴が抽出され、用語を標準化するために、意味のない「ストップワード」が除かれて単数化される。例えば、上記サンプルの法律概念から重要な特徴であると思われる用語は、「信用性」、「証言」、又は、「無視する」であり得る。スミス対オハイオの引用文は、判例引用の特徴として抽出されるであろう。このサンプルの法律概念における法律の言い回しは、「控訴裁判所」であろう。もし利用可能ならば、各法律概念に関連するとして識別された意見テキストは、関連する判例引用文を見つけるために同じく走査される。もちろん、以下に説明される学習処理に関するこれらの特徴の厳密な使用は、本発明の範囲を限定するものではない。
【００１９】
一旦抽出されて解析されると、関連性得点が、各概念の各特徴について計算される。訓練処理のこの段階は、関連性が評価されたテキスト検索処理に基づく学習段階を使用する。この段階は、各法律概念の中、及び、訓練法律概念のセット全体に亘る両方で、特徴の頻度を使用して特徴の関連性を形成する。法律概念の中、及び、そのセット全体に亘るこれらの２つの頻度は、各法律概念に対して各特徴の関連性得点を与えるために組み合わされる。これらの法律概念関連性得点は、次に、分類処理の間、その候補概念に最も関連するトピックを識別するために使用される。
特徴及びそれらの得点のほかそれらの関連する法律概念とのリンクは、その後、次の分類処理の間に使用するために知識ベースに記憶される。
【００２０】
分類処理−概要
一旦訓練されると、本発明は、法律概念などの予め分類されていない概念を分類するために使用される。
好ましい実施形態によると、この分類「処理」には、以下を含む分類「段階」が必要である。
・特徴に対する「候補」（又は、「目標」又は「入力」）法律概念を解析する段階
・知識ベース内の類似の訓練法律概念を検索する段階
・これらの類似概念を候補概念に対する類似性に基づいて評価する段階
・これらの類似法律概念から最も関連するトピックを識別するために投票する段階
候補法律概念は、特徴に関して解析される。この段階は、訓練処理中に為される分類された法律概念の特徴解析と同一である。訓練中に使用された顕著な特徴（用語、法律の言い回し、及び、判例引用文）の同じセットが、知識ベースと互換性を有するためにこの段階で使用されなければならない。
【００２１】
次に、「目標」法律概念に特徴上類似する「訓練」法律概念に対して知識ベースが検索される。これらの一致する法律概念は、対照されて一致の強さに応じて評価される。
これらの一致する訓練法律概念から、候補法律概念に最も関連するトピックが識別される。知識ベースの各法律概念は、それに関連する少なくとも１つのトピックを持っており、そのため、一致する法律概念からトピックのリストが作られる。このトピックリストは、関連性によって分類され、最も関連するトピックが候補法律概念に対して選ばれる。
【００２２】
訓練処理及び分類処理（関連性で評価された分類段階を含む）について上記で簡単に説明したので、ここで、本発明の実施形態について以下で詳細に説明する。
本発明の方法については、実施例を参照すると更に理解が容易になる。ここで使用される実施例は、特殊な階層的トピック体系に従って判例法文書の個別の法律概念を分類することを主に取り扱っているが、これは、本発明の範囲を限定するものではない。実際に、文書の文、句、節、又は、段落全体などのいかなる大きさのテキスト単位も、任意のトピック体系によって分類することができる。
【００２３】
例示的ハードウエア実施形態
本発明の訓練及び分類システムの実施形態は、従来のコンピュータ上の一連のモジュールを含むソフトウエアシステムとして実施することができる。
図１に示されるように、例示的なハードウエアのプラットフォームは、中央処理装置１００を含む。中央処理装置１００は、ユーザインタフェース１０１を通じて人間のユーザと対話する。ユーザインタフェースは、このシステムへの情報の入力、及び、システムと人間のユーザと間の対話のために使用される。ユーザインタフェースは、例えば、ビデオ表示器、キーボード、及び、マウスを含む。メモリ１０２は、データ（知識ベース、ストップワードリスト、及び、法律の言い回しリストなど）及び中央処理装置によって実行されるソフトウエアプログラム（訓練及び分類処理など）に対する記憶装置を提供する。ハードディスクドライブ又はテープドライブなどの補助メモリ１０３は、付加的な記憶容量と大きな情報のバッチを検索する手段とを提供する。
【００２４】
図１に示される全ての構成品は、従来技術において周知の種類のものを使用することができる。例えば、本システムは、米国カリフォルニア州サニーベール所在のサン・マイクロシステムズから入手可能な、実行プラットフォームであるＳＰＡＲＣｓｙｓｔｅｍ  １０とＳＵＮ  ＯＳ  バージョン５．５．１とを含むＳＵＮワークステーションを含んでもよい。もちろん、本発明のシステムは、多くのコンピュータシステム上で実行することができる。更に、好ましい実施形態は、ＰＥＲＬ言語（テキスト構文解析タスク用）及びＣ＋＋（ナンバー・クランチング及びデータベースアクセスのタスク用）を使用するが、本発明を実行するために任意の適切なプログラミング言語を使用してもよい。
【００２５】
訓練処理及び分類処理
図２を参照すると、好ましい実施形態は、図に示されるように２つの段階処理を含み、本システムは、法律概念を分類する（ブロック２１０）前に最初に訓練される（ブロック２００）。
知識ベース２０１は、訓練処理中に訓練結果を記憶するために利用される。訓練処理中に知識ベースに記憶された訓練結果は、その後の分類処理で使用される。
訓練処理及び分類処理の両方は、所定のトピック体系２０２を使用する（付録Ｂの法律トピック体系の例を参照されたい）。特定の好ましい実施形態において、訓練処理及び分類処理はまた、「ストップワードリスト」２０３（付録Ｃの例を参照されたい）と「言い回しリスト」２０４（付録Ｄの法律言い回しリストの例を参照されたい）とを使用する。
【００２６】
訓練処理
機械学習システムは、図３及び関連する図に示されるように、法律概念を分類する前に最初に訓練される。この訓練は、識別された法律概念と目標トピック体系に従って分類された各概念とを有する判例法文書を必要とする。
訓練処理は、各法律概念の抽出された特徴のセットを、その法律概念に関連する１つ又は複数のトピックに結びつける。以下の記述は、関連性評価手法に基づいて訓練処理の実施形態について説明したものである。
【００２７】
訓練処理に使用される概念評価段階の実施形態は、各個別の法律概念の中、及び、法律概念のセット全体に亘るその両方で、用語及び特徴の出現頻度を使用する。 一般に、法律概念内に頻繁に出現する用語又は特徴は、「もし」その用語又は特徴が「他の多くの」法律概念に頻繁に出現するのでなければ、そのトピックの強い指標である。直観的に、「法廷」又は「裁判」のようなかなり一般的な法律用語は、特定の法律トピックを法律概念に割り当てるのに貢献しない。
【００２８】
最初に、ブロック３００に示されるように、複数の訓練用文書が入力される。次に、ブロック３０１に示されるように、その複数の判例法文書が法律概念を抽出するために構文解析される。次に、各法律概念の「特徴」（用語、法律の言い回し、及び、埋込み引用文）が抽出され（ブロック３０２）、使用される学習方法に適した方法でテキストに添付される。次に、関連性得点がこれらの特徴に対して生成される（ブロック３０３）。最後に、その結果が知識ベース２０１に記憶される（ブロック３０４）。
【００２９】
図３を更に詳しく参照して、これらの訓練段階についてここで更に詳細に説明する。訓練処理における段階の多くは、図８及び図９を参照して説明される分類処理にも同じく使用される。
法律概念を抽出する段階は、図３に示される訓練処理中は段階３０１として、また、図７に示される分類処理中は段階７０１として使用される。段階３０１及び７０１の詳細については図４に示す。
【００３０】
図４を参照すると、ブロック４００は、判例法文書が構文解析されて段落毎に分割される時に達成される、法律概念を包含する段落を識別するためのテキストの分割を示している。
次に、ブロック４０１に示されるように、法律概念段落は、構文解析されて個別の法律概念に分割される。各法律概念は、その法律概念に関連する１つ又は複数のトピックと共に記憶される。法律概念が目標トピック体系からのトピックを持たない場合、その法律概念は廃棄される。
【００３１】
訓練中は段階３０２として、また、分類中は段階７０２として使用される特徴抽出段階が、図５に詳細に示されている。この段階は、本発明の主要な目的の１つであり、法律概念を正確に分類するために必要な特徴を抽出する段階を伴う。法律概念に結び付く時の特徴の書式は、学習方法によって要求される書式に左右される。図８に関連してより詳細に示される、関連性で評価された分類段階に対する例が与えられている。
【００３２】
図５を更に詳しく参照すると、段階５００に示されるように、法律概念の各用語がテキストから抽出される。しかし、ストップワードリスト（付録Ｃの例を参照されたい）からのストップワードの全ての事例は、用語のセットから取り除かれる。
段階５０１において、「犯罪歴」、「保護監督争議」、及び、「土地収用」などの法律の言い回しが特徴として抽出される。法律概念は、法律の言い回し（付録Ｄの例を参照されたい）に関して検索される。
最後に、段階５０２は、「人々対メディナ（１９９５年）３９  Ｃａｌ．  Ａｐｐ．第４  ６４３、６５０」などの他の判例法文書に対する引用を抽出する段階を伴う。
【００３３】
特徴が抽出された後、次に各特徴に対する関連性得点が生成される。関連性得点の生成は以下のことを含む。
・特徴の用語への変換
・法律概念内での及びセットを通しての用語頻度の生成
・（いわゆる）「文書」頻度（より適切には、「概念」頻度）の生成
・逆「文書」頻度（より適切には、逆「概念」頻度）の生成
・各用語の関連性得点の生成
これらの段階の詳細は、図６を参照して以下に説明する。
【００３４】
関連性評価手法において抽象的な特徴を使うための簡単明瞭な手法は、法律概念の各特徴を単に「用語」に変換することである（段階６００に示す）。特定の好ましい実施形態において、「用語」は、その特徴をあらゆる他の特徴から一意的に区別する記憶用コードである。
例えば、「行政的権限」という法律の言い回しは、「行政的-権限」（用語と用語の間に下線部を有する）のような「用語」に容易に変換することができる。あるいは、「３９  Ｃａｌ．  Ａｐｐ．第４  ６４３」のような判例引用は、「３９-ＣａｌＡｐｐ４-６４３」という用語に変換することができる。このようにして、各特徴は、セットを通して十分に定義された一意的な用語に変換される。
【００３５】
次に、ブロック６０１に示されるように、各「用語」（全ての特徴のほか言葉を含む）に関して、「用語頻度」（ＴＦ）は、法律概念内でのその用語の出現回数を使ってその用語が出現する各法律概念に対して計算される。法律概念の全ての用語の「平均用語頻度」（ＡＶＥ ＴＦ）も同じく計算される。
ブロック６０２に示されるように、各用語に対して、訓練セットで用語が出現する法律概念の総数が判断される。この数は、従来の「文書」頻度（ＤＦ）が計算されるのと同じ方法で判断される。テキスト検索技術において、「文書」という用語は多くの意味を持っており、従って曖昧になる可能性がある。本明細書では、「文書」は、法律意見の一部である概念ではなく「法律意見全体」を意味するために既に使用されている。従って、曖昧さを避けるために、この拡張用語である「文書頻度」を本明細書ではこれ以上使用しないことにする。代わりに、本明細書の関連においてはＤＦが実際には「概念」頻度を意味するということを理解した上で、ＤＦを継続して使用することになる。
【００３６】
ブロック６０３は、ある用語が訓練法律概念の全体に亘っていかに広く使用されているかに関する計算を表している。この計算は、従来の逆「文書」頻度（ＩＤＦ）の計算と同じ方法で行なわれる。「文書」が法律意見全体を意味するように本明細書で使用されているので、その拡張用語「逆文書頻度」は、もはや使用されないことになる。しかし、ＩＤＦは、実際は逆「概念」頻度を意味することを理解されたい。いずれにしても、この計算は、訓練セットＤＢＳＩＺＥにおける法律概念のＤＦと総数とを使って行われる。
【００３７】
次に、法律概念の各用語に対して、その後ブロック６０４に示されるように関連性得点が計算される。この計算は、その用語及び法律概念の対の用語頻度（ＴＦ）、ＡＶＥ-ＴＦ、その用語のＩＤＦ、法律概念の長さ、及び、セット内の法律概念の全体的な平均長さを使うことが必要である。この得点技術は、本発明の主要な目的の１つである。
関連性得点を計算する例示的な公式を以下に示す。
（ｄｏｃｌｅｎｇｔｈ＞ａｖｅＤｏｃＬｅｎｇｔｈ）の場合：
【数３】
0003793085.tif 000002
（ｄｏｃｌｅｎｇｔｈ＜＝ａｖｅＤｏｃＬｅｎｇｔｈ）の場合：
【数４】
0003793085.tif 000003
ここで、各項は以下の意味を有する。
ＴＦｗｔ＝用語頻度重み
ＴＦ＝現在の法律概念内の用語頻度
ＡＶＥ-ＴＦ＝現在の法律概念の用語の平均用語頻度
α、β＝基準化係数でα＋β＝１である
ｄｏｃＬｅｎｇｔｈ＝文字で表される現在の法律概念の長さ
ａｖｅＤｏｃＬｅｎｇｔｈ＝訓練セット内の全ての法律概念の文字で表される平均長さ
ＩＤＦ＝訓練セットを通しての用語の逆「文書」（すなわち、「概念」）頻度  ＤＢＳＩＺＥ＝訓練セット内の法律概念の総数
ＤＦ＝「文書」頻度（用語が出現する法律概念の数）
ｓｃｏｒｅ＝法律概念の用語に対する関連性得点
【００３８】
最後に、ブロック３０４（図３）に示されるように、種々の計算結果が知識ベース２０１に記憶される。法律概念の各用語に対する概念頻度ＤＦと関連性得点とは、知識ベースの「逆索引」に記憶される。当業者には容易に理解されるであろうが、この関連での逆索引は、各用語、その用語が出現する各法律概念、及び、その用語対法律概念に対する関連性得点のリストであり、そのため、そのリストは、用語毎に容易に検索することができる。
【００３９】
極めて意味深いことに、逆索引の使用は、本発明の拡張性を大きく増大させる。これは、逆索引が非常に効率的な特徴の検索をもたらし、訓練データのずっと大きな集まりを扱うことを可能にするためである。法律概念２３、３８、及び、１２７が与えられ、用語毎に分類された例示的な逆索引の一部分は、表Ｉのように表されてもよい。
知識ベースに同じく記憶されるのは、一般の訓練処理で先に決められていた各法律概念とその１つ又は複数の関連トピックとの間の基本的関係である。この関係のセットは、法律概念の用語とそれらの用語に関連するトピックとの間のリンクを確立する。
【００４０】
分類処理
上記で「訓練」処理２００について詳細に説明したところで、本発明の「分類」処理２１０がここで説明される。図７に示されるように、分類処理２１０は、ある与えられたトピック体系に従って未知のトピックの法律概念を分類する段階を伴う。
最初に、ブロック７００に示すように法廷判例文書が入力される。各判例からは、ブロック７０１に示すように法律概念が抽出される。抽出段階７０１は、図４に示す訓練処理によって使用される段階３０１と同じであってもよい。
ブロック７０２（図５に示す訓練処理によって使用される段階３０２と同じであってもよい）において、特徴は、各法律概念から抽出され、使用された訓練処理と矛盾しない方法でその法律概念と結び付いている。
【００４１】
概念分類段階７０３において、各法律概念とその識別された特徴とが最初に入力される。訓練中に収集された情報は、知識ベースから入力される。この情報は、訓練セット内の最も良く一致する法律概念に対してそれぞれに１つの現在の法律概念の得点セットを生成するために使用される。次に、その法律概念に対するトピックが判断される。ブロック７０３は、現在の候補法律概念に見い出される特徴を使用する段階と、それらを訓練法律概念に見い出される特徴と比較する段階とに関わる。当該法律概念と最も類似することが分かった訓練法律概念と結び付いたトピックは、最も関連するトピックを判断するために対照されて分類される。
【００４２】
概念分類段階７０３（図７）の好ましい実施形態が、図８に詳細に示されている。示された分類段階は、訓練知識ベース内の類似の法律概念（従って、類似のトピック）を見つけるために、候補法律概念における特徴の頻度を使用する。関連性評価の分類段階と呼んでもよいこの分類段階は、以下のことを含む。
・特徴に関する入力概念を解析する段階
・これらの特徴に対する関連性得点によって訓練概念を評価する段階
・最も良いトピックを判断するために、これらの訓練概念と関連するトピックについて投票する段階
【００４３】
ブロック８００は、「特徴」を「用語」に変換する段階で、上述された図６のブロック６００で使用されるものと同じであってもよい。
ブロック８０１では、全ての訓練概念は、これらの候補用語に対する関連性得点によって評価される。
評価段階８０１（図８）の好ましい実施形態が図９に詳細に示されている。図９によると、ブロック９００及び９０１として示す最初の２つの段階はオプションであるが、その後の段階を最適化する場合に有効である。
ブロック９００では、候補用語のリストは、ＤＦによって昇順に分類されて、知識ベースから検索して取り出される。これにより、用語リストが最少の共通用語から最大の共通用語へと並べられる。
【００４４】
次に、ブロック９０１において、候補用語リストは、そのリスト内の最少の共通用語の選択に縮小される。これは、その結果、その後の評価段階に必要とされる処理を減らすが、選択される用語の数は、必要な最適化の量に左右される。例えば、表ＩＩを参照されたい。オプションの段階９００及び９０１が使用されない場合、その後の必要とされる評価段階は、候補用語のリスト全体に対して作動する。
ブロック９０２で、訓練概念に対する関連性得点は、候補概念の全ての用語に対して知識ベースから検索される。
【００４５】
ブロック９０３において、全ての訓練概念について候補用語に対する関連性得点が合計され、ある訓練概念に対する総関連性得点になる。表ＩＩＩは、７つの訓練法律概念とそれらの関連性得点とを有する５つの候補用語の例示的セットを示している。各法律概念に対する関連性得点は、一番下の列に合計されている。これにより、例えば表ＩＶに示す総関連性得点を有する訓練法律概念のリストが与えられるであろう。
【００４６】
ブロック９０４で、訓練概念は、これらの総関連性得点によって降順に分類され、最も類似する訓練概念は、この分類されたリストでは先頭にくることになる。例えば、表ＩＶを総得点によって分類すると表５の結果をもたらす。この分類されたリストは、一般に、現在の候補概念に対して最も関連する訓練法律概念は「概念１」であり、次に最も関連する概念は「概念９」というようにリストを下っていくことを示している。
これで、図８のブロック８０１が図９で実施し得る場合のその詳細に関する説明を終わる。
【００４７】
再び図８を参照すると、本質的に投票段階であるブロック８０２において、候補法律概念として最も可能性がある訓練法律概念に関連するトピックは、関連性のあるトピックの最終リストを作成するために対照されて分類される。一致する法律概念の最終リストにおいて、１つのトピックが一度よりも多く見つかる場合があり、従って、例えば一度だけ見つかったトピックよりも更に可能性が高く候補概念に関連している。
極めて意味深いことに、ブロック８０２の投票処理は、より関連性のあるトピックをあまり関連しないトピックからはっきりと区別する。この投票技術は、本発明の主要な目的の１つである。
【００４８】
投票段階８０２（図８）の好ましい実施形態が図１０に詳細に示されている。ブロック１０００で、分類された訓練概念に関連するトピックが知識ベースから検索される。次に、ブロック１００１において、これらの訓練概念及びそれらの得点は、それらのトピック毎にグループに分類される。ブロック１００２で、各トピックグループの総関連性得点が、そのトピックに対するトピック関連性得点を判断するために計算される。最後に、ブロック１００３において、これらのトピック関連性得点によって次にトピックが降順に分類される。得られるリストは、リストの１番目に最も関連するトピックを示す。
【００４９】
平面的（非階層的）トピック体系が与えられる場合、投票前の一致する概念で得点によって分類されたそれらのトピックと関連性得点とを有するもののサンプルリストは、表ＶＩのようになってもよい。
すなわち、投票段階の「前」では、このリストからの最も関連するトピックは、出現順に以下のようになるであろう。
・海事法
・運輸法
・私犯法
・破産法
【００５０】
投票段階の「後」に、トピック全ての得点は、累積されてその結果が再び分類され、表ＶＩＩのようになるであろう。従って、投票「後」の関連するトピックのリストは、投票「前」のリストとは以下のように異なって分類されるであろう。
・運輸法（６．５３）
・海事法（４．５５）
・私犯法（２．８１）
・破産法（０．６８）
【００５１】
「運輸法」トピックは、その累積関連性得点が他のトピックの累積得点よりも高いので、投票後の最も関連するトピックとなる。
法律トピック体系が階層的（多層）トピック体系の場合、最終関連トピックに対して２度目の階層投票段階を実行してもよい。最終的なトピックリストは、第１層トピックや第２層トピックなどのグループに分類することができ、その後、各層での出現に応じて重み付けされる。これらの重みは、その後トピックの最終リストで考慮される。この技術は、類似のトピックを考慮し、トピックの全体的な質を向上させるのに役立つことができる。
例えば、階層投票前の一致する概念で得点によって分類されたそれらのトピックと関連性得点とを有するもののリストは、表ＶＩＩＩのようになってもよい。
【００５２】
これらのトピックの関連性得点を、最初に階層１によってＣｕｍＴ１を与え、次に階層２によってＣｕｍＴ２を与え、次に階層３によってＣｕｍＴ３を与えるように累積すると（この例では３層階層のみを仮定する）、トピックリストは、表ＩＸのようになる。
このリストは、その後、最初に階層１、次に階層２、更に次に階層３によって最も高い得点から最も低い得点へ分類されて表１０を与える。
【００５３】
これは、関連性によって分類された最も関連するトピックの最終リストであろう。このトピック最終リストは、以下のように階層的に表されてもよい。
運輸法
海上輸送及び船積み
船体の安全
運搬会社の責任及び義務
料金制定
車両輸送及び出荷
交通規則
州間商業規定
外国商業規定
海事法
積荷の保護及び管理
責任免除
責任
非積荷責任
死亡訴訟
ジョーンズ条例
私犯法
製品責任
過失
厳重責任
異常に危険な行動
代理責任
過失雇用及び監督
破産法
資産の使用、販売、又は、賃貸借
【００５４】
無関係トピックを更に削除するために、更に他の（オプションの）技術を使用することができる。例えば、トピックの関連性得点が所定の閾値を下回る場合、又は、最も関連する法律概念の間でトピックが出現する回数が閾値を下回る場合、そのトピックを削除することができるであろう。
上記の通り本発明の方法が説明されたところで、本発明はまた、法律概念の分類を行なうための装置（特に、プログラム可能コンピュータ）を含む。更に、本発明は、具体的には本方法を組み込むコンピュータ読込可能コードを記憶し得るコンピュータ読込可能メモリである製品を含み、そのため、そのコードがコンピュータと共に使用される場合、コンピュータは、訓練及び分類処理を実行することができる。
【００５５】
前述の方法を実行するために本発明が想定する装置の非限定的で例証的な実施例は、上記で説明されて図１に示されており、それは、コンピュータ又は他のプログラム可能装置であって、その作動がコンピュータプログラム又は他のソフトウエアによって命令される。
非限定的で例証的な製品（実行可能コードを有する記憶媒体）は、メモリ１０３（図１）、他の磁気ディスク、光ディスク、「フロッピー」ディスケット、ＺＩＰディスク、又は、他の磁気ディスケットや磁気テープなどを含んでもよい。各々は、コンピュータによって使用される場合にコンピュータに特定の方法で機能するように命令するのに使用することができるコンピュータ読込可能メモリを構成する。
【００５６】
当業者は、本発明の方法の上記の説明が与えられると、概念分類のための装置のほかコンピュータと共に使用される場合に概念分類を実行できるコンピュータ読込可能メモリ製品を作成及び使用するために、ハードウエア、オペレーティングシステム及びソフトウエア用プラットフォーム、プログラム言語、及び、記憶媒体に関する知識を使用することが容易に可能である。すなわち、本発明の範囲には、その方法自体だけでなく装置及び製品も含まれる。
【００５７】
上記の開示の観点から当業者により理解されるように、本発明の上記の実施形態の変更及び変形が可能である。例えば、システム及び方法が実行される特定のハードウエア、必要なプログラム言語及びデータ書式、オプションとされた段階の包含又は除外、分類される概念の性質、使用される特定のトピック体系、及び、実装の他の詳細については、本発明の範囲内にある間は変更することができる。従って、本発明は、添付請求項及びそれらの同等事項の範囲内で、具体的に説明されたもの以外の方法によって実施されてもよいことを理解されたい。
【００５８】
（表Ｉ）
0003793085.tif 000004
【００５９】
（表ＩＩ）
0003793085.tif 000005
【００６０】
（表ＩＩＩ）
0003793085.tif 000006
【００６１】
（表ＩＶ）
0003793085.tif 000007
【００６２】
（表Ｖ）
0003793085.tif 000008
【００６３】
（表ＶＩ）
0003793085.tif 000009
【００６４】
（表ＶＩＩ）
0003793085.tif 000010
【００６５】
（表ＶＩＩＩ）
0003793085.tif 000011
【００６６】
（表ＩＸ）
0003793085.tif 000012
【００６７】
（表Ｘ）
0003793085.tif 000013
【００６８】
付録
付録Ａ：法律概念
付録Ｂ：階層的法律トピック体系
付録Ｃ：ストップワードリスト
付録Ｄ：法律の言い回しリスト
以下の付録の内容に関しては、本明細書の冒頭にある著作権の注意を参照されたい。
【００６９】
付録Ａ
例示的「法律概念」（法律的観点、その他）
以下に列挙された概念は、階層的法律トピック体系による各々の法律トピックである。
１．民事訴訟手続き−差し止め命令−終局差し止め命令
民事訴訟手続き−控訴−再審理の基準−裁量権の濫用
差し止め命令の許可又は拒否は、完全に予審法廷の裁量権の範囲であり、よって、再審法廷は、裁量権の明確な濫用の証拠のない予審法廷の判決を侵害してはならない。裁量権の濫用は、判決の過ち以上のものが関わってくる。裁量権の濫用は、法廷側の不合理で非良心的又は独断的な姿勢である。
２．民事訴訟手続き−控訴−再審理の基準−裁量権の濫用
再審法廷は、予審裁判官の調査結果が正確であると推定しなければならず、それは、予審裁判官は、証人を見て、その物腰、態度、及び、声の抑揚を観察し、これらの観察をその証人の信頼性を評価する上で役立てることが最も良くできるからである。
３．契約法−対価−相互債務
実施可能になる契約に関しては、対価によって支援される必要がある。
４．労働及び雇用法−自由雇用
雇用主は、自由な雇い人の雇用を継続することを法的に要求されないので、継続された雇用は、契約が競争しないことに対する対価である。
５．労働及び雇用法−企業秘密及び不当競争−非競争契約
雇い人が雇用の終止に対して雇い人の以前の雇用主と競争することを制限する契約は、それが雇用主の保護に必要とされるものより大きくなく、雇い人に過度の苦難を強いるものでなく、社会に対して有害なものでない場合に、妥当なものである。妥当な契約のみが実施されることになる。
【００７０】
付録Ｂ
例示的「階層的法律トピック体系」からの段落
海事法
調停
破産
積荷証券
積荷保護及び管理
当然の注意
共同海損
責任
責任免除
責任の限界
用船契約
寄付及び補償金
保険
司法権
サルベージ法
担保権及び担保
過失及び不耐航性
非積荷責任
死亡訴訟
ジョーンズ条例
沿岸及び港湾労働者の賠償条例
刑罰及び罰金
反トラスト及び取引規制
シャーマン条例
クレイトン条例
ロビンソン−パットマン条例
連邦通商委員会条例
市場定義
取引及び価格固定の制限
独占的又は互恵取引
水平的市場割り当て
取引に対する水平的拒否
水平的制限
それ自体の法則及び条理の法則
抱き合わせ販売
垂直的価格制限
・・・
「以下の項目、意図的に省略」
【００７１】
付録Ｃ
例示的「ストップワードリスト」から抜粋
Ａ（１つの）
ＡＢＬＥ（可能な）
ＡＢＯＵＴ（について）
ＡＢＯＶＥ（の上に）
ＡＣＣＯＲＤＩＮＧ（に従って）
ＡＣＲＯＳＳ（に亘って）
ＡＦＴＥＲ（の後に）
ＡＧＡＩＮ（再び）
ＡＧＡＩＮＳＴ（に対して）
ＡＧＯ（前に）
ＡＬＬ（全て）
ＡＬＬＯＷ（許可する）
ＡＬＬＯＷＥＤ（許可された）
ＡＬＬＯＷＩＮＧ（許可の）
ＡＬＬＯＷＳ（許可する）
ＡＬＭＯＳＴ（ほとんど）
ＡＬＯＮＥ（ひとりで）
ＡＬＯＮＧ（に沿って）
ＡＬＲＥＡＤＹ（すでに）
ＡＬＳＯ（もまた）
ＡＬＴＨＯＵＧＨ（であるけれども）
ＡＬＷＡＹＳ（いつも）
・・・
「この部分の項目、意図的に省略」
ＷＨＡＴＥＶＥＲ（するものは何でも）
ＷＨＥＮ（いつ）
ＷＨＥＲＥ（どこに）
ＷＨＥＴＨＥＲ（かどうか）
ＷＨＩＣＨ（どちら）
ＷＨＩＬＥ（する間）
ＷＨＯ（誰が）
ＷＨＯＬＥ（全体の）
ＷＨＯＳＥ（誰の）
ＷＨＹ（なぜ）
ＷＩＬＬ（だろう）
ＷＩＴＨ（とともに）
ＷＩＴＨＩＮ（以内に）
ＷＩＴＨＯＵＴ（なしに）
ＷＯＮ（勝った）
ＷＯＵＬＤ（であろう）
ＷＯＵＬＤＮ
ＹＥＳＴＥＲＤＡＹ（昨日）
ＹＥＴ（まだ）
ＹＯＵ（あなた）
ＹＯＵＲ（あなたの）
ＹＯＵＲＳ（あなたのもの）
ＹＯＵＲＳＥＬＦ（あなた自身）
【００７２】
付録Ｄ
例示的「法律の言い回しリスト」から抜粋
第１４修正案
第４版
第５版
第６版
第８版
排除条例
教唆者法令
異常な性的趣味
集合の要素の不在
証拠不在
絶対法廷
絶対裁量権
絶対離婚
絶対義務
絶対平等
絶対免除
絶対優先権規則
絶対特権
絶対権利
絶対資格
棄権原則
要約本
裁量権濫用基準
損害に従って
損害条項
価格に従って
従価税
追加証拠
追加事実
追加専断的忌避
追加処罰
追加容疑者
妥当な対価
妥当な通知
妥当な記録
妥当な補償
・・・
「この部分の項目、意図的に省略」
地域分割上訴
地域分割判決例
地域分割訴訟
地域分割授権法
地域分割法
地域分割規制
【図面の簡単な説明】
【図１】  本発明の分類システム及び方法を実施し得る例示的なハードウエア構成を示す図である。
【図２】  訓練処理２００及び分類処理２１０のほか、その処理で使用される知識ベース２０１、トピック体系２０２、及び、例示的リスト２０３及び２０４を概略的に示す上位レベルの流れ図である。
【図３】  例示的な訓練処理２００（図２）を示す流れ図である。
【図４】  例示的な法律概念抽出段階（図３の３０１、及び、図７の７０１）の詳細を示す流れ図である。
【図５】  例示的な特徴抽出段階（図３の３０２、及び、図７の７０２）の詳細を示す流れ図である。
【図６】  例示的な知識構築段階３０３（図３）の詳細を表す流れ図である。
【図７】  分類処理２１０（図２）の例示的実施形態を示す流れ図である。
【図８】  例示的な概念分類段階７０３（図７）の詳細を表す流れ図である。
【図９】  関連性得点により訓練概念を評価する例示的処理８０１（図８）の詳細を示す流れ図である。
【図１０】  関連性を有するトピックのリストを生成するために投票する例示的処理８０２（図８）の詳細を示す流れ図である。
【図１】
0003793085.tif 000018
【図２】
0003793085.tif 000019
【図３】
0003793085.tif 000020
【図４】
0003793085.tif 000021
【図５】
0003793085.tif 000022
【図６】
0003793085.tif 000023
【図７】
0003793085.tif 000024
【図８】
0003793085.tif 000025
【図９】
0003793085.tif 000026
【図１０】
0003793085.tif 000027