(57)【要約】【課題】教師データを追加しなくても、分析対象データを精度よく評価できる計算機システムを提供する。【解決手段】計算機システムは、複数のデータのうちの少なくとも一つのデータを構成する第１のデータ要素と、第１のデータ要素の近傍に出現する第２のデータ要素との共起頻度に基づく行列から、第１のデータ要素としての複数のデータ要素夫々についてベクトルを構成し、当該ベクトルに基づいて、第１のデータ要素について類似度を算出し、類似度に応じて補正された評価値に基づいて、第１のデータ要素に評価値を設定する。【選択図】図３
2019133478.tif 000002
【特許請求の範囲】
【請求項１】
データを評価するための計算機システムであって、
メモリとプロセッサとを備え、
前記メモリは、
夫々複数のデータ要素から構成される複数のデータと、
前記複数のデータのうちの一部データから抽出されたデータ要素に対する評価値と、
前記プロセッサに前記複数のデータを評価させるためのプログラムと、
を、少なくとも一時的に記憶し、
前記プロセッサは、前記プログラムにしたがって、
前記複数のデータのうちの少なくとも一つのデータを構成する、第１のデータ要素と第２のデータ要素であって、前記第１のデータ要素の近傍に前記第２のデータ要素が出現し、前記第１のデータ要素と前記第２のデータ要素との共起頻度に基づいて、前記第１のデータ要素に属する複数のデータ要素間の類似度を算出し、
前記評価値を前記類似度に応じて補正し、
前記補正された評価値を前記第１のデータ要素に適用する、
計算機システム。
【請求項２】
前記第１のデータ要素に属する複数のデータ要素は、前記評価値が与えられた評価済みデータ要素と、前記評価値が与えられていない未評価データ要素と、を含み、
前記プロセッサは、
前記類似度として、前記評価済みデータ要素と前記未評価データ要素との間の類似度を算出し、
前記補正された評価値を前記未評価データ要素に適用する、
請求項１記載の計算機システム。
【請求項３】
前記プロセッサは、
前記共起頻度に基づくベクトル空間モデルを構成し、
当該ベクトル空間モデルにおける、前記第１のデータ要素に属する複数のデータ要素夫々のベクトルを比較し、
当該比較に基づいて、前記類似度を算出する、
請求項１又は２記載の計算機システム。
【請求項４】
前記複数のデータは、
所定の基準にしたがってラベルが付与された教師データと、
前記ラベルが付与されていない評価対象データと、
を含み、
前記プロセッサは、
前記教師データを構成するデータ要素を前記抽出されたデータ要素とし、当該データ要素に対する前記評価値を、前記ラベルの情報に基づいて算出し、
前記補正された評価値に基づいて、前記教師データに含まれず、前記評価対象データに含まれるデータ要素に対する評価値を算出する
請求項１記載の計算機システム。
【請求項５】
前記教師データおよび評価対象データは夫々文書データであり、
前記第１のデータ要素は、前記教師データに含まれる形態素であって、前記評価値が付与された形態素と、前記教師データには含まれず、前記評価対象データに含まれる形態素であって、前記教師データに含まれる形態素の類義語とを含み、
前記コントローラは、
前記教師データに含まれる形態素の評価値を前記類似度に基づいて補正し、
当該補正された評価値を前記類義語の評価値として設定する、
請求項４記載の計算機システム。
【請求項６】
前記コントローラは、
前記第１のデータ要素と前記第２のデータ要素とが前記複数のデータのうちの所定のデータ中で夫々出現する確率と、
前記第１のデータ要素と前記第２のデータ要素とが前記所定のデータ中で同時に出現する確率と、
に基づいて自己相互情報量を算出し、
前記自己相互量に基づいて、前記共起頻度を変換する、
請求項１乃至５の何れか１項記載の計算機システム。
【請求項７】
前記コントローラは、
前記共起頻度を要素とする行列を前記自己相互情報量に基づいて変換して変換行列を作成し、
前記変換行列を特異値分解し、
前記特異値分解によって得られた対角行列において、降順で並んだ特異値の中から、順番に所定数の特異値を選択し、
前記選択された特異値の数に、前記第２のデータ要素の次元数を縮約して、前記第１のデータ要素に係る特徴値を抽出する、
請求項６記載の計算機システム。
【請求項８】
前記コントローラは、
前記前記第１のデータ要素に属する複数のデータ要素夫々のベクトル間のコサイン類似度を、前記複数のデータ要素間の類似度として、算出する、
請求項３記載の計算機システム。
【請求項９】
前記コントローラは、
前記第１のデータ要素に係る特徴値に基づいて前記類似度の行列を構成する、
請求項７記載の計算機システム。
【請求項１０】
前記コントローラは、
前記評価値を前記類似度に応じて補正することを、前記教師データを構成するデータ要素に対する評価値のリストに前記類似度の行列を適用することによって実行する、
請求項９記載の計算機システム。
【請求項１１】
前記コントローラは、
前記評価された類似度に基づいて、前記評価対象データを序列化できるように、当該評価対象データのスコアを算出する、
請求項１０記載の計算機システム。
【請求項１２】
データを評価するための方法であって、
前記方法を実行する計算機システムは、
夫々複数のデータ要素から構成される複数のデータと、前記複数のデータのうちの一部データから抽出されたデータ要素に対する評価値と、を、少なくとも一時的に記憶するステップと、
前記複数のデータのうちの少なくとも一つのデータを構成する、第１のデータ要素と第２のデータ要素であって、前記第１のデータ要素の近傍に前記第２のデータ要素が出現し、前記第１のデータ要素と前記第２のデータ要素との共起頻度に基づいて、前記第１のデータ要素に属する複数のデータ要素間の類似度を算出するステップと、
前記評価値を前記類似度に応じて補正するステップと、
前記補正された評価値を前記第１のデータ要素に適用するステップと、
を実行するデータ分析方法。
【請求項１３】
データの評価を計算機システムに実行させるためのプログラムであって、
夫々複数のデータ要素から構成される複数のデータと、前記複数のデータのうちの一部データから抽出されたデータ要素に対する評価値と、を、少なくとも一時的に記憶する機能と、
前記複数のデータのうちの少なくとも一つのデータを構成する、第１のデータ要素と第２のデータ要素であって、前記第１のデータ要素の近傍に前記第２のデータ要素が出現し、前記第１のデータ要素と前記第２のデータ要素との共起頻度に基づいて、前記第１のデータ要素に属する複数のデータ要素間の類似度を算出機能と、
前記評価値を前記類似度に応じて補正する機能と、
前記補正された評価値を前記第１のデータ要素に適用する機能と、
前記計算機システムに実行させるためのプログラム。
【請求項１４】
請求項１３記載のプログラムを記録した記録媒体。
【請求項１５】
複数のデータを評価するためのデータ分析を実行する計算機システムであって、
メモリとプロセッサとを備え、
前記複数のデータは、所定の基準に従ってラベルが付与された教師データと、当該ラベルが付与されない評価用データとを含み、
前記メモリは、前記プロセッサにデータ処理を実行させるプログラムと、前記教師データから抽出されたデータ要素に対する評価値と、を、少なくとも一時的に記憶し、前記評価値は、前記教師データを構成する教師データ要素に対しては、前記ラベルの情報を用いて予め算出され、前記評価用データを構成する評価用データ要素のうち、前記教師データを構成しない未知データ要素に対しては予め算出されてなく、
前記プロセッサは、前記プログラムにしたがって、
前記教師データ要素と前記未知データ要素とが類似する度合いを推定することにより、当該教師データ要素に対して前記予め算出されている評価値に基づいて、前記ラベルを付与することなく、当該未知データ要素の評価値を算出し、
前記教師データ要素の評価値にだけ基づくのではなく、前記未知データ要素の評価値にも基づくことにより、当該未知データ要素を含む評価用データについて、複数のデータを序列化できるようにスコアを算出する、
計算機システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は計算機システムに係り、特に、文書データ等のデータを分析するシステムに適する計算機システムに関する。
【背景技術】
【０００２】
データ分析システムとして、被照合対象である文章の中から、入力テキストに類似する文字列を検索しようとするシステムが知られている。例えば、特開2003-288362号公報には、生成した文書ベクトルを集合した文書単語行列の転置行列により単語ベクトルを生成し、単語ベクトルに基づいて単語の類似度を算出することが記載されている。
【０００３】
また、特開2012-14476号公報には、第１及び第２の文脈ベクトルからベイズ推定を用いて得られた確率分布とを用いて、第１の言語表現に対応する文脈ベクトルと、第２の言語表現に対応する文脈ベクトルとの類似度の期待値である意味的類似度を算出し、算出された意味的類似度を出力することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2003-288362号公報
【特許文献２】特開2012-14476号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、機械学習によって文書データを分析するシステムが実現されている。このシステムは、教師データに付されたラベルに基づいて、教師データに含まれる複数の形態素夫々の重みを計算し、この重みを利用して分析対象データのスコアを計算する。したがって、このシステムは、スコアの大小に基づいて複数の分析対象データの優劣を評価することができる。しかしながら、教師データに含まれる形態素に対する同義語や類義語等には、これらがその教師データに含まれない場合は重みが計算できないため、分析対象データの評価が十分でない場合があった。上記の特許文献は、教師データに存在しない形態素によって分析対象データを評価するために、当該形態素に対する重みを設定できることを開示していない。
【０００６】
そこで、教師データに存在しない形態素が分析対象データにおいて評価されるように、新たな当該形態素を含む教師データを分析システムに追加することも考えられる。しかし、教師データを増やすことは困難となる場合があり、仮に増やせたとしても、データ分析に関連性が薄い教師データが混在することにより、データの評価精度を低下させてしまうという懸念がある。本発明は、教師データを追加しなくても、分析対象データを精度よく評価できる計算機システム、その方法、並びに、そのためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するための計算機システムの第１の態様は、データを評価するための計算機システムであって、メモリとプロセッサとを備え、前記メモリは、夫々複数のデータ要素から構成される複数のデータと、前記複数のデータのうちの一部データから抽出されたデータ要素に対する評価値と、前記プロセッサに前記複数のデータを評価させるためのプログラムと、を、少なくとも一時的に記憶し、前記プロセッサは、前記プログラムにしたがって、前記複数のデータのうちの少なくとも一つのデータを構成する、第１のデータ要素と第２のデータ要素であって、前記第１のデータ要素の近傍に前記第２のデータ要素が出現し、前記第１のデータ要素と前記第２のデータ要素との共起頻度に基づいて、前記第１のデータ要素に属する複数のデータ要素間の類似度を算出し、前記評価値を前記類似度に応じて補正し、前記補正された評価値を前記第１のデータ要素に適用するというものである。
【０００８】
さらに、前記目的を達成するための計算機システムの第２の態様は、複数のデータを評価するためのデータ分析を実行する計算機システムであって、メモリとプロセッサとを備え、前記複数のデータは、所定の基準に従ってラベルが付与された教師データと、当該ラベルが付与されない評価用データとを含み、前記メモリは、前記プロセッサにデータ処理を実行させるプログラムと、前記教師データから抽出されたデータ要素に対する評価値と、を、少なくとも一時的に記憶し、前記評価値は、前記教師データを構成する教師データ要素に対しては、前記ラベルの情報を用いて予め算出され、前記評価用データを構成する評価用データ要素のうち、前記教師データを構成しない未知データ要素に対しては予め算出されてなく、前記プロセッサは、前記プログラムにしたがって、前記教師データ要素と前記未知データ要素とが類似する度合いを推定することにより、当該教師データ要素に対して前記予め算出されている評価値に基づいて、前記ラベルを付与することなく、当該未知データ要素の評価値を算出し、前記教師データ要素の評価値にだけ基づくのではなく、前記未知データ要素の評価値にも基づくことにより、当該未知データ要素を含む評価用データについて、複数のデータを序列化できるようにスコアを算出する、というものである。
【０００９】
さらに、前記目的を達成するために、計算機システムがデータを評価するための方法、計算機システムにデータを評価させるためのプログラム、並びに、記録媒体が提供される。
【発明の効果】
【００１０】
本発明によれば、複数のデータを評価するための計算機システムに、教師データを追加しなくても、分析対象データを精度よく評価できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る計算機システムのハードウェア構成の一例を示すブロック図である。
【図２】図１の計算機システムが実行する処理の流れを示したフローチャートの一例である。
【図３】図１の計算機システムが類義語に重みを設定する処理に係るフローチャートの一例である。
【図４】図１の計算機システムが作成した単語文脈行列の一例である。
【図５】図４の単語文脈行列をＰＭＩによって変換した変換行列である。
【図６】変換行列を特異値分解した行列の例である。
【図７】特異値分解した行列の、左行列Ｕ（3）、対角行列（Ｓ（3））1/2によって作成された特徴行列の例である。
【図８】図７の特徴行列の類似度行列である。
【図９】教師データ要素に対してのみ計算された重みのリストの例である。
【図１０】図９の重みリストを図８の類似度行列で補正した後の重みリトリストの例である。
【発明を実施するための形態】
【００１２】
〔計算機システムの構成〕
図１は、本実施の形態に係る計算機システム（以下、単に「システム」と略記することがある）のハードウェア構成の一例を示すブロック図である。計算機システムは、例えば、データ（デジタルデータ、及び／又は、アナログデータを含む）を格納可能な任意の記録媒体（例えば、メモリ、ハードディスク等）と、当該記録媒体に格納された制御プログラムを実行可能なコントローラ（例えば、ＣＰＵ；Central Processing Unit）とを備える。計算機システムは、当該記録媒体に少なくとも一時的に格納されたデータを分析するコンピュータシステム（複数のコンピュータが統合的に動作することによってデータ分析を実現するシステム）として実現され得る。なお、計算機システムは、一つのコンピュータによって実現されてもよい。
【００１３】
以下で説明する実施の形態において、「教師データ」は、例えば、ユーザによって分類情報が対応付けられた参照データ（分類済みの参照データ、参照データと分類情報との組み合わせ）であってよい。教師データを、「学習用データ」または「トレーニングデータ」といってもよい。
【００１４】
また、「評価対象データ」は、分類情報が対応付けられていないデータ（ユーザによって分類されていない未分類のデータ）であってよい。評価対象データを、「未知データ」といってもよい。
【００１５】
ここで、上記「分類情報」は、参照データを任意に分類するために用いる識別ラベルであってよく、例えば、参照データと所定事案（上記システムがデータとの関連性を評価する対象を広く含み、その範囲は制限されない）とが関係することを示す「Related」ラベルと、両者が関係しないことを示す「Non-Related」ラベルとのように、当該参照データを任意の数（例えば、２つ）のグループに分類する情報であってよい。
【００１６】
図１に例示されるように、上記システムは、例えば、データ分析の主要処理を実行可能なサーバ装置（サーバ計算機）２と、当該データ分析の関連処理を実行可能な一つ又は複数のクライアント装置（クライアント計算機）３と、データ及び当該データに対する評価結果を記録するデータベース４を備えるストレージシステム５と、クライアント装置３及びサーバ装置２に対して、データ分析のための管理機能を提供する管理計算機６とを備えてよい。
【００１７】
それぞれの装置は、ハードウェア資源として、例えば、メモリ、コントローラ、バス、入出力インターフェース（例えば、キーボード、ディスプレイなど）、通信インターフェース（所定のネットワークを用いた通信手段によって、各装置を通信可能に接続する）などを備えてよい（これらの例に限定されない）。サーバ装置２は、データ分析に必要なプログラムやデータを記録した（非一時的）記憶媒体、例えば、ハードディスク、フラッシュメモリ、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）、ＢＤ（Blu-ray（登録商標） Disc）などを備えている。
【００１８】
クライアント装置３は、複数のデータを構成する一部のデータを参照データとしてユーザに提示する。これにより、当該ユーザは、評価者（レビュア；Reviewer）として、クライアント装置３を介して参照データに対する評価・分類のための入力を行う（分類情報を与える）ことができる。
【００１９】
サーバ装置２は、参照データと分類情報との組み合わせ（教師データ）に基づいて、当該データからパターン（例えば、データに含まれる抽象的な規則、意味、概念、様式、分布、サンプルなどを広く指し、いわゆる「特定のパターン」に限定されない）を学習し、当該学習したパターンに基づいて、評価対象データと所定事案との関連性を評価する（処理の詳細は後述する「データ評価機能」を参照）。
【００２０】
管理計算機６は、クライアント装置３、サーバ装置２及びストレージシステム５に対して、所定の管理処理を実行する。ストレージシステム５は、例えば、ディスクアレイシステムから構成され、データと当該データに対する評価・分類の結果とを記録するデータベース４を備えてよい。サーバ装置２とストレージシステム５とは、ＤＡＳ（Direct Attached Storage）方式又はＳＡＮ（Storage Area Network）によって通信可能に接続されている。
【００２１】
なお、図１に示されるハードウェア構成はあくまで例示に過ぎず、上記システムは、他のハードウェア構成によって代替等されてもよい。例えば、サーバ装置２において実行される処理の一部または全部がクライアント装置３において実行される構成であってもよいし、当該処理の一部又は全部がサーバ装置２において実行される構成であってもよいし、ストレージシステム５がサーバ装置２に内蔵される構成であってもよい。
【００２２】
また、ユーザは、クライアント装置３を介してサンプルデータに対する評価・分類のための入力を行う（分類情報を与える）だけでなく、サーバ装置２に直接接続された入力機器を介して上記入力を行うこともできる。当該システムを実現可能なハードウェア構成が多様に存在し得ることは、当業者に理解されるところであり、特定の１つの構成（例えば、図１に例示されるような構成）に限定されない。
【００２３】
〔データ評価機能〕
上記システムは、データ評価機能を備えることができる。当該データ評価機能は、人手で分類された少数のデータ（教師データ）に基づいて、多数の評価対象データ（ビッグデータ）を、分析・評価する機能である。当該データ評価機能を備えることにより、上記システムは、例えば、評価対象データと所定事案との関連性の高低を示す指標（例えば、評価対象データを序列化可能にする数値（例えば、スコア）、文字（例えば、「高」、「中」、「低」など）、及び／又は、記号（例えば、「◎」、「○」、「△」、「×」など）を導出し、上記評価を実現することができる。データ評価機能は、例えば、サーバ装置２のコントローラによって実現されてよい。
【００２４】
「データ要素」（「構成要素」と呼んでもよい）は、データの少なくとも一部を構成する部分データであってよく、例えば、文書を構成する形態素、キーワード、センテンス、段落、及び／又は、メタデータ（例えば、電子メールのヘッダ情報）であったり、音声を構成する部分音声、ボリューム（ゲイン）情報、及び／又は、音色情報であったり、画像を構成する部分画像、部分画素、及び／又は、輝度情報であったり、映像を構成するフレーム画像、モーション情報、及び／又は、３次元情報であったりしてよい。
【００２５】
データ要素がデータに現れる頻度に基づいて、上記システムが上記スコアを算出する場合、例えば、次のような算出方法が考えられる。まず、上記システムは、教師データに含まれる参照データから当該参照データを構成するデータ要素（以下「教師データ要素」と称する場合がある）を抽出し、当該データ要素を評価する。
【００２６】
このとき、上記システムは、例えば、教師データに含まれる参照データの少なくとも一部を構成する複数のデータ要素が、データと分類情報との組み合わせに寄与する度合い（言い換えれば、当該データ要素が分類情報に応じて出現する頻度）をそれぞれ評価する。度合いを「重み」と言い換えてもよい。より具体的な一例として、上記システムは、伝達情報量（例えば、教師データ要素の出現確率と分類情報の出現確率とを用いて、所定の式から算出される情報量）を用いてデータ要素をそれぞれ評価することによって、当該データ要素の評価値を、下記の数１に示される式にしたがって算出する。
【００２７】
【数１】
2019133478.tif 000003
【００２８】
ここで、データが所定事案に関連するか否かを確率変数Ｔで表すとき、当該データが当該所定事案に関連する場合をｔ＝１、関連しない場合をｔ＝０で表せる。一方、当該データに特定のデータ要素が含まれるか否かを確率変数Ｍで表すとき、含まれる場合をｍ＝１、含まれない場合をｍ＝０で表せる。そして、上記数１において、ｐ（ｔ，ｍ）はｔとｍとが同時に生起する確率、ｐ（ｔ）はｔが生起する確率、ｐ（ｍ）はｍが生起する確率である。上記システムは、例えば、上記伝達情報量をデータ要素ごとに算出し、これを上記重みとすることができる。これにより、上記システムは、例えば、算出した伝達情報量の値が大きいほど、データ要素が所定の分類情報の特徴を表すものとして評価することができる。
【００２９】
また、上記システムは、例えば、上記重みを以下の数２に示される式にしたがって計算することもできる。
【数２】
2019133478.tif 000004
【００３０】
ここで、ｗｇｔは、評価前のｉ番目のデータ要素の評価値の初期値を示す。また、ｗｇｔは、Ｌ回目の評価後のｉ番目のデータ要素の評価値を示す。γはＬ回目の評価における評価パラメータを意味し、θは評価の際の閾値を意味する。これにより、上記システムは、例えば、算出した伝達情報量の値が大きいほど、データ要素が所定の分類情報の特徴を表すものとして評価することができる。
【００３１】
次に、上記システムは、上記データ要素と評価値（上記で例示した方法で計算された重み）とを対応付け、両者を任意のメモリ（例えば、ストレージシステム５）に格納する。そして、上記システムは、評価対象データからデータ要素を抽出し、当該データ要素が上記メモリに格納されているか否かを照会し、格納されている場合は、当該データ要素に対応付けられた評価値を当該メモリから読み出し、当該評価値に基づいて評価対象データを評価する。例えば、上記システムは、評価対象データに含まれるデータ要素に対応付けられた評価値を合算することにより、当該評価対象データを評価した結果としてよい。
【００３２】
または、上記システムは、例えば、評価対象データの少なくとも一部を構成するデータ要素に対応付けられた評価値を用いて、以下の数３に示される式にしたがって上記スコアを算出することができる。
【００３３】
【数３】
2019133478.tif 000005
ここで、ｍｊはｉ番目のデータ要素の出現頻度を表し、ｗｇｔｉはｉ番目のデータ要素の評価値を表す。
【００３４】
なお、上記システムは、再現率が所定の目標値になるまで、データ要素の抽出と評価とを継続する（繰り返す）こともできる。再現率とは、所定数のデータに対して発見すべきデータが占める割合（網羅性）を示す指標であり、例えば、全データの３０％に対して再現率が８０％である場合、所定事案に関係するとして発見されるべきデータの８０％が、指標（スコア）上位３０％のデータに含まれていることを示す。上記システムを用いず、人間がデータに総当たり（リニアレビュー）した場合、発見すべきデータの量は人間がレビューした量に比例するため、発見されるべきデータの割合と指標（スコア）上位のデータの割合との間で乖離が大きいほど、システムのデータ分析性能が良いことになる。
【００３５】
また、前述したデータ評価機能の実現例は、あくまでも一例に過ぎない。すなわち、当該データ評価機能は、「教師データに基づいて評価対象データを評価する」という機能でありさえすれば、その具体的な態様は特定の１つの構成（例えば、前述したスコアの算出方法）に限定されない。
【００３６】
〔評価対象データの評価〕
サーバ装置２による評価対象データの評価動作を説明する。図２は、サーバ装置２（詳しくはサーバ装置２が備えたコントローラ）が実行する処理の流れを示したフローチャートである。サーバ装置２は、ストレージシステム５に記録されたデータから一つ又は複数のデータを参照データとして取得する（ステップＳ３００：参照データ取得モジュール）。各ステップを、モジュール又は手段と言い換えることができる。
【００３７】
次に、サーバ装置２は、ユーザが参照データを実際にレビューして分類を決定し、ユーザによって入力された分類情報を、任意の入力装置から取得する（ステップＳ３０２：分類情報取得モジュール）。
【００３８】
サーバ装置２は、参照データと分類情報とを組み合わせることによって教師データを構成し、教師データからデータ要素を抽出する（ステップＳ３０４：データ要素抽出モジュール）。
【００３９】
そして、サーバ装置２は、当該データ要素を評価し（ステップＳ３０６：データ要素評価モジュール）、当該データ要素と評価値とを対応付け、両者をストレージシステム５に格納する（ステップＳ３０８：データ要素格納モジュール）。
【００４０】
上記Ｓ３００〜Ｓ３０８の処理は、「学習フェーズ」（人工知能がパターンを学習するフェーズ）に対応する。
【００４１】
なお、教師データを参照データから作成する代わりに、予め用意しておいてもよい。例えば、ある特許権に係る特許を無効にするための公知文献を見つける場合、教師データは、特許請求の範囲の記載と「Related」ラベルとの組み合わせになる。
【００４２】
次に、サーバ装置２は、ストレージシステム５から評価対象データを取得する（ステップＳ３１０：評価対象データ取得モジュール）。サーバ装置２は、さらに、ストレージシステム５からデータ要素とその評価値とを読み出し、当該データ要素を評価対象データから抽出する（ステップＳ３１２：構成要素抽出モジュール）。
【００４３】
サーバ装置２は、当該データ要素に対応付けられた評価値に基づいて評価対象データを評価し（ステップＳ３１４：評価対象データ評価モジュール）、複数の評価対象データの序列化情報（ランキング）を作成する。上位の評価対象データであるほど所定事案との関連性が高いことになる。ステップＳ３０８以降の処理が、「評価フェーズ」に対応する。なお、既述のフローチャートに含まれる各処理は、一例であって、限定される態様を示したものでないことに留意すべきである。
【００４４】
〔関連データ要素の評価値の推定〕
上記システムは、教師データを構成するデータ要素（教師データ要素）に対して評価値を算出できるだけでなく、教師データを構成せず、評価用データを構成するデータ要素（未知データ要素）であって、特に、教師データ要素に関連するデータ要素（以下「関連データ要素」と称する場合がある）に対しても評価値を算出できる。ここで、上記参照データとしての文書に含まれる「打ち合わせ」という形態素が教師データ要素であった場合、例えば、「会議」「ミーティング」「会合」「話し合い」などの形態素（例えば、同義語、類義語など）が関連データ要素として考えられる。
【００４５】
関連データ要素は、教師データに含まれる参照データを構成しないため、上記で例示した計算方法のみではその評価値を計算できない。したがって、評価対象データが所定事案に関連することから上記システムが当該評価対象データを高く評価すべき場合であっても、当該関連データ要素が当該評価対象データを特徴付ける支配的な要素である場合、当該評価対象データを適切に評価できない。教師データを増やせば、関連データ要素が上記参照データに出現する可能性が上がり（すなわち、関連データ要素が「教師データ要素化」し）、当該関連データ要素の評価値が計算可能となる場合があるが、（１）教師データを増やすには人手で分類情報を与える必要があり、コストが高くなること、（２）所定事案との関連性を評価する目的に対して悪影響を与えるデータ要素にも評価値が算出され、これがノイズとなって評価対象データを評価する精度が悪くなるおそれがあること、という２つの課題が新たに生じる。
【００４６】
そこで、上記システムは、教師データ要素の評価値から関連データ要素の評価値を推定することにより、教師データを増やすことなく、関連データ要素の評価値を得る。より具体的には、関連するデータ要素（例えば、同義語、類義語など）は類似のコンテキストで共起する傾向があるため、本実施の形態に係る計算機システムは、全データ（教師データと評価対象データとを含む）に含まれる各データ要素について、共起情報に基くベクトル空間モデルを構成し、当該空間モデルにおける各データ要素の類似度に基づいて関連データ要素にも評価値を付与することによって、教師データを追加することなく、評価対象データを精度よく評価できる。
【００４７】
以下では、データが文書であり、教師データ要素が形態素であり、関連データ要素が当該形態素に対する類義語（語形は異なるが、意味が類似する語）である場合を説明する。また、本実施の形態に係る計算機システムを説明する上で、類義語と同義語（語形は異なるが意味が同じである語）とを厳密に区別しなければならないわけではなく、同義語と類義語とを総称して関連データ要素としてもよいし、類義語は同義語を含むと解釈してもよい。以後の説明において、後者の観点から「類義語」を使用する。
【００４８】
図３は、類義語に重みを設定するために、上記システムが実行する処理を説明するフローチャートである。なお、図３に含まれるＳ５００〜Ｓ５１０の処理は、図２に含まれる「データ要素評価」（Ｓ３０６）の処理にすべて含まれる。例えば、上記システムは、教師データ要素に対する評価値（重み）を算出し終わった後、あるいは、データベース４に格納された算出済みの重みを利用して、Ｓ５００〜Ｓ５１０の処理を実行する。まず、上記システムは、メモリに含まれるコーパス（教師データと評価対象データとを含む全文書データ）に含まれる全ての形態素を解析し、各形態素の共起頻度を含む単語文脈行列（Ｃ）を作成する（Ｓ５００：行列作成モジュール）。
【００４９】
図４は単語文脈行列の一例である。当該行列の行は、コーパスに含まれる形態素（第１のデータ要素、以下「分析対象形態素」と称する場合がある）の種類に対応し、列は、コーパスの文脈において、分析対象形態素と共起する形態素（第２のデータ要素、以下「共起形態素」と称する場合がある）の種類に対応する。単語文脈行列の行のコーパスに含まれる形態素は、教師データの形態素であって評価値が付与されている形態素と、評価対象データの形態素であって評価値が付与されていない形態素とを含む。
【００５０】
ｍを分析対象形態素の種類数、ｎを共起形態素の種類数とすれば、単語文脈行列はｍ×ｎの行列であり、分析対象形態素に対する共起形態素の出現数（共起頻度）を要素として含む。単語文脈行列の行は、複数の分析対象形態素のうちの一つの分析対象形態素について、複数の共起形態素夫々の共起頻度から構成される横ベクトルとなる。なお、二つの形態素が共起関係にあるか否かは、一方の形態素の前後ｎつ（例えば、ｎ＝２〜１０）に他方の形態素が出現するか否かで判定できる。つまり、形態素の共起は、n-gramでの共起に基づいて定めればよい。
【００５１】
次に、上記システムは、自己相互情報量（ＰＭＩ：Pointwise Mutual Information）を用いて単語文脈行列の各要素を変換し、変換行列（Ｃ*）を得る（Ｓ５０２：ＰＭＩ適用モジュール）。この変換により、共起頻度から真の共起情報（近傍値）を抽出できる。ここで、近傍値とは、例えば、上記共起頻度と、分析対象形態素が複数のデータに出現する第１の頻度と、共起形態素が当該複数のデータに出現する第２の頻度とから算出される自己相互情報量であってよい。この変換により、例えば、任意のセンテンスに現れる汎用的な形態素（例えば、冠詞など）は、他のどの形態素に対しても共起頻度が大きくなる傾向があるところ、当該形態素の出現確率を差し引くように共起頻度を補正することができる。
【００５２】
センテンスにおいて分析対象形態素ｘ、共起形態素ｙが出現する確率をそれぞれＰ（ｘ）、Ｐ（ｙ）とし、ｘとｙとが共起する確率をＰ（ｘ，ｙ）とすると、自己相互情報量は以下の数４に示される式によって計算される。
【００５３】
【数４】
2019133478.tif 000006
【００５４】
上記システムが、図４に示す単語文脈行列の各要素をＰＭＩによって変換すると、例えば、図５に示す変換行列（Ｃ*）を得る。
【００５５】
次に、上記システムは、変換行列を特異値分解して（Ｓ５０４:特異値分解モジュール）、変換行列から特徴行列を抽出する。変換行列は、分析対象形態素と共起形態素との膨大な組み合わせに対応する要素を共起情報として含むため、一般に高次元行列となる。こうした膨大な数の共起パターンには、共起関係が強いものから弱いものまでが含まれるため、変換行列の次元数を圧縮することにより、強い特徴の共起関係に縮約してノイズを低減させ、共起パターンが強調された形態素ベクトルを構成することが好適である。そのため、上記システムは、ＰＭＩを適用した変換行列に特異値分解を適用し、情報を圧縮する。
【００５６】
変換行列を特異値分解すると、下記数５の式で示されるように、Ｃ*は、Ｕ（ｄ）、Ｓ（ｄ）、Ｖ*（ｄ）の三つの行列に分解される。
【００５７】
【数５】
2019133478.tif 000007
【００５８】
ここで、Ｕ（ｄ）は、分析対象形態素を表現するものであってｍ×ｄの列直交左行列であり、Ｖ*（ｄ）は、文脈を表現するものであってｄ×ｎの列直交右行列であり、Ｓ（ｄ）は対角要素に特異値を降順にｄ次元取り出した対角行列である。ｍ×ｎの変換行列を特異値分解することによって、ｍ×ｄに縮約された行列Ｕ（ｄ）が得られる。図６に、変換行列Ｃ*をｄ＝３で特異値分解した例を示す。
【００５９】
次に、上記システムは、左行列Ｕ（ｄ）に基づいて、ｄ次元に圧縮されたｍ種類の形態素の特徴行列（特徴値）μを構成する（Ｓ５０６：特徴行列構成モジュール）。
【００６０】
【数６】
2019133478.tif 000008
図７に、左行列Ｕ（3）、対角行列（Ｓ（3））1/2によって作成された特徴行列の例を示す。
【００６１】
次に、上記システムは、特徴行列μに基づいて相関行列Ｒを作成する（Ｓ５０８：相関行列作成モジュール）。
【数７】
2019133478.tif 000009
μＴは特徴行列の転置行列である。相関行列Ｒは、図８に例示するように、ｍ種類の形態素同士のコサイン類似度ｃｏｓ（μ）を、上記類似度として要素とする類似度行列である。
【００６２】
そして、上記システムは、下記のように当該形態素の重みを類似度行列に基づいて補正することができる（Ｓ５１０：補正モジュール）。
【数８】
2019133478.tif 000010
【００６３】
ここで、ｗ*は補正された重みベクトル（補正後ウェイトリスト）であり、ｗは教師データ要素に対してのみ重みが計算された重みベクトル（ウェイトリスト）である。すなわち、上記システムは、教師データ要素に対する類義語に、その類似度に応じた重みを与えることができる。なお、請求項に記載する、補正された評価値を第１のデータ要素に適用する、とは、補正された評価値を第１のデータ要素に属する少なくも一つの形態素に適用する、ことを含み、好適には、上記のように、補正された評価値（ｗ*）を第１のデータ要素（教師データ要素に対する類義語）に与えることである。
【００６４】
図９にｗの例を示し、図１０に、ウェイトリスト（ｗ）を類似度行列で補正した補正後ウェイトリスト（ｗ*）を示す。図１０によれば、当初は教師データ要素である「train」にしか重みが付与されていなかったが、概念的に近い類義語としての「car」（関連データ要素）に対しても重みが付与される。上記システムは、図３によって、新たに重みが与えられた類義語の重みをメモリに記録し（Ｓ３０８）、評価対象データを評価する際（Ｓ３１４）、類義語の重みも参照して評価を行う（Ｓ３１４）。
【００６５】
以上の結果、本実施の形態に係る計算機システムは、元の教師データから得られた重みを補正して類義語に展開できるため、類義語を含む教師データを新たに追加することなく、分析対象データを精度よく評価できる。
【００６６】
〔データ分析システムが処理するデータ形式〕
本実施の形態において、「データ」は、コンピュータによって処理可能となる形式で表現された任意のデータであってよい。上記データは、例えば、少なくとも一部において構造定義が不完全な非構造化データであってよく、自然言語によって記述された文章を少なくとも一部に含む文書データ（例えば、電子メール（添付ファイル・ヘッダ情報を含む）、技術文書（例えば、学術論文、特許公報、製品仕様書、設計図など、技術的事項を説明する文書を広く含む）、プレゼンテーション資料、表計算資料、決算報告書、打ち合わせ資料、報告書、営業資料、契約書、組織図、事業計画書、企業分析情報、電子カルテ、ウェブページ、ブログ、ソーシャルネットワークサービスに投稿されたコメントなど）、音声データ（例えば、会話・音楽などを録音したデータ）、画像データ（例えば、複数の画素またはベクター情報から構成されるデータ）、映像データ（例えば、複数のフレーム画像から構成されるデータ）などを広く含む（これらの例に限定されない）。
【００６７】
例えば、文書データを分析する場合、上記システムは、学習用データとしての文書データに含まれる形態素を構成要素として抽出し、当該構成要素をそれぞれ評価し、評価対象データとしての文書データから抽出した構成要素に基づいて、当該文書データと所定事案との関連性を評価することができる。また、音声データを分析する場合、上記システムは、当該音声データ自体を分析の対象としてもよいし、音声認識により当該音声データを文書データに変換し、変換後の文書データを分析の対象としてもよい。前者の場合、上記システムは、例えば、音声データを所定の長さの部分音声に分割して構成要素とし、任意の音声分析手法（例えば、隠れマルコフモデル、カルマンフィルタなど）を用いて当該部分音声を識別することによって、当該音声データを分析できる。後者の場合、任意の音声認識アルゴリズム（例えば、隠れマルコフモデルを用いた認識方法など）を用いて音声を認識し、認識後のデータ（文書データ）に対して、前述した手順と同様の手順で分析できる。また、画像データを分析する場合、上記システムは、例えば、画像データを所定の大きさの部分画像に分割して構成要素とし、任意の画像認識手法（例えば、パターンマッチング、サポートベクターマシン、ニューラルネットワークなど）を用いて当該部分画像を識別することによって、当該画像データを分析できる。さらに、映像データを分析する場合、上記システムは、例えば、映像データに含まれる複数のフレーム画像を所定の大きさの部分画像にそれぞれ分割して構成要素とし、任意の画像認識手法（例えば、パターンマッチング、サポートベクターマシン、ニューラルネットワークなど）を用いて当該部分画像を識別することによって、当該映像データを分析できる。
【００６８】
なお、上記システムが音声データを分析する場合、「類義語」は、選択された所定の構成要素（例えば、部分音声）と音素の系列が類似する構成要素であってよい。また、上記システムが画像データまたは映像データを分析する場合、「類義語」は、選択された所定の構成要素（例えば、部分画像、複数のフレーム画像を所定の大きさの部分画像にそれぞれ分割したもの）と画素の系列が類似する構成要素であったり、同じ（または類似の）被写体が現れている構成要素であったりしてよい。ただし、これらの例には限定されない。
【００６９】
〔ソフトウェア・ハードウェアによる実現例〕
上記システムの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。後者の場合、上記システムは、各機能を実現するソフトウェアであるプログラム（データ分析システムの制御プログラム）を実行するＣＰＵ、当該プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、当該プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。なお、上記プログラムは、任意のプログラミング言語によって実装可能である。また、上記プログラムを記録した任意の記録媒体も、本発明の範疇に入る。
【００７０】
〔アプリケーション例〕
上記システムは、例えば、ディスカバリー支援システム、フォレンジックシステム、電子メール監視システム、医療応用システム（例えば、ファーマコビジランス支援システム、治験効率化システム、医療リスクヘッジシステム、転倒予測（転倒防止）システム、予後予測システム、診断支援システムなど）、インターネット応用システム（例えば、スマートメールシステム、情報アグリゲーション（キュレーション）システム、ユーザ監視システム、ソーシャルメディア運営システムなど）、情報漏洩検知システム、プロジェクト評価システム、マーケティング支援システム、知財評価システム、不正取引監視システム、コールセンターエスカレーションシステム、信用調査システムなど、ビッグデータを分析する人工知能システム（データと所定事案との関連性を評価可能な任意のシステム）として実現され得る。なお、本発明のデータ分析システムが応用される分野によっては、当該分野に特有の事情を考慮して、例えば、データに前処理（例えば、当該データから重要箇所を抜き出し、当該重要箇所のみをデータ分析の対象とするなど）を施したり、データ分析の結果を表示する態様を変化させたりしてよい。こうした変形例が多様に存在し得ることは、当業者に理解されるところであり、すべての変形例が本発明の範疇に入る。
【００７１】
本発明は上述したそれぞれの実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても、本発明の技術的範囲に含まれる。さらに、各実施の形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。
【００７２】
また、本発明は、例えば、複数のデータを処理するコンピュータであって、前記コンピュータは、メモリとプロセッサとを備え、前記メモリは、前記プロセッサに複数の処理を実行させるコンピュータプログラムと、前記複数のデータと、データを構成する要素として当該複数のデータから抽出されたデータ要素と、各データ要素に対する評価値とを、少なくとも一時的に記憶し、前記プロセッサは、前記コンピュータプログラムにしたがって、第１のデータ要素の近傍に第２のデータ要素が出現する共起頻度から近傍値を算出し、前記近傍値を要素とする近傍ベクトルを各データ要素に対して構成し、前記近傍ベクトルに対して他の近傍ベクトルが乖離する度合いに基づいて、前記データ要素と他のデータ要素との類似値を算出し、前記類似値に基づいて前記評価値を補正することを特徴とするコンピュータとも表現できる。
【符号の説明】
【００７３】
１……データ分析システム、２……サーバ装置、３……クライアント装置、４……デー
タベース、５……ストレージシステム、６……管理計算機
【図１】
2019133478.tif 000011
【図２】
2019133478.tif 000012
【図３】
2019133478.tif 000013
【図４】
2019133478.tif 000014
【図５】
2019133478.tif 000015
【図６】
2019133478.tif 000016
【図７】
2019133478.tif 000017
【図８】
2019133478.tif 000018
【図９】
2019133478.tif 000019
【図１０】
2019133478.tif 000020
【手続補正書】
【提出日】平成31年1月17日(2019.1.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データを評価するための計算機システムであって、
メモリとプロセッサとを備え、
前記メモリは、
夫々複数のデータ要素から構成される複数のデータと、
前記複数のデータのうちの一部データから抽出されたデータ要素に対する評価値と、
前記プロセッサに前記複数のデータを評価させるためのプログラムと、
を、少なくとも一時的に記憶し、
前記プロセッサは、前記プログラムにしたがって、
前記複数のデータのうちの少なくとも一つのデータを構成する、第１のデータ要素と第２のデータ要素であって、前記第１のデータ要素の近傍に前記第２のデータ要素が出現し、前記第１のデータ要素と前記第２のデータ要素との共起頻度に基づいて、前記第１のデータ要素に属する複数のデータ要素間の類似度を算出し、
前記評価値を前記類似度に応じて補正し、
前記補正された評価値を前記第１のデータ要素に適用する、
計算機システム。
【請求項２】
前記第１のデータ要素に属する複数のデータ要素は、前記評価値が与えられた評価済みデータ要素と、前記評価値が与えられていない未評価データ要素と、を含み、
前記プロセッサは、
前記類似度として、前記評価済みデータ要素と前記未評価データ要素との間の類似度を算出し、
前記補正された評価値を前記未評価データ要素に適用する、
請求項１記載の計算機システム。
【請求項３】
前記プロセッサは、
前記共起頻度に基づくベクトル空間モデルを構成し、
当該ベクトル空間モデルにおける、前記第１のデータ要素に属する複数のデータ要素夫々のベクトルを比較し、
当該比較に基づいて、前記類似度を算出する、
請求項１又は２記載の計算機システム。
【請求項４】
前記複数のデータは、
所定の基準にしたがってラベルが付与された教師データと、
前記ラベルが付与されていない評価対象データと、
を含み、
前記プロセッサは、
前記教師データを構成するデータ要素を前記抽出されたデータ要素とし、当該データ要素に対する前記評価値を、前記ラベルの情報に基づいて算出し、
前記補正された評価値に基づいて、前記教師データに含まれず、前記評価対象データに含まれるデータ要素に対する評価値を算出する、
請求項１記載の計算機システム。
【請求項５】
前記教師データおよび評価対象データは夫々文書データであり、
前記第１のデータ要素は、前記教師データに含まれる形態素であって、前記評価値が付与された形態素と、前記教師データには含まれず、前記評価対象データに含まれる形態素であって、前記教師データに含まれる形態素の類義語とを含み、
前記プロセッサは、
前記教師データに含まれる形態素の評価値を前記類似度に基づいて補正し、
前記類似度に応じた評価値を前記類義語の評価値として設定する、
請求項４記載の計算機システム。
【請求項６】
前記プロセッサは、
前記第１のデータ要素と前記第２のデータ要素とが前記複数のデータのうちの所定のデータ中で夫々出現する確率と、
前記第１のデータ要素と前記第２のデータ要素とが前記所定のデータ中で同時に出現する確率と、
に基づいて自己相互情報量を算出し、
前記自己相互量に基づいて、前記共起頻度を変換する、
請求項１乃至５の何れか１項記載の計算機システム。
【請求項７】
前記プロセッサは、
前記共起頻度を要素とする行列を前記自己相互情報量に基づいて変換して変換行列を作成し、
前記変換行列を特異値分解し、
前記特異値分解によって得られた対角行列において、降順で並んだ特異値の中から、順番に所定数の特異値を選択し、
前記選択された特異値の数に、前記第２のデータ要素の次元数を縮約して、前記第１のデータ要素に係る特徴値を抽出する、
請求項６記載の計算機システム。
【請求項８】
前記プロセッサは、
前記第１のデータ要素に属する複数のデータ要素夫々のベクトル間のコサイン類似度を、前記複数のデータ要素間の類似度として、算出する、
請求項３記載の計算機システム。
【請求項９】
前記プロセッサは、
前記第１のデータ要素に係る特徴値に基づいて前記類似度の行列を構成する、
請求項７記載の計算機システム。
【請求項１０】
前記プロセッサは、
前記評価値を前記類似度に応じて補正することを、前記第１のデータ要素に対する評価値のリストに前記類似度の行列を適用することによって実行する、
請求項９記載の計算機システム。
【請求項１１】
前記プロセッサは、
前記評価された類似度に基づいて、前記評価対象データを序列化できるように、当該評価対象データのスコアを算出する、
請求項１０記載の計算機システム。
【請求項１２】
データを評価するためのデータ分析方法であって、
前記方法を実行する計算機システムは、
夫々複数のデータ要素から構成される複数のデータと、前記複数のデータのうちの一部データから抽出されたデータ要素に対する評価値と、を、少なくとも一時的に記憶するステップと、
前記複数のデータのうちの少なくとも一つのデータを構成する、第１のデータ要素と第２のデータ要素であって、前記第１のデータ要素の近傍に前記第２のデータ要素が出現し、前記第１のデータ要素と前記第２のデータ要素との共起頻度に基づいて、前記第１のデータ要素に属する複数のデータ要素間の類似度を算出するステップと、
前記評価値を前記類似度に応じて補正するステップと、
前記補正された評価値を前記第１のデータ要素に適用するステップと、
を実行するデータ分析方法。
【請求項１３】
データの評価を計算機システムに実行させるためのプログラムであって、
夫々複数のデータ要素から構成される複数のデータと、前記複数のデータのうちの一部データから抽出されたデータ要素に対する評価値と、を、少なくとも一時的に記憶する機能と、
前記複数のデータのうちの少なくとも一つのデータを構成する、第１のデータ要素と第２のデータ要素であって、前記第１のデータ要素の近傍に前記第２のデータ要素が出現し、前記第１のデータ要素と前記第２のデータ要素との共起頻度に基づいて、前記第１のデータ要素に属する複数のデータ要素間の類似度を算出する機能と、
前記評価値を前記類似度に応じて補正する機能と、
前記補正された評価値を前記第１のデータ要素に適用する機能と、
を前記計算機システムに実行させるためのプログラム。
【請求項１４】
請求項１３記載のプログラムを記録した記録媒体。
【請求項１５】
複数のデータを評価するためのデータ分析を実行するコンピュータであって、
メモリとプロセッサとを備え、
前記複数のデータは、所定の基準に従ってラベルが付与された教師データと、当該ラベルが付与されない評価用データとを含み、
前記メモリは、前記プロセッサにデータ処理を実行させるプログラムと、前記教師データから抽出されたデータ要素に対する評価値とを、少なくとも一時的に記憶し、
前記評価値は、前記教師データを構成する教師データ要素に対しては、前記ラベルの情報を用いて予め算出されており、前記評価用データを構成する評価用データ要素のうち、前記教師データに含まれない未知データ要素に対しては予め算出されておらず、
前記プロセッサは、前記プログラムにしたがって、
前記教師データ要素の近傍に前記未知データ要素が出現する場合、当該教師データ要素と当該未知データ要素とが類似する度合いを示す類似度を推定し、
前記教師データ要素に対する評価値を前記類似度に応じて補正し、
前記類似度に応じて補正した評価値を、前記教師データ要素と概念的に近い類義要素としての未知データ要素に適用することによって、前記評価用データに前記ラベルを付与することなく評価値を算出し、
前記教師データ要素に対する評価値と、前記未知データ要素に対する評価値とに基づいて、前記複数のデータを序列化可能なスコアを算出するコンピュータ。