第１５期第１回（通算４回目）「日本語処理解析性能評価」実施結果報告
１

評価結果の客観的評価指標（１）「日本語処理解析性能評価」実施の目的（趣旨）と評価の実施について
近年、デジタル・フォレンジックや e ディスカバリ用途で、多様な検索機能や解析機能を持つ多くのソフトウェアが開発され、利用されています。しかしながら、海外で開発されたものも多く、日本国内で使用する場合に、どこまで日本語に対応しているかが不明で、ユーザーが使用してみるまでわからないのが現状です。また、実際に性能を評価しようとしても、客観的かつ有効な評価基準や指標も存在しないため、比較自体が困難な状況です。ＩＤＦ「日本語処理解析性能評価」分科会ではこの状況を改善するために、日本語処理解析性能を評価するための基準となる項目とそれに伴う検索クエリ、さらに実際の評価に使うための評価用データの作成と各種ツールの日本語処理解析性能の評価基準項目を準備しました。
また、本評価を実現するために日本語処理解析性能評価委員会が設立され、２０１７年１月に第１回評価が実施されました。今期第１５期第１回目（通算第４回目）の評価は、４月末より受検製品（企業）の募集を開始し、６月に１社（ＡＯＳリーガルテック（株））の「Ｎｕｉｘ」の評価を実施致しましたので、結果を報告致します。
（２）評価基準と評価用データ作成について①評価基準について単一単語検索や簡単なブーリアン検索を中心とした「基本検索」だけでなく、全角半角の同一視検索、正規表現や近傍検索といった比較的高度な検索機能を含む各種の「応用検索」も評価基準に含めました。
尚、単一単語検索の項目にも「数字・漢数字同一視検索」といったものも含まれているので、「基本検索」といっても難易度は高いと想定されます。さらにそれぞれの評価用データとしては日本語特有の文字コードが多数と日本特有のＥメールソフト等も対象に含みますので、総じて難易度の低いものから非常に高いと思われるものまで幅広く評価が可能なものとなりました。
②評価用データ作成手順について
評価用データは、ＩＤＦコラムより３１９号、３４５号、３６０号のそれぞれのテキスト情報と、各種評価基準項目を検証する為に必要な追加修正を３１９号、３４５号に加えたものの合計５種類のテキスト情報をベースに、９種類の文字コードのテキストファイル、テキストファイルを添付した６種類のＥメールアプリケーションデータ、Microsoft Office（Word/Excel/PowerPoint）を用いた各種保存形式の違いによる多数のファイル形式の評価用データを作成しました。
２

評価結果の客観的評価指標
各種評価基準項目ごとに実施しました評価用データに対する検索結果は、評価用データに「ヒットしたか」「ヒットしなかったか」、それはそれぞれ評価用データにおいて「正解としてヒットすべきものか」「正解としてヒットすべきでないか」という２つの軸が存在し、【表１】で表される４象限で表記できます。
【表１】評価結果の４象限
評価用データにおける正解
ヒットすべきもの

ヒットすべきでないもの

ヒットした

True Positive (TP)

False Positive (FP)

ヒットしなかった

False Negative (FN)

True Negative (TN)

検索結果

統計分析で良く使われる指標として、下記３つの指標がありますので、今回の評価結果を示す客観的数値として公表致します。
（１）Recall： 再現率

正解としてヒットすべきもののうち、検索で正しくヒットしたもの割合
Recall：再現率＝

TP
TP+FN（２）Precision ： 適合率
検索でヒットしたもののうち、正解としてヒットすべきものの割合
Precision ： 適合率

＝

TP
TP+FP

（３）Accuracy ：正解（答）率
検索でヒットしたものとヒットしなかったもの（全体）がそれぞれ正解である割合
Accuracy ：正解（答）率

＝

TP+TN
TP+FP+FN+TN

今回のＡＯＳリーガルテック株式会社（Nuix investigation&Response Ver.7.4.5）評価結果を【表２】に記載します。
【表２】ＡＯＳリーガルテック株式会社（Nuix investigation&Response Ver.7.4.5）評価結果

テキスト
検索結果

ヒットすべきでない

合計

適合率

ヒットした

276

0276

100%

ヒットしなかった

0294

合計

276

再現率

100%

正解率

100%

応用検索

評価用データにおける正解
ヒットすべきヒットすべきでない

合計

適合率

ヒットした

369

0369

100%ヒットしなかった

0

441

合計

369

再現率

100%

正解率100%

E メール
検索結果

評価用データにおける正解
ヒットすべき

テキスト
検索結果

基本検索

基本検索

評価用データにおける正解
ヒットすべきヒットすべきでない

合計

適合率

ヒットした

12

0

12

100%

ヒットしなかった

0

12

合計

12

再現率

100%

正解率100%アプリケーション
検索結果

基本検索

評価用データにおける正解
ヒットすべきヒットすべきでない

合計

適合率

ヒットした

62

0

62

100%

ヒットしなかった

2

2

合計

64

再現率

97%

正解率97%※各テーブル上でカウントされている数は評価用データにおける検索ヒット数ではなく、ヒットファイル数になります。

受検社ＡＯＳリーガルテック（株）のコメント、問い合わせ先等
ＡＯＳリーガルテック

受検製品

株式会社

Nuix investigation&Response

製品特性

受検目的

評価結果へのコメント

問い合わせ先

自社ＨＰ公開Ver.7.4.5

Nuix ソリューションは、特許取得済みの Nuix エンジンに支えられたスーパーチャージ型のデータ処理、検索、インテリジェンス活用のプラットフォー
ムです。この Nuix エンジンはコンピュータや他のデジタルデバイス上にデジタル化し保存されたほぼすべてのフォーマットの非構造化データ、半構造化データ、構造化データをすべてインテックス化し、ファイルや OS の操作に対してフォレンジックの正確性での理解を提供します。日本語処理解析性
能のみならず、数千種類に及ぶファイルフォーマットをサポートしており、PC、サーバー、モバイルデバイス、クラウドからデータを収集し、ペタバイトを超える大容量データも Nuix エンジンの並列処理技術により高速かつ安定してインデックス化します。また、お客様の要件に合わせスタンドアローン、オンプレミス、クラウドなど多彩な実装方法を提供しています。
世界中の有力な組織が、調査、サイバーセキュリティ、諜報活動、インサイダー脅威、訴訟、規制対応、データプライバシー、コンプライアンス、リスク管理など極めて重要な課題に対して迅速で正確な回答を必要とするとき、Nuixがサポートしています。
当該製品の日本語処理解析性能を客観的に把握し、今後の改善点をメーカーと共有するため。
当該製品の高い日本語処理解析性能を認めていただき、評価委員の皆さまに感謝申し上げます。８年以上に及ぶ日本市場での実績のもとお客様からの貴重なフィードバックへの迅速な対応が今回の高い評価に繋がったものと考えております。引き続きお客様の声を大切に日本語処理解析性能とユーザビリティの向上に向けてメーカーとともに努めてまいります。
ＡＯＳリーガルテック株式会社〒105-0001 東京都港区虎ノ門５－１－５ メトロシティ神谷町４Ｆ
ＴＥＬ：０３－５７３３－５７９０ ＦＡＸ：０３－５７３３－７０１２
ＷＥＢサイト（ https://www.aos.com ）にて、本評価結果に関する自社コメントの公開を予定しております。また、詳細結果等の確認をご希望の場合は、上記問い合わせ先にご連絡下さい。

以上