第１６期第１回（通算７回目）「日本語処理解析性能評価」実施結果報告
１ 評価結果の客観的評価指標（１）「日本語処理解析性能評価」実施の目的（趣旨）と評価の実施について
近年、デジタル・フォレンジックや e ディスカバリ用途で、多様な検索機能や解析機能を持つ多くのソフトウェアが開発され、利用されています。しかしながら、海外で開発されたものも多く、日本国内で使用する場合に、どこまで日本語に対応しているかが不明で、ユーザーが使用してみるまでわからないのが現状です。
また、実際に性能を評価しようとしても、客観的かつ有効な評価基準や指標も存在しないため、比較自体が困難な状況です。ＩＤＦ「日本語処理解析性能評価」分科会ではこの状況を改善するために、日本語処理解析性能を評価するための基準となる項目とそれに伴う検索クエリ、さらに実際の評価に使うための評価用データの作成と各種ツールの日本語処理解析性能の評価基準項目を準備しました。また、本評価を実現するために日本語処理解析性能評価委員会が設立され、２０１７年１月に第１回評価が 実施されました。
今期第１６期第１回目（通算第７回目）の評価は、２０２０年３月に（ベイシス・テクノロジー（株））の「Autopsy」（※２０１８年３月に評価受検した Autopsy のバージョンアップ版）の評価を実施致しましたので結果を報告 致します。
今回評価受検したバージョンは 201８年３月に評価受検したバージョンと比較して評価用テキストデータの文字コードハンドリングが改善しており評価指標の向上が確認できました。また E メールやアプリケーション デー
タの評価はテストクエリにブーリアン検索（AND）を用いており、Autopsy がブーリアン検索（AND）に 対応して頂ければ大幅な評価指標の向上が期待できます。
尚、これまでの７回の評価実施で得られた知見に基づき日本語処理解析性能評価委員会では、第１７期に 「評価基準」及び「評価用データ」についての補備・修正検討を行い、より適正な評価を実施できるように致します。第１７期の「日本語処理解析性能評価」は、この補備・修正された「評価基準」及び「評価用データ」で実施致します。
（２）評価基準と評価用データ作成について①評価基準について
単一単語検索や簡単なブーリアン検索を中心とした「基本検索」だけでなく、全角半角の同一視検索、正規表現や近傍検索といった比較的高度な検索機能を含む各種の「応用検索」も評価基準に含めました。尚、単一単語検索の項目にも「数字・漢数字同一視検索」といったものも含まれているので、「基本検索」といっても難易度は高いと想定されます。さらにそれぞれの評価用データとしては日本語特有の文字コードが多数と日本特有のＥメールソフト等も対象に含みますので、総じて難易度の低いものから非常に高いと思われるものまで幅広く評価が可能なものとなりました。
②評価用データ作成手順について
評価用データは、ＩＤＦコラムより３１９号、３４５号、３６０号のそれぞれのテキスト情報と各種評価基準項目を検証する為に必要な追加修正を３１９号、３４５号に加えたものの合計５種類のテキスト情報をベースに、 ９種類の文字コードのテキストファイル、テキストファイルを添付した ６種類のＥメールアプリケーション データ、Microsoft Office（Word/Excel/PowerPoint）を用いた 各種保存形式の違いによる多数のファイル形式の評価用データを作成しました。
２ 評価結果の客観的評価指標
各種評価基準項目ごとに実施しました評価用データに対する検索結果は、評価用データに「ヒットしたか」「ヒットしなかったか」、それはそれぞれ評価用データにおいて「正解としてヒットすべきものか」「正解としてヒットすべきでないか」という２つの軸が存在し、【表１】で表される４象限で表記できます。

【表１】評価結果の４象限
評価用データにおける正解
ヒットすべきもの

ヒットすべきでないもの

ヒットした

True Positive (TP)

False Positive (FP)

ヒットしなかった

False Negative (FN)

True Negative (TN)

検索結果

統計分析で良く使われる指標として、下記３つの指標がありますので、今回の評価結果を示す客観的数値として公表致します。
（１）Recall： 再現率

正解としてヒットすべきもののうち、検索で正しくヒットしたものの割合
Recall：再現率

＝

TP
TP+FN

（２）Precision ： 適合率
検索でヒットしたもののうち、正解としてヒットすべきものの割合
Precision ： 適合率＝

TP
TP+FP（３）Accuracy ：正解（答）率
検索でヒットしたものとヒットしなかったもの（全体）がそれぞれ正解である割合
Accuracy ：正解（答）率 ＝

TP+TN
TP+FP+FN+TN

今回のベイシス・テクノロジー株式会社 （Autopsy）評価結果を【表２】に記載します。
【表２】ベイシス・テクノロジー株式会社 （Autopsy）評価結果

テキスト 基本検索
検索結果

ヒットすべきヒットすべきでない

合計

適合率

ヒットした

１７５

0

１７５

100%

ヒットしなかった

１０１

294

合計

276

再現率

６３%

正解率

８２%

テキスト 応用検索
検索結果

評価用データにおける正解

評価用データにおける正解
ヒットすべきヒットすべきでない

合計

適合率

ヒットした

2２５

0

2２５

100%

ヒットしなかった

１４４

441

合計

369

再現率

６１%

正解率

８２%

評価用データにおける正解

E メール 基本検索
検索結果

ヒットすべきヒットすべきでない

合計

適合率

ヒットした

５

0

５

100%

ヒットしなかった

７12

合計

12

再現率４２%

正解率７１%

アプリケーション 基本検索
検索結果

評価用データにおける正解
ヒットすべきヒットすべきでない

合計

適合率

ヒットした

０0０－

ヒットしなかった

６４2

合計

64

再現率０%

正解率３%

※各テーブル上でカウントされている数は評価用データにおける検索ヒット数ではなく、ヒットファイル数になります。

受検社ベイシス・テクノロジー株式会社のコメント、問い合わせ先等
ベイシス・テクノロジー
株式会社

受検製品：Autopsy

Ver.４.１４.1

Autopsy はオープンソースのデジタル・フォレンジック ツールです。豊富な機能と使いやすさを兼ね備え、Plugin モジュールによる機能拡張も可能で、オープン製品特性ソースフォレンジックコミュニティの代表的なプラットフォームとなっています。
複数のマシンによるネットワーク構成を組むことにより、複数の調査官による共同作業も可能です。

受検目的

評価結果へのコメント

本製品の日本語処理解析の客観的な性能を知る。
Autopsy の現行バージョン(4.14.1)に対する日本語処理解析性能を評価する機会をいただきありがとうございました。今回の評価に用いたバージョンは、日本語処理向けにいくつかの改善を施しています。
1. キーワード検索を Unicode テキストで正規化 (4.8.0 で実装)
2. キーワード検索の Solr 検索インデックス化において、日本語についてKuromoji 形態素解析器を採用
3. 組込みファイル抽出モジュールでの ZIP ファイルの日本語ファイル名の問題を解決
今回の性能評価では、E メールやアプリケーションデータに対する正解率が、製品本来の機能に比して不本意なものとなってしまいましたが、今後のバージョンで改修してまいります。

問い合わせ先ベイシス・テクノロジー株式会社〒１０２-0０９３ 東京都千代田区平河町 2-7-3 PMO 平河町 8F
ＴＥＬ：０３－３５１１－２９４７ ＦＡＸ：０３－３５１１－２９４８
Email: info@basistech.jp

製品紹介ＨＰ

ＷＥＢサイト（ https://www.basistech.jp/autopsy/ ）以上