本研究では、テキスト内に含まれる複数のパラメータの組み合わせに基づく異常を検出する手法に関する実験結果を報告する。これまでの研究では、BertMaskedLM手法が高い有効性を持つことが示されている。しかし、先行研究ではモデルを1から学習させており、既存の学習済みモデルを用いて追加学習を行う方が精度向上が期待できると予測可能である。そこで、本研究では、先行研究で提案された改善手法による結果と、有名な学習済みBERTモデルを比較、さらに学習済みBERTモデルに同様の改善手法を適用した場合の結果を調査する。

センサ、画像、音など、さまざまな情報がデータ化される現代社会において、パラメータ異常検知システムの需要は高まっている。本研究では、特にシステム開発に焦点を当て、テキストログを用いた異常検知の研究を行っている。しかし、ログには個人情報が含まれる場合があるほか、ラベル付けには専門的な知識が必要であることから、パラメータ異常検知用のデータセットが存在しない。この課題に対応するため、独自に課題設定とデータセットを用意して研究を進めている。用意したログは、2つの文字列型パラメータと1つの整数型パラメータを持つものであり、これら3つのパラメータの組み合わせに基づく異常検出を目的としている。異常検出モデルとして、我々はBertMaskedLMをベースとした手法を提案している[1]。この手法では、対象ログを用いてモデルを1から学習しており、出現するパラメータが既知であることを前提として、事前にそれらをTokenizerに登録している。これまでの研究では、異なる組み合わせにおいて整数型パラメータの範囲が重なっている場合、精度が低下することが報告されている[2]。また、Tokenizerに登録する辞書の語彙数を増やすことで精度が改善されることが確認されている。そこで、本研究では、語彙数が多い辞書を持つ大規模な学習済みBERTモデルと、先行研究手法の性能を比較検討する。本研究の主な貢献は以下の通りである。1.大規模モデル（学習済みBERT）によるパラメータ異常検知の精度の調査