言語モデルを用いたパラメータ異常検出：

センサ、画像、音など、さまざまな情報がデータ化される現代社会において、パラメータ異常検知システムの需要は高まっている。本研究では、特にシステム開発に焦点を当て、テキストログを用いた異常検知の研究を行っている。しかし、ログには個人情報が含まれる場合があるほか、ラベル付けには専門的な知識が必要であることから、パラメータ異常検知用のデータセットが存在しない。この課題に対応するため、独自に課題設定とデータセットを用意して研究を進めている。用意したログは、2つの文字列型パラメータと1つの整数型パラメータを持つものであり、これら3つのパラメータの組み合わせに基づく異常検出を目的としている。異常検出モデルとして、我々はBertMaskedLMをベースとした手法を提案している[1]。この手法では、対象ログを用いてモデルを1から学習しており、出現するパラメータが既知であることを前提として、事前にそれらをTokenizerに登録している。これまでの研究では、異なる組み合わせにおいて整数型パラメータの範囲が重なっている場合、精度が低下することが報告されている[2]。また、Tokenizerに登録する辞書の語彙数を増やすことで精度が改善されることが確認されている。そこで、本研究では、語彙数が多い辞書を持つ大規模な学習済みBERTモデルと、先行研究手法の性能を比較検討する。本研究の主な貢献は以下の通りである。1.大規模モデル（学習済みBERT）によるパラメータ異常検知の精度の調査