軽量LLMを用いた規則適合判定

人間があらかじめ定めた規則をロボットや計算機が適切に順守するための規則適合判定技術は，自律型ロボットや自動運転車と人間とが共存する世の中では，重要な技術になると考えられる．また，規則適合判定を行った際にその判定理由が人間にも理解できることは，事故が発生した際の責任問題にも関わり，今後不可欠な技術になると考えられる．近年，大規模言語モデル（LLM）の性能向上が目覚ましく，規則適合判定についても，OpenAI社のGPTシリーズやGoogle社のGeminiシリーズなどのLLMを用いた判定が考えられる．しかし，これらのモデルは高性能な反面，Closedなモデルであり，特定の組織内の規則や，個人情報に関わる内容についての規則について，セキュリティ的には扱いにくいケースが存在する．また，有償であることが多く，コスト面の課題も存在する．そこで本研究では，ローカル環境で動作する軽量LLMを複数用いて，普通自動車免許の学科試験問題を題材とした規則適合判定を行い，軽量LLMにおける規則適合判定精度と，判定の特徴について分析を行う．