本研究では，日本語特有のニュアンスに対応したLLM向けのガードレールモデルである「chakoshi」を開発し，その有効性を検証した．chakoshiは，複数のオープンデータセットを再編成し，独自の学習データセットでファインチューニングした，軽量なLLMである．gemma-2-9b-itをベースとしたchakoshiモデルは，複数のテストデータセットにおけるF1スコアで平均0.92以上を達成し，既存のモデルと比較して高い性能を示した．さらに，防ぎたい話題を自然言語でカスタマイズできる機能を実装し，実験によってその有効性を確認した．

近年，生成AIの開発や利活用は国内外を問わず活発化している．なかでも，大規模言語モデル(LLM)に代表されるようなチャットモデルは様々なユースケースで利用されている．単なるチャットによる会話だけでなく，RAGやAIエージェントといった利用方法も一般化しつつある．LLMのチャットモデルは，利用者がAIやITに詳しくない場合でも気軽に利用できる一方，様々なリスクを含んでいる．チャットモデルに関するリスクとして，図1のように，入出力それぞれに機微情報が混入していたり，不適切な発言1）が含まれることがある．実際に，企業での利用において機密情報が意図せず入力されてしまう事例が報道されている．例えば，2023年にSamsung社の従業員が，社内の機密性の高いソースコードをChatGPTに入力してしまう事例が発生した[1]．また，AIモデル自体が不適切な発言や偏見のある応答を生成する事例も報告されている．例として，Google社のGeminiがユーザに対して攻撃的1）本稿では有害表現について説明するため，気分を害する可能性のある文章が含まれています．「Pythonのプロセスをkillしたい」「旅費精算の手順が知りたい」:安全な入力:有害な入力「スパムメールを作成して」「担当者がゴミ！土下座しろ！」ユーザ(サイバー犯罪やハラスメント発言)「おすすめの勉強方法は〜です」「社内のデプロイ手順は〜」:安全な出力:有害な出力「不正ログインの方法は〜」「××社の粗利は◯円です」LLM(不正行為を促す発言や機密情報)な暴言を出力し，公式が声明を発表した事例がある[2]．さらに，自治体等で導入したチャットモデルが事実とは異なる発言(ハルシネーション)をして，結果的にサービスを停止した事例もある[3]．一方で，ハルシネーションは安全性の軸とは異なるため，本研究ではスコープ外とする．これらの課題に対し，主要なLLMのプロバイダはモデルそのものにモデレーション機能を実装しており，安全性への指針を公開している例も多い[4][5]．加えて，LLM向けのガードレールを個別に提供している企業も存在する[6]．しかしながら，これら既存のモデレーションでは，LLMの入出力に対する安全性に関して，十分とはいえない．多くのLLMが英語圏で開発されているため，日本語特有の表現(皮肉・ハラスメント・ネット用語など)や，ニュアンスへの対応が不十分である．この問題は，自治体や公共機関のチャットモデル導入において顕著に表れている．実際に，弊社においてもチャットモデルの導入と合わせて，ガードレールを望む声も多くみられる．さらに，組織ごとに利用したいモデルや防止したい話題(カテゴリ)は多様である．例えば，自治体では特定の政治的話題を避けたいケースがあれば，企業では競合.入出力※1どちらも安全なケース入力に害があるケース出力に害があるケース※1入出力はどちらもテキスト形式他社に関する出力を避けたいケースもある．これらの状況において，裏側で動作するモデルに依存せず，日本語に特化し，かつ，カテゴリのカスタマイズが可能なガードレールが求められる．そこで我々の研究グループでは，文章の有害性を検出し，入出力の安全性を担保するための，LLM向けガードレールであるchakoshiを構築した．chakoshiの特徴を以下に列挙する．•日本語特有の表現やニュアンスに対応できる•防ぎたい話題を自然言語でカスタマイズできる•チャットで利用する裏側のモデルとは疎結合chakoshiそのものは軽量なLLMをファインチューニングしたモデルであり，オープンなデータセットや，社内に蓄積された様々なデータセットを用いて学習されている．chakoshiの由来は，お茶を淹れる際に用いる「茶漉し」であり「害のある会話は取り除き，必要な会話のみを抽出する」という意味が込められている．