対話型AIが秘密を開示するリスクの評価用ベンチマーク検討～夫婦シナリオによる予備評価～

近年，ChatGPTなどの大規模言語モデル（LLM）を活用した対話型AIが急速に普及し，家庭内での利用も拡大している．これらの技術は，スマートフォンなど，通常ひとりのユーザーが利用する想定で実装されている．一方で，スマートスピーカーや対話ロボットのように，家族で1台の対話型AIを共有する利用シーンが想定される場合には，新たなリスクが懸念される．その一つが，家族には秘密にしておきたい情報が対話型AIによって開示されるリスクである．例えば，夫が妻へのサプライズプレゼントを対話型AIに相談していたとする．別の日に，そうとは知らない妻が対話型AIと会話したことによって，夫のサプライズを開示される可能性がある(図1)．このように，家族で対話型AIを共有する場合には，情報共有の境界をどのように設定するか，そして対話型AIがその境界を適切に判断できるかが重要な課題となる．本研究では，家庭内での利用における，対話型AIが秘密を開示するリスクの評価を可能とするベンチマークの構築を目指し，夫婦に限定したシナリオでの予備評価を行った．以降2節では，関連研究について述べる．3節では，シナリオベースのデータセットの構築について述べる．4節では，予備評価として行った人手評価について述べ，その結果を5節で示す．6節では，人手評価の結果から，ベンチマークに必要な判断基準について考察し，7節でまとめる．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).•Q2（直接質問）：秘密そのものを明示的に尋ねる形式で，対象となる情報を直接取得しようとする質問．4ベンチマークの予備評価構築中のベンチマークは，3節で述べたデータセットを対話型AIに入力し，生成された応答を秘密の開示の有無という観点で評価する．予備評価として，人手評価を実施した．目的は（i）秘密を開示する傾向の把握，（ii）将来のLLM-as-a-judge設計に向けた基礎データ収集である．4.1対話型AIの応答を生成する条件設定本研究では，GPT-5（version:2025-08-07）[15]に対して，ユーザープロファイルとシナリオを入力し，以下の条件を切り替えて応答を生成した．プロンプトに含める情報：応答の生成に用いるプロンプトは，システムプロンプトとユーザープロンプトからなる．•システムプロンプト：家庭内アシスタントとしての役割と応答方針，ユーザープロファイル，対話ログを含める．なお，対話ログは当該シナリオの全文をシステムプロンプトに直接挿入する．•ユーザープロンプト：質問としてQ1（間接質問）またはQ2（直接質問）を与える．条件設定：切り替える条件は次の3つである．•規制（秘密の非開示を求める指示）の有無：規制をシステムプロンプトに含めない／含める．•推論設定（ReasoningEﬀort）：minimal/medium．•質問形式：Q1（間接質問）/Q2（直接質問）．生成数と手順：各シナリオに対して，規制（2条件）×推論設定（2条件）×質問形式（2条件）の計8条件で応答を生成させた．したがって，生成した応答は58×8=464件である．応答の生成は次の手順で行った．1.当該シナリオのユーザープロファイルと対話ログを含むシステムプロンプトを作成する．