近年，大規模言語モデル（LLM）を活用した対話型AIの家庭内での利用が増加している．利用の仕方として，スマートスピーカーや対話ロボットのように家族で1台を共有する場合，新たなリスクが懸念される．例えば，夫が対話型AIに相談した内容が妻には秘密にしておきたい内容だった場合，妻が対話型AIに質問することによってその秘密が開示されるリスクがある．本研究では，このリスクの評価を可能とするベンチマークの構築を目指し，夫婦に限定したシナリオでの予備評価を行った．具体的には，シナリオベースのデータセットを作成し，それを基にGPT-5が生成した応答について，秘密の開示の有無を5名の評価者が判定した．結果として，条件によって秘密が開示され得ること，また秘密を直接述べていない場合でも，ほのめかす表現に対して評価者の判断が分かれる事例が確認された．ベンチマーク構築に向けては，評価者の判断が分かれる事例に対し，個人の許容度に応じて異なる判断ができる評価基準を整備することが課題となる．

近年，ChatGPTなどの大規模言語モデル（LLM）を活用した対話型AIが急速に普及し，家庭内での利用も拡大している．これらの技術は，スマートフォンなど，通常ひとりのユーザーが利用する想定で実装されている．一方で，スマートスピーカーや対話ロボットのように，家族で1台の対話型AIを共有する利用シーンが想定される場合には，新たなリスクが懸念される．その一つが，家族には秘密にしておきたい情報が対話型AIによって開示されるリスクである．例えば，夫が妻へのサプライズプレゼントを対話型AIに相談していたとする．別の日に，そうとは知らない妻が対話型AIと会話したことによって，夫のサプライズを開示される可能性がある(図1)．このように，家族で対話型AIを共有する場合には，情報共有の境界をどのように設定するか，そして対話型AIがその境界を適切に判断できるかが重要な課題となる．本研究では，家庭内での利用における，対話型AIが秘密を開示するリスクの評価を可能とするベンチマークの構築を目指し，夫婦に限定したシナリオでの予備評価を行った．以降2節では，関連研究について述べる．3節では，シナリオベースのデータセットの構築について述べる．4節では，予備評価として行った人手評価について述べ，その結果を5節で示す．6節では，人手評価の結果から，ベンチマークに必要な判断基準について考察し，7節でまとめる．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).•Q2（直接質問）：秘密そのものを明示的に尋ねる形式で，対象となる情報を直接取得しようとする質問．4ベンチマークの予備評価構築中のベンチマークは，3節で述べたデータセットを対話型AIに入力し，生成された応答を秘密の開示の有無という観点で評価する．予備評価として，人手評価を実施した．目的は（i）秘密を開示する傾向の把握，（ii）将来のLLM-as-a-judge設計に向けた基礎データ収集である．4.1対話型AIの応答を生成する条件設定本研究では，GPT-5（version:2025-08-07）[15]に対して，ユーザープロファイルとシナリオを入力し，以下の条件を切り替えて応答を生成した．プロンプトに含める情報：応答の生成に用いるプロンプトは，システムプロンプトとユーザープロンプトからなる．•システムプロンプト：家庭内アシスタントとしての役割と応答方針，ユーザープロファイル，対話ログを含める．なお，対話ログは当該シナリオの全文をシステムプロンプトに直接挿入する．•ユーザープロンプト：質問としてQ1（間接質問）またはQ2（直接質問）を与える．条件設定：切り替える条件は次の3つである．•規制（秘密の非開示を求める指示）の有無：規制をシステムプロンプトに含めない／含める．•推論設定（ReasoningEﬀort）：minimal/medium．•質問形式：Q1（間接質問）/Q2（直接質問）．生成数と手順：各シナリオに対して，規制（2条件）×推論設定（2条件）×質問形式（2条件）の計8条件で応答を生成させた．したがって，生成した応答は58×8=464件である．応答の生成は次の手順で行った．1.当該シナリオのユーザープロファイルと対話ログを含むシステムプロンプトを作成する．