育児支援対話システムにおけるLLMの性能改善手法の検討

近年，核家族化の進行などにより，親が孤立した状態で子育てを行うことが社会的な問題となっている[1]．自治体やNPOなどによって子育て支援の仕組みづくりが進められているが[2]，人に相談することへの心理的な抵抗感や[3]，時間的制約により支援へのアクセスが困難なケースも少なくない[4]．これらの課題に対し，近年では育児支援を目的としたさまざまな悩み相談対話システムの開発が進められている[5,6,7,8]．しかし，既存の多くのシステムはオンラインでの利用を前提としている．子育ての悩み相談は極めてプライバシー性の高い内容を含むため，インターネット接続を必要としないローカル環境での利用が望ましいと考えられる．一方で，ChatGPT2）などの商用モデルに匹敵する高性能なLLMは，パラメータ数が非常に大きく，個人1）https://github.com/ryousuke0510/Parenting-Support-Dialogue2）OpenAIが開発した大規模言語モデルに基づく対話型AI．総合性能比較のローカル環境で実行することは現実的ではない．そこで本研究では，4B～14B程度の比較的小規模なLLMを対象とし，子育ての悩み相談対話システムとしての性能向上の可能性を検討する．具体的には，(1)Base手法，(2)Prompt手法，(3)Fine-tuning手法の三つの手法について性能を比較評価した（図1）．実験を通じて，比較的小規模なLLMにおいても，プロンプト設計やファインチューニングにより，育児相談における支援能力を向上させることが可能であることを示した．また，ファインチューニングに必要となる子育ての悩み相談対話データセットは，我々の知る限り公開されているものは存在していない．そこで本研究では，相談者役のLLMと支援者役のLLMを用いて悩み相談対話を模倣させることで，合成対話データセットを構築した．本研究で構築した合成対話データセットは，他のLLMの開発や商用利用が可能な比較的自由なライセンスのもとで公開可能であり，この点も本研究の貢献の一つである．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).相談者役LLMの構築悩みに多様性を確保するため，StackExchange3）に投稿された育児相談の概要文をシードとして用いる．英語で記述されたTitleを日本語に翻訳し，相談の中心となる悩み𝑠(struggle)と定義する．次に，悩み𝑠に基づき，相談者の基本属性𝑐（character：性別，年齢，家族構成など）を，𝑝(𝑐|𝑠)(1)に従い，LLMにプロンプトを与えることで生成する．さらに，悩み𝑠および相談者属性𝑐に基づき，悩みに至った経緯や状況を表す背景情報𝑏（background）を，以下によりLLMで生成する．𝑝(𝑏|𝑠,𝑐)(2)加えて，相談者に対して有益と考えられる工夫𝑡（tips）を，以下によりLLMで生成する．𝑝(𝑡|𝑠,𝑐,𝑏)(3)支援者役LLMは，生成した工夫𝑡を他者の工夫として紹介することで，アドバイスを押し付けることなく，相談者が次に取るべき行動を示す．LLM同士による自動対話生成次に，生成した相談者の属性𝑐，背景情報𝑏，工夫𝑡を用いて，相談者役LLMと支援者役LLMによる多ターン対話を生成する．支援者役LLMによる発話𝑢(utterance)は，𝑝(𝑢|𝑡,𝑞,𝐷)(4)に基づいて生成される．ここで𝑞は質問有無の制御変数，𝐷は対話履歴である．質問の過度な連続を防ぐため，連続質問は最大2ターンまでに制限する．質問判定にはzero-shotpromptingによる2値分類器を用いる．相談者役LLMの発話は，𝑝(𝑢|𝑏,𝑐,𝐷)(5)に基づき生成し，一貫した人物像を保つよう制御する．使用した相談者LLM用のプロンプトは付録Aの表3に示す．また，対話は合計13ターン行う．得られた合成対話データセットを用いてファインチューニングを行い，育児支援システムの対話能力向上を図る．3）Q&A形式の知識共有プラットフォームであり，CCBY-SAライセンスの下で公開されている．https://parenting.stackexchange.com4実験育児支援対話システムの性能向上手法を検証するため，2種類の実験を実施した．実験1では，モデルおよび支援者役LLMの構築方法の違いが対話性能に与える影響を比較し，実験2では，モデルサイズの違いがファインチューニングの効果に与える影響を分析する．また，提案手法に基づき，gpt-oss-120b[17]を相談者役LLMと支援者役LLMに用いて3,000件の育児相談に関する合成対話データセットを構築し，Fine-tunedモデルを学習した．学習条件は付録Bに示す．実験1：Base/Prompt/Fine-tuningの比較対話システムの性能向上手法を検討するため，Base，Prompt，Fine-tuningの3手法を比較した．Qwen3-8B[18]，Llama3.1-Swallow-8B-Instruct-v0.5[19]，Gemma-3-12B-it[20]を支援者役として，育児相談対話を自動生成し，表2に示す10項目およびその合計（Total）に基づいて性能を評価した．実験2：モデルサイズによるの比較結果支援者役LLMのモデルサイズによるファインチューニングの効果の差を検証するため，Qwen3-4B，Qwen3-8B，Qwen3-14Bを対象にPrompt手法とFine-tuning手法を比較し，モデルサイズと性能向上量の関係を分析した．4.1評価方法評価には，LLM-as-a-judgeを採用した[21]．評価対象モデル（支援者役LLM）と相談者役LLMを交互に対話させることで100件の対話データを生成し，評価用LLMによって1～5段階のリッカート尺度で評価を行う．評価項目は，表2に示す10項目を設定し，評価用LLMには，gpt-5-mini4）を使用した．また，相談者役LLMは、合成対話データを作成したときに用いたgpt-oss-120bを用いた．4.2実験結果実験1：手法別比較モデルおよび手法別の比較結果を表1に示す．すべてのモデルにおいて，Prompt手法およびFine-tuning手法は，Base手法を上回るTotalスコアを示した．項目別では，「共感」および「提案回避」で，すべてのモデルにおいてFine-tuning手法が最も高いスコアを示した．一方で，「悩みの整理」および「対話戦4）OpenAIが2025年8月7日に公開したReasoningモデルorg/licenses/by/4.0/).ModelMethod自然一貫明瞭共感肯定自己一致提案回避対話雰囲気悩みの整理対話戦略TotalQwen3-8BBase3.584.323.553.544.804.781.704.22