JaSocial：LLMの社会的知能を評価するための日本語敬語使用フレームワーク

「社会的知能」とは，人間関係を理解し管理し，さまざまな社会的状況において効果的なコミュニケーションを行う能力を指す[1,2]．本研究では，日本語の敬語における大規模言語モデル（LLM）の「社会的知能」を評価することを目的としている．特に，日本語の敬語は社会関係や場面に強く依存しており，上司，同僚，部下などに対して異なる敬語を使用する必要がある．本研究では，社会的文脈と言語表現の役割を体系的に統合する視点を重視し，精密な評価を目指す．また，データ不足や敬語の使い方の許容度に関する主観的差異といった課題にも対応する必要がある．これらの課題を解決するために，本研究では選択体系機能言語学（SFL）の思想に基づき，「社会関係（第一層）→発話機能（第二層）→敬語表現（第三層）」という多層的な枠組みを採用し，社会的文脈（人間関係），発話機能（依頼，断り，報告など），および具体的な敬語表現の三者間の適合度に着目してLLMが異なる場面において適切な敬語を生成できるかを検証する．さらに，これらの評価を行うために新たにビジネスメールデータセットを作成し，これを研究の基盤として活用している．手法として，まず社会関係（目上，同等，目下など），発話機能（依頼，断り，報告，謝罪など），敬語レベル（尊敬語，謙譲語，丁寧語，インフォーマルなど）を多層的に注釈する．次に，言語モデルを用いた分類器でテキストを階層的に分類し，役割関係と言語機能の一貫性を分析し，実際の社会的場面に基づくメールや対話の生成結果に対して多層的な評価を行うことで，LLMの「社会関係の適合度」「発話意図の適合度」および「敬語使用の適合度」における優劣を明確にする．SFLの多層的視点をLLM評価に導入することで，言語生成における社会的文脈の次元をより深く理解することに寄与する．また，実用的には，対話システムやメール生成などの場面で敬語の適切性を説明可能かつ定量的に評価できる手法を提供し，モデルの「社会的知能」を向上させるための指針となることが期待される．