事前学習済み言語モデルからの訓練データ抽出：新聞記事の特性を用いた評価セットの構築と分析

コーディング）しメンバーシップ推論[9]をするこ大規模なデータセットを用いた事前学習済み言語とで，記憶された数多くの情報を抽出できると確認モデルが数多くのタスクで高い性能を示している一した．この課題はプライバシーの侵害・実用性の低方で，訓練データの一部が抽出可能であるセキュリ下・公平性の低下などを招くため，事前学習済み言ティ面の課題が重要性を増している．本稿では新聞語モデルの実運用に向けた課題となり得る[10].特記事の特性を考慮することで，事前学習済み言語モに医療・臨床データなど機密性の高い情報で事前学デルからの訓練データ抽出の議論に向け，現実世界習したモデルを扱う場合，訓練データの漏洩は大きに即した評価セットが構築できると主張する．最初な問題に繋がる可能性がある[11]．記述内容を記憶に先行研究を踏まえこの課題を整理し，日本語の新している点で「忘れられる権利」の文脈でも議論が聞記事を用いた評価セットを提案する．次いで，新必要である[12]．聞記事で独自にモデルを事前学習し，構築した評価一方で，この課題に関する研究領域や産業界でのセットに対して複数のモデルで訓練データ抽出を試議論は未だ発展途上である．多くの研究の実験は定みる．条件ごとの記憶の度合いの変化を確認する実性的な側面にとどまり，いくつかの論文で定量評価験を通じて，この課題に関するいくつかの知見を示の重要性が提起され始めている[10,13,14]．既存のし，将来展望を述べる．研究では，対象とするモデルの事前学習に用いたデータセットから一部のデータを取り出す方法で，