コーディング）しメンバーシップ推論[9]をするこ大規模なデータセットを用いた事前学習済み言語とで，記憶された数多くの情報を抽出できると確認モデルが数多くのタスクで高い性能を示している一した．この課題はプライバシーの侵害・実用性の低方で，訓練データの一部が抽出可能であるセキュリ下・公平性の低下などを招くため，事前学習済み言ティ面の課題が重要性を増している．本稿では新聞語モデルの実運用に向けた課題となり得る[10].特記事の特性を考慮することで，事前学習済み言語モに医療・臨床データなど機密性の高い情報で事前学デルからの訓練データ抽出の議論に向け，現実世界習したモデルを扱う場合，訓練データの漏洩は大きに即した評価セットが構築できると主張する．最初な問題に繋がる可能性がある[11]．記述内容を記憶に先行研究を踏まえこの課題を整理し，日本語の新している点で「忘れられる権利」の文脈でも議論が聞記事を用いた評価セットを提案する．次いで，新必要である[12]．聞記事で独自にモデルを事前学習し，構築した評価一方で，この課題に関する研究領域や産業界でのセットに対して複数のモデルで訓練データ抽出を試議論は未だ発展途上である．多くの研究の実験は定みる．条件ごとの記憶の度合いの変化を確認する実性的な側面にとどまり，いくつかの論文で定量評価験を通じて，この課題に関するいくつかの知見を示の重要性が提起され始めている[10,13,14]．既存のし，将来展望を述べる．研究では，対象とするモデルの事前学習に用いたデータセットから一部のデータを取り出す方法で，

評価セットを構築している．たとえばCarliniら[10]自然言語処理の躍進を支える「事前学習済み言語は主にGPT-Neoモデル群[15]を題材に，ウェブスモデル」は，研究領域のみならず産業界でも大きなクレイピングなどで収集したテキストを含む合計注目を集めている．単語の並び方に確率を割り当て825GBのPileデータセット[16]を利用し，約5万る統計的な言語モデルは古くから研究が進み，近年の部分集合を抽出した．部分集合の選択は推論の計は大規模なニューラルネットワークに対する巨大な算量の都合から避けられない処理だが，公開済みのデータセットでの事前学習が採用されている．この情報を恣意性なく加工し，訓練データ抽出の現実世拡張は流暢な自然言語生成に繋がり，多くの下流タ界のシナリオを想定した評価セットを構築するのはスクにファインチューニングすることで高い性能を難しい作業である．示すと報告された[1]．時には適切な文字列（プロン本稿では新聞記事の特性を考慮することで，事前プト）を与えると，パラメータ更新なしに下流タス学習済み言語モデルからの訓練データ抽出に関するクに適した出力が可能で[2,3]，GitHubCopilot1）や課題を議論するため，現実世界に即した評価セットChatGPT2）などの社会実装も着実に進行している.が構築できると提案する．有料の購読プランを提供実用化が進むと，セキュリティ面の課題が顕在化するインターネット上のニュース配信サービスでする[4,5].先行研究は，ニューラルネットワークがは，新聞記事は冒頭の数百字のみが一般公開され，訓練に用いたデータを意図せず記憶し出力する性続く文章は購読者のみ閲覧可能となっている場合が質を持つと指摘している[6,7,8]．Carliniら[7]は，多い．そのため，公開部分を事前学習済み言語モデルに与え，非公開部分を引き出すという状況を手軽1）https://github.com/features/copilot2）https://openai.com/blog/chatgpt/―500―.公開部分をプロンプトに利用■■■■■■■■■■■■■■■■■■■■■……事前学習■■■■■■■■■■■■■■■■■■■■■■■■に再現できる利点がある．以降，本研究で取り組む課題を整理し（2節），日本語の新聞記事を用いた評価セットを構築する（3節）．次いで実験を通じて，日本語を題材としたこの課題に関するいくつかの知見を示す（4節）．具体的には，独自に事前学習したモデルを含む複数のモデルで訓練データ抽出を試みて，条件ごとの記憶の度合いの変化を確認した．最後に本稿のまとめと将来展望を述べる（5節）．