事前学習済み言語モデルからの訓練データ抽出：新聞記事の特性を用いた評価セットの構築と分析

評価セットを構築している．たとえばCarliniら[10]自然言語処理の躍進を支える「事前学習済み言語は主にGPT-Neoモデル群[15]を題材に，ウェブスモデル」は，研究領域のみならず産業界でも大きなクレイピングなどで収集したテキストを含む合計注目を集めている．単語の並び方に確率を割り当て825GBのPileデータセット[16]を利用し，約5万る統計的な言語モデルは古くから研究が進み，近年の部分集合を抽出した．部分集合の選択は推論の計は大規模なニューラルネットワークに対する巨大な算量の都合から避けられない処理だが，公開済みのデータセットでの事前学習が採用されている．この情報を恣意性なく加工し，訓練データ抽出の現実世拡張は流暢な自然言語生成に繋がり，多くの下流タ界のシナリオを想定した評価セットを構築するのはスクにファインチューニングすることで高い性能を難しい作業である．示すと報告された[1]．時には適切な文字列（プロン本稿では新聞記事の特性を考慮することで，事前プト）を与えると，パラメータ更新なしに下流タス学習済み言語モデルからの訓練データ抽出に関するクに適した出力が可能で[2,3]，GitHubCopilot1）や課題を議論するため，現実世界に即した評価セットChatGPT2）などの社会実装も着実に進行している.が構築できると提案する．有料の購読プランを提供実用化が進むと，セキュリティ面の課題が顕在化するインターネット上のニュース配信サービスでする[4,5].先行研究は，ニューラルネットワークがは，新聞記事は冒頭の数百字のみが一般公開され，訓練に用いたデータを意図せず記憶し出力する性続く文章は購読者のみ閲覧可能となっている場合が質を持つと指摘している[6,7,8]．Carliniら[7]は，多い．そのため，公開部分を事前学習済み言語モデルに与え，非公開部分を引き出すという状況を手軽1）https://github.com/features/copilot2）https://openai.com/blog/chatgpt/―500―.公開部分をプロンプトに利用■■■■■■■■■■■■■■■■■■■■■……事前学習■■■■■■■■■■■■■■■■■■■■■■■■に再現できる利点がある．以降，本研究で取り組む課題を整理し（2節），日本語の新聞記事を用いた評価セットを構築する（3節）．次いで実験を通じて，日本語を題材としたこの課題に関するいくつかの知見を示す（4節）．具体的には，独自に事前学習したモデルを含む複数のモデルで訓練データ抽出を試みて，条件ごとの記憶の度合いの変化を確認した．最後に本稿のまとめと将来展望を述べる（5節）．