title: On Differential Privacy for Language Models
title: Zur Differentiellen Privatsphäre für Sprachmodelle
Creators: name: Arnold, Stefan
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 0
Subjects: subject: Privacy-Preserving Machine Learning, Differential Privacy, Language Models
subject: DDC Classification::0 Informatik, Informationswissenschaft, allgemeine Werke :: 00 Informatik, Wissen, Systeme :: 004 Datenverarbeitung; Informatik

description: Language Models (LM), trained to assign a probability distribution over sequences of words, offer tremendous opportunities for automating a wide range of tasks that involve organizing or generating free-form text. Recent advancements in LMs are predicated on their potential to scale with large corpora of training data, often terabytes of text. Aside from growing concerns about the collection and usage of massive amounts of data for Machine Learning (ML), it has been previously demonstrated that LMs themselves pose a severe risk to privacy. LMs are notorious for memorizing parts of text encountered during training and exposing sensitive information from that text verbatim when prompted during predictions. This caused a tension between efforts on driving the development of LMs and concerns surrounding the notions of privacy and confidentiality. To address the growing concerns on privacy in ML, many organizations have recognized the necessary conditions for investing in initiatives in the field of privacy-preserving ML. This field of ML refers to techniques that enable the training and operation of ML models on sensitive data while maintaining the privacy and confidentiality of sensitive information. A growing body of literature holds up Differential Privacy (DP) against information leakage in ML. DP is situated in the field of privacy-preserving ML. It formalizes privacy through a notion of indistinguishability. This indistinguishability is attained by introducing calibrated noise into ML model during training, mitigating the risk of unintended memorization of training data. However, training LMs with DP often reduces accuracy while increasing training time, which can further reduce accuracy because current LMs are limited by the cost of training. As a result, popular LMs such as BERT and GPT do currently not apply DP. To foster the integration of DP in LMs, this dissertation aims to consolidate the existing body of knowledge on DP for ML in general and contribute to a more nuanced understanding of the effects of DP on LMs in particular. Therefore, this dissertation presents five largely independent studies on the competing goals of preserving the utility of LMs while safeguarding the privacy. The studies are discussed in more detail as follows. Study 1 consolidates the existing body of knowledge on DP. By conducting a systematic review on privacy-preserving ML, this study aims to situate DP in the context of privacy-preserving ML and provide an overview of the strengths and weaknesses of DP compared to alternative technique belonging to the purview of privacy-preserving ML. We discovered a burgeoning awareness of DP and that its integration in LMs has reached an attractive level of maturity. Study 2 analyzes how DP manifests on the performance attained by LMs. By conducting a benchmark analysis, the study aims to connect the degeneration in the generalization performance to a set of eight generalizable properties common to language tasks. Experimental results indicate an average performance loss of -34.53% and that the performance varies considerably between different implementation of DP depending on the stage of integration. Study 3 explores how DP affects the representation produced by LMs. By employing a model introspection, the study aims to connect the alterations to the internal representations to a set of twelve linguistic properties across several formalisms. Experimental results indicate that the resemblance between representation spaces declines to 77.06% and that this representation is diluted by syntactic dependencies between words rather than semantic abstractions of words. Study 4 examines the effects of preserving the grammatical properties of words in text-to-text privatization on the performance of language models. By replacing sensitive words in a text with surrogate words of matching syntactic roles, the study aims to provide insights into the importance of syntax during privatization. Experimental results suggest that the preservation of syntactic roles increases the average performance of a LM on downstream tasks by 4.66%, offering a novel perspective on syntactic and morphological properties. Study 5 alleviates the conflation of meanings of ambiguous words during text-to-text privatization. By leveraging a sense embedding in combination with a word-sense disambiguation, this study aims to measure the benefits of transferring the meaning of ambiguous words for the performance of LMs on downstream tasks. Experimental results suggest that accounting for the context increases the average performance of a LM on downstream tasks by 6.98%, constituting a viable direction towards the preservation of semantic contexts in sensitive texts.
description: Sprachmodelle (LM), die darauf trainiert sind, eine Wahrscheinlichkeitsverteilung über Wortsequenzen zuzuweisen, bieten enorme Möglichkeiten zur Automatisierung einer Vielzahl von Aufgaben, die die Organisation oder Generierung von Freitext umfassen. Die jüngsten Fortschritte bei LMs basieren auf ihrem Potenzial, mit großen Trainingsdatensätzen zu skalieren. Abgesehen von wachsenden Bedenken bezüglich der Sammlung und Verwendung massiver Datenmengen für maschinelles Lernen (ML) hast sich gezeigt, dass LMs selbst ein schwerwiegendes Datenschutzrisiko darstellen. LMs sind berüchtigt dafür, Teile des während des Trainings erfassten Texts auswendig zu lernen und sensible Informationen aus diesem Text wortwörtlich preiszugeben, wenn sie während Vorhersagen danach abgefragt werden. Dies führte zu einer Spannung zwischen den Bemühungen zur Entwicklung von LMs und den Bedenken hinsichtlich des Datenschutzes. Um den wachsenden Bedenken hinsichtlich des Datenschutzes im ML zu begegnen, haben viele Organisationen die notwendigen Bedingungen erkannt, um in Initiativen im Bereich des datenschutzorientierten ML zu investieren. Dieses ML-Feld bezieht sich auf Techniken, die das Training und die Nutzung von ML-Modellen auf sensiblen Daten ermöglichen, während die Privatsphäre und Vertraulichkeit sensibler Informationen gewahrt bleiben. Eine Vielzahl an Literatur stellt Differential Privacy (DP) dem Informationsverlust im ML gegenüber. DP ist im Bereich des datenschutzorientierten ML verortet und formalisiert den Datenschutz durch eine Vorstellung von Ununterscheidbarkeit. Diese Ununterscheidbarkeit wird erreicht, indem kalibriertes Rauschen während des Trainings eines ML-Modells eingeführt wird. Dies mildert das Risiko des unbeabsichtigten Auswendiglernens von Trainingsdaten. Allerdings führt das Training von LMs mit DP oft zu reduzierter Genauigkeit und längeren Trainingszeiten, was die Genauigkeit weiter verringern kann, da gegenwärtige LMs durch die Kosten des Trainings begrenzt sind. Als Folge davon verwenden verbreitete LMs wie BERT und GPT derzeit kein DP. Um die Integration von DP in LMs zu fördern, zielt diese Dissertation darauf ab, das vorhandene Wissen über DP für ML im Allgemeinen zu konsolidieren und zu einem besseren Verständnis der Auswirkungen von DP auf LMs im Besonderen beizutragen. Daher präsentiert diese Dissertation fünf weitgehend unabhängige Studien zu den konkurrierenden Zielen, die Nützlichkeit von LMs zu bewahren und gleichzeitig die Privatsphäre zu schützen. Die Studien werden im Folgenden detaillierter erörtert. Studie 1 konsolidiert das vorhandene Wissen über DP. Durch eine systematische Überprüfung des datenschutzorientierten ML soll diese Studie DP in den Kontext des datenschutzorientierten ML einordnen und einen Überblick über die Stärken und Schwächen von DP im Vergleich zu alternativen Techniken aus dem Bereich des datenschutzorientierten ML geben. Wir stellten eine wachsende Bewusstwerdung von DP fest und dass dessen Integration in LMs ein ansprechendes Reifegradniveau erreicht hat. Studie 2 analysiert, wie sich DP auf die Leistung von LMs auswirkt. Durch eine Benchmark-Analyse zielt die Studie darauf ab, den Rückgang der Leistung mit einer Reihe von acht verallgemeinerbaren Eigenschaften, die in Sprachaufgaben häufig auftreten, zu verbinden. Experimentelle Ergebnisse zeigen einen durchschnittlichen Leistungsverlust von -34,53 % und dass die Leistung je nach Art der Integration von DP erheblich variiert. Studie 3 erforscht, wie DP die Repräsentationen von LMs beeinflusst. Durch den Einsatz einer Modell-Introspektion verfolgt die Studie das Ziel, die Veränderungen in den latenten Repräsentationen mit einer Reihe von zwölf linguistischen Eigenschaften in verschiedenen formalen Beschreibungen zu verbinden. Experimentelle Ergebnisse deuten darauf hin, dass die Ähnlichkeit zwischen den Repräsentationsräumen auf 77,06 % abnimmt und dass diese Repräsentation durch syntaktische Abhängigkeiten zwischen Wörtern verdünnt wird und dadurch zu einem schlechteren Verständnis von semantischen Abstraktionen von Wörtern führt. Studie 4 untersucht die Auswirkungen der Erhaltung grammatischer Eigenschaften von Wörtern in der Text-zu-Text-Privatisierung auf die Leistung von Sprachmodellen. Durch den Ersatz sensibler Wörter in einem Text durch Ersatzwörter mit passenden syntaktischen Rollen zielt die Studie darauf ab, Einblicke in die Bedeutung der Syntax während der Privatisierung zu liefern. Experimentelle Ergebnisse legen nahe, dass die Erhaltung syntaktischer Rollen die durchschnittliche Leistung eines LMs bei nachgelagerten Aufgaben um 4,66 % erhöht und bietet somit eine neue Perspektive auf syntaktische und morphologische Eigenschaften. Studie 5 behebt die Vermischung von Bedeutungen mehrdeutiger Wörter während der Text-zu-Text-Privatisierung. Durch die Verwendung einer Sinneinbettung in Kombination mit einer Disambiguierung von Wortbedeutungen zielt diese Studie darauf ab, die Vorteile der Übertragung der Bedeutung mehrdeutiger Wörter für die Leistung von LMs bei nachgelagerten Aufgaben zu messen. Experimentelle Ergebnisse zeigen, dass die Berücksichtigung des Kontextes die durchschnittliche Leistung eines LMs bei nachgelagerten Aufgaben um 6,98 % erhöht und somit eine mögliche Richtung für die Erhaltung semantischer Kontexte in sensiblen Texten darstellt.